(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210602387.2 (22)申请日 2022.05.30 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 舒秀军　许良晟　文伟　谯睿智　 (74)专利代理 机构 深圳翼盛智成知识产权事务 所(普通合伙) 44300 专利代理师 李玉婷 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 40/70(2022.01) G06V 10/774(2022.01)G06V 10/762(2022.01) (54)发明名称 视频帧处理方法、 装置、 电子设备、 存储介质 和程序产品 (57)摘要 本发明实施例公开了视频帧处理方法、 装 置、 电子设备、 存储介质和程序产品； 获取待处理 视频中每一视频帧对应的多个模态图像， 对模态 图像进行模态特征提取得到各模态 图像的图像 特征， 在各模态的图像特征空间中确定图像特征 对应的节点， 确定各节点的有效邻居节点， 根据 各节点及其有效邻居节点进行节点聚类得到至 少一个节 点聚类集合， 基于各节 点聚类集合中节 点对应的视频帧， 生成各节点聚类集合对应的视 频内容集合， 确定同一对象 的多个模态对应的视 频内容集合并进行融合， 得到待处理视频中至少 一个对象的处理结果。 本公开能从视频中确定同 一对象的视频内容集合， 提高对视频帧进行处理 的准确性。 权利要求书4页 说明书24页 附图6页 CN 115147754 A 2022.10.04 CN 115147754 A 1.一种视频帧处 理方法， 其特 征在于， 包括： 基于待处理视频， 获取所述待处理视频中每一视频帧对应的多个模态图像， 其中， 相同 视频帧的多个模态图像分别表征视频帧在不同模态下对应的视频内容； 对所述模态图像进行模态特征提取， 得到各模态的模态图像对应的图像特征， 在每个 模态对应的图像特 征空间中确定各模态下的图像特 征对应的节点； 在每个所述图像特征空间中确定各个节点的有效邻居节点， 其中， 节点与其有效邻居 节点互为关联节点， 且若一个节点是另一节点的关联节点， 则所述节点与所述另一节点间 的距离需满足预设的节点关联 条件； 根据各节点和所述节点对应的所述有 效邻居节点， 对各所述图像特征空间中的各所述 节点进行节点聚类， 得到每 个模态下的至少一个节点聚类集 合； 基于各所述节点 聚类集合中节点对应的视频帧， 生成各所述节点 聚类集合对应的视频 内容集合； 确定同一对象的多个模态对应的视频内容集合， 对同一对象对应的所述视频内容集合 进行融合， 得到所述待处 理视频中至少一个对象的处 理结果。 2.根据权利要求1所述的视频帧处理方法， 其特征在于， 所述根据 各节点和所述节点对 应的所述有效邻居节点， 对各所述图像特征空间中的各所述节点进行节点聚类， 得到每个 模态下的至少一个节点聚类集 合， 包括： 根据各节点和所述节点对应的所述有 效邻居节点， 生成以各所述图像特征空间中的各 所述节点 为中心节点、 所述节点对应的所述有效邻居节点 为其他节点的子图； 获取各模态对应的图聚类网络； 对各所述子 图， 分别通过对应模态的所述图聚类网络进行图聚类处理， 得到每个模态 下的至少一个节点聚类集 合。 3.根据权利要求1所述的视频帧处理方法， 其特征在于， 所述根据 各节点和所述节点对 应的所述有效邻居节点， 对各所述图像特征空间中的各所述节点进行节点聚类， 得到每个 模态下的至少一个节点聚类集 合， 包括： 根据各节点和所述节点对应的所述有效邻居节点， 对各所述节点进行节点特征更新， 得到各更新后节点； 基于各所述更新后节点与 所在的图像特征空间内其他更新后节点之间的相似度， 对各 所述图像特征 空间中的各所述更新后节点进 行节点聚类， 得到每个模态下的至少一个节点 聚类集合。 4.根据权利要求3所述的视频帧处理方法， 其特征在于， 所述根据 各节点和所述节点对 应的所述有效邻居节点， 对各 所述节点进行节点特 征更新， 得到各 更新后节点， 包括： 根据各节点和所述节点对应的所述有 效邻居节点， 分别计算各所述节点与对应的所述 有效邻居节点在对应的所述图像特 征空间中的空间距离； 基于各所述空间距离， 确定各 所述节点与对应的所述有效邻居节点之间的关联权 重； 根据各所述节点对应的节点特征、 各所述节点对应的所述有 效邻居节点的节点特征以 及各所述关联权 重进行节点特 征更新计算， 得到各 更新后节点。 5.根据权利要求3所述的视频帧处理方法， 其特征在于， 所述基于各所述更新后节点与 所在的图像特征空间内其他更新后的节点之间的相似度， 对各所述图像特征空间中的各所权　利　要　求　书 1/4 页 2 CN 115147754 A 2述更新后节点进行节点聚类， 得到每 个模态下的至少一个节点聚类集 合， 包括： 基于各所述更新后节点， 在各所述图像特征空间中， 确定预设数量的更新后节点为聚 类簇中心 节点； 获取各所述图像特征空间中的各所述更新后节点与各所述聚类簇中心节点之间的相 似度； 将各所述更新后节点， 划分到对应的目标中心节点所在的聚类簇 中， 其中， 所述更新后 节点与所述对应的目标中心 节点的相似度不低于预设相似度阈值； 基于各所述聚类簇中的更新后节点， 选择各所述聚类簇的新的聚类簇中心节点， 返回 执行所述获取各所述图像特征空间中的各所述更新后节点与各所述聚类簇中心节点之间 的相似度的步骤， 直到满足聚类结束条件为止； 将每个所述聚类簇中的更新后节点， 分别确定为 一个节点聚类集 合。 6.根据权利要求2所述的视频帧处理方法， 其特征在于， 所述获取各模态对应的图聚类 网络之前， 所述方法还 包括： 通过各模态对应的待训练的图聚类网络， 对各样本图像特征空间中的样本子图进行图 聚类处理， 得到每个模态下的至少一个训练节点聚类集合， 其中， 各所述样 本子图标注有参 考聚类集 合结果； 基于各模态下的所述训练节点 聚类集合和所述参考 聚类集合结果， 分别计算各模态对 应的所述待训练的图聚类网络的损失； 根据所述损 失， 对各所述待训练的图聚类网络的网络参数进行调整， 得到各模态对应 的训练后的图聚类网络 。 7.根据权利要求1 ‑6任一项所述的视频帧处理方法， 其特征在于， 所述对所述模态图像 进行模态特 征提取， 得到各模态的模态图像对应的图像特 征， 包括： 通过共享模态特征提取模型的特征映射参数， 将所述模态图像映射到不同模态对应的 模态特征向量空间中， 基于映射结果得到各模态的模态图像对应的图像特征， 所述共享模 态特征提取模型基于多模态图像样本集进 行训练得到， 所述多模态图像样本集包括表征不 同模态下的图像内容的多个样本模态图像。 8.根据权利要求7所述的视频帧处理方法， 其特征在于， 所述通过共享模态特征提取模 型的特征映射参数， 将所述模态图像映射到不同模态对应的模态特征向量空间中之前， 所 述方法还 包括： 获取多模态图像样本集， 所述多模态图像样本集包括表征不同模态下的图像 内容的多 个样本模态图像， 各 所述样本模态图像标注有参 考模态； 通过待训练的共享模态特征提取模型， 对所述多模态图像样本集中的各所述样本模态 图像进行模态特 征提取， 得到各 所述样本模态图像对应的样本图像特 征； 通过模态分类模型， 对各所述样本 图像特征进行模态分类， 得到各所述样本 图像特征 对应的训练模态； 基于各所述样本图像特征的所述训练模态和所述参考模态， 计算所述待训练 的共享模 态特征提取网络的损失； 根据所述损 失， 对所述待训练的共享模态特征提取模型的模型参数进行调整， 得到训 练后的共享模态特 征提取网络 。权　利　要　求　书 2/4 页 3 CN 115147754 A 3