(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210800779.X (22)申请日 2022.07.08 (66)本国优先权数据 202210322429.7 2022.03.30 CN (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 申请人 北京航空航天大 学 (72)发明人 陈伟海　锡林　张桂林　孙崇尚　 张建强　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 肖鹏 (51)Int.Cl. G06V 20/40(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) G06T 7/33(2017.01) G06N 3/04(2006.01) G06V 10/74(2022.01) (54)发明名称 一种隐式运动补偿的视频对象分割方法及 设备 (57)摘要 本发明公开了一种隐式运动补偿的视频对 象分割方法及设备， 属于视频处理技术领域， 用 于解决现有视频处理中的运动补偿网络计算缓 慢， 内容冗余， 对无监督视频对象分割准确性低 的技术问题。 方法包括： 提取待处理视频中的连 续帧， 并通过共享特征编码器， 对连续帧进行特 征提取， 得到嵌入特征； 对嵌入特征进行相似性 矩阵计算， 得到相似矩阵； 对相似矩阵进行归一 化， 得到注意增强特征； 通过每一层的嵌入特征 跳跃连接更高层次进行预测引导， 生成最终特 征； 将中心帧的最终特征与每个相邻帧的最终特 征进行对齐， 得到对齐特征； 对齐特征进行融合， 得到融合特征； 对融合特征进行分割预测， 得到 预测分割掩码， 以通过预测分割掩码对视频对象 进行分割。 权利要求书3页 说明书9页 附图5页 CN 115147765 A 2022.10.04 CN 115147765 A 1.一种隐式运动补偿的视频对象分割方法， 其特 征在于， 所述方法包括： 提取待处理视频中的连续帧， 并通过共享特征编码器， 对所述连续帧进行特征提取， 得 到嵌入特 征； 其中， 所述连续帧包括中心帧以及若干相邻帧； 对所述嵌入特征进行相似性矩阵计算， 得到相似矩阵； 并对所述相似矩阵进行归一化， 得到注意增强特 征； 通过每一层的所述嵌入特 征跳跃连接更高层次进行 预测引导， 生成最终特 征； 将所述中心帧的最终特 征与每个相邻帧的最终特 征进行对齐， 得到对齐特 征； 对所述对齐特 征进行融合， 得到融合特 征； 对所述融合特征进行分割预测， 实现隐式运动补偿的视频对象分割， 得到预测分割掩 码， 以通过 所述预测分割掩码对视频对象进行分割。 2.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法， 其特征在于， 提取待 处理视频中的连续帧， 并通过共享特征编码器， 对所述连续帧进行特征提取， 得到嵌入特 征， 具体包括： 根据 提取所述待处理视频中的预设2N+1个连续帧Ii， 并选取中 间帧为中心帧， 其他帧为相 邻帧； 其中， w*h为所述待处理视频中每一帧图像的空间分辨率， Δt为帧间隔， R为实数， N 为常数， t为时间； 将提取的所述连续帧Ii作为所述共享特征编 码器的输入， 得到嵌入特征 其中l为残差阶段， l∈{2， 3， 4， 5}， s为尺度， s∈{4， 8， 16， 32}， 为关于所述嵌入特征对应 的特征映射通道。 3.根据权利要求2所述的一种隐式运动补偿的视频对象分割方法， 其特征在于， 对所述 嵌入特征进 行相似性矩阵计算， 得到相似矩阵； 并对所述相似矩阵进 行归一化， 得到注意增 强特征， 具体包括： 基于预先构建的关键编码器， 提取 所述连续帧中每一帧的关键特 征； 通过所述关键编码器对所述中心帧和所述相邻帧进行关键映射， 得到关键映射特征 其中， ξθ为主干特征到关键空间的投影头， 为残差阶段l＝5时的所述嵌 入特征； 根据S＝(PT·[Ki])T·(QT·[Ki])， 得到所述连续帧之间的相似矩阵S； 其中， 符号 ·为 串接操作， 以及 均为可训练权重矩阵， R为实数， Ck为维度并且设为 64， PT以及QT为转置矩阵； 通过softmax函数对所述连续帧之间的相似矩阵S行进行归一化， 得到归一化的相似矩 阵 其中， Sr∈[0， 1](w′h′)*(w′h′)， w*h为所述待处理视频中每一帧图像的空 间分辨率， i， n， j为常数； 基于所述归一化 的相似矩阵Sr， 对残差阶段1＝5时的所述嵌入特征 计算加权和， 得 到注意增强特 征 其中， 4.根据权利要求3所述的一种隐式运动补偿的视频对象分割方法， 其特征在于， 所述连权　利　要　求　书 1/3 页 2 CN 115147765 A 2续帧之间的相似矩阵S， 具体包括： 根据S1＝[Ki]T·W·[Ki]， 得到连续帧之间的初始相似矩阵S1； 其中， 为可 训练权重矩阵； 将所述可训练权重矩阵W分解为两个可逆训练权重矩阵 以及 得到所述连续帧之间的相似矩阵S。 5.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法， 其特征在于， 通过每 一层的所述嵌入特征跳跃连接更高层次进 行预测引导， 生 成最终特征， 生成最 终特征， 具体 包括： 根据 得到最终特 征 其中， 为残差阶段； up为幅值为2的双线性插值上采样操作， 为主干特征到关键空间的残差阶段投影头， τ由一个头部卷积层和一个残差块组成， 为第l+1层残差网络的侧面掩码。 6.根据权利要求5所述的一种隐式运动补偿的视频对象分割方法， 其特征在于， 所述方 法还包括： 根据 计算第l层残差网络的侧面掩码 其中， 两个卷积层 与函 数层σ 来预测 侧面掩码实现深度监 督。 7.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法， 其特征在于， 将所述 中心帧的最终特 征与每个相邻帧的最终特 征进行对齐， 得到对齐特 征， 具体包括： 将所述中心帧的最终特征fref与相邻帧的最终特征fnbr{+，‑}进行对准， 得到深度级联层 可学习参数 其中， l∈{1， 2， 3， 4}为深度级联层， τ为卷积 层， 为轻量偏移发生器， [ ·，·]为联级操作， 并且令 根据每一个卷积层都要进行的所述深度级联层可学习参数计算， 得到θ＝{Δpn|n＝ 1， ...， ||R||}； 其中， θ 为采样位置卷积核的可 学习偏移量， R为实数； 通过可变形卷积网络DCN， 将所述中心帧的最终特征与每个相邻帧的最终特征进行对 齐， 得到对齐后特 征 其中， w 为卷积核的权值， p0以及pn为卷积核的采样位置 。 8.根据权利要求1所述的一种隐式运动补偿的视频对象分割方法， 其特征在于， 对所述 对齐特征进行融合， 得到融合特 征， 具体包括： 通过所述中心帧的最终特征fref与连接特性 进行融合， 得到 融合特征f ″＝As(f′)*f′+δθ(As(f′))； 其中， 为所述对齐特征， 为空间注意参数， δθ为一个轻量级编 码器， C为维度， w*h为所述待处 理视频中每一帧图像的空间分辨 率， N为常数；权　利　要　求　书 2/3 页 3 CN 115147765 A 3