(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221081310 6.8 (22)申请日 2022.07.12 (71)申请人 无锡东如科技有限公司 地址 214029 江苏省无锡市经济开发区高 浪东路999-8-D2-201-2 28 (72)发明人 曹东　 (74)专利代理 机构 苏州国诚专利代理有限公司 32293 专利代理师 陈君名 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/11(2017.01) G06T 7/73(2017.01) G06N 3/04(2006.01) (54)发明名称 一种六自由度视 觉反馈实时运动跟踪方法 (57)摘要 本发明公开了一种六自由度视觉反馈实时 运动跟踪方法， 包括以下操作步骤： 构造图像分 割框架和约束函数， 通过最小化函数实现模型最 优化； 目标物体 分割实时视频双路二分组数据处 理； 视频物体图像分割方法； 图像分割结果双路 输出方法设计与双路并行网络关键点检测匹配， 实现视觉反馈； 根据上述双路并行输出的物体初 始位姿， 实现物体运动跟踪。 本发明所述的一种 六自由度视觉反馈实时运动跟踪方法， 采用视觉 反馈双路并行计算模组实现视频帧图像分割网 络， 分别同步输入视频序列进行图像分割， 实现 对现有最先进方法的显著改进， 相比其他同类方 法具有显著竞争力的运行时间， 解决智能机器人 6D物体位姿与运动跟踪操控实时性需求的问题。 权利要求书5页 说明书14页 CN 115187633 A 2022.10.14 CN 115187633 A 1.一种六自由度视 觉反馈实时运动跟踪方法， 其特 征在于： 包括以下操作步骤： S1： 构造图像分割框架和约束函数， 通过最小化 函数实现模型最优化； S2： 目标物体分割实时视频双路二分组数据处 理； S3： 视频物体图像分割方法； S4： 图像分割结果双路输出 方法设计与双路并行网络关键点检测匹配， 实现视 觉反馈； S5： 根据上述双路并行输出的物体初始位姿， 关联位姿图输出精细优化的当前时刻6D 物体位姿， 实现物体运动跟踪。 2.根据权利要求1所述的一种六自由度视觉反馈实时运动跟踪方法， 其特征在于： 所述 S1步骤中具体包括以下实施步骤： A1： 设定视频系列中的时间序列图像分割数据集， 设视频数据集由大量按照时序排列 的连续图像帧组成， 表示为 表示视 频数据集， 角标I代表集合元素由图像帧构成， 其中gi,i＝1,2, …,n代表视频中n帧连续图 像， hj,j＝1,2, …,q代表对应图像帧背景与前景物体分割标签， 数据集中包含q个标记数据 对和n‑q个未标记数据点； A2： 根据所有提供 的图像分割 数据集 推断未标记图像数据{gq+1,…,gn}的物体分割 标 签 未 标 记 数 据 的 分 割 标 签 推 断 过 程 可 以 概 括 为 算 子 表 示 其中tanh， 即双曲正 切函数， 表达式为tanh(x)＝(ex‑e‑x)/(ex+e‑x)， 指数线性单元(ELU,Exponential  linear  units)， c为正常数， 称为分割标签推断算子， 其 中wij代表编码视频序列中两幅不同图像里的像素数据点(gi,gj)之间的相似性， 其中εi＝ ∑jwij表示对于图像像素点i处的归一化尺度因子， 超参数γ作为算子 前后两项的加 权平衡因子； A3： 基于连续图像帧数据集 运行平滑约束操作， 在分割标签推断算子 中包含两 项和， 其中第一项 针对数据集 中的所有项(1,2, …,n项， 即n帧时 间序列图像)， 包含标注图像和未标注图像数据， 运行该第一项实现像素点对应的平滑约 束， 该运行的计算结果实现了梯度下降法的相似像素点具有接近或近似相同的标签标注 值； A4： 基于数据集 实现聚集约束操作， 在分割标签推断算子 中包含的第二项的 部分针对视频数据集 的前l项， 即1,2, …,l项， 这些项都是包 含已经标注分割标签的图像数据， 在此数据子集上运行是聚集约束操作， 即计算权　利　要　求　书 1/5 页 2 CN 115187633 A 2该过程实现把模型推断值 与真实标签值h进行聚集计算， 具体到 每一个对应的像素点来说就是推断值 与真实标签值hi的距离纠偏， 通过最小化约束实现 最优化， 对偏离的推断观察 值纠偏； A5： 迭代优化分割标签推断算子 运行如下优化过程 具体通 过最小化算法实现， 令 为由wij构造的归一化相似度矩阵， 其中矩阵V和 为特征分解矩阵； 迭代求 解 直到收敛， 迭代过程如 h(0)为系统初始状态， h(0)＝[ h1,h2,…,hn]T是使 用监督标签钳制的标签的初始观察值； 为系统在第k步迭代结果， 系统在第(k+1)步迭 代结果表示 为 其中τ 取值范围0.96 0～0.981。 3.根据权利要求2所述的一种六自由度视觉反馈实时运动跟踪方法， 其特征在于： 所述 S2步骤中具体包括以下实施步骤： B1： 输入视频序列按照时间顺序表示为 其中vi,i＝1,2, …,n 代表视频序列 中按照时序从过去到现在排列的一帧一帧图像， vn代表最新的、 当前时刻的 一帧图像； 只有 这个唯一一个图像帧是有真实值的标注数据， 对应 数据集 中的第一帧(g1,h1)， 中的其他如v2,v3,…,vn属于无监 督数据。 B2： 将视频序列 按照奇偶帧顺序交替划分为A， B两组 和 数据集 中的第一帧 v1作为起始帧， 是唯一具有真实值标注的图像帧， 分配到A， B两组中共有， 第一帧v1被 和 共同拥有都是作为其数据集的起始帧， 具体表示为 以及 v1对应一般视频序列数据集 中的第一项(g1,h1)， v3, v5,…,v2t‑1和v2,v4,v6,…,v2t分别对应一般视频序列数据集 的gq+1,…,gn无监督数据， 其 中t∈N, 为下述统一说明， 设n为正偶数， 当n为正奇数时 通过插值 最后一帧图像对齐； B3： 基于两个GPU的双路并行计算模组实现图像分割网络， 这两个计算模组分别表示为 和 对实时 并 行交 替帧 输 入的 视频 序列 和 分别同步进行图像分割， 分别对应于 和 并行输出包括 两组分割的结果。 4.根据权利要求3所述的一种六自由度视觉反馈实时运动跟踪方法， 其特征在于： 所述 S3步骤中具体包括以下实施步骤： C1： 视频图像分割网络包括A,B两个计算模组， 结构相同， 分别在参数配置完全相同的权　利　要　求　书 2/5 页 3 CN 115187633 A 3