(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210977331.5 (22)申请日 2022.08.15 (71)申请人 南京起源跃动科技有限公司 地址 215000 江苏省南京市栖霞区经济技 术开发区红枫科技园C4 座C412 (72)发明人 李昊燃　 (51)Int.Cl. G06T 17/20(2006.01) G06T 7/73(2017.01) G06T 7/80(2017.01) (54)发明名称 一种基于多视角深度相机和深度学习的无 需穿戴传感器的高精度3 60度全身追踪的方法 (57)摘要 本发明属于计算机视觉三维视觉领域， VR、 AR体感游戏、 全身交互、 全身追踪领域， 具体为一 种基于多视角深度相机和深度学习的无需穿戴 传感器的高精度360度全身追踪的方法； 本发明 具有独特的目标检测及判断模块、 可选的深度学 习的目标检测算法等特征； 本发 明具有无需穿戴 传感器即可实现高精度3 60度全身追踪的优点。 权利要求书1页 说明书5页 附图5页 CN 115359210 A 2022.11.18 CN 115359210 A 1.一种基于多视角深度相机和深度学习的无需穿戴传感器的高精度360度全身追踪的 方法， 其特征在于， 包括： 使用至少两台及以上的深度相机， 且组合角度覆盖360度， 使用骨 骼提取算法根据为每套深度相机获取到的图像数据单独提取出一套骨骼数据， 根据外参将 所有骨骼数据拟合在同一坐标系中， 然后根据判断及检测标定物模块判断返回的结果， 进 行多副骨骼数据对应关节点的切换。 2.根据权利要求1所述的骨骼提取算法， 其特征在于， 可以为基于RGB图像、 基于深度图 像、 或基于点云的骨骼提取算法中的任意 一种或几种的组合。 3.根据权利要求1所述的深度相机， 其特征在于， 所述的深度相机为双目深度相机、 TOF 深度相机、 结构光深度相机、 基于深度学习的单目相机中任意 一种或几种的组合。 4.根据权利要求1所述的标定物， 其特征在于， 放置在对应骨骼数据关节点的标定物， 标定物需至少需要具有高IR反射率或鲜艳RGB色彩或不同的形状中一种或几种特征的组 合。 5.根据权利要求1所述的方法， 其特征在于， 可以不存在判断及检测标定物的模块， 但 需要提取的骨骼数据需要有置信度， 并可以根据骨骼数据各关节的置信度来做骨骼数据切 换。 6.根据权利要求1所述的判断及检测模块， 其特征在于， 包括： 根据标定物色彩和形状 中至少一种特征， 使用预先训练后的基于深度学习的目标检测算法进 行识别来返回判断及 检测结果。 7.根据权利要求1所述的判断及检测模块， 其特征在于， 包括： 根据标定物IR反射率和 形状中至少一种特征， 使用预先训练后的基于深度学习的目标检测算法进 行特征识别来返 回判断及检测结果。 8.根据权利要求1所述的判断及检测模块， 其特征在于， 包括： 根据标定物IR反射率和 是否在对应位置出现， 其需要将 高IR反射标定物最可能出现的位置进行图像截取， 将为每 套深度相机获取到的图像数据单独提取出一套骨骼数据中对应的骨骼点映射到内参矫正 后的IR图像中， 截取中心为对应骨骼点映射的IR图坐标值， 其截取半径由该骨骼点离相机 的远近决定， 离相机越远半径越小， 离相机越近半径越大， 根据截取半径内是否出现明显区 别于环境的高IR反射 率点来返回判断及检测结果。 9.根据权利要求6 ‑7所述的目标检测算法， 其可以替换为任意基于深度学习的目标检 测算法。权　利　要　求　书 1/1 页 2 CN 115359210 A 2一种基于多视角深度相机和深度学习的无需穿戴传感器的高 精度360度全身追踪的方 法 技术领域 [0001]本发明属于计算机视觉三维视觉领域， VR、 AR体感游戏、 全身交互、 全身追踪领域， 具体为一种基于多视角深度相机和深度学习的无需穿戴传感器的高精度360度全身追踪的 方法。 背景技术 [0002]随着机器视觉 的发展， 基于二维机器视觉 的姿态识别方案逐渐普及， 目前有着大 量基于二维相机的开源算法如M ediaPipe、 Blaz ePose、 MoveNet、 PoseNet等可以实现姿态识 别， 但这样的方法由于相机无法获取深度信息， 或只能预测出极不准确的深度信息， 其用于 全身追踪的精度很低。 [0003]除上述方案， 在全身追踪领域还有基于惯性传感器实现360度的全身追踪的方案， 这种方案可追踪的骨骼点数量等于穿戴的传感器数量， 故需要穿戴大量传感器， 该技术方 案使用流程繁琐， 过于专业， 不利于在VR、 AR体感游戏、 全身交互、 全身追踪领域的普及； 但 由于惯性传感器属于间接测量的， 故这种技 术方案会产生累计 漂移， 精度很低。 [0004]除上述方案， 在全身追踪领域还有基于选择扫描光束激光定位系统的空间定位技 术， 如发明专利CN201610638771.2所示， 通过在 身上穿戴多个激光扫描光束接收传感器， 即 时接收到来自两个及其以上 的光塔信号， 通过接 收到的光塔激光的时间差， 可以判断出本 身在空间中所 处的位置， 其可以实现高精度360度的全身追踪， 但是这种方案可追踪的骨骼 点数量等于穿戴的传感器数量， 故需要穿戴大量传感器， 该技术方案使用流程繁琐， 过于专 业， 不利于在VR、 AR体感游戏、 全身交 互、 全身追踪领域的普及。 [0005]除上述方案， 传统机器视觉领域有着光学动捕使用6个及以上的高刷IR相机+ Marker点的技术方案， 其可以实现360度的全身追踪， 但是该技术方案使用成本高， 使用流 程繁琐， 过于专业， 不利于在VR、 AR体感游戏、 全身交 互、 全身追踪领域的普及。 [0006]除上述方案， 还有的基于单深度相机 的全身追踪方案， 其由于可以测出准确的深 度信息， 可以做到高精度的全身追踪； 但现有的技术方案往往只使用单个深度相机的数据， 如Kinect  Body Tracking； 该技术的缺陷是， 单个深度相机只支持正面180度的全身追踪， 但是在现实应用场景中， 如AR、 VR体感游戏领域， 用户稍一转身或者肢体放到身后即会丢失 捕捉， 难以满足 实际应用场景的需求， 无法实现3 60度全身追踪。 [0007]为此， 需要一种能够无需穿戴任何传感器就可以实现高精度360度全身追踪的方 法。 发明内容 [0008]本发明主要提供了一种无需穿戴任何传感器就可以实现 高精度360度全身追踪这 一问题， 具体为一种基于多视角深度相 机和深度学习的无需穿戴传感器的高精度360度全 身追踪的方法， 为了方便读者更好的理解本发明， 以下为本发明详细技 术原理。说　明　书 1/5 页 3 CN 115359210 A 3