(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210873181.3 (22)申请日 2022.07.22 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 王飞　芦明磊　郭宇　党政　 张雪涛　邱钧宁　冯新健　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 房鑫 (51)Int.Cl. G06T 7/73(2017.01) G06F 17/16(2006.01) G06N 20/00(2019.01) G06T 17/20(2006.01) (54)发明名称 一种6D位姿估计数据集制作方法、 装置及系 统 (57)摘要 本发明公开了一种6D位姿估计数据集制作 方法、 装置及系统， 属于人工智能领域， 包括获取 制作目标物体的信息； 将制作目标物体的信息构 建为转换矩阵， 结合若干个物体在n个场景下拍 摄的数据， 生成目标物体的三维模型； 采集若干 个物体在目标物体的三维模型场景下的图像信 息， 并通过机械视觉联合定位算法进行自动化6D 位姿标注。 优化了现有的数据集进行建模的方 法， 大大降低了重建模型的误差。 通过将制作目 标物体的信息构建为转换矩阵， 可提升三维模型 精度和纹理染色质量， 机械视觉联合定位算法进 行自动化6D位姿标注， 在实现自动标注的同时提 高标注精度， 获得更高质量的数据集。 权利要求书2页 说明书10页 附图2页 CN 115147490 A 2022.10.04 CN 115147490 A 1.一种6D位姿估计数据集制作方法， 其特 征在于， 包括： 获取制作目标物体的信息； 将制作目标物体的信 息构建为转换矩阵， 结合若干个物体在n个场景下拍摄的数据， 生 成目标物体的三维模型； 采集若干个物体在目标物体的三维模型场景下的图像信 息， 并通过机械视觉联合定位 算法进行自动化6D位姿标注。 2.根据权利要求1所述的一种6D位姿估计数据集制作 方法， 其特征在于， 获取制作目标 物体的信息为系统性标定包括深度相机与RGB相 机的标定、 场景各个位置标定以及深度相 机系统误差标定 。 3.根据权利要求2所述的一种6D位姿估计数据集制作方法， 其特征在于， 深度相机与 RGB相机的标定过程 为： S1： 利用深度相机专门配备的标定软件进行深度相机的标定， 得到深度相机的内参； S2： 深度相机和RGB相机同时拍摄n张标定板不同位姿的图片， 利用OpenCV对RGB相机内 参和外参进行计算， 并利用PNP算法计算每张图下深度相机的外参 值； S3： 采用深度相机 外参集合/RGB相机 外参集合， 得到两个相机间的转换矩阵集 合： 其中， Γrgb为RGB相机外参集合， Γdepth为深度相机外参集合， Γtran为两个相机间的转 换矩阵集合， 为各场景中RGB相机的外参， 为各场景中深度相机的外参， 为各场景 中RGB相机和深度相机之间的转换矩阵。 4.根据权利要求2所述的一种6D位姿估计数据集制作 方法， 其特征在于， 场景各个位置 的标定过程 为： S4:拍摄对应的棋盘格标定板图片， 采用PNP的方法计算出此 时相机坐标系和基准坐标 系之间的转换矩阵； S5： 将各个场景 下采集的点云从相机坐标系转换到基准 坐标系， 实现多视点 点云融合。 5.根据权利要求2所述的一种6D位姿估计数据集制作 方法， 其特征在于， 深度相机系统 误差的标定过程 为： S6： 将标定板中心点设置为基准坐标系原点， 通过PNP算法将场景点云转换到基准点 云； S7： 矫正转换到基准 点云的场景点云。 6.根据权利要求1所述的一种6D位姿估计数据集制作 方法， 其特征在于， 将制作目标物 体的信息构建为转换矩阵， 结合若干个物体在n个场景下拍摄的数据， 依次通过点云预处 理、 多视点点云融合、 完整点云拼接、 三维模型生成、 纹理信息优化实现模型生成目标物体 的三维模型。 7.根据权利要求6所述的一种6D位姿估计数据集制作 方法， 其特征在于， 点云预处理过 程为：权　利　要　求　书 1/2 页 2 CN 115147490 A 21)采用粗 糙的矩形包围框进行基于空间坐标的滤波， 可以显示减少无效点数量； 2)利用基于k近邻平均距离方差的原理进行 滤波； 完整点云拼接过程 为： 3)对物体在正 放和倒放状态下的点云进行分别融合； 4)将两个点云进行拼接获取完整的点云模型； 纹理信息优化 拼接过程 为： 5)通过制作目标物体的信息构建的转换矩阵计算出物体模型从基准坐标系到各场景 下的RGB相机坐标系的转换矩阵； 6)通过RGB相机坐标系的转换矩阵计算得到该场景下属于物体三维模型的可见点在高 分辨率RGB图像上投影的2D坐标点； 7)利用双线性插值的方式求解出三维点对应的RGB值， 通过多个可见视点融合， 优化物 体表面纹 理信息并且 采用二次染色、 光照补偿的方法进行纹 理增强。 8.根据权利要求1所述的一种6D位姿估计数据集制作 方法， 其特征在于， 所述通过机械 视觉联合定位算法进行自动化6D位姿标注为采用机械臂进行拍摄， 实现自动化位点生成； 且机械视觉联合定位为： 在拍摄任务前， 通过对机械臂进行手眼标定， 得到相机坐标系到机 械臂末端的转换矩阵 通过读取机械臂工具包得到机械臂末端到机械臂基坐标系的 转换矩阵 得到机械臂不 同位置Tcam1、 Tcam2相机坐标系之间的转换关系， 根据相机和 末端的相对位置固定， 则有下列公式： 通过该公式计算得到帧与帧之间的转换矩阵 利用标定板进行视觉定位， 实现 帧与帧之间的位姿转换， 从而 进行自动化6D位姿标注。 9.根据权利要求1～8任意一项所述的一种6D位姿估计数据集制作方法的装置， 其特征 在于， 包括： 深度相机、 机械臂(2)、 RGB相机和转台(4)； 机械臂(2)设置在用于承载目标物体 的转台(4)一侧， RGB相机和深度相机均设置在机 械臂上。 10.一种6D位姿估计数据集制作系统， 其特 征在于， 包括： 信息获取模块， 用于获取制作目标物体的信息； 模型构建模块， 用于将制作目标物体的信 息构建为转换矩阵， 结合若干个物体在n个场 景下拍摄的数据， 生成目标物体的三维模型； 位姿标注模块， 用于采集若干个物体在目标物体的三维模型场景下的图像信息， 并通 过机械视觉联合定位 算法进行自动化6D位姿标注。权　利　要　求　书 2/2 页 3 CN 115147490 A 3