(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211092343.6 (22)申请日 2022.09.08 (65)同一申请的已公布的文献号 申请公布号 CN 115205356 A (43)申请公布日 2022.10.18 (73)专利权人 广州易道智慧信息科技有限公司 地址 510000 广东省广州市天河区灵山 东 路7号1509室 (72)发明人 李博　郑泽胜　朱万锦　杨丹媚　 (74)专利代理 机构 广州帮专高智知识产权代理 事务所 (特殊普通合伙) 44674 专利代理师 颜德昊 (51)Int.Cl. G06T 7/33(2017.01) G06T 7/593(2017.01)G06T 7/73(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112734776 A,2021.04.3 0 CN 114282649 A,202 2.04.05 CN 111243033 A,2020.0 6.05 US 2017046840 A1,2017.02.16 Jun Fu et al. “Dual Attention Network for Scene Segmentati on”. 《https:// arxiv.org/abs/1809.02 983》 .2019, 张青哲等.“基于对极约束的双目立体 视觉 标定精度评价方法 ”. 《激光与光电子学进 展》 .2019,第5 6卷(第23期), 审查员 于芝枝 (54)发明名称 一种基于双目立体视觉的实训平台快速调 试方法 (57)摘要 本发明提出了一种基于双目视觉的实训平 台快速安装调试方法， 包括如下步骤： 双目立体 视觉快速标定； 利用改进 的轻量化yolo  v5网络 对实训平台上各个模块进行定位， 并利用立体匹 配方法获取目标区域的点云； 实训平台各个模块 的点云配准； 针对基准实训平台的各个模块的位 置进行误差调试。 通过双目立体视觉定位系统对 实训平台各个模块进行高精度快速识别和定位 得出实训平台上各个模块的三维位姿信息， 并对 调试过程中的各个模块进行实时位置纠偏信息 反馈， 指导调试人员的安装误差， 从而提高实训 平台的调试效率、 缩短调试时间、 降低调试成本、 达到快速出货的目的。 权利要求书2页 说明书7页 附图3页 CN 115205356 B 2022.12.30 CN 115205356 B 1.一种基于双目立体视 觉的实训平台快速调试 方法， 其特 征在于， 包括以下步骤： 双目标定， 对双目视 觉系统中的单目相机相对位置进行 标定矫正； 在Yolo v5网络中加入双注意力模型， 设计轻量 化Yolo v5网络； 制作实训平台模块位置数据集， 所述模块位置数据集包括通过双目视觉系统拍摄的实 训平台的第一特 征图和第二特 征图； 将所述实训平台模块位置数据集输入所述轻量化Yolo  v5网络， 定位所述实训平台上 各个模块的目标区域； 通过立体匹配方法对所述目标区域进行特征点提取操作， 以获取第 一特征点集和第 二 特征点集； 通过欧氏距离匹配操作对第 一特征点集和第 二特征点集进行特征点匹配， 从而得到匹 配点对， 对所述匹配点对进行极性约束判定； 根据三角成像原理， 使用特 征匹配点对计算公式计算出 所述目标区域的待配点云； 通过使用截断ICP方法对所述待配点云进行点云配准操作， 使所述待配点云呈升序排 列并取前半的所述待配点云的残差平方和最小， 包括以下步骤： 利用截断系 数来选择符合 要求的匹配点对； 利用广义最小二乘法来解匹配点集之间的刚体变换； 利用所述刚体变换 更新所述截断系数； 利用更新后的截断系数选择符合要求的匹配点对； 配准后的点云与预设置的模板点云对比， 获取各个安装模块的偏移误差， 将所述偏移 误差导入可视化软件中， 以输出指导调试信息 。 2.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于， 所 述双目标定中， 还 包括： 所述双目视 觉系统中的左、 右单目相机拍摄一系列棋盘 格标定板图像； 用Harris角点检测方法寻找所述棋盘 格标定板图像中的角点信息； 根据所述角点信息拟合出左、 右单目相机的内部参数和外 部参数； 将所述左、 右单目相机采集到的图像通过内参矩阵进行相机坐标转换， 通过旋转矩阵 相乘， 得到所述左、 右单目相机新的坐标系,通过左右相机的去畸变操作对左右相机进行畸 变矫正， 并对图像进行左、 右单目相机的极线验证。 3.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于： 所 述双注意力模型包括 通道注意力模块以及位置注意力模块； 将所述双注意力模型加入Yolo  v5网络的backbone和neck中， 以获得所述轻量化Yolo   v5网络。 4.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于： 截 断ICP求解刚性变换的步骤 包括 构建残差度量 函数； 利用K‑D树加速遍历求出 所述模板点云和所述待配点云的最邻近点对； 利用截断系数求出满足要求的最邻近点对； 使用SVD法根据满足要求的最邻近点对求出刚性变换。 5.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于： 所 述立体匹配方法为通过SURF特征点算子进在所述目标区域进 行搜索， 以获得所述第一特征 点集和第二特 征点集。权　利　要　求　书 1/2 页 2 CN 115205356 B 26.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于： 所 述设计轻量化Yolo  v5网络还包括采集实训平台俯视样本图数据集构建样本数据集， 通过 所述样本数据集训练所述轻量 化Yolo v5网络。 7.根据权利要求3所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于： 所 述通道注意力模块为是一个Residual+Attention的结构， 对特征图A分别做Reshape与 Transpose， 分别得到特征图R1和特征图RT1， 将特征图R1和特征图RT1相乘通过softmax得 到通道注意力 特征图X， 将特征图X和特征图A进行乘积再乘尺度系数再将其进行Reshape， 变为原来的形状， 最后与特 征图A相加得到 输出特征图E。 8.根据权利要求3所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于： 所 述位置注意力模块是一个Residual +Attention的结构， 特征图A分别通过3个卷积核进行卷 积得到3个特征图B、 特征图C、 特征图D， 然后将特征图B进行Reshape和Transpose与特征图C   进行Reshape后的矩阵进行乘积， 并进行softmax得到特征图S， 把特征图S与特征图D进行   Reshape后的矩阵进行乘积再乘尺度系数后进行Reshape， 变为原来的形状， 最后与特征图A 相加得到最后的输出 特征图E。 9.根据权利要求1所述的基于双目立体视觉的实训平台快速调试方法， 其特征在于： 所 述实训平台模块 位置数据集包括： 拍摄所述模块的随机摆放 位置的照片； 以及 拍摄所述实训平台上机器人采取不同姿态的照片。权　利　要　求　书 2/2 页 3 CN 115205356 B 3