(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210816782.0 (22)申请日 2022.07.12 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 何斌　杨振坤　李刚　陆萍　 王志鹏　周艳敏　朱忠攀　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 陈源源 (51)Int.Cl. B25J 9/16(2006.01) B25J 9/00(2006.01) B25J 19/04(2006.01) G06N 3/04(2006.01) G06T 7/73(2017.01)G06T 7/90(2017.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多源信息融合的机器人抓取方法 和装置 (57)摘要 本发明涉及一种基于多源信息融合的机器 人抓取方法和装置， 方法包括获取待抓取物体的 RGB图像、 光流图像和深度图像； 分别对RGB图像、 光流图像和深度图像进行特征提取， 对应获得各 个特征； 将RGB特征、 光流特征和深度特征输入多 源信息融合模块， 输出获得待抓取物体的融合特 征； 将融合特征输入物体姿态预测模块， 通过物 体姿态预测模块对对待抓取物体进行分类， 并回 归出待抓取物体的抓取位置信息； 根据所预测待 抓取物体的抓取位置信息， 抓取待抓取物体； 根 据触觉传感器感知触觉信息， 判断是否抓取成 功。 与现有技术相比， 本发明充分考虑机器人抓 取的复杂环 境， 有效地提高了机器人对运动物体 的抓取能力， 具有精度高、 鲁棒 性好等优点。 权利要求书2页 说明书5页 附图3页 CN 115256377 A 2022.11.01 CN 115256377 A 1.一种基于多源信息融合的机器人抓取 方法， 其特 征在于， 包括以下步骤： 步骤S1、 获取待抓取物体的RGB图像、 光 流图像和深度图像； 步骤S2、 分别对RGB图像、 光流图像和深度图像进行特征提取， 对应获得RGB特征、 光流 特征和深度特 征； 步骤S3、 将RGB特征、 光流特征和深度特征输入多源信息融合模块， 输出获得待抓取物 体的融合特 征； 步骤S4、 将融合特征输入物体姿态预测模块， 通过物体姿态预测模块对对待抓取物体 进行分类， 并回归出待抓取物体的抓取位置信息； 步骤S5、 根据所 预测待抓取物体的抓取位置信息， 抓取待抓取物体； 步骤S6、 根据触觉传感器感知触觉信息， 判断是否抓取成功。 2.根据权利要求1所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述 步骤S1中， 通过视觉传感器获取包含待抓取目标的RGB图像、 光流图像和深度图像， 视觉传 感器设置于机器人操作 平台正前方的一定高度处， 视觉传感器的角度使其能够拍摄到包含 整个操平台的场景图像。 3.根据权利要求1所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述 步骤S2中， 首先将RGB图像、 光流图像和深度图像 分别输入到具有相同结构的特征提取网络 中， 然后通过 特征提取网络分别提取RGB特 征、 光流特征和深度特 征。 4.根据权利要求3所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述 特征提取网络包括多个密集短连接单元， 每个密集短连接单元由一个1 ×1卷积、 一个密集 短连接模块和一个1 ×1卷积按顺序 组成， 所述密集短连接模块由拆分模块、 短连接模块和 特征聚合模块 三个子模块组成。 5.根据权利要求1所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述 步骤S3中， 将RGB特征、 光流特征和深度特征送入多源信息融合模块， 获得待抓取物体的融 合特征； 所述多源信息融合模块的实现过程如下： A1、 将RGB特征R、 光流特征Z和深度特征D进行逐像素求和操作， 逐像素求和操作的输出 W可以由下式计算： A2、 将逐像素求和操作的输出W送入残差模块， 残差模块的输出 特征P可以由下式计算： P＝Fresidual(W)+W 式中， Fresidual为残差函数； A3、 残差模块的输出特征P别前馈到一个卷积核大小为1 ×1的卷积层和一个池化层中， 多源信息融合模块的最终输出E可以由下式计算： E＝Fconvpool(P) 式中， Fconvpool表示1×1的卷积层和池化层。 6.根据权利要求1所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述 步骤S4中， 将多源信息融合模块输出 的融合特征输入物体姿态预测模块， 通过物体姿态预 测模块对对待抓取物体进行分类， 并回归出待抓取物体的抓取位置信息； 所述待抓取物体 的抓取位置信息包括 抓取框中心点 坐标、 抓取框 宽度、 抓取框高度和抓取框 旋转角度。 7.根据权利要求6所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述权　利　要　求　书 1/2 页 2 CN 115256377 A 2物体姿态预测模块包括目标检测器和抓取检测器两个分支， 目标检测器用于获取待抓取物 体的类别分类信息， 使用的损失函数为交叉熵损失函数； 抓取检测器用于获取待抓取物体 的抓取位置信息， 使用的损失函数为平 滑L1损失函数。 8.根据权利要求1所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述 步骤S5中， 根据进入抓取范围的待抓取物体的定位信息， 调整机器人的抓取姿态执行抓取 操作。 9.根据权利要求1所述的一种基于多源信 息融合的机器人抓取方法， 其特征在于， 所述 步骤S6中， 根据触觉传感器感知触觉信息， 判断是否抓取成功： 若抓取成功， 则结束流程； 若 抓取失败， 则返回步骤S5继续执 行。 10.一种基于多源信息融合的机器人抓取装置， 其特征在于： 包括主控制计算机、 机械 臂、 机械手、 储物平台、 待抓取物体、 RGB ‑D深度相机和RGB ‑D深度相机固定支架； 所述机械手 内部安装有用于实时反馈抓取状态、 控制 夹紧力的触觉传感器； 所述主控制计算机用于执 行如权利要求1～ 9任一所述的基于多源信息融合的机器人抓取 方法。权　利　要　求　书 2/2 页 3 CN 115256377 A 3