(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210810325.0 (22)申请日 2022.07.11 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 郑元洲　钱龙　秦世权　刘欣宇　 吕学孟　刘鹏　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 张晓博 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06T 7/80(2017.01)G06T 7/73(2017.01) G06T 7/521(2017.01) G06T 7/00(2017.01) G06T 3/60(2006.01) G06T 3/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种内河船舶识别与测距方法、 系统、 介质、 设备及终端 (57)摘要 本发明属于内河船舶识别与测距 技术领域， 公开了一种 内河船舶识别与测距方法、 系统、 介 质、 设备及终端， 在船舶识别阶段， 以经典YOLO ‑ V4网络模型为基础， 采用MobileNetV1网络取代 YOLO‑V4模型的特征提取网络CSPDarknet53； 在 船舶测距阶段， 建立双目立体视觉测距模型， 采 用FSRCNN网络对原始图像对进行超分辨率重建， 增强船舶特征信息； 使用ORB算法实现在亚像素 级别的特征检测与匹配， 得到图像对间的视差 值， 通过三角测量原理和坐标转换得到船舶目标 的深度信息。 本发明丰富了船舶对航行环境的感 知手段， 提高了内河船舶航行的安全性， 推动了 未来智能船舶的发展， 对于未来智能船舶的发展 具有重要意 义。 权利要求书5页 说明书20页 附图7页 CN 115147723 A 2022.10.04 CN 115147723 A 1.一种内河船舶识别与测距方法， 其特 征在于， 所述内河船舶识别与测距方法包括： 在船舶目标识别阶段， 采用MobileNetV1网络作为YOLO ‑V4模型的特征提取模块； 在船 舶目标测距阶段， 以ORB算法为基础， 提出基于亚像素级别的特征点检测与匹配算法， 采用 FSRCNN算法对原 始图像进行超分辨 率重建。 2.如权利要求1所述的内河船舶识别与测距方法， 其特征在于， 所述内河船舶识别与测 距方法还 包括： 在船舶识别阶段， 以经典YOLO ‑V4网络模型为基础， 采用MobileNetV1网络取代YOLO ‑V4 模型的特征提取网络CSPDarknet53； 在船舶测距阶段， 建立双目立体视觉测距模型， 采用 FSRCNN网络对原始图像对进行超分辨率重建， 增强船舶特征信息； 使用ORB算法实现在亚像 素级别的特征检测与匹配， 得到图像对间的视差值， 通过三角测 量原理和坐标转换得到船 舶目标的深度信息 。 3.如权利要求1所述的内河船舶识别与测距方法， 其特征在于， 所述内河船舶识别与测 距方法包括以下步骤： 步骤一， 构建双目立体视 觉测距模型； 步骤二， 构建相机标定模型； 步骤三， 构建Mobi lenetV1‑YOLOv4船舶识别模型； 步骤四， 进行 船舶特征点检测与匹配。 4.如权利要求3所述的内河船舶识别与测距方法， 其特征在于， 所述步骤一中的双目立 体视觉测距模型的构建包括： 双目立体视觉测距技术通过拟人化的方法感知周围环境的深度， 获取真实世界中目标 的三维信息； 根据三角形测 量原理， 使用两个平行且共面的相 机从不同角度对同一场景进 行拍摄成像， 通过计算图像对间的视差值恢复深度信息； 左、 右相机的光心位置分别为Ol和 Or， OlXlYlZl和OrXrYrZr为左右相机坐标系； b是相机光心Ol和Or之间的水平距离， 称为基线距 离； 相机的焦距为f； 对于三维空间点P(X,Y,Z)， 在左右相机的成像坐标系中的投影点坐标 分别为p(xl,yl)和p(xr,yr)； 将三维模型投影到XOZ平面， 由三角形相似原理得： 计算得： 权　利　要　求　书 1/5 页 2 CN 115147723 A 2式中， xl‑xr称为视差d， 表示点P在左右相 机上对应投影点的偏移量； z为点P的深度值； 在参数f和b确定的情况下， 通过求解目标点在左右相机的像素坐标系下的x或y坐标的差 值， 求得目标点的深度z； 计算所述点在左右相机成像平面的投影点坐标pl(xl,yl)和pr(xr,yr)， 通过坐标系之间 的转换得到所述 点的三维信息， 进 而得到目标点P的深度信息； 所述步骤二中的相机标定模型的构建包括： 根据小孔成像原理可知， 当三维世界坐标系中一点Pw(Xw,Yw,Zw)， 所述点在相机坐标系 中的投影坐标为Pc(Xc,Yc,Zc)， 在图像坐标系中的坐标为P(x,y)， 在像素坐标系中的坐标P (u,v)， Oc为相机光心位置， OcZc为相机光轴； 则Pw(Xw,Yw,Zw)与像素坐标P(u,v)之间的数学 表达式为： 令 称为相机的内参矩阵， 则Pw(Xw,Yw,Zw)与像素坐标P(u,v)之间的 数学表达式化简为： 式中， dx和dy分别表示每个像素在图像平面x和y方向上的物理尺 寸， u0和v0表示图像中心点坐标， R为旋转矩阵， T为平移向量， 两者构成相机的外参矩阵 而相机的外参和内参矩阵均可由相机标定获得。 5.如权利要求3所述的内河船舶识别与测距方法， 其特征在于， 所述步骤三中的 MobilenetV1‑YOLOv4船舶识别模型的构建包括： 以YOLOv4模型为基础构建船舶目标的识别模型， 网络结构由B ackbone、 Neck和Head组 成； YOLOv4网络采用CSPDarknet53作为特征提取的主干网络， 结合跨阶段局部结构CSP和残权　利　要　求　书 2/5 页 3 CN 115147723 A 3