(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211108395.8 (22)申请日 2022.09.13 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 李宝军　伍泽　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/285(2017.01) G06T 7/73(2017.01) G06T 7/292(2017.01) G06T 7/80(2017.01) G06T 7/593(2017.01)G06T 5/00(2006.01) (54)发明名称 一种基于双目视觉的海上穿梭油船状态监 测与预警的方法 (57)摘要 本发明提供了一种基于双目视觉的海上穿 梭油船状态 监测与预警的方法。 利用棋盘格标定 板对双目相机的内外参数进行标定， 同时对激光 雷达和左相机进行联合标定得到坐标系之间刚 性变换矩阵； 利用实地采集的点云 ‑图像数据构 建油气开采平台 ‑穿梭油轮外输作业场景的深度 估计数据集和三维检测数据集； 训练深度学习算 法， 通过以双目图像的输入对穿梭油船的三维位 姿信息和深度进行估计； 划定相对距离和相对夹 角的安全范围与等级， 根据实时的监测结果发出 相应等级的预 警， 提醒操作员及时做出相应调整 措施， 有效的防止了外输作业时穿梭油船与开采 平台发生碰撞的情况发生。 权利要求书3页 说明书7页 附图5页 CN 115482260 A 2022.12.16 CN 115482260 A 1.一种基于双 目视觉的对海上穿梭油船状态监测与预警的方法， 其特征在于， 步骤如 下： 步骤1， 双目相机内外参标定， 激光雷达和双目相机联合标定， 获得激光雷达坐标系、 相 机坐标系和图像坐标系之间的变换矩阵； (1.1)制作棋盘格标定板， 使用激光雷达和双目相机对棋盘格标定板进行联合采集， 获 得对于棋盘 格标定板的点云数据和图像数据； (1.2)对点云数据中除棋盘格标定板以外的所有点云进行手动滤除， 得到只含有棋盘 格标定板点云的点云数据； (1.3)使用含有棋盘格标定板的双目图像数据来标定双目相机的内外参数矩阵， 得到 包括相机内参矩阵、 畸变系 数和左、 右相 机坐标系之间刚性变换 的外参旋转矩阵与平移矩 阵； (1.4)由步骤(1.1)得到的图像数据和步骤(1.2)经过滤除处理之后的点云数据进行激 光雷达和双目相机的联合标定， 得到激光雷达坐标系与相机坐标系之 间刚性变换的旋转矩 阵和平移矩阵； 步骤2， 将激光雷达所采集的点云数据通过步骤(1.3)的左相机内参矩阵和步骤(1.4) 得到的激光雷达坐标系到相 机坐标系的变换矩阵， 变换成对应的深度图数据， 构建用于双 目深度估计数据集； (2.1)对实际穿梭油船外输作业工作场景使用激光雷达和双目相机针对穿梭油船进行 联合采集， 并且 对每一帧的点云数据和图像数据进行时间软同步； (2.2)将步骤(2.1)的点云数据通过由通过步骤(1.4)得到的激光雷达坐标系到相机坐 标系的变换矩阵投影到相机坐标系之下； (2.3)将由步骤(2.2)得到的相机坐标系之下的点云数据经过步骤(1.3)得到的相机内 参矩阵， 获取与双目相 机视野范围所对应的点云数据； 将该点云数据从相 机坐标系转换到 图像坐标系当中， 生成激光雷达点云数据在图像中的二维投影， 得到深度图； (2.4)对由步骤(2.3)得到的深度图进行深度补全， 获得稠密连续的深度图， 该深度图 用于构建深度估计数据集； 步骤3， 将步骤(2.1)得到的点云数据对穿梭油船进行三维标注， 标注信息以与步骤 (2.2)同样的方式变换到相机坐标系中表示， 标注信息与双目图像共同构建用于双目三维 检测的数据集； (3.1)对由步骤(2.1)中双目相机采集到的图像数据， 进行数据清洗和筛选， 去除低质 量模糊双目图像数据； (3.2)对由步骤(2.1)中激光雷达采集的点云数据进行穿梭油船三维框的标注， 得到穿 梭油船的类别C， 三维框标注信息包括三维框中心点坐标XO、 YO和ZO， 三维框的长length、 宽 width和高height， 三维框的朝向R'y； (3.3)通过步骤(3.2)得到 的三维框标注信息， 计算三维框8个角点的三维坐标值， X坐 标计算公式如下：权　利　要　求　书 1/3 页 2 CN 115482260 A 2Y坐标计算公式如下： Z坐标计算公式如下： (3.4)将步骤(3.3)得到 的8个角点的三维坐标通过与步骤(2.2)相同的方法变换到相 机坐标系之下； (3.5)由步骤(1.3)获得的双目相机内参矩阵、 畸变系数和外参旋转矩阵与平移矩阵、 步骤(1.4)得到的激光雷达坐标系到相机坐标系的旋转矩阵与平移矩阵和步骤(3.2) ‑ (3.4)系列操作得到的相机坐标系下的穿梭油船三 维框标注信息构成双目三 维检测的数据 集； (3.6)将步骤(3.5)双目三维检测的数据集按照训练集： 验证集： 测试集按比例进行划 分； 步骤4， 基于步骤(2.4)的深度估计数据集和步骤(3.5)的双目三维检测的数据集训练 深度学习算法并且使用该深度学习算法对穿梭油船的深度和三维位姿 进行预测； (4.1)对于步骤(3.5)双目三维检测的数据 集中的双目图像进行特征提取， 得到图像中 穿梭油船的特 征信息； (4.2)由步骤(4.1)得到的特征构造平面扫描体积， 基于平面扫描体积计算匹配损失， 匹配像素i分别在双目 图像的左右图像中的水平距离， 该水平距离 即为视差disp， 构 造基于 视差的计算损失； (4.3)根据步骤(4.2)的视差disp， 将其转换为深度depth数据并计算所有深度候选的 期望， 以步骤(2.4)获得的深度估计数据作为监督信息， 回归出图像每个像素点对应的深度 值； 视差与深度的转换公式为： 式中fx和baseline分别是相机的横向焦距和基线距离， 都是通过步骤(1.4)获得； (4.4)由步骤(1.4)获得的相机内参矩阵包括横向焦距 fx、 纵向焦距 fy和主点实际位置 cu、 cv四个参数， 通过逆三维 投影， 将步骤(4.2)平面扫描体积的最后一个特征映射从相机坐权　利　要　求　书 2/3 页 3 CN 115482260 A 3