(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211091218.3 (22)申请日 2022.09.07 (65)同一申请的已公布的文献号 申请公布号 CN 115187638 A (43)申请公布日 2022.10.14 (73)专利权人 南京逸智网络空间技 术创新研究 院有限公司 地址 210012 江苏省南京市雨 花台区大周 路34号科创城B3栋第 8层及第7层702、 703室 (72)发明人 王梦凡　方效林　杨明　吴文甲　 罗军舟　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陆烨(51)Int.Cl. G06T 7/269(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 李慧 (54)发明名称 一种基于光流遮罩的无监督单目深度估计 方法 (57)摘要 本发明公开了一种基于光流遮罩的无监督 单目深度估计方法， 该方法具体为： 采用深度估 计网络， 对图像帧进行深度估计； 对深度估计网 络进行训练时引入相机位姿估计模型和光流估 计网络； 根据光流估计网络输出的相邻两幅图像 帧之间的光流估计， 对当前帧进行重构， 得到光 流重构图像； 根据相机位姿估计模 型估计出的相 邻两幅图像帧之间的位姿变换矩阵， 对当前帧进 行重构， 得到深度重构图像， 根据深度重构图像 和光流重构图像， 建立损失函数对深度估计网 络， 相机位姿估计模型和光流估计网络进行联合 训练。 本发明提高了深度估计的准确性。 权利要求书2页 说明书7页 附图2页 CN 115187638 B 2022.12.27 CN 115187638 B 1.一种基于光流遮罩的无监督单目深度估计方法， 其特征在于： 该方法具体为： 采用深 度估计网络， 对图像 帧进行深度估计； 对深度估计网络进行训练时引入相 机位姿估计模型 和光流估计网络； 根据光流估计网络输出的视频序列中相 邻两幅图像帧It与It’之间的光流 估计， 对当前帧图像It进行重构， 得到光流重构图像 t’＝t‑1或者t’＝t+1； 根据相机位 姿估计模型估计出 的相邻两幅图像 帧之间的位姿变换矩阵， 对当前帧图像进行重构， 得到 深度重构图像 根据 和 建立损失函数L对深度估计网络， 相机位姿估计模型和光 流估计网络进行 联合训练： L＝ μLp+λLs 其中， λ和 μ均为超参数， Lp为光度损失误差， Ls为平滑度损失； Ls的表达式为： 其中， 表示在当前帧图像 中坐标为(x,y)的像素点的深度归一化的值； 表示对x进 行求导， 为对y进行求 导； Lp的表达式为： 其中， pe(.)的表达式为： 其 中， Ia和Ib分别表示任意两幅图像帧， α为超参数， SSIM(.)为相似度计算函数， Ma的表达式 为： 其中， r为预设的阈值； 所述光流估计网络对训练样本中相邻的两帧图像It和It’进行如下处 理： 步骤1： 在光流估计网络中采用金字塔结构的编码器提取It和It’之间的n个尺度的特征 图像对 表示It的第i个尺度的特征图像； 表示It’的第i个尺度的特征图像， i＝1， 2， ...， n； 步骤2： 在光流估计网络的金字塔结构的解码器中包括n个编码器模块和n个上采样模 块， 当i＝1时， 将 和 输入至第一个编码器模块中,得到 和 之间的运动光流 将 和 输入至第 一个上采样模块中， 得到 和 之间的上采样光流 ； 当n＞i＞1时， 将 和第i‑1个上采样模块输出的上采样光流 输入至第i个编码器模块， 得到 和 之间的运动光流 将 和 输入至第i个上采样模块， 得到 和 之间的上采样 光流 当i＝n时， 将 和第n‑1个上采样模块输出的上采样光流 输入至第n个编 码器模块,得到 和 将It和It’输入至卷积模块， 采用第n个上采样模 块对卷积模块的输出和运动光 流 进行上采样， 输出最终的光 流估计；权　利　要　求　书 1/2 页 2 CN 115187638 B 2所述步骤2中， 针对第i个尺度的特 征图像对 和运动光 流 相应的上采样模块进 行如下处 理： 步骤2.1： 采用双线性插值的方式提高 的分辨率得到初始光 流 其中， p表示初始光流 中任意像素点的坐标， N(p/s)表示光流 中与点p/s相邻的 四个像素点， s是比例放大率， ω(p/s， k)为双线性插值的权重； 表示像素点p的初始 光流值， 表示光流 中像素点 k的光流值； 步骤2.2： 采用编码器计算得到 和 之间的插值流 采用插值流 对初始光流 进行翘曲变换 得到光流 其中， N(d)表示初始光流 中与像素点d相邻的四个像素点， 表示初始光流 中像素点 k’的光流值， 表示像素点p的插值 流， ω(d， k ’)表示权重； 步骤2.3： 根据如下公式将 和 进行融合， 得到相应的上采样模块的输出 其中， 表示插值映射， ⊙表示乘积。 2.根据权利要求1所述的一种基于光流遮罩的无监督单目深度估计方法， 其特征在于： 所述深度估计网络采用ResNet网络 。权　利　要　求　书 2/2 页 3 CN 115187638 B 3