(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210798046.7 (22)申请日 2022.07.08 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 沈佳慧　薛博文　赵燕飞　茹明明　 黄浩杨　宋乐　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 刘子文 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/194(2017.01) G06T 7/73(2017.01) G06T 5/50(2006.01) (54)发明名称 一种图像校正与视差估计相融合的深度估 计方法 (57)摘要 本发明公开一种图像校正与视差估计相融 合的深度估计方法， 包括在 待测目标物一侧设置 相机阵列， 获得各相机与中心相机间的旋转矩阵 与平移向量； 通过目标识别将每个相机所获取图 像中的待测目标物进行分割， 并将背景黑色处 理； 之后对待测目标物的图像进行预处理操作； 采用SuperGlue匹配算法完成中心相机视角下图 像与其他相机视角下图像的特征点匹配工作； 对 每组特征匹配点进行坐标转换； 根据视差与 深度 之间的三角几何关系， 结合平移向量， 对每组特 征匹配点进行重聚焦操作； 根据可靠度因子的计 算式求得每组特征匹配点的可靠度因子的大小， 根据可靠度因子的大小依次对每组特征匹配点 的深度估计质量进行评价， 实现对深度估计精度 的提升。 权利要求书3页 说明书7页 附图2页 CN 115063394 A 2022.09.16 CN 115063394 A 1.一种图像校正与视 差估计相融合的深度估计方法， 其特 征在于， 包括： S1.在待测目标物一侧设置相机阵列， 利用相机阵列捕获待测目标物的图像， 选取相机 阵列中的一个相 机作为中心相 机， 通过双目标定， 获得各相 机与中心相 机间的相对位置关 系， 求得相机间的旋转矩阵与平 移向量； S2.通过目标识别将每个相机所获取图像中的待测目标物进行分割， 并将图像中除待 测目标物外的区域进行黑色处 理； 之后对待测目标物的图像进行 预处理操作； S3.采用SuperGlue匹配算法完成中心相机视角下图像与其他相机视角下图像的特征 点匹配工作得到特征点对， 特征点对是指中心相机与其他相机中表示同一物点的一对特征 点， 设定所有相 机所获取待测目标物中同一物点所对应的特征点对为一组特征匹配点， 记 录下每组特征匹配点的视角标号(i,j)及其像素坐标p(u,v)， 并保存每组特征匹配点中每 个特征点对在匹配过程中得到的置信度大小αi； S4.将阵列相机获得的每组特征匹配点的像素坐标p通过内参矩阵转换得到相机坐标 系下的坐标Pc， 基于旋转矩阵对坐标Pc进行旋转变换得到坐标P ′c， 再用内参矩阵将坐标P ′c 重新转换成像素坐标p ′； S5.根据视差与深度之间的三角几何关系， 结合平移向量， 对每组特征匹配点进行重聚 焦操作； S6.根据可靠度因子的计算式求得每组特征匹配点的可靠度因子的大小， 根据可靠度 因子的大小依次对每组特征匹配点的深度估计质量进行评价， 实现对深度估计精度 的提 升。 2.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法， 其特征在于， 步骤S1中， P00＝R(ij,00)(Pij‑T(ij,00))    (1) 式中， P00表示点P在(0,0)号相机即中心相机坐标系中的坐标， Pij表示点P在(i,j)号相 机坐标系中的坐 标， R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵， T(ij,00) 为(i,j)号相机与中心相机间的平 移向量。 3.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法， 其特征在于， 步骤S4中， Pcij'＝R(ij,00)Pcij    (2) T(ij,00)'＝R(ij,00)T(ij,00)     (3) 式中， P′cij为变换后点P在(i,j)号相机坐标系中 的坐标， Pcij表示点P在(i,j)号相机坐 标系中的坐标， R(ij,00)为(i,j)号相机与中心相机即(0,0)号相机间的旋转矩阵， T(ij,00)为 (i,j)号相机与中心相机间的平移向量； T(ij,00)′＝[ΔX(ij,00)′,ΔY(ij,00)′,ΔZ(ij,00)′]， 为 变换后各相机坐标系与中心相机坐标系间的平移向量， ΔX(ij,00)′、 ΔY(ij,00)′、 ΔZ(ij,00)′分 别表示变换后的各相机坐标系与中心相机坐标系在x、 y、 z方向上的平 移量。 4.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法， 其特征在于， 步骤S5中， uij”(sn)＝uij'‑snfxijΔX(ij,00)'   (4) vij”(sn)＝vij'‑snfyijΔY(ij,00)'     (5) 式中， sn表示第n个聚焦度， u ″ij(sn)和v″ij(sn)分别表示重聚焦过程中聚焦度为sn时的权　利　要　求　书 1/3 页 2 CN 115063394 A 2像素横、 纵坐标， u ′ij(sn)和v′ij(sn)的像素坐标平移量大小与sn成正比， fxij和fyij分别表示 (i,j)号相机在x方向和y方向上的以像素为单位表示的等效焦距， uij′和vij′分别表示变换 后的特征匹配点的像素坐标， ΔX(ij,00)′和ΔY(ij,00)′分别表示变换后的各相机坐标系与中 心相机坐标系在x、 y两个方向上的平移量； 确定特征匹配点的像素坐标在设定聚焦度下 的 最小方差值， 并求得像素坐标方差值最小时的聚焦度s0； 则该特征匹配点对应物点处的深 度值Z为 5.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法， 其特征在于， 步骤S6中， 可靠度因子的计算式为： 式中， Q是可靠度因子， αi(i＝1,2, …,m‑1)表示每组特征匹配点中各特征点对的置信度 大小， 当每组特征匹配点有m个相 机成功匹配时， 产生m ‑1个特征点对， V(u,v,s0)是每组特 征匹配点重聚焦过程中的最小方差值， km为匹配个数为m时的置信概率， km的大小与每组特 征匹配点对应的物点在M个视角下成功匹配的数量m有关。 6.根据权利要求1所述一种图像校正与视差估计相融合的深度估计方法， 其特征在于， 步骤S2中， 预处理操作包括中值滤波和超分辨处理， 通过步骤S2实现缩小图像的处理范围 并获得更清晰的图像。 7.一种图像校正与视差估计相融合的深度估计方法的应用， 其特征在于， 应用于光场 图像处理、 机载遥感 成像、 光学缺陷在线检测。 8.一种图像校正与视 差估计相融合的深度估计装置， 其特 征在于， 包括： 相机阵列单 元， 用于捕获待测目标物图像； 标定单元， 用于获得相机 阵列中各相机与中心相机间的相对位置关系， 并得到相机间 的旋转矩阵与平 移向量； 处理单元， 用于将每个相机所获取图像中的待测目标物进行分割， 将待测目标物的背 景黑色处 理； 并对待测目标物的图像进行 预处理操作； 特征匹配单元， 用于将中心相机视角下图像与其他相机视角下图像的特征匹配点进行 匹配， 并记录下每组特征匹配点的视角标号(i,j)及其像素坐标p(u,v)， 并保存每组特征匹 配点在匹配过程中得到的置信度大小αi； 特征匹配点校正单元， 用于对特征匹配点进行坐标变换， 并校正各相机间的旋转矩阵 误差， 得到用于 重聚焦单 元的新的平 移向量； 重聚焦单元， 用于对每组特征匹配点进行重聚焦操作， 并求得重聚焦过程中方差值最 小时的深度估计结果； 评价单元， 用于根据可靠度因子对每组特征匹配点的深度估计质量进行评价， 实现对 深度估计精度的提升 。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求1至6任一项所述图像校正权　利　要　求　书 2/3 页 3 CN 115063394 A 3