(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210812293.8 (22)申请日 2022.07.11 (71)申请人 西安电子科技大 学广州研究院 地址 510555 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 (72)发明人 刘晓涛　黎千里　刘静　 (74)专利代理 机构 广州大象飞扬知识产权代理 有限公司 4 4745 专利代理师 李妹明 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/00(2017.01) G06T 5/30(2006.01) G06T 5/00(2006.01) G06T 5/50(2006.01) (54)发明名称 一种基于RGBD相机的自适应里程计与优化 关键帧选择方法 (57)摘要 本发明涉及计算机视觉技术领域， 具体的说 是一种基于RGBD相机的自适应里程计与优化关 键帧选择方法， 包括以下步骤， 通过深度相机获 取彩色图M和深度图D， 计算彩色图的模糊程度与 深度图不确定度， 采用点到平面ICP与直接法通 过自适应加权计算当前帧到关键帧相对位置， 判 断当前帧是否满足创建关键帧条件， 满足则转置 步骤4)否则返回步骤1)， 采用图形学方法补全当 前帧深度图D， 得到补全后的深度图， 利用步骤5) 补全的深度图作为参考将上一关键帧和当前帧 之间通过 RGB‑D相机获取的深度图与当前帧深度 图进行自适应加权融合； 本发明能够选择高质量 的关键帧， 充分利用普通帧信息并且 再跟踪过程 中根据图片质量自适应选取可靠的数据进行优 化。 权利要求书4页 说明书10页 附图1页 CN 115272460 A 2022.11.01 CN 115272460 A 1.一种基于RGBD相机的自适应里程计与优化关键帧选择方法， 其特征在于， 包括以下 步骤： 1)通过深度相机获取彩色图M和深度图D； 2)计算彩色图的模糊程度与深度图不确定度； 3)采用点到平面 ICP与直接法通过自适应加权计算当前帧到关键帧相对位置； 4)判断当前帧是否满足创建 关键帧条件， 满足则转置步骤4)否则返回步骤1)； 5)采用图形 学方法补全当前帧深度图D， 得到补全后的深度图； 6)利用步骤5)补全的深度图作 为参考将上一关键帧和当前帧之间通过RGB ‑D相机获取 的深度图与当前帧深度图进行自适应加权融合， 创建并更新关键帧； 7)输出融合后的深度图和彩色图作为关键帧。 2.根据权利要求1所述的一种基于RGBD相机的自适应里程计与优化关键帧选择方法， 其特征在于， 在步骤2)中， 计算彩色图的模糊程度采用The  Blur Effect： Perception  and  Estimation with a New No‑Referenc e Perceptual Blur Metric中提出的方法计算 彩色 图M的模糊程度， 流程如下， 分别利用水平卷积核和垂直卷积核， 对M进行水平和垂直模糊， 水平模糊BVer＝hv*M， 垂直模糊BHor＝hh*M， 分别计 算原图像和水平和竖直模糊图片的绝对 差 分图D_MVer， D_MHor， D_BVer， D_BHor 其中： D_MVer(i， j)＝|M(i， j) ‑M(i‑1， j)| D_MHor(i， j)＝|M(i， j) ‑M(i， j‑1)| D_BVer(i， j)＝|BVer(i， j)‑BVer(i‑1， j)| D‑BHor(i， j)＝|BHor(i， j)‑BHor(i， j‑1)|； 获取原图与模糊图片的差分图片中水平与垂直方向上对应像素点差值分别构造水平 与垂直方向差分图VVer， VHor. VVer＝Max(0， D_MVer(i， j)‑D_BVer(i， j)) VHor＝Max(0， D_MVer(i， j)‑D_BHor(i， j))； 分别计算原 始差分图像和模糊后差分图像 像素差值之和， 计算彩色图M的模糊程度，权　利　要　求　书 1/4 页 2 CN 115272460 A 23.根据权利要求2所述的一种基于RGBD相机的自适应里程计与优化关键帧选择方法， 其特征在于， 在步骤2)中， 计算深度图不确定度的方式为： 对于深度传感器获取的深度图样本， 使用传感器模型和经验模型分别计算深度图的纵 向不确定度， 横向不确定度和表面 不确定度， 计算纵向不确定度 式中d表示该点的深度， f为以像素为单位的焦距， b表示以米为单位的基线长度， m表示 立体匹配误差设置为0.1， 计算表面 不确定度 式中k表示对应点的k， d和di∈k分别表示该点以及邻域内的深度值， n表示邻域内深度值 有效点的个数， 计算横向不确定度 式中θ表示该点和关键帧对应点偏转角， ∈为设定阈值平衡不确定度和偏转角之间关 系， 计算最终获取的深度图对应点 不确定， 度为 δf＝ δzδsδm。 4.根据权利要求1所述的一种基于RGBD相机的自适应里程计与优化关键帧选择方法， 其特征在于， 在步骤3)中， 具体方法为： 定义点到平面ICP能源函数Egeo， 通过RGB ‑D相机获取 的最新深度图数据与关键帧深度数据构造约束， 寻找最优位姿矩阵Tf最小化点到平面的误 差成本项， 式中 表示关键帧顶点坐标， Tf为位姿代求位姿 更新量， Tpre为上一迭代过程估计的位 姿初始化为根据匀速运动模 型求得ρTukey表示Tukey损失函数， nk为对应点法向量， 不确定模 型δf＝ δzδsδm， δz， δs， δm分别表示距离不确定度， 表面 不确定度以及测量 不确定度； 构造光度项能源函数， 利用RGB ‑D相机获取的彩色图与关键帧的彩色图光度项梯度构 造约束， 目的是寻找位姿矩阵Tf最小化当前帧和关键帧之间像素梯度误差， 成本函数构建 为权　利　要　求　书 2/4 页 3 CN 115272460 A 3