(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210712200.4 (22)申请日 2022.06.22 (65)同一申请的已公布的文献号 申请公布号 CN 114782447 A (43)申请公布日 2022.07.22 (73)专利权人 小米汽车 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十街15号院5号楼6层618 室 (72)发明人 冷汉超　俞昆　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 卢夏子 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/269(2017.01) G06T 7/70(2017.01) G06V 20/58(2022.01)G06K 9/62(2022.01) G06V 10/762(2022.01) (56)对比文件 CN 103366158 A,2013.10.23 JP 2009139324 A,20 09.06.25 CN 111595334 A,2020.08.28 CN 113887400 A,2022.01.04 CN 110235026 A,2019.09.13 CN 102999759 A,2013.0 3.27 CN 112784671 A,2021.0 5.11 CN 103236160 A,2013.08.07 WO 201915 6072 A1,2019.08.15 JP 2008033781 A,20 08.02.14 US 2013242102 A1,2013.09.19 WO 201917437 7 A1,2019.09.19 WO 20190 07258 A1,2019.01.10 吴国星 等.基 于多传感器融合的路面车辆 检测. 《华中科技大 学学报(自然科 学版)》 .2015, 第43卷第25 0-254页. 审查员 柯志江 (54)发明名称 路面检测方法、 装置、 车辆、 存 储介质及芯片 (57)摘要 本公开涉及自动驾驶领域， 具体涉及一种路 面检测方法、 装置、 车辆、 存储介质及芯片， 该路 面检测方法通过获取目标检测路面第一时刻 的 第一图像和第二时刻的第二图像， 以及该第一图 像对应的第一相机参数和该第二图像对应的第 二相机参数； 根据该第一相机参数和该第二相机 参数对该第一图像进行地面位置对齐处理， 以得 到对齐后的目标图像； 根据该第二图像和该目标 图像确定 该第一图像对应的残差光流图； 根据该 残差光流图确定该目标检测路面的检测结果信 息， 这样通过根据残差光流图确定目标检测路面 的检测结果信息， 能够针对未标注过的障碍物实 现有效检测， 也能够针对路面状况 实现精细化粒度的检测， 从而能够有效提高路面障碍物的识别 率。 权利要求书3页 说明书8页 附图3页 CN 114782447 B 2022.09.09 CN 114782447 B 1.一种路面检测方法， 其特 征在于， 包括： 获取目标检测路面第 一时刻的第 一图像和第 二时刻的第 二图像， 以及所述第 一图像对 应的第一相机参数和所述第二图像对应的第二相机参数； 根据所述第 一相机参数和所述第 二相机参数对所述第 一图像进行地面位置对齐处理， 以得到对齐后的目标图像； 根据所述第二图像和所述目标图像获取残差光 流图； 根据所述残差光 流图确定所述目标检测路面的检测结果信息； 所述根据所述第一相机参数和所述第二相机参数对所述第一图像进行地面位置对齐 处理， 以得到对齐后的目标图像， 包括： 根据所述第一相机参数和所述第二相机参数确定目标 单应性矩阵； 根据所述目标 单应性矩阵对所述第一图像进行 单应性变换， 以得到所述目标图像； 在所述根据所述残差光流图确定所述目标检测路面的检测结果信 息之前， 所述方法还 包括： 根据所述第一相机参数和所述第二相机参数确定所述第一时刻到所述第二时刻相机 沿指定方向的目标偏移量； 相应地， 所述 根据所述残差光 流图确定所述目标检测路面的检测结果信息， 包括： 根据所述目标单应性矩阵、 所述目标偏移量和所述残差光流图确定目标比率， 所述目 标比率为所述第一图像中每 个像素中的路面高度与该像素对应深度的比率； 根据所述第一图像对应的所述目标比率确定所述第一图像对应的稠密高度图； 根据所述稠密高度图确定所述第一图像中的检测结果信息 。 2.根据权利要求1所述的路面检测方法， 其特征在于， 所述根据 所述第一图像对应的所 述目标比率确定所述第一图像对应的稠密高度图， 包括： 根据所述目标比率和所述第一相机参数确定所述第一图像对应的目标深度图； 根据所述目标深度图和每个像素对应的所述目标比率确定所述第一图像中每个像素 中的路面高度。 3.根据权利要求1所述的路面检测方法， 其特征在于， 所述检测结果信息包括凹凸区 域， 所述根据所述稠密高度图确定所述第一图像中的检测结果信息， 包括： 根据所述稠密高度图中每个像素对应的路面高度确定所述路面高度大于第 一阈值， 且 小于第二阈值的多个目标像素， 所述第一阈值小于所述第二阈值； 对所述多个目标像素进行聚类处 理， 以得到所述第一图像中路面上的凹凸区域。 4.根据权利要求3所述的路面检测方法， 其特征在于， 所述检测结果信 息包括所述目标 检测路面中凹凸区域的凹凸高度， 所述根据所述稠密高度图确定所述第一图像中的凸凹状 况信息， 还 包括： 获取每个所述凹凸区域内的最大路面高度； 将所述凹凸区域内的所述 最大路面高度作为所述凹凸区域的所述凹凸高度。 5.根据权利要求1至4任一项所述的路面检测方法， 其特征在于， 所述根据所述第二图 像和所述目标图像获取残差光 流图， 包括： 将所述第二图像和所述目标图像作为预设光流估计模型的输入， 以得到所述预设光流 估计模型输出的所述残差光 流图。权　利　要　求　书 1/3 页 2 CN 114782447 B 26.一种路面检测装置， 其特 征在于， 包括： 获取模块， 被配置为获取目标检测路面第一时刻的第一图像和第二时刻的第二图像， 以及所述第一图像对应的第一相机参数和所述第二图像对应的第二相机参数； 对齐模块， 被配置为根据所述第 一相机参数和所述第 二相机参数对所述第 一图像进行 地面位置对齐处 理， 以得到对齐后的目标图像； 第一确定模块， 被 配置为根据所述第二图像和所述目标图像获取残差光 流图； 第二确定模块， 被配置为根据所述残差光流图确定所述目标检测路面的检测结果信 息； 所述对齐模块， 被 配置为： 根据所述第一相机参数和所述第二相机参数确定目标 单应性矩阵； 根据所述目标 单应性矩阵对所述第一图像进行 单应性变换， 以得到所述目标图像； 所述装置还包括： 第三确定模块， 被配置为根据所述第一相机参数和所述第二相机参 数确定所述第一时刻到所述第二时刻相机沿指定方向的目标偏移量； 相应地， 所述第二确定模块， 被 配置为： 根据所述目标单应性矩阵、 所述目标偏移量和所述残差光流图确定目标比率， 所述目 标比率为所述第一图像中每 个像素中的路面高度与该像素对应深度的比率； 根据所述第一图像对应的所述目标比率确定所述第一图像对应的稠密高度图； 根据所述稠密高度图确定所述第一图像中的检测结果信息 。 7.一种车辆， 其特 征在于， 包括： 第一处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述第一处 理器被配置为： 获取目标检测路面第 一时刻的第 一图像和第 二时刻的第 二图像， 以及所述第 一图像对 应的第一相机参数和所述第二图像对应的第二相机参数； 根据所述第 一相机参数和所述第 二相机参数对所述第 一图像进行地面位置对齐处理， 以得到对齐后的目标图像； 根据所述第二图像和所述目标图像获取残差光 流图； 根据所述残差光 流图确定所述目标检测路面的检测结果信息； 所述根据所述第一相机参数和所述第二相机参数对所述第一图像进行地面位置对齐 处理， 以得到对齐后的目标图像， 包括： 根据所述第一相机参数和所述第二相机参数确定目标 单应性矩阵； 根据所述目标 单应性矩阵对所述第一图像进行 单应性变换， 以得到所述目标图像； 在所述根据所述残差光 流图确定所述目标检测路面的检测结果信息之前， 还 包括： 根据所述第一相机参数和所述第二相机参数确定所述第一时刻到所述第二时刻相机 沿指定方向的目标偏移量； 相应地， 所述 根据所述残差光 流图确定所述目标检测路面的检测结果信息， 包括： 根据所述目标单应性矩阵、 所述目标偏移量和所述残差光流图确定目标比率， 所述目 标比率为所述第一图像中每 个像素中的路面高度与该像素对应深度的比率； 根据所述第一图像对应的所述目标比率确定所述第一图像对应的稠密高度图；权　利　要　求　书 2/3 页 3 CN 114782447 B 3