(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210963911.9 (22)申请日 2022.08.11 (65)同一申请的已公布的文献号 申请公布号 CN 115063639 A (43)申请公布日 2022.09.16 (73)专利权人 小米汽车 科技有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十街15号院5号楼6层618 室 (72)发明人 周天宝　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 张丽 (51)Int.Cl. G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) (56)对比文件 CN 114187311 A,2022.03.15 CN 113902915 A,202 2.01.07 CN 114418895 A,202 2.04.29 CN 114092487 A,202 2.02.25 KR 102073873 B1,2020.02.0 5 US 10551845 B1,2020.02.04 US 2020327409 A1,2020.10.15 审查员 亢飞 (54)发明名称 生成模型的方法、 图像语义分割方法、 装置、 车辆及介质 (57)摘要 本公开涉及一种生 成模型的方法、 图像语义 分割方法、 装置、 车辆及介质。 生成模型的方法用 于自动驾驶， 其包括： 获取训练样本， 训练样本包 括待分类样本图像和待分类样本图像对应的标 注结果； 将待分类样本图像输入第一网络， 获得 第一分类结果； 将第一分类结果 分别输入第二网 络和第三网络， 获得第二网络输出的边缘识别结 果和第三网络输出的语义分类结果； 根据待分类 样本图像对应的标注结果、 边缘识别结果和语义 分类结果， 对第一网络、 第二网络和第三网络的 参数进行调整； 在满足预设的训练终止条件时， 根据第一网络的参数和第三网络的参数， 生成图 像语义分割模型。 如此， 提升了图像语义分割模 型边缘分割的能力， 提高了图像语义分割模型的 精准度。 权利要求书2页 说明书11页 附图3页 CN 115063639 B 2022.12.09 CN 115063639 B 1.一种生成模型的方法， 其特 征在于， 所述方法包括： 获取训练样本， 所述训练样本包括待分类样本图像和所述待分类样本图像对应的标注 结果， 所述待分类样本图像对应的标注结果包括用于指示所述待分类样本图像中待分类对 象各自所属类别的类别结果和用于对所述待分类样本图像中的边缘进行提取得到的边缘 提取结果； 将所述待分类样本 图像输入第一网络， 获得第一分类结果， 所述第一网络用于对所述 分类样本图像进行第一次分类； 将所述第一分类结果分别输入第 二网络和第 三网络， 获得所述第 二网络输出的边缘识 别结果和所述第三网络输出的语义分类结果， 所述第二网络用于根据所述第一分类结果对 所述分类样本图像中边缘像素进 行识别， 所述第三网络用于根据所述第一分类结果对所述 待分类样本图像进行第二次分类； 根据所述待分类样本 图像对应的标注结果、 所述边缘识别结果和所述语义分类结果， 对所述第一网络、 所述第二网络和所述第三网络的参数进行调整； 在满足预设的训练终止条件时， 根据所述第一网络的参数和所述第三网络的参数， 生 成图像语义分割模型， 其中， 所述图像 语义分割模型仅包括所述第一网络和所述第三网络 。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述待分类样本图像对应的标注 结果、 所述边缘识别结果和所述语义分类结果， 对 所述第一网络、 所述第二网络和所述第三 网络的参数进行调整， 包括： 根据所述待分类样本 图像对应的标注结果、 所述边缘识别结果和所述语义分类结果， 确定损失函数； 根据所述损失函数对所述第一网络、 所述第二网络和所述第三网络的参数进行调整。 3.根据权利要求2所述的方法， 其特征在于， 所述损失函数包括边缘识别损失函数和语 义分割损失函数； 所述根据 所述待分类样本图像对应的标注结果、 所述边缘识别结果和所述语义分类结 果， 确定损失函数， 包括： 根据所述 边缘提取结果和所述 边缘识别结果， 确定所述 边缘识别损失函数； 根据所述类别结果和所述语义分类结果， 确定所述语义分割损失函数。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述损 失函数对所述第一网络、 所述第二网络和所述第三网络的参数进行调整， 包括： 根据所述边缘识别损失函数、 所述边缘识别损失函数的权重和所述语义分割损失函 数， 确定总损失函数， 其中， 所述 边缘识别损失函数的权 重为大于 0小于1的数值； 根据所述总损 失函数， 对所述第一网络、 所述第二网络和所述第三网络的参数进行调 整。 5.根据权利要求3或4所述的方法， 其特 征在于， 所述 边缘提取结果通过以下 方式确定： 将所述待分类样本图像对应的类别结果输入边缘提取模型， 以得到所述边缘提取模型 输出的边 缘提取结果； 其中， 所述 边缘提取模型为 边缘滤波器， 且所述 边缘滤波器的参数为固定值。 6.一种图像 语义分割方法， 其特 征在于， 包括： 获取待分类图像， 所述待分类图像至少包括 一个待分类对象；权　利　要　求　书 1/2 页 2 CN 115063639 B 2将所述待分类图像输入图像语义分割 模型， 以得到所述图像语义分割 模型输出的分类 结果， 其中， 所述分类结果用于指示所述至少一个待分类对象所属的类别， 所述图像语义分 割模型是根据权利要求1 ‑5中任一项所述方法生成的。 7.一种生成模型的装置， 其特 征在于， 所述装置包括： 第一获取模块， 被配置为获取训练样本， 所述训练样本包括待分类样本 图像和所述待 分类样本图像对应的标注结果， 所述待分类样本图像对应的标注结果包括用于指示所述待 分类样本图像中待分类对 象各自所属类别的类别结果和用于对所述待分类样本图像中的 边缘进行提取 得到的边 缘提取结果； 第二获取模块， 被配置为将所述待分类样本图像输入第 一网络， 获得第 一分类结果， 所 述第一网络用于对所述分类样本图像进行第一次分类； 第三获取模块， 被配置为将所述第一分类结果分别输入第二网络和第三网络， 获得所 述第二网络输出的边缘识别结果和所述第三网络输出的语义分类结果， 所述第二网络用于 根据所述第一分类结果对所述分类样本图像中边缘像素进 行识别， 所述第三网络用于根据 所述第一分类结果对所述待分类样本图像进行第二次分类； 调整模块， 被配置为根据所述待分类样本 图像对应的标注结果、 所述边缘识别结果和 所述语义分类结果， 对所述第一网络、 所述第二网络和所述第三网络的参数进行调整； 生成模块， 被配置为在满足预设的训练终止条件时， 根据所述第一网络的参数和所述 第三网络的参数， 生成图像语义分割模 型， 其中， 所述图像语义分割模型仅包括所述第一网 络和所述第三网络 。 8.一种图像 语义分割装置， 其特 征在于， 所述装置包括： 第四获取模块， 被 配置为获取待分类图像， 所述待分类图像至少包括 一个待分类对象； 第五获取模块， 被配置为将所述待分类图像输入图像语义分割模型， 得到所述图像语 义分割模型输出 的分类结果， 其中， 所述分类结果用于指示所述至少一个待分类对 象所属 的类别， 所述图像 语义分割模型 是根据权利要求1 ‑5中任一项所述方法生成的。 9.一种车辆， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处 理器被配置为： 获取待分类图像， 所述待分类图像至少包括 一个待分类对象； 将所述待分类图像输入图像语义分割 模型， 以得到所述图像语义分割 模型输出的分类 结果， 其中， 所述分类结果用于指示所述至少一个待分类对象所属的类别， 所述图像语义分 割模型是根据权利要求1 ‑5中任一项所述方法生成的。 10.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 该程序指令 被处理器执行时实现权利要求1 ‑6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115063639 B 3