(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210205539.5 (22)申请日 2022.03.04 (71)申请人 西安华创马科智能控制系统有限公 司 地址 710117 陕西省西安市高新区上林苑 五路2055号1号楼 (72)发明人 刘永伟　赵金剑　杜磊岐　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 代理人 周永君　董骁毅 (51)Int.Cl. G06T 7/00(2017.01) G06V 20/52(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06N 20/00(2019.01) (54)发明名称 一种井下煤壁片帮预警方法及装置 (57)摘要 本发明提供一种井下煤壁片帮预警方法及 装置， 所述方法包括： 获取目标采煤区域的视频 数据； 将目标采煤区域的视频数据转换为各帧图 片， 并对每帧图片进行图像增强处理， 获得对应 的待识别图片； 根据每帧待识别图片以及煤壁片 帮场景识别模 型， 获得每帧待识别图片上的候选 区域信息； 根据每帧待识别图片上的候选区域信 息以及筛选阈值， 获得每个待识别 区域图片； 根 据每个待识别区域图片以及图像理解模 型， 获得 每个待识别区域图片对应的语句描述； 若根据各 个待识别区域图片对应的语句描述解析获得煤 壁片帮发生场景， 则进行煤壁片帮预警。 所述装 置用于执行上述方法。 本发明实施例提供的井下 煤壁片帮预警方法及装置， 提高了煤矿生产安 全。 权利要求书2页 说明书11页 附图6页 CN 114299067 A 2022.04.08 CN 114299067 A 1.一种井下煤壁片帮预警方法， 其特 征在于， 包括： 获取目标采煤区域的视频 数据； 将所述目标采煤区域的视频数据转换为各帧图片， 并对每帧图片进行图像增强处理， 获得对应的待识别图片； 根据每帧待识别图片以及煤壁片帮场景识别模型， 获得每帧待识别图片上的候选区域 信息， 所述候选区域信息包括各个候选区域的区域坐标和概率值； 其中， 所述煤壁片帮场景 识别模型 是基于历史采煤图片集以及对应的煤壁片帮场景 标签训练获得的； 根据每帧待识别图片上的候选区域信息以及筛 选阈值， 获得每 个待识别区域图片； 根据每个待识别区域图片以及图像理解模型， 获得每个待识别区域图片对应的语句描 述； 其中， 所述图像理解模型 是基于历史区域图片集以及对应的语义标签训练获得的； 若根据各个待识别区域图片对应的语句描述解析获得煤壁片帮发生场景， 则进行煤壁 片帮预警。 2.根据权利要求1所述的方法， 其特征在于， 基于历史采煤图片集以及对应的煤壁片帮 场景标签训练获得煤壁片帮场景识别模型包括： 获取历史采煤图片集， 所述历史采煤图片集中每张历史采煤图片被分割为预设数量个 训练图片区域， 每 个训练区域具有对应的煤壁片帮场景 标签； 基于所述历史采煤图片集中每张历史采煤图片的各个训练图片区域以及各自对应的 煤壁片帮场景 标签对初始模型进行训练， 获得 所述煤壁片帮场景识别模型。 3.根据权利要求1所述的方法， 其特征在于， 所述对每帧图片进行图像增强处理， 获得 对应的待识别图片包括： 获取每帧图片上 各个像素点的暗通道； 根据每帧图片上各个像素点的暗通道、 大气光强度值、 透射率以及暗通道去雾模型， 获 得每帧图片对应的待识别图片； 其中， 所述暗通道去雾模型 是预设的。 4.根据权利要求1所述的方法， 其特征在于， 在根据每帧待识别图片以及煤壁片帮场景 识别模型， 获得每帧待识别图片上的候选区域信息之前， 还 包括： 对每帧待识别图片进行区域滤波。 5.根据权利要求1至4任一项所述的方法， 其特征在于， 基于历史区域图片集以及对应 的语义标签训练获得图像理解模型包括： 获取历史区域图片集， 所述历史区域图片集包括的每张历史区域图片对应一个语义标 签； 根据各张历史区域图片以及对应的语义标签对原始模型进行训练， 获得所述图像理解 模型。 6.一种井下煤壁片帮预警装置， 其特 征在于， 包括： 获取模块， 用于获取目标采煤区域的视频 数据； 预处理模块， 用于将所述目标采煤区域的视频数据转换为各帧图片， 并对每帧图片进 行图像增强处 理， 获得对应的待识别图片； 第一获得模块， 用于根据每帧待识别图片以及煤壁片帮场景识别模型， 获得每帧待识 别图片上 的候选区域信息， 所述候选区域信息包括各个候选区域的区域坐标和概率值； 其 中， 所述煤壁片帮场景识别模型是基于历史采煤图片集以及对应的煤壁片帮场景标签训练权　利　要　求　书 1/2 页 2 CN 114299067 A 2获得的； 第二获得模块， 用于根据每帧待识别图片上的候选区域信息以及筛选阈值， 获得每个 待识别区域图片； 语义解析模块， 用于根据每个待识别区域图片以及图像理解模型， 获得每个待识别区 域图片对应的语句描述； 其中， 所述图像理解模型是基于历史区域图片集以及对应的语义 标签训练获得的； 预警模块， 用于在根据 各个待识别区域图片对应的语句描述解析获得煤壁片帮发生场 景之后， 进行煤壁片帮预警。 7.根据权利要求6所述的装置， 其特 征在于， 还 包括： 第一获取模块， 用于获取历史采煤 图片集， 所述历史采煤 图片集中每张历史采煤 图片 被分割为预设数量个训练图片区域， 每 个训练区域具有对应的煤壁片帮场景 标签； 第一训练模块， 用于基于所述历史采煤图片集中每张历史采煤图片的各个训练图片区 域以及各自对应的煤壁片帮场景标签对初始模 型进行训练， 获得所述煤壁片帮场景识别模 型。 8.根据权利要求6所述的装置， 其特 征在于， 所述预处 理模块包括： 第一获取 单元， 用于获取每帧图片上 各个像素点的暗通道； 第二获取单元， 用于根据每帧图片上各个像素点的暗通道、 大气光强度值、 透射率以及 暗通道去雾模型， 获得每帧图片对应的待识别图片； 其中， 所述暗通道去雾模型 是预设的。 9.根据权利要求6所述的装置， 其特 征在于， 还 包括： 区域滤波模块， 用于对每帧待识别图片进行区域滤波。 10.根据权利要求6 至9任一项所述的装置， 其特 征在于， 还 包括： 第二获取模块， 用于获取历史区域图片集， 每张历史区域图片对应一个 语义标签； 第二训练模块， 用于根据各张历史区域图片以及对应的语义标签对原始模型进行训 练， 获得所述图像理解模型。 11.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的 方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至 5任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114299067 A 3