(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210684424.9 (22)申请日 2022.06.17 (71)申请人 国网浙江省电力有限公司电力科 学 研究院 地址 310014 浙江省杭州市下城区朝晖八 区华电弄 1号 申请人 国网智能电网研究院有限公司 (72)发明人 朱金华　邵先军　姜凯华　梁云　 张志峰　王少华　李特　王振国　 张永　周啸宇　温典　 (74)专利代理 机构 浙江翔隆专利事务所(普通 合伙) 33206 专利代理师 徐锟 (51)Int.Cl. G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 红外图像与深度图像融合方法、 系统、 装置 及存储介质 (57)摘要 本发明属于电力设备状态 监测技术领域， 具 体涉及一种基于注意力机制的红外图像与深度 图像融合方法及系统。 针对现有电力设备状态识 别方法准确性较低的不足， 本发 明采用如下技术 方案： 一种基于注意力机制的红外图像与 深度图 像融合方法， 应用于预先构建的生成对抗网络， 所述生成对抗网络包括生 成器、 注意力特征提取 模块及判别器， 包括： 获取红外图像和深度图像， 分别进行编码； 对编码后的度图像进行注意力特 征提取， 得到融合图像； 对所述融合图像进行检 测， 得到红外图像细节及深度图像细节。 本发明 的有益效果是： 采用深度图像可以适应图像焦距 差异， 抑制日照、 环境等干扰因素， 兼顾增强重点 区域和保留设备细节信息的要求， 提升设备状态 监测的准确性。 权利要求书2页 说明书5页 附图2页 CN 115100493 A 2022.09.23 CN 115100493 A 1.一种基于注意力机制的红外图像与深度图像融合方法， 其特征在于： 应用于预先构 建的生成对抗网络， 所述生 成对抗网络包括生 成器、 注意力特征提取模块及判别器， 所述方 法包括： 步骤S101、 获取电力设备红外图像和 深度图像， 基于所述生成器， 对电力设备红外图像 和深度图像分别进行编码， 得到编码后的电力设备红外图像和深度图像； 步骤S102、 基于所述注意力特征提取模块， 对所述编码后的电力设备红外图像和深度 图像进行注意力特征提取， 得到电力红外特征和深度图像特征， 将所述电力红外特征和所 述深度图像特 征融合， 得到融合图像； 步骤S103、 采用所述判别器， 对所述融合图像进行检测， 得到所述融合图像的红外图像 细节及深度图像细节。 2.根据权利要求1所述的一种基于注意力机制的红外 图像与深度图像融合方法， 其特 征在于： 步骤S101 中， 所述生成器包括两个数据流， 每个数据流包含3个卷积模块， 每个卷积 模块包括卷积层和ReLU激活函数。 3.根据权利要求1所述的一种基于注意力机制的红外 图像与深度图像融合方法， 其特 征在于： 步骤S102中， 将输入的特征定义为Featurei， 经过全局平均池化操作获得每个特征 的关键值Keyi， 将需融合的图像细节定义为Layer， 将图像细节Layer与关键 值Keyi进行相似 度计算得到 权重系数， 然后将权 重与原始特征相乘， 如下： 基于注意力 机制提升图像中典型特征区域的多尺度感知能力， 然后将特征结合统一解 码过程生成融合图像。 4.根据权利要求1所述的一种基于注意力机制的红外 图像与深度图像融合方法， 其特 征在于： 步骤S103中， 所述判别器是包含卷积的多层网络， 所述判别器有两个， 两个所述判 别器具有相同的网络结构， 所述判别器包含6个卷积模块， 每个模块包含卷积层和 LeakyReLU激活函数。 5.根据权利要求1所述的一种基于注意力机制的红外 图像与深度图像融合方法， 其特 征在于： 步骤S103中， 红外图像细节包括红外强度， 深度图像细节包括距离、 轮廓、 纹理中的 至少一种； 电力 设备包括变电设备和架空线路； 采用红外热像仪或光学变焦红外成像设备 获取红外图像， 采用三维激光扫描仪获取深度图像。 6.一种基于注意力机制的红外图像与深度图像融合系统， 所述系统包括： 编码模块， 用于对电力设备红外 图像和深度图像分别进行编码， 得到编码后的 电力设 备红外图像和深度图像； 注意力特征提取模块， 用于对所述编码后的电力设备红外图像和深度图像进行注意力 特征提取， 得到电力红外特征和深度图像特征， 将所述电力红外特征和所述深度图像特征 融合， 得到融合图像； 判别模块， 用于对所述融合图像进行检测， 得到所述融合图像的红外 图像细节及深度 图像细节。 7.根据权利要求6所述的一种基于注意力机制的红外 图像与深度图像融合系统， 其特 征在于： 所述编码模块包括两个数据流， 每个数据流包含3个卷积模块， 每个卷积模块包括权　利　要　求　书 1/2 页 2 CN 115100493 A 2卷积层和ReLU激活函数； 所述判别模块包括双判别器， 两个判别器具有相同的网络结构， 判 别器是包含卷积的多层网络， 判别器包含6个卷积模块， 每个模块包含卷积层和LeakyReLU 激活函数， 分别检查融合图像中的红外强度以及深度图像细节， 深度图像细节包括距离、 轮 廓、 纹理中的至少一种。 8.根据权利要求6所述的一种基于注意力机制的红外 图像与深度图像融合系统， 其特 征在于： 所述注意力特征提取模块将输入的特征定义为Featurei， 经过全局平均池化操作 获得每个特征的关键值Keyi， 将需融合的图像细节定义为Layer， 将图像细节Layer与关键 值Keyi进行相似度计算得到 权重系数， 然后将权 重与原始特征相乘， 如下： 基于注意力 机制提升图像中典型特征区域的多尺度感知能力， 然后将特征结合统一解 码过程生成融合图像。 9.一种图像融合装置， 其特征在于： 所述图像融合装置包括相连接的存储器和处理器， 所述存储器存储有程序指 令， 所述处理器用于执行所述程序指 令以实现权利要求1至5中任 一所述的图像融合方法。 10.一种计算机可读存储介质， 其特征在于： 所述计算机可读存储介质用于存储程序指 令， 所述程序指令被执 行时实现权利要求1至 5中任一所述的图像融合方法。权　利　要　求　书 2/2 页 3 CN 115100493 A 3