(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221081879 9.X (22)申请日 2022.07.13 (65)同一申请的已公布的文献号 申请公布号 CN 114915772 A (43)申请公布日 2022.08.16 (73)专利权人 沃飞长空科技 （成 都） 有限公司 地址 610000 四川省成 都市 （四川） 自由贸 易试验区成都 高新区天府五街200号5 号楼A区601、 602号 专利权人 浙江吉利控股集团有限公司 (72)发明人 薛松柏　李德　徐大勇　郭亮　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 李俊杰 (51)Int.Cl. H04N 13/122(2018.01)H04N 13/302(2018.01) H04N 13/327(2018.01) H04N 13/383(2018.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/277(2017.01) G06V 10/762(2022.01) G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01) (56)对比文件 CN 111433067 A,2020.07.17 US 20190 59791 A1,2019.02.28 US 2006104487 A1,20 06.05.18 CN 108917 746 A,2018.1 1.30 审查员 冯雪飞 (54)发明名称 飞行器的视景增强方法、 系统、 飞行器及存 储介质 (57)摘要 本发明公开了飞行器的视景增强方法、 系 统、 飞行器及存储介质， 应用于飞行器技术领域， 该方法包括： 接收位移测量装置测量的飞行员的 注视信息； 基于所述注视信息确定远处实景对应 的增强视 景在显示屏上的目标显示位置； 将所述 增强视景显示在所述目标显示位置， 使得所述增 强视景以及所述远处实景视觉匹配。 通过本申请 的技术方案缓解增强视景与远处实景导致的视 觉偏差， 提高飞行安全。 权利要求书2页 说明书14页 附图2页 CN 114915772 B 2022.11.01 CN 114915772 B 1.一种飞行器的视景增强方法， 其特 征在于， 所述飞行器的视景增强方法包括： 接收位移测量装置采集的数据； 基于所述数据进行 人脸检测， 得到目标 人脸； 确定当前视频帧中的目标人脸相对于人脸初始位置的第 一跟踪距离， 所述人脸初始位 置根据所述当前视频帧的上一视频帧得到； 根据所述第一跟踪距离以及卡尔曼滤波器确定所述目标人脸相对于所述人脸初始位 置的第二跟踪距离； 根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值确定飞行员的注视信 息， 所述注视信息包括飞行员的人脸偏移量， 所述位移测 量装置包括线性位移传感器和图 像采集传感器， 所述线性位移传感器安装于所述飞行员的头盔上或者身上， 在根据所述线 性位移传感器测量的数据确定所述飞行员的坐姿发生变化时， 通过所述图像采集传感器采 集图像数据， 根据所述线性位移传感器测量的数据和所述图像采集传感器采集的图像数据 确定所述飞行员的注视信息； 基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示 位置； 将所述增强视景显示在所述目标显示位置， 使得所述增强视景以及所述远处实景视觉 匹配。 2.如权利要求1所述的飞行器的视景增强方法， 其特征在于， 所述数据包括视频数据； 所述基于所述数据进行 人脸检测， 得到目标 人脸的步骤 包括： 将所述视频数据中的各视频帧分别与预设人脸模板进行匹配， 在匹配结果达到预设阈 值时， 从所述视频 数据中提取 所述目标 人脸； 或者， 将所述视频数据中的各视频帧由第一色彩空间转换为第二色彩空间， 将转换为 第二色彩空间的各个所述视频帧输入高斯模型得到肤色似然值， 得到似然度图像， 对所述 似然度图像进行孤立噪声滤波处理以及肤色区域聚类分析， 得到肤色区域， 基于所述肤色 区域确定所述目标 人脸。 3.如权利要求1所述的飞行器的视景增强方法， 其特征在于， 所述根据 所述第一跟踪距 离以及所述第二跟踪距离之间的距离 差值确定所述飞行员的人脸偏移量的步骤 包括： 根据所述第一跟踪距离以及所述第二跟踪距离之间的距离差值得到所述目标人脸在 相机坐标系下的人脸偏移量； 基于所述位移测量装置的阵元尺寸、 焦距大小以及安装位置将所述相机坐标系下的人 脸偏移量 转化为所述目标 人脸的实际人脸偏移量； 将所述实际人脸偏移量确定为所述飞行员的人脸偏移量。 4.如权利要求1所述的飞行器的视景增强方法， 其特征在于， 所述基于所述注视信 息确 定远处实景对应的增强视景在显示屏上的目标显示 位置的步骤 包括： 根据所述飞行员的人脸偏移量确定所述增强视景的偏移量， 根据 所述增强视景在显示 屏上的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏上的目 标显示位置； 或者， 根据所述飞行员的人脸偏移量、 所述远处实景相对于所述显示屏的距离以及所 述飞行员的人脸相对于所述显示屏的距离确定所述增强视景的偏移 量， 根据所述增强视景 在显示屏上 的初始显示位置以及所述增强视景的偏移量确定所述增强视景在所述显示屏权　利　要　求　书 1/2 页 2 CN 114915772 B 2上的目标显示 位置。 5.如权利要求1所述的飞行器的视景增强方法， 其特征在于， 所述基于所述注视信 息确 定远处实景对应的增强视景在显示屏上的目标显示 位置的步骤之前， 还 包括： 采集在不同时刻所述远处实景对应的图像数据， 其中， 所述图像数据包括地形数据、 合 作目标数据、 非合作目标 数据和气象数据中的至少一个； 将各个时刻的所述图像数据进行 数据融合， 得到所述远处实景对应的所述增强视景。 6.一种飞行器， 其特征在于， 所述飞行器包括： 存储器、 数据处理器及存储在所述存储 器上并可在所述数据处理器上运行的飞行器的视景增强程序， 所述 飞行器的视景增强程序 被所述数据处理器执行时实现如权利要求 1‑5中任一项所述的飞行器的视景增强方法的步 骤。 7.一种飞行器的视景增强系统， 其特征在于， 所述飞行器的视景增强系统包括： 位移测 量装置、 显示屏以及 如权利要求6所述的飞行器； 其中， 所述位移测量装置包括接触式位移测量装置或者非接触式位移测量装置， 所述 接触式位移测量装置包括图像采集传感器， 所述 非接触式位移测量装置包括线性位移传感 器， 所述位移测量装置用于测量飞行员的注视信息； 所述飞行器与 所述位移测量装置连接， 所述飞行器用于接收位移测量装置测量的飞行 员的注视信息， 基于所述注视信息确定远处实景对应的增强视景在显示屏上的目标显示位 置； 所述显示屏与 所述飞行器连接， 所述显示屏用于在所述目标显示位置显示所述增强视 景， 使得所述增强视景以及所述远处实景视 觉匹配。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有飞行器的 视景增强程序， 所述飞行器的视景增强程序被数据 处理器执行时实现权利要求1 ‑5中任一 项所述的飞行器的视景增强方法的步骤。权　利　要　求　书 2/2 页 3 CN 114915772 B 3