(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211071201.1 (22)申请日 2022.09.02 (71)申请人 荣耀终端 有限公司 地址 518040 广东省深圳市福田区香蜜湖 街道东海社区红荔西路8089号深业中 城6号楼A单元3401 (72)发明人 姚景豪　宋亚龙　刘冲　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 曹红炎 (51)Int.Cl. G06T 13/40(2011.01) G06T 7/73(2017.01) G06V 40/16(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种3D动画的生成方法及电子设备 (57)摘要 本申请实施例提供一种3D动画的生成方法 及电子设备， 涉及终端技术领域， 针对普通单目 摄像头拍摄的图像或者视频， 可以完成将其中的 人脸转化为3D动画 。 其中， 获得第一图像， 第一图 像中不包括深度信息。 将第一图像作为输入， 运 行第一AI模型， 得到第二图像， 第二图像是与第 一图像对应的、 具有深度信息的图像， 第一AI模 型具有根据未携带深度信息的图像生成携带深 度信息的图像的能力。 基于第一图像和第二图像 计算第一图像中人脸的多个特征点在相机坐标 系下的多个第一3D坐标。 匹配多个第一3D坐标和 3D动画的模型中多个特征点的多个第二3D坐标， 生成第一3D动画。 权利要求书2页 说明书15页 附图10页 CN 115147524 A 2022.10.04 CN 115147524 A 1.一种3D动画的生成方法， 其特征在于， 用于生成图像中人脸的3D动画， 所述方法包 括： 获得第一图像， 所述第一图像中不包括深度信息； 将所述第一图像作为输入， 运行第一AI模型， 得到第 二图像， 所述第二图像是与所述第 一图像对应的、 具有深度信息的图像， 所述第一AI模型具有根据未携带深度信息的图像生 成携带深度信息的图像的能力； 基于所述第一图像和所述第二图像计算所述第一图像中人脸的多个特征点在相机坐 标系下的多个第一3D坐标； 匹配所述多个第一3D坐标和3D动画的模型中所述多个特征点的多个第二3D坐标， 生成 第一3D动画。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一图像和所述第 二图像计 算所述第一图像中人脸的多个特 征点在相机坐标系下的多个第一3D坐标， 包括： 获取所述第一图像中人脸的多个特 征点在图像坐标系下的多个第一2D坐标； 从所述第二图像 中获取每个所述第一2D坐标处的深度信 息， 得到所述多个第一2D坐标 对应的多个深度信息； 基于所述多个第 一2D坐标和所述多个深度信 息， 计算所述第一图像 中人脸的多个特征 点在相机坐标系下的多个第一3D坐标。 3.根据权利要求2所述的方法， 其特征在于， 所述获取所述第 一图像中人脸的多个特征 点的多个第一2D坐标， 包括： 将所述第一图像作 为输入， 运行第二AI模型， 得到所述多个第一2D坐标， 所述第二AI模 型具有检测图像中人脸的特 征点的2D坐标的能力。 4.根据权利要求2或3所述的方法， 其特征在于， 所述第 二图像为灰度图像， 所述第二图 像中每个像素点的像素值表示该像素点的深度信息； 所述从所述第二图像中获取每 个所述第一2D坐标处的深度信息， 包括： 从所述第二图像中获取每 个所述第一2D坐标处的像素值。 5.根据权利要求2所述的方法， 其特征在于， 在所述从所述第 二图像中获取每个所述第 一2D坐标处的深度信息之前， 所述方法还 包括： 调整所述第二图像的尺寸， 使所述第二图像和所述第一图像的像素相同。 6.根据权利要求1所述的方法， 其特 征在于， 所述 生成第一3D动画， 包括： 计算每个所述第二3D坐标在所述相机坐标系下的第三3D坐标， 得到所述多个第二3D坐 标对应的多个第三3D坐标， 每个所述第三3D坐标为所述模 型中的一个特征点在所述相机坐 标系下的3D坐标； 基于所述多个第一3D坐标和所述多个第二3D坐标的匹配关系， 以及所述多个第二3D坐 标和所述多个第三3D坐标的对应关系， 确定所述多个第三3D坐标和所述多个第一3D坐标的 对应关系； 调整所述模型中各个特征点的位置， 使各个特征点从其所在的所述第 三3D坐标处移动 到所述相机坐标系下的第四3D坐标处， 生成3D动画； 其中， 所述第四3D坐标的横坐标值为与所述第三3D坐标具有对应关系的所述第一3D坐 标的横坐标值， 所述第四3D坐标的纵坐标值为与所述第三3D坐标具有对应 关系的所述第一权　利　要　求　书 1/2 页 2 CN 115147524 A 23D坐标的纵坐标值， 所述第四3D坐标的竖坐标值 为所述第三3D坐标的竖坐标值。 7.根据权利要求6所述的方法， 其特征在于， 所述多个特征点包括五官的特征点和轮廓 的特征点， 在所述 生成3D动画之前， 所述方法还 包括： 计算所述第一图像中所述五官的第一特征点和所述轮廓的第二特征点之间的第一距 离， 计算所述模型中所述第一特 征点和所述第二特 征点之间的第二距离； 基于所述第 一距离和所述第 二距离对所述模型进行缩放处理， 使缩放后的所述模型中 所述第一特 征点和所述第二特 征点之间距离为所述第一距离 。 8.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获得第三图像， 所述第三图像中包括深度信息； 基于所述第三图像 计算所述第三图像中人脸的多个特 征点的多个第五3D坐标； 匹配所述多个第五3D坐标和所述多个第二3D坐标， 基于匹配结果 生成第二3D动画。 9.根据权利要求1所述的方法， 其特征在于， 所述第 一AI模型为基于对抗生成网络的网 络结构或者神经风格迁移网络结构。 10.根据权利要求3所述的方法， 其特征在于， 所述第二AI模型为Fast  RCNN、 Faster   RCNN或者YOLO网络结构。 11.一种电子设备， 其特征在于， 所述电子设备包括存储器和 处理器， 所述存储器和所 述处理器耦合； 其中， 所述存储器中存储有计算机程序 代码， 所述计算机程序 代码包括计算 机指令， 当所述计算机指令被所述处理器执行时， 使得所述电子设备执行如权利要求1 ‑10 中任一项所述的方法。 12.一种计算机可读存储介质， 其特征在于， 包括计算机指令， 当所述计算机指令在电 子设备上运行时， 使得 所述电子设备 执行如权利要求1 ‑10中任一项所述的方法。 13.一种芯片系统， 其特征在于， 所述芯片系统应用于包括处理器和存储器的电子设 备， 所述芯片系统包括一个或多个接口电路和 一个或多个处理器， 所述接口电路和所述处 理器通过线路互联， 所述接口电路用于从所述电子设备 的存储器接 收信号， 并向所述处理 器发送所述信号， 所述信号包括所述存储器中存储的计算机指令， 当所述处理器执行所述 计算机指令时， 使得 所述电子设备 执行如权利要求1 ‑10中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115147524 A 3