(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221086270 0.6 (22)申请日 2022.07.20 (71)申请人 广州虎牙科技有限公司 地址 511495 广东省广州市番禺区钟村街 （汉溪商业中心） 泽溪街13号13 01 (72)发明人 孔耀祖　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张欣欣 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 风格迁移模 型训练方法、 视频处理方法及相 关装置 (57)摘要 本发明提供的风格迁移模型训练方法、 视频 处理方法及相关装置， 方法包括： 获取用于训练 样本集， 然后构建生成对抗模型， 利用训练样本 集， 对生成对抗模型进行训练， 得到目标风格特 征对应的风格迁移模型， 本发明将生成对抗模型 作为初始训练模 型， 并利用生 成对抗模型所包含 的生成器对每个训练样本生成多张不同分辨率 的风格特征迁移图， 在训练过程中可以基于不同 分辨率的风格特征迁移图进行模 型训练， 如此一 来， 模型可以学习到不同分辨率下的图像特征， 增强了模型对复杂目标进行检测和特征提取的 能力， 最终使得训练得到的风格迁移模型能够准 确实现对复杂目标的风格迁移， 提升了风格迁移 的准确性。 权利要求书3页 说明书13页 附图8页 CN 115171023 A 2022.10.11 CN 115171023 A 1.一种风格迁移模型训练方法， 其特 征在于， 所述方法包括： 获取训练样本集； 其中， 所述训练样本集中包括至少一张内容图像和至少一张参考图 像， 所述参考图像具有目标风格特 征； 构建初始的生成对抗模型； 其中， 所述生成对抗模型包括生成器和判别器； 所述生成器 用于生成每个训练样本对应的多张风格特征迁移图； 所述多张风格特征迁移图各自对应的 分辨率互不相同； 利用所述训练样本集， 对所述生成对抗模型进行训练， 得到所述目标风格特征对应的 风格迁移模型； 所述风格迁移模型用于对待处理视频流进行处理， 以使待处理视频流的每 一帧图像具有所述目标风格特 征。 2.根据权利要求1所述的风格迁移模型训练方法， 其特征在于， 所述生成器包括M组子 生成模型； 所述M组子生成模型通过池化层串联而成； 每组所述子生成模型对应一个判别 器； 其中， 第m组子生成模型生成的风格特征迁移图的分辨率大于第m+1组子生成模型生成 风格特征迁移图的分辨 率； M大于或等于2， m为 正整数。 3.根据权利要求2所述的风格迁移模型训练方法， 其特 征在于， 每组所述子生成模型是由编码器和解码器组合而成； 每个所述解码器具有第 一输出分 支和第二输出分支； 第m组子生成模 型的编码 器的输入为第m ‑1组子生成模型的编 码器的输 出； 第m组子生成模 型的解码器的输入为所述第m组子生 成模型的编码 器的输出、 以及第m+1 组子生成模型的解码 器的所述第一输出分支的输出； 每个所述解码 器的第二输出分支用于 输出所述第一 风格特征迁移图或所述第二 风格特征迁移图。 4.根据权利要求2所述的风格迁移模型训练方法， 其特征在于， 利用所述训练样本集， 对所述生成对抗模型进行训练， 得到所述目标风格特 征对应的风格迁移模型， 包括： 将所述训练样本集输入到所述生成对抗模型， 利用每个所述子生成模型， 生成每张所 述内容图像对应的每张所述第一风格特征迁移图、 以及通过下采样得到每张所述参考图像 对应的每张第二 风格特征迁移图； 将每个所述子生成模型对应的所述第 一风格特征迁移图和所述第 二风格特征迁移图， 分别输入到所述子生成模型对应的判别器中， 得到每张所述第一风格特征迁移图的第一判 别信息、 以及每张所述第二 风格特征迁移图的第一判别 信息； 基于全部所述判别器获得的所述第 一判别信 息和所述第 二判别信 息， 确定所述生成对 抗模型对应的多个损失函数的损失值； 将多个所述损失函数的损失值反 向传播至所述生成对抗模型的各个层， 以进行模型参 数迭代更新， 直至达到预设条件， 将训练后的所述生成对抗模 型， 作为所述目标风格特征对 应的风格迁移模型。 5.根据权利要求4所述的风格迁移模型训练方法， 其特征在于， 所述多个损失函数分别 为： 最小二乘损失函数、 学习感知图像块相似度损失函数、 特征匹配损失函数； 风格特征损 失函数。 6.根据权利要求2所述的风格迁移模型训练方法， 其特征在于， 在利用所述训练样本 集， 对所述生成对抗模型进 行训练， 得到所述目标风格特征对应的风格迁移模型之后， 所述 方法还包括： 将所述风格迁移模型中除起始组子生成模型以外剩余子生成模型中所述第二输出分权　利　要　求　书 1/3 页 2 CN 115171023 A 2支剔除， 并将剔除后的所述 风格迁移模型， 作为所述目标风格特 征对应的风格迁移模型。 7.一种视频处 理方法， 其特 征在于， 所述方法包括： 获取待处 理的视频流、 以及目标风格； 将所述待处理视频流的每一帧图像输入到所述目标风格对应的风格迁移模型中， 得到 所述每一帧图像对应的目标图像； 其中， 所述目标图像 中具有所述目标风格， 所述风格迁移模型是通过如权利要求1 ‑6任 意一项所述的风格迁移模型训练方法得到的； 基于全部所述目标图像得到处 理后的所述视频流。 8.根据权利要求7所述的视频处理方法， 其特征在于， 获取待处理的视频流、 以及目标 风格， 包括： 显示用户界面； 所述用户界面上 具有视频获取区域和风格选择区域； 响应所述视频获取区域上的用户操作， 获得 所述视频流； 响应所述 风格选择区域上的选择操作， 获取 所述目标风格。 9.根据权利要求7所述的视频处理方法， 其特征在于， 在将所述待处理视频流的每一帧 图像输入到所述目标风格对应的风格迁移模型中， 得到所述每一帧图像对应的目标图像之 前， 所述方法还 包括： 读取所述视频流对应的帧数据， 并对所述帧数据进行预处理， 得到所述每一帧图像对 应的YUV分量数据； 基于所述每一帧图像对应的YUV分量数据以及预设的颜色空间转换矩阵， 得到所述每 一帧图像对应的RGB格式； 将所述每一帧图像对应的RGB格式数据转换成所述 风格迁移模型对应的数据格式。 10.根据权利要求7所述的视频处理方法， 其特征在于， 基于全部所述目标图像得到处 理后的所述视频流,包括： 基于颜色空间转换矩阵， 将每张所述目标图像转换成YUV格式数据； 基于所述YUV格式数据， 得到所述目标图像对应的YUV分量数据， 并基于全部所述目标 图像对应的YUV分量数据， 生成所述处 理后的视频流。 11.一种风格迁移模型训练装置， 其特 征在于， 包括： 获取模块， 用于获取训练样本集； 其中， 所述训练样本集中包括至少一张内容图像和至 少一张参 考图像， 所述 参考图像具有目标风格特 征； 构建模块， 用于构建初始的生成对抗模型； 其中， 所述生成对抗模型包括生成器和判别 器； 所述生成器用于生成每个训练样本对应的多张风格特征迁移图； 所述多张风格特征迁 移图各自对应的分辨 率互不相同； 训练模块， 用于利用所述训练样本集， 对所述生成对抗模型进行训练， 得到所述目标风 格特征对应的风格迁移模型； 所述风格迁移模型用于对待处理视频流进行处理， 以使待处 理视频流的每一帧图像具有所述目标风格特 征。 12.一种视频处 理装置， 其特 征在于， 包括： 获取模块， 用于获取待处 理的视频流、 以及目标风格； 迁移模块， 用于将所述待处理视频流的每一帧图像输入到所述目标风格对应的风格迁 移模型中， 得到所述每一帧图像对应的目标图像；权　利　要　求　书 2/3 页 3 CN 115171023 A 3