(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210785154.0 (22)申请日 2022.06.29 (71)申请人 中国科学院计算 技术研究所 地址 100080 北京市海淀区中关村科 学院 南路6号 (72)发明人 李兆歆　靳悦　石敏　朱登明　 王兆其　 (74)专利代理 机构 北京律诚同业知识产权代理 有限公司 1 1006 专利代理师 祁建国　马砚花 (51)Int.Cl. G06T 7/194(2017.01) G06T 7/90(2017.01) G06V 10/762(2022.01) G06T 5/50(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 绿幕抠像方法、 装置 (57)摘要 本发明提出一种绿幕抠像方法、 装置， 所述 方法包括构建绿幕抠像数据集和绿幕背景数据 集； 从所述绿幕抠像数据集中随机选取第一前景 图像、 以及所述第一前景图像对应的第一Alpha 图像， 从所述绿幕背景数据集随机选取绿幕背景 图像； 将所述第一前景图像、 所述第一Alpha图、 所述绿幕背景图像合成， 生成初始绿幕 图像； 利 用所述初始绿幕图像生成目标绿幕背景图像； 利 用所述初始绿幕图像与所述目标绿幕背景图像， 输入至深度学习模型中进行训练， 输出第二前景 图像以及所述第二前景图像对应的第二Alpha图 像。 该方法能够自动且实时实现绿幕抠像处理， 不需要人工参与， 且有效的去除绿色溢出现象， 达到视觉上更为逼真的效果。 权利要求书2页 说明书8页 附图5页 CN 115222762 A 2022.10.21 CN 115222762 A 1.一种绿幕抠像方法， 其特 征在于， 包括： 构建绿幕抠像数据集和绿幕背景 数据集， 所述绿幕抠像数据集包 含绿溢信息； 从所述绿幕抠像数据集中随机选取第 一前景图像， 以及所述第 一前景图像对应的第 一 Alpha图像， 所述第一前 景图像包 含绿溢信息； 从所述绿幕背景 数据集随机 选取绿幕背景图像； 将所述第一前 景图像、 所述第一Alpha图、 所述绿幕背景图像合成， 生成初始绿幕图像； 利用所述初始绿幕图像生成目标绿幕背景图像； 利用所述初始绿幕图像与所述目标绿幕背景图像， 输入至深度学习模型中进行训练， 输出第二前景图像以及所述第二前景图像对应的第二Alpha图像， 所述第二前景图像不包 含绿溢信息。 2.根据权利要求1所述的方法， 其特 征在于， 采用不同的绿色像素信息模拟不同的绿幕拍摄场景， 构建所述绿幕背景 数据集。 3.根据权利要求1所述的方法， 其特 征在于， 还 包括： 将所述第一前景图像、 所述第一Alpha图像以及所述绿幕背景图像均进行几何增 强处 理与像素增强方法处 理。 4.根据权利要求1所述的方法， 其特 征在于， 生成的所述初始绿幕图像为： C＝F×α +B×(1‑α ) 其中， F表示包含有绿溢信息的所述第一前景图像， α表示所述第一前景图像对应的第 一Alpha图像， B表示所述绿幕背景图像， C表示所述初始绿幕图像。 5.根据权利要求1或4所述的方法， 其特征在于， 所述利用所述初始绿幕图像生成目标 绿幕背景图像， 包括： 将所述初始绿幕图像从RGB颜色空间转换为HSV颜色空间； 基于HSV颜色空间， 对所述初始绿幕图像进行二 值图像处 理， 生成二 值化绿幕图像； 将所述初始绿幕图像与所述二值化绿幕图像合成， 得到初始绿幕背景图像， 所述初始 绿幕背景图像包 含绿色像素信息和黑色像素信息； 对所述初始绿幕背景图像进行聚类处理， 得到所述目标绿幕背景图像， 所述目标绿幕 背景图像包 含绿色像素信息 。 6.根据权利要求5所述的方法， 其特 征在于， 生成的所述 二值化绿幕图像为： 其中， miGre en、 maGre en分别表示HSV颜色空间设置的最小阈值与最大阈值； 将所述初始绿幕图像与所述 二值化绿幕图像合成， 得到所述初始绿幕背景图像为： B'＝C×(1‑mask) 其中， C表示所述初始绿幕图像。 7.根据权利要求1所述的方法， 其特征在于， 所述深度学习 模型采用轻量级深度 学习模 型。 8.根据权利要求1所述的方法， 其特 征在于， 还 包括： 计算所述第二Alpha图像的损失函数，权　利　要　求　书 1/2 页 2 CN 115222762 A 2其中， 表示第一损失函 数， 表示第二损失函 数， 所述第一损失函数与所述第二损失 函数结合用于训练所述第二Alpha图像， 所述第一损失函数用于衡量预测的第二A lpha图像 αi和所述第二Alpha图像对应的真实数据 之间的差异， 所述第二损失 函数为梯度损失， 计算所述第二前 景图像的损失函数， 其中， Fi表示预测的所述第二前 景图像， 表示所述第二前 景图像对应的真实数据。 9.根据权利要求1所述的方法， 其特 征在于， 按照不透明类、 半透明类、 透明类、 以及复杂结构类的不同分类， 构建绿幕抠像数据集 和绿幕背景 数据集。 10.一种绿幕抠像装置， 其特征在于， 采用权利要求1 ‑9任一项所述的绿幕抠像方法， 所 述装置至少包括： 数据集构建模块， 用于构建绿幕抠像数据集和绿幕背景数据集， 所述绿幕抠像数据集 包含绿溢信息； 图像合成模块， 用于从所述绿幕抠像数据集中随机选取第一前景图像， 以及所述第一 前景图像对应的第一Alpha图像， 所述第一前 景图像包 含绿溢信息； 从所述绿幕背景 数据集随机 选取绿幕背景图像； 将所述第一前 景图像、 所述第一Alpha图、 所述绿幕背景图像合成， 生成初始绿幕图像； 利用所述初始绿幕图像生成目标绿幕背景图像； 图像训练模块， 用于利用所述初始绿幕图像与所述目标绿幕背景图像， 输入至深度学 习模型中进 行训练， 输出第二前景图像以及所述第二前景图像对应的第二A lpha图像， 所述 第二前景图像不包 含绿溢信息。权　利　要　求　书 2/2 页 3 CN 115222762 A 3