数字人系统支持绿幕背景透明化展示

AI 知识库2个月前发布

一直以来我们基于BEN2 实现数字人背景抠除，自动生成透明化的背景，它的优点是不挑视频画面，基于AI训练模型自动识别背景，对非绿幕背景特别有效，适用面也广。

不足之处是抠背景需要GPU，每帧耗时1-2秒，这个过程非常缓慢，不能用于实时场景，除非提前处理好。

另一种方案是不用AI模型抠图，用绿幕背景本身的颜色值来替换画面，这个方案非常轻量，每帧抠图1-2毫秒，不足之处是适用面窄，只适用于绿幕背景，而且对画面中有绿色领带，衣服等容易误伤。

但是在实际场景中，这个不足之处是可以通过非技术手段避免的。

本次系统升级将原来的BEN2替换为绿幕抠图，同时采用多种策略优化绿幕抠图的效果：

1. 比如系统自动识别绿幕颜色

2. 通过绿色门控防止误伤

3.连续色度评分 + 平滑过渡避免抠图后的锯齿现象

4.形态学去光晕 + 高斯柔化

5.去绿溢（despill）让边缘的绿色光晕消退，恢复人物本来的肤色和衣服颜色

下面通过离线合成ppt数字人和实时对话数字人两个场景来展示实际效果。

离线合成ppt数字人

绿幕在纯黑色背景上的效果

绿幕在纯白色背景上的效果

绿幕在混合颜色背景上的效果

实时对话数字人

文章版权归作者所有，未经允许请勿转载。

3个月前

2,837722

1年前

17,419822

1年前

23,484412

7个月前

8,553898