2D数字人实时互动也支持换装、自定义动作啦,还能实时识别人脸,主动跟熟人打招呼

AI 知识库1个月前发布
787 0 0
熊猫办公
最近越来越多的客户有定制数字人实时互动系统的需求了,免费体验和整套后台系统的源码分享都截止到今年年底了。
忙里偷闲功夫把2D数字人实时互动模块也支持了换装、自定义动作。之前都是3D数字人有这方面的优势,经过在即梦平台大量抽卡后终于摸索出了如何自定义2D数字人的动作和实时换装功能了。
目前2D数字人的声音同步嘴型模块是用的开源代码DH_live_mini,存在很多的不足,所以在嘴型上就不要太挑剔了,但它整体思路是非常值得借鉴的。在这里主要分享的是自定义动作和换装功能。之前一直觉得视频数字人做这个有一定的难度,经过反复试错后,原理居然很简单。
下面是我通过即梦反复抽卡后生成的视频素材,在这里只是提供一个思路,如果真正实现绝对的换装,还需要继续丰富素材哈。
,这次的数字人100%是通过Nano Banana生成的,看谁还说我用了它的数字人。
目前实现了5个自定义动作,分别在5个场景中触发:
2D数字人实时互动也支持换装、自定义动作啦,还能实时识别人脸,主动跟熟人打招呼
  • 1. 默认是循环站立动作
  • 2. 发送文字、语音后,在大模型回复之前是执行思考动作
  • 3. 发送的文字中包含“你好”之类的话,执行打招呼动作
  • 4. 对话的时候执行讲话动作
  • 5. 发送的文字中包含“换装”意图的时候,执行换装,回复内容取决于后台的问答知识库。
上次分享了数字人的持久化记忆功能,但没有演示实时识别人脸的效果,这次一起演示出来。这里的人脸识别不是靠大模型来识别,是类似门禁系统的原理,需要在后台先录入人员人脸信息后,才能被数字人识别出来。
于是又将知乎上排名前十的女明星的人脸信息通过OBS录入了后台系统。然后数字人就可以实时识别出眼前的人物了,完成了门禁系统+数字人的功能,当然也可以录入自己的脸。这个的应用场景还是挺多的,暂时不在这里分享哈。
这是后台录入人脸信息的过程,识别人脸的过程在上面视频的最后。
虽然2D数字人没有3D数字人那样自定义动作和装备方便,但很多客户还是有这方面的需求的,那就逼着自己弄一下吧,再费时间也比3D数字人快。
目前我们团队在基于浏览器端渲染的3D数字人研发上还是下了大量的功夫和技术积累的,就我所了解的,3D声音同步嘴型上目前市面上除了2家数字人公司外,我们也算是少数懂这个技术的了。(当然这里不包括UE和Unity,它们做的都不错)。
下面分享一下这边3D数字人自定义的嘴形同步、换发型、动作的效果:
管理后台可以随时上传准备好的服装、发型等数据,还有动作数据、触发时机。要比2D数字人灵活很多。
2D数字人实时互动也支持换装、自定义动作啦,还能实时识别人脸,主动跟熟人打招呼
后台管理中的中控设备可以远程实时切换服装、动作、背景、位置等元素。
2D数字人实时互动也支持换装、自定义动作啦,还能实时识别人脸,主动跟熟人打招呼
如何体验:
还有最后20天的时间,有需要体验或者代码的小伙伴可以在公众号后台私信,可以先做自我介绍,这边会根据介绍内容决定要不要拉群体验哈。
写在最后:
简单演示一下目前的效果。再找时间会专门分享一下管理后台的教程和所有功能点。平台上线以来,得到了很多客户的支持和鼓励。靠着分享整套后台系统的源码,成立一人公司的条件已经基本具备。所以到2025年年底,也就20天的时间后,我们这边将不再对外分享任何源码相关的。目前我们的团队人员也完备起来了,明年会有新的合作模式和更强大的系统。
关于作者
做一只爬的最久的乌龟,保持学习保持好奇,即使慢一点,遇到一点困难,只要最后能到达终点,又有什么关系呢。
毕竟人生没有白走的路,每一步都算数。

2D数字人实时互动也支持换装、自定义动作啦,还能实时识别人脸,主动跟熟人打招呼
© 版权声明

相关文章