AI虚拟主播可以与B站直播对接,你知道吗?

如今,国内外AI虚拟主播产品其实远不如其他音视频领域发展迅速,而大多数科技公司开发AI虚拟人所应用的场景也较传统。

最近,在B站刷到一个up主的视频,讲解了一款自主研发开源的AI虚拟人工具,功能较全面,虽然是整合了相关开源技术,但是可以一试,就是安装部署有些麻烦!

AI-YinMei吟美

作为一个多功能的AI系统,它不仅能与你进行自然语言的对话,还能在Bilibili直播中与观众互动,合成语音,切换不同的虚拟角色,甚至还可以生成艺术作品。

一款功能较全的 AI 虚拟主播吟美,由B站up主开源。那么它有哪些特色功能呢?

自然语言处理:直播互动:文本转语音:多角色切换:AI训练:表情控制:图像生成:内容过滤:

集成了花儿不哭大佬的GPT-SoVITS,唱歌变声Auto-Convert-Music等多个开源项目,以fastgpt等作为聊天模块核心,此外还有多种AI虚拟模型嵌入。

安装需要一些必装的工具和服务,具体可前往项目主页查看具体安装步骤,也可找作者看有没有一键安装包。(项目地址放到文末)

安装完成后,其实启动跟其他开源项目一样,是在本地起了一个http服务,访问该服务即可打开下图页面。

可以看到它内置了几种角色,当然我们也可以自定义添加角色,在parameter标签下upload character进行上传,支持yaml、json、png形式。

角色资源站可以参考:https://www.chub.ai/

由于它支持表情控制 Vtuber Studio,可以自由控制相关角色的一些模型信息及系统设置。

更可以实现3D虚拟人屏显控制,直播弹幕自动回复语播报。

最新功能还可以调用Stable Diffusion进行自动绘画,将图片输流到OBS直播间,这不更香了嘛!

GitHub: https://github.com/worm128/AI-YinMei

(相关场景图片均来自作者教程,有兴趣的同学可以自行搭建体验哈)