我是大神
发布于

初学者之路(二):体验数字人大模型,制作自己的数字“孪生”

今天我们学习部署“kedreamix-linly-talker”大模型。

“kedreamix-linly-talker”是一套创新的数字人对话系统,集成了大型语言模型(LLM)、自动语音识别(ASR)、文本到语音转换(TTS)和语音克隆技术,支持多模态人机交互。广泛用于虚拟主播、智能客服、数字化教学等场景。其特点为:

多模态支持(文本、语音)
低延迟交互体验
可自定义声音和个性化配置
首先,我们租用一个实例,在社区镜像里选择“edreamix-linly-talker”镜像:

第二步,待实例状态变成“运行中”后,点击JupyterLab,进入Jupyter控制页面:

第三步,在Jupyter页面,选中下图蓝框所示的代码块,之后点击红框所示的运行按钮,此时便可等待大模型加载和运行。大概需要几分钟,请耐心等待。

待看到上图Running on local URL: http://127.0.0.1:6006的log输出完成后,便表示大模型加载完成。从log中可以看到,EdgeTTS模块加载失败。这个原因还有待调查,但不影响其它功能的使用。

第四步,点击登录指令ssh后面的复制标签,将其复制到某个文本编辑框内,便可看到具体的指令,比如:

ssh -p 20106 root@tun.ydfz.cloud

此步主要目的是为了记录代理服务器所分配的端口号:20106,以备后用。

第五步,在本地电脑上开启一个Terminal终端,输入下面的指令:

ssh -CNg -L 6006:127.0.0.1:6006 root@tun.ydfz.cloud -p 20106

此处最后面的端口号:20106,就是第四步中我们所记录的端口号,你要替换为你所租用的实例中被分配的端口号(详见第四步)。

第六步,上述指令执行后,会要求你输入一个密码,这个密码就是实例登录指令中的密码,复制粘贴到Terminal中即可。

第七步,在网页浏览器中开启一个新的页面,访问:

http://127.0.0.1:6006

此时便可看到Linly-Talker WebUI的界面,如下图所示。至此,数字人大模型便已部署完成。

如何使用

我们可以在“数字人形象设定”中上传一张图片(也可以在页面下面选择一张已经内置好的美女图片);

在“对话”框中点击录音,录制一段声音,再点击“语音识别”后,便可将你录制的声音转换成文字;

最后点击下图中所示的“生成数字人视频”的按钮,便可生成一段由你指定的人物形象按照你所指定的文字进行对话的视频。

注意,前面提到过EdgeTTS模块加载是失败的,因此,需要选择PaddleTTS或者GPT-SoVITS进行语音的转换,操作方法如下图所示。否则无法正常生成数字人视频。

好了,这个数字人大模型还是很有意思的,有很多内容可以深度探索,比如可以使用GPT-SoVITS克隆自己的声音,让数字人使用我们的声音去说话,等等。

接下来,就交给你了。

浏览 (13)
点赞
收藏
评论
暂无数据