分享6款文字语音生成驱动虚拟数字人说话的开源项目

数字人建模 开源

一、FACEGOOD的Audio2Face

github地址：github.com/FACEGOOD/FA…

FACEGOOD 对输入和输出数据做了相应的调整，声音数据对应的标签不再是模型动画的点云数据而是模型动画的 blendshape 权重。

FACEGOOD 主要完成 Audio2Face 部分，ASR、TTS 由思必驰智能机器人完成。如果你想用自己的声音，或第三方的，ASR、TTS 可以自行进行替换。当然，FACEGOOD Audio2face 部分也可根据自己的喜好进行重新训练，比如你想用自己的声音或其它类型的声音，或者不同于 FACEGOOD 使用的模型绑定作为驱动数据，都可以根据下面提到的流程完成自己专属的动画驱动算法模型训练。那么 Audio2Face 这一步的框架是什么样呢？又如何制作自己的训练数据呢？

常规的神经网络模型训练大致可以分为三个阶段：数据采集制作、数据预处理和数据模型训练。第一阶段，数据采集制作。这里主要包含两种数据，分别是声音数据和声音对应的动画数据。声音数据主要是录制中文字母表的发音，以及一些特殊的爆破音，包含尽可能多中发音的文本。而动画数据就是，在 maya 中导入录制的声音数据后，根据自己的绑定做出符合模型面部特征的对应发音的动画；第二阶段，主要是通过 LPC 对声音数据做处理，将声音数据分割成与动画对应的帧数据，及 maya 动画帧数据的导出。第三阶段就是将处理之后的数据作为神经网络的输入，然后进行训练直到 loss 函数收敛即可。

二、Write-a-Speaker

github地址：github.com/FuxiVirtual…

Write-a-Speaker综合了高保真的面部表情和头部运动，并与文本情感、语音节奏和停顿相一致。具体来说，我们的框架包括一个独立于说话人的阶段和一个特定于说话人的阶段。在与说话人无关的阶段，我们设计了三个并行网络，分别从文本中生成嘴巴、上脸和头部的动画参数。在特定说话人阶段，我们提出了一个3D人脸模型引导的注意网络来合成针对不同个体的视频。它将动画参数作为输入，并利用注意遮罩操纵输入个体的面部表情变化。此外，为了更好地在视觉运动（即面部表情变化和头部移动）和音频之间建立真实的对应关系，我们利用高精度的运动帽数据集，而不是依赖特定个体的长视频。在获得视觉和音频通信后，我们可以以端到端的方式有效地训练我们的网络。对定性和定量结果的大量实验表明，我们的算法实现了高质量的照片真实感对话头部视频，包括根据语音节奏进行的各种面部表情和头部运动，并超过了最先进的水平。

三、AI-generated-characters

github地址：github.com/mitmedialab…

麻省理工学院媒体实验室（MIT Media Lab）的研究人员开源了一个虚拟角色生成工具。该工具结合了面部、手势、语音和动作领域的人工智能模型，可用于创建各种音频和视频输出，一举登上《Nature Machine Intelligence》。该项目主要用于音频或视频驱动视频，暂不支持文本驱动视频。主要用于医疗视频或其他视频通话时保护个人隐私视频驱动视频，使著名的历史或现代人栩栩如生。

四、Audio2Head

github地址：github.com/wangsuzhen/…

Audio2Head是基于一张参考照片，和说话音频，生成口播视频 one-shot talking head

兼顾生成的韵律和外表的相似，除了面部，考虑到了头部的动作，虑了背景区域的artifact

五、Omniverse Audio2Face

地址：www.nvidia.cn/omniverse/a…

Omniverse Audio2Face可以借助 NVIDIA 深度学习 AI 技术，仅需一个音频来源即可快速轻松生成表情丰富的面部动画。

六、LiveSpeechPortraits

github: github.com/YuanxunLu/L…

video: yuanxunlu.github.io/projects/Li…

LiveSpeechPortraits仅由超过 30 fps 的音频信号驱动，生成个性化的逼真语音头动画。我们的系统包含三个阶段。第一阶段是深度神经网络，它提取深度音频特征以及流形投影，以将这些特征投影到目标人的语音空间。在第二阶段，我们从投影的音频特征中学习面部动态和动作。预测的运动包括头部姿势和上半身运动，其中前者由自回归概率模型生成，该模型模拟目标人的头部姿势分布。上半身运动是从头部姿势推断出来的。在最后阶段，我们从先前的预测中生成条件特征图，并将其与候选图像一起发送到图像到图像转换网络，以合成逼真的渲染。我们的方法可以很好地推广到野生音频，并成功合成高保真个性化的面部细节，例如皱纹、牙齿。我们的方法还允许显式控制头部姿势。广泛的定性和定量评估以及用户研究证明了我们的方法优于最先进的技术。

转载：blog.bfw.wiki/user12305/1…

一个开源项目：gitee.com/guiji-ai/du…

百度开源：cloud.baidu.com/product/bai…

百度AR：ar.baidu.com/#/ability

百度AR-SDK：github.com/baidu/ar-sd…

通过飞浆开源本地：github.com/JiehangXie/…

一个在线demo：demo.deepscience.cn/chatGPT/#/