PersonaTalk：合成与目标音频高度同步的唇部动作 生成逼真的配音视频

PersonaTalk简介

PersonaTalk是由字节跳动公司开发的一项先进的视觉配音技术，它通过一个基于注意力的两阶段框架，能够合成高保真度和个性化的唇部同步视频，同时突出说话者的个性，如说话风格和面部细节。这项技术不仅能够精确捕捉音频驱动的唇部动作，还能保留说话者独特的面部特征，为用户提供了一种创新的方式来生成逼真的数字人物对话。

PersonaTalk主要功能

1. 高保真度视觉配音： PersonaTalk能够合成与目标音频高度同步的唇部动作，生成逼真的配音视频。
2. 个性化风格保留： 在合成过程中，该技术能够捕捉并保留说话者独特的说话风格和面部细节。
3. 两阶段处理框架： 包括几何结构构建和面部渲染两个阶段，分别负责生成与音频同步的几何形状和渲染目标面部纹理。
4. 跨注意力机制： 利用交叉注意力层来注入说话风格到音频特征，并从参考视频中采样纹理。

PersonaTalk技术原理

1. 风格感知音频编码： 通过交叉注意力层将说话风格注入音频特征中，以驱动模板几何形状产生唇部同步的几何形状。
2. 3D面部几何作为中间表示： 提取说话人的3D面部几何信息，并从中学习说话风格，然后将其嵌入到音频特征中。
3. 双注意力面部渲染器： 包括Lip-Attention和Face-Attention两个并行的交叉注意力层，分别用于从不同的参考帧中采样唇部和面部纹理。
4. 精细的参考帧选择策略： 在训练和推理过程中，为唇部和面部纹理选择不同的参考帧，以更好地保留面部细节和提高唇部同步的准确性。
5. 几何与纹理编码： 使用编码器将面部几何和纹理信息编码到潜在空间，以便于通过注意力机制进行纹理采样。
6. 纹理解码： 将采样得到的纹理从潜在空间解码回像素空间，同时保护面部几何结构，确保输出视频的质量。

PersonaTalk应用场景

1. 电影和视频制作： PersonaTalk可以用于电影后期制作，为角色配音或替换原有配音，提高制作效率并降低成本。
2. 语言学习应用： 在语言学习软件中，该技术可以用来生成不同语言的口型同步教学视频，帮助学习者更好地掌握发音。
3. 新闻广播： 电视台或新闻机构可以利用这项技术将新闻播报者的话语转换成不同的语言，扩大其全球观众群。
4. 虚拟助手和数字人类： 在虚拟助手或数字人类角色中，PersonaTalk能够提供更加自然和逼真的交流体验。
5. 游戏开发： 游戏开发者可以利用这项技术为非玩家角色(NPC)生成逼真的对话，提升游戏的沉浸感。
6. 历史重现和教育： 通过将历史人物的演讲转化为视觉配音视频，PersonaTalk可以在教育领域中用于重现历史事件，增强学习体验。

PersonaTalk项目入口

• 项目官网：https://grisoon.github.io/PersonaTalk
• arXiv技术论文：https://arxiv.org/pdf/2409.05379