FLOAT：DeepBrain AI等推出的音频驱动肖像视频生成框架

FLOAT简介

FLOAT是一种创新的音频驱动肖像视频生成框架，由DeepBrain AI Inc.和韩国科学技术院（KAIST）的研究团队共同开发。这项技术通过流匹配生成模型，将音频信号转化为自然而连贯的说话动作，包括唇部同步、头部运动和面部表情。FLOAT的独特之处在于其能够利用学习到的运动潜在空间进行高效的动作设计，并支持语音驱动的情感增强，使得生成的视频在视觉质量、动作保真度和效率方面超越了现有的方法。

FLOAT主要功能

1. 音频驱动的肖像视频生成： FLOAT能够根据单一源图像和音频信号生成说话肖像视频。
2. 时间一致性： 该技术能够生成时间上连贯的视频帧，保持动作的流畅性和一致性。
3. 唇部同步： 视频中的人物能够实现与音频同步的唇部动作，增强真实感。
4. 情感增强： 利用语音驱动的情感标签，FLOAT能够增强视频中的表情动作，使动作更加自然和富有表现力。
5. 高效率采样： 与基于扩散的生成模型相比，FLOAT能够快速生成视频，减少等待时间。

FLOAT技术原理

1. 流匹配生成模型： FLOAT基于流匹配（Flow Matching）原理，将生成建模从像素潜在空间转移到学习到的运动潜在空间，以实现更高效的时间一致性运动生成。
2. Transformer-based矢量场预测器： 引入基于Transformer的矢量场预测器，通过简单的帧间条件机制来预测运动矢量场，从而生成连续帧。
3. 运动潜在空间： 通过运动自编码器学习到的运动潜在空间，能够捕捉全局和局部动态，如头部运动和面部表情。
4. 帧间条件机制： 通过帧间条件机制，模型能够在生成过程中考虑前后帧的关系，以生成更加连贯的视频。
5. 语音情感预测： 利用预训练的语音情感预测器，将情感标签整合到运动采样过程中，实现情感驱动的动作生成。
6. 优化的采样效率： FLOAT通过流匹配技术，相较于传统的扩散模型，能够以更快的速度进行高质量采样，提高视频生成的效率。

FLOAT应用场景

1. 虚拟主播和直播： FLOAT可以用于生成虚拟主播的形象，使其在直播中进行自然的语言交流和表情互动，无需真人出镜。
2. 电影和游戏制作： 在电影或视频游戏制作中，FLOAT可以用来创建或增强角色的面部表情和口型同步，提高制作效率和真实感。
3. 客户服务虚拟助手： 利用FLOAT技术，可以开发出具有自然交流能力的虚拟客服助手，提升用户体验。
4. 教育和培训模拟： 在模拟教学场景中，FLOAT可以生成教师或学员的虚拟形象，用于语言学习或专业技能训练。
5. 社交媒体内容创作： 用户可以利用FLOAT生成带有自己表情和语音的虚拟形象，用于制作社交媒体上的动态内容。
6. 虚拟现实和增强现实： 在VR或AR应用中，FLOAT技术可以用来生成与用户互动的虚拟角色，提供更加沉浸式的体验。

FLOAT项目入口

• 项目主页：https://deepbrainai-research.github.io/float/
• arXiv研究论文：https://arxiv.org/pdf/2412.01064