DynamicFace：小红书联合上海高校推出的视频人脸交换技术

0 80

DynamicFace简介

DynamicFace是由小红书技术团队联合上海科技大学和上海交通大学共同开发的一种新型视频人脸交换技术。该方法利用扩散模型的强大生成能力和3D面部先验知识，通过引入四个细粒度的面部条件（背景、形状感知法线图、表情相关地标和身份去除的UV纹理图），实现了高质量和一致的视频人脸交换效果。DynamicFace不仅在图像质量、身份保持和表情准确性方面表现出色，还通过时间注意力层实现了视频帧之间的时间一致性。该技术在FF++数据集上的实验结果表明，其性能优于现有的多种人脸交换方法，展现了其在肖像重演、电影制作和虚拟现实等领域的巨大应用潜力。

DynamicFace主要功能

高质量人脸交换：能够将源人脸的身份信息高保真地转移到目标人脸上，同时保留目标人脸的表情、姿态、背景等非身份属性。
视频人脸交换：支持视频中的人脸交换，生成的视频帧在时间上保持高度一致，避免了传统方法中常见的闪烁或不连贯问题。
精确控制：通过细粒度的面部条件（背景、形状、表情、光照等）实现对人脸交换过程的精确控制，确保生成结果符合预期。
身份保持：利用先进的身份注入模块（如Face Former和ReferenceNet），确保在各种表情和姿态下都能保持源人脸的身份一致性。
可扩展性：该方法能够轻松扩展到不同的应用场景，包括静态图像和视频，且对不同数据分布具有良好的适应性。

DynamicFace技术原理

扩散模型与3D面部先验：基于扩散模型的强大生成能力，结合3D面部先验知识（如3D面部重建模型3DDFA-V3），从目标人脸中提取姿态和表情参数，从源人脸中提取身份参数，从而实现精确的身份与运动分离。
细粒度面部条件：
- 背景条件：保留目标人脸的背景信息，确保生成的人脸与原始背景无缝融合。
- 形状感知法线图：通过渲染3D面部模型的法线图，提供精确的形状和姿态信息，同时去除目标人脸的身份信息。
- 表情相关地标：利用目标人脸的2D地标生成表情分割图，确保表情的准确传递。
- 身份去除的UV纹理图：通过模糊处理的UV纹理图提供光照信息，同时去除目标人脸的身份特征。
身份注入模块：
- Face Former：利用面部查询和变换器将源人脸的高维特征嵌入到扩散模型中，实现身份信息的高保真注入。
- ReferenceNet：通过空间注意力机制将源人脸的详细纹理特征注入到生成过程中，确保生成人脸的细节一致性。
时间一致性模块：引入时间注意力层，确保视频帧之间的时间连贯性，避免生成视频中的闪烁或不连贯问题。
Mixture-of-Guiders：通过轻量级的引导模块对不同条件进行特征提取和融合，提高条件信息的利用效率，同时保持模型的轻量化和训练效率。