FantasyID：阿里等推出的身份保持型文本到视频生成框架

0 30

FantasyID简介

FantasyID是由阿里巴巴集团AMAP团队和北京邮电大学联合开发的一种创新的身份保持型文本到视频生成框架。该技术通过融合3D面部几何先验、多视角面部增强策略以及分层感知自适应机制，显著提升了视频生成中的人脸动态表现和身份保持能力。开发团队巧妙地利用DECA框架提取3D人脸特征，并结合多视角人脸数据增强模型对不同角度的面部理解，从而解决了传统方法中面部结构不稳定和动态表现不足的问题。此外，通过可学习的分层感知机制，FantasyID能够精准调控视频生成过程中的身份特征，确保生成视频的高质量和时间连贯性。这一成果不仅在技术上取得了突破，也为个性化视频生成和互动内容创作提供了新的可能性。

FantasyID主要功能

身份保持的视频生成：根据输入的人脸图像，FantasyID能够生成高质量的视频，同时在视频的所有帧中保持输入人脸的身份特征不变。
增强的面部动态表现：通过多视角面部增强策略和3D几何约束，模型能够生成自然流畅的面部表情和姿态变化，避免了传统方法中常见的“复制-粘贴”问题。
高保真度的视频输出：结合分层感知控制信号注入机制，FantasyID能够在保持身份一致性的基础上，生成具有高时间连贯性和视觉质量的视频内容。
灵活的身份特征调整：利用3D面部几何先验，用户可以通过调整3D参数（如面部宽度、下巴轮廓等）来控制生成视频中面部的具体特征，实现个性化的视频生成效果。

FantasyID技术原理

多视角面部增强策略（Multi-View Face Collection）：构建多视角人脸集合，从训练视频中提取不同视角的人脸图像，形成一个包含多种视角的人脸池。在训练过程中随机选择人脸作为输入，避免模型学习简单的“复制-粘贴”策略，从而增强模型对不同视角下2D面部特征的理解，提升生成视频的动态性。
3D面部几何约束（3D Constraints Face Vertex）：利用DECA框架从参考图像中提取3D面部几何结构，分离出与身份相关的特征（如面部形状）和与身份无关的特征（如表情、姿态）。通过3D点云的可调节性，生成的面部结构可以根据需要进行调整，从而提高身份保持的稳定性和面部结构的自然性。
面部抽象器（Face Abstractor）：使用C-Abstractor模块从人脸图像中提取面部特征。该模块通过二维卷积和平均池化操作，保留了面部特征的空间局部性，增强了特征提取的效果，同时避免了传统方法中可能破坏空间结构的问题。
特征融合（Fusion Transformer）：通过融合变换器将2D特征和3D特征进行整合，生成综合的面部描述符。该模块通过多层变换器结构，将高维数据融合为统一的特征表示，确保在生成过程中保留3D结构先验和2D外观特征。
分层感知控制信号注入（Layer-Aware Control Signal Injection）：针对扩散变换器（DiT）架构中不同层对控制信号的敏感性差异，提出了一种分层感知机制。通过为每个DiT块学习最优的特征表示，动态调整控制信号的注入，从而实现身份保持和动态建模之间的平衡，确保生成视频的高质量和时间连贯性。