ConsisID：北京大学等推出的身份保持文本到视频生成模型

ConsisID简介

ConsisID是由北京大学、鹏城实验室、罗切斯特大学和新加坡国立大学的研究团队共同开发的一种创新文本到视频生成模型。该模型通过频域分解技术，能够在视频中保持人物身份的一致性，无需针对每个案例进行繁琐的微调。ConsisID利用低频全局特征和高频内在特征的结合，通过层次化训练策略，实现了高保真度、可编辑且一致性强的人物视频生成，推动了视频生成技术的发展。

ConsisID主要功能

1. 身份保持的视频生成：ConsisID能够生成与参考图像中的人物身份一致的视频内容。
2. 无需调整的流程：提供了一个无需针对每个新身份进行微调的生成流程，简化了模型的应用。
3. 频域控制方案：采用基于频域的身份保持Diffusion Transformer（DiT）控制方案，优化视频生成过程。
4. 高质量视频输出：生成的视频具有高保真度和自然的外观。
5. 可编辑性：允许对生成的视频进行编辑，例如改变人物的表情、动作等。
6. 一致性维护：确保视频中的人物身份在不同帧之间保持一致。

ConsisID技术原理

1. 全局面部提取器：
   • 将参考图像和面部关键点编码到潜在空间，生成富含低频信息的特征。
   • 这些特征被整合到网络的浅层，以减轻DiT训练的挑战。
2. 局部面部提取器：
   • 设计用于捕捉高频细节，如眼睛和嘴唇的纹理等。
   • 增强模型保持细粒度特征的能力，提升面部表情和相似度的准确性。
3. 层次化训练策略：
   • 包括粗到细训练、动态掩码损失和动态跨脸损失。
   • 将预训练的视频生成模型转换为IPT2V模型，提高模型的泛化能力。
4. 频域分析：
   • 受到视觉/扩散变换器频域分析的启发，将身份特征分解为高、低频信号。
   • 将这些信号注入到DiT的特定位置，实现有效的身份保持文本到视频生成。
5. 控制信号注入：
   • 根据频域分析的结论，将控制信号注入到模型的适当位置，以优化低频和高频信息的处理。
6. 预训练模型的转换：
   • 通过层次化训练策略，将普通的预训练视频生成模型转变为能够进行身份保持文本到视频生成的模型。

ConsisID应用场景

1. 电影和视频制作：ConsisID可以用于生成电影或视频中的特定场景，保持角色身份一致性，同时允许创作者根据剧本调整角色动作和背景。
2. 虚拟主播和新闻播报：在新闻行业，ConsisID能够生成具有一致身份特征的虚拟主播，用于播报新闻，提供更加自然和真实的视觉体验。
3. 游戏和虚拟现实：在游戏开发中，ConsisID可以用于创建具有稳定身份特征的非玩家角色（NPC），增强游戏的沉浸感和真实性。
4. 个性化广告：ConsisID能够根据目标受众的身份特征生成定制化的广告视频，提高广告的吸引力和个性化水平。
5. 社交媒体内容创作：用户可以利用ConsisID生成与自己身份特征一致的虚拟形象，用于社交媒体平台，增加内容的互动性和趣味性。
6. 教育和培训模拟：在教育领域，ConsisID可以生成具有特定身份特征的角色，用于模拟教学场景，提高学习体验的真实感。

ConsisID项目入口

• 项目主页：https://pku-yuangroup.github.io/ConsisID/
• GitHub代码库：https://github.com/PKU-YuanGroup/ConsisID
• arXiv研究论文：https://arxiv.org/pdf/2411.17440