Phantom-Wan：字节跳动推出的视频生成框架

Phantom-Wan项目简介

Phantom-Wan是由字节跳动开发的视频生成框架，专注于从参考图像中提取主题元素并根据文本指令生成主题一致的视频。它通过跨模态对齐技术，结合文本、图像和视频的三元组数据进行训练，有效解决了图像内容泄露和多主体混淆的问题。Phantom-Wan在单主体和多主体视频生成任务中表现出色，尤其在面部ID保持方面具有显著优势，超越了现有的商业解决方案。该框架不仅为视频生成领域提供了新的技术路径，还为虚拟试穿、互动故事讲述等工业应用提供了广阔前景。

Phantom-Wan主要功能

1. 主题一致的视频生成：
   • 从参考图像中提取主体元素，并根据文本指令生成与主体一致的视频。
   • 支持单主体和多主体的视频生成，确保生成视频中的主体与参考图像高度一致。
2. 高质量视频生成：
   • 生成的视频在视觉效果上具有高保真度，同时保持文本描述的准确性。
   • 通过跨模态对齐技术，确保视频内容与文本和图像的双重模态提示深度对齐。
3. 面部ID保持：
   • 在生成视频时保持人物面部的高相似度，特别适用于需要身份一致性的场景，如虚拟试穿和广告制作。
4. 灵活的文本响应：
   • 根据文本提示灵活调整视频内容，支持复杂的场景描述和动作指令。
5. 统一的生成框架：
   • 提供一个统一的模型架构，支持从单主体到多主体的视频生成，无需额外的模型调整。

Phantom-Wan技术原理

1. 跨模态对齐：
   • 使用文本-图像-视频三元组数据进行训练，确保生成的视频同时对齐文本和图像内容。
   • 通过动态信息注入策略，在注意力计算中插入参考图像特征，实现文本和图像的深度对齐。
2. 改进的MMDiT架构：
   • 基于MMDiT架构，结合3D VAE和CLIP对参考图像进行编码，提取低层次细节信息和高层次语义信息。
   • 使用窗口自注意力机制，降低计算成本，同时保持视频和图像特征的有效融合。
3. 数据管道优化：
   • 构建了从长视频中提取单场景片段的数据管道，通过过滤、字幕生成、主体检测和匹配等步骤，确保训练数据的质量和多样性。
   • 通过跨视频多主体配对，避免生成视频时的“复制粘贴”问题，确保主体在运动中的连续性和一致性。
4. 动态特征注入：
   • 在每个MMDiT块中动态注入参考图像特征，支持单主体和多主体的灵活输入。
   • 通过自注意力机制，确保视频生成过程中主体特征与文本描述的紧密对齐。
5. 高效的训练和推理：
   • 使用修正流（Rectified Flow, RF）构建训练目标，优化噪声分布采样，提高训练效率。
   • 在推理阶段，通过调整文本提示和优化采样策略，确保生成视频的质量和响应速度。

Phantom-Wan应用场景

1. 虚拟试穿

• 用户可以上传自己的照片作为参考图像，通过文本指令描述试穿的服装款式，Phantom-Wan 能够生成用户穿着指定服装的视频，帮助用户直观地查看试穿效果，提升购物体验。

2. 广告制作

• 广告商可以利用该技术快速生成产品展示视频。例如，将产品图片与描述性文本结合，生成动态广告视频，展示产品在不同场景下的使用效果，提高广告的吸引力和说服力。

3. 影视特效制作

• 在影视制作中，Phantom-Wan 可以根据剧本描述和角色参考图像生成特效镜头，如角色在奇幻场景中的动作，减少实景拍摄成本和时间，提升特效制作效率。

4. 教育内容创作

• 教育机构可以利用该技术生成教学视频，例如将历史人物的画像与相关历史事件描述结合，生成人物在历史场景中的动态视频，增强教学的趣味性和直观性。

5. 互动娱乐

• 在游戏和互动娱乐领域，Phantom-Wan 可以根据玩家的指令和角色图像生成动态场景，增强玩家的沉浸感。例如，玩家可以控制角色在虚拟世界中的动作和场景变化。

6. 社交媒体内容创作

• 用户可以利用该技术生成个性化的视频内容，如将个人照片与创意文本结合，生成独特的视频故事，分享到社交媒体平台，提升内容的吸引力和互动性。

Phantom-Wan项目入口

Github地址：https://github.com/Phantom-video/Phantom

论文地址：https://arxiv.org/abs/2502.11079

模型下载地址：https://huggingface.co/bytedance-research/Phantom