Video Alchemist：Snap等推出的视频生成模型

Video Alchemist简介

Video Alchemist 是由 Snap Inc. 与 UC Merced 和 CMU 合作开发的新型视频生成模型，旨在实现多主体和开放集个性化视频生成。该模型能够根据文本提示和参考图像生成包含特定人物、动物或物体的视频，同时支持对背景的个性化定制。与传统方法相比，Video Alchemist 不需要针对每个新概念进行耗时的测试时优化，显著提升了视频生成的灵活性和效率。它基于创新的 Diffusion Transformer 模块，通过交叉注意力机制融合文本和图像条件，生成自然流畅的视频内容。开发团队还引入了 MSRVTT-Personalization 基准测试，用于准确评估个性化视频生成的效果。Video Alchemist 在主体保真度、文本对齐和视频动态性方面均优于现有方法，为视频生成领域带来了新的突破。

Video Alchemist主要功能

1. 多主体个性化视频生成：Video Alchemist 能够根据文本提示和多个参考图像生成包含特定主体（如人物、动物、物体）的视频，支持同时对多个主体进行个性化定制。
2. 开放集个性化：该模型支持开放集个性化，能够生成包含未见过的主体或背景的视频，无需针对每个新概念进行额外的优化或训练。
3. 背景与前景的联合定制：Video Alchemist 不仅可以个性化前景主体，还能对背景进行定制，生成与文本描述一致的多样化场景。
4. 无需测试时优化：与传统方法不同，Video Alchemist 不需要在测试阶段针对每个新概念进行优化，大大提高了生成效率。
5. 高质量视频生成：该模型能够生成高分辨率、长时长的视频，同时保持自然的运动和主体保真度。

Video Alchemist技术原理

1. Diffusion Transformer 模块：Video Alchemist 基于 Diffusion Transformer 架构，通过交叉注意力层将文本提示和参考图像的嵌入信息融合到视频生成过程中。每个模块包含两个交叉注意力层，分别用于处理文本条件和图像条件。
2. 图像与文本的绑定机制：为了实现多主体个性化，模型将参考图像的嵌入与对应的实体词嵌入结合，通过绑定机制确保模型正确地将图像条件应用于目标主体，避免错误的主体匹配。
3. 自动数据构建与增强：由于缺乏成对的参考图像和视频数据集，开发团队设计了一种自动数据构建流程，从视频中提取参考图像并进行合成。同时，通过数据增强（如随机裁剪、颜色抖动、旋转等）减少模型对参考图像的过拟合。
4. MSRVTT-Personalization 基准测试：为了评估个性化视频生成的效果，开发团队引入了一个新的基准测试 MSRVTT-Personalization，支持多种条件模式（如单主体、多主体、背景条件等），并从主体保真度、文本对齐、视频动态性等多个维度进行评估。
5. 双阶段训练策略：Video Alchemist 采用双阶段训练：第一阶段仅使用文本条件训练模型；第二阶段引入图像条件的交叉注意力层，并对整个模型进行微调。这种策略有助于模型更好地学习文本和图像的联合表示。
6. 高效的采样与推理;在推理阶段，模型采用矩形流采样器（rectified flow sampler）和分类器自由引导（classifier-free guidance）技术，通过调整引导尺度优化生成效果，同时支持高分辨率和长时长视频的高效生成。

Video Alchemist应用场景

1. 影视制作：快速生成个性化角色或场景的视频片段，辅助剧本预览或特效制作，降低拍摄成本。
2. 广告营销：根据品牌需求定制视频内容，结合特定人物、产品或场景，提升广告的吸引力和针对性。
3. 社交媒体：用户可以利用个性化视频生成功能，快速创作独特的视频内容，提升互动性和趣味性。
4. 教育领域：生成与教学内容相关的个性化视频，如历史场景重现或科学实验动画，增强学习体验。
5. 游戏开发：快速生成游戏中的角色动画或场景，支持多样化的角色定制和背景生成，提升游戏的沉浸感。
6. 虚拟现实（VR）与增强现实（AR）：为虚拟环境生成高度个性化的场景和角色，增强用户的沉浸感和交互体验。

Video Alchemist项目入口

• 项目主页：https://snap-research.github.io/open-set-video-personalization
• arXiv技术论文：https://arxiv.org/pdf/2501.06187