Tora：阿里推出的基于轨迹导向的扩散变换器视频生成框架

Tora简介

Tora是由阿里巴巴集团开发的一款创新的视频生成框架，它融合了轨迹导向的扩散变换器技术，能够根据文本、图像和轨迹条件生成高质量视频。这一突破性工具不仅能够精确控制视频内容的动态，还支持多样化的视频时长、宽高比和分辨率。Tora的设计巧妙地利用了扩散模型的可扩展性，使其在生成长达204帧的720p分辨率视频时，仍能保持稳定和逼真的运动控制，为视频内容创作提供了前所未有的灵活性和适应性。

Tora主要功能

1. 轨迹导向的视频生成：Tora能够根据给定的轨迹生成视频，保持运动的一致性和准确性。
2. 多模态输入整合：支持文本、图像和轨迹条件的同时输入，实现多维度的视频内容控制。
3. 高分辨率视频输出：能够在720p的高分辨率下生成长达204帧的视频，保证视频质量。
4. 物理世界动态模拟：生成的视频运动效果贴近现实世界的物理动态，如重力和动力学原理。
5. 灵活的内容创作：支持不同时长、宽高比和分辨率的视频生成，满足多样化的创作需求。

Tora技术原理

1. 轨迹提取器（TE）：将任意轨迹编码成层级时空运动补丁，使用3D视频压缩网络进行高效编码。
2. 运动引导融合器（MGF）：通过自适应归一化层将运动补丁整合到DiT块中，精确控制视频内容的动态。
3. 扩散变换器（DiT）：结合扩散模型与变换器架构，提高视频生成的性能、通用性和可扩展性。
4. 空间-时间DiT架构：包含空间DiT块（SDiT-B）和时间DiT块（T-DiT-B），交替排列以处理视频数据。
5. 自注意力机制：利用空间自注意力（SSA）和时间自注意力（TSA）来处理视频序列，增强模型对时间序列的理解。
6. 3D变分自编码器（VAE）：用于压缩轨迹数据，实现对连续帧间运动信息的有效编码。
7. 两阶段训练策略：首先使用密集光流进行训练，然后使用稀疏轨迹进行微调，提高模型对运动控制的灵活性和准确性。
8. 数据集和评估指标：使用标注视频进行训练，结合光流估计器和运动分割结果提取轨迹，使用FVD、CLIPSIM和轨迹误差等指标评估视频质量。

Tora应用场景

1. 电影和视频制作：Tora可以用于生成电影预告片或特效场景中的动态元素，减少实际拍摄成本和时间。
2. 虚拟现实（VR）内容开发：在虚拟现实环境中，Tora能够生成逼真的动态背景和角色动作，提升沉浸式体验。
3. 游戏动画生成：为电子游戏中的非玩家角色（NPC）或环境元素生成自然流畅的动作和场景变化。
4. 广告和营销：快速生成吸引人的视频广告，根据产品特性和营销策略定制动态视觉效果。
5. 社交媒体内容：用户可以利用Tora生成个性化的视频内容，用于社交媒体平台分享，增加互动和吸引力。
6. 教育和培训视频：制作教育动画或培训材料，通过动态演示帮助学习者更好地理解和记忆复杂概念。

Tora项目入口

• 官方项目主页：https://ali-videoai.github.io/tora_video/
• GitHub代码库：https://github.com/ali-videoai/Tora
• arXiv研究论文：https://arxiv.org/pdf/2407.21705