DiTCtrl：实现无需调整的多提示长视频生成

DiTCtrl简介

DiTCtrl是一种基于多模态扩散变换器（MM-DiT）架构的免调优多提示视频生成方法。它通过分析MM-DiT的注意力机制，实现了跨不同提示的精确语义控制，使得视频在多个连续提示之间能够保持平滑过渡和一致的对象运动，无需额外训练。DiTCtrl引入了关键值共享（KV-sharing）机制和潜在混合策略，确保了在多提示视频生成中，视频片段间过渡的连贯性和自然性，同时保持了计算效率。此外，DiTCtrl还提供了专门设计的多提示视频生成评估基准MPVBench，推动了这一领域研究的进展。

DiTCtrl主要功能

1. 多提示视频生成： DiTCtrl能够处理多个文本提示，生成连贯的视频序列，这些视频序列能够自然地从一个场景过渡到另一个场景。
2. 无需额外训练： 该方法不需要对模型进行额外的训练或优化，即可生成高质量、长视频。
3. 平滑过渡： 在不同提示之间实现内容和运动上的平滑过渡。
4. 语义一致性： 保持视频中关键对象的语义一致性，即使在不同的提示之间切换。

DiTCtrl技术原理

1. 注意力机制分析： DiTCtrl分析了MM-DiT架构中的3D全注意力机制，发现其与UNet类扩散模型中的交叉/自注意力块相似，这使得可以跨不同提示进行精确的语义控制。
2. 关键值共享（KV-sharing）机制： 通过在不同提示的视频片段之间共享关键和值（KV），保持关键对象的语义一致性。
3. 潜在混合策略： 为了确保不同语义片段之间的时间连贯性，DiTCtrl采用了潜在混合策略，通过重叠区域的加权函数实现平滑过渡。
4. 掩码引导的精确控制： 利用从MM-DiT注意力矩阵中提取的掩码，DiTCtrl能够精确控制生成内容，确保在不同提示之间保持对象的一致性。
5. MPVBench基准： 为了系统评估DiTCtrl方法并促进多提示视频生成的未来研究，DiTCtrl引入了MPVBench，这是一个包含多种过渡类型和专门评估多提示视频的新基准。
6. 无需调优： DiTCtrl避免了传统方法中需要大量计算资源和数据集的训练过程，实现了零样本（zero-shot）的长视频生成。

DiTCtrl应用场景

1. 电影制作与特效： DiTCtrl可以用于生成电影中的特效场景，如复杂的动作序列或背景变换，减少实际拍摄成本和风险。
2. 游戏开发： 在游戏制作中，DiTCtrl可以用来创建动态背景视频，增强游戏环境的真实感和沉浸感。
3. 广告与营销： 生成吸引人的广告视频，通过多场景转换讲述故事，吸引观众注意力并传达产品信息。
4. 教育与培训： 制作教育视频，展示复杂的概念或历史事件，通过动态视觉帮助学生更好地理解和记忆。
5. 虚拟现实（VR）： 在虚拟现实应用中，DiTCtrl可以用来生成连续的环境变化，提供更加丰富和动态的虚拟体验。
6. 新闻与报道： 制作新闻报道视频，通过多角度和场景的切换，提供更全面和深入的事件报道。

DiTCtrl项目入口

• 项目主页：https://onevfall.github.io/project_page/ditctrl/
• GitHub代码库：https://github.com/TencentARC/DiTCtrl
• arXiv研究论文：https://arxiv.org/pdf/2412.18597