MinT：Snap与多伦多大学团队推出的视频生成模型

MinT简介

MinT（Mind the Time）是由Snap与多伦多大学团队推出的视频生成模型，它能够根据文本提示和预定的时间戳生成具有精确时间控制的视频序列。通过创新的时间基位置编码方法ReRoPE，MinT能够将视频中的每个事件与其对应的时间段绑定，实现对视频内事件顺序和时长的精确控制。这一技术突破使得MinT在生成连贯且具有丰富动态的视频内容方面超越了现有的开源模型，为未来的内容创作工具开辟了新的可能性。

MinT主要功能

1. 多事件视频生成：MinT能够根据一系列文本提示生成包含多个事件的视频。
2. 时间控制：模型可以精确控制每个事件在视频中的开始和结束时间。
3. 连贯性保持：在生成多事件视频时，MinT确保事件之间过渡自然、连贯。
4. 基于文本的控制：用户可以通过文本提示指导视频内容的生成，包括背景、主体外观和动态事件。
5. 提示增强器：使用大型语言模型（LLM）扩展简短提示，生成更详细的全局和时间字幕，从而产生动作更丰富的视频。

MinT技术原理

1. 时间基位置编码（ReRoPE）：MinT设计了一种新的位置编码方法，称为ReRoPE，它根据事件的时间戳将事件字幕与视频中的正确帧关联起来。
2. 交叉注意力机制：模型使用交叉注意力层来融合视频令牌和文本嵌入，使模型能够关注与当前处理帧最相关的文本信息。
3. 事件时间范围的编码：通过将事件时间范围编码到模型中，MinT能够区分不同事件，并在适当的时间生成相应的动作。
4. 全局和时间字幕的融合：MinT处理全局字幕来描述视频内容，同时处理时间字幕来描述动态事件，这有助于模型更好地理解视频的动态结构。
5. 预训练视频扩散变换器（DiT）：MinT基于预训练的潜在扩散变换器构建，该变换器通过添加高斯噪声并训练去噪网络来生成视频。
6. 场景切割条件：MinT能够学习并在视频中生成或抑制场景切割，这增加了对视频镜头转换的控制能力。

MinT应用场景

1. 电影和视频制作：用于生成电影预览、特效场景或故事板的动态视频内容。
2. 新闻和媒体：快速生成新闻故事的视觉内容，提高报道的吸引力和表现力。
3. 教育和培训：创建模拟场景和教学视频，增强学习体验。
4. 游戏开发：生成游戏中的动态剧情和过场动画，提升游戏的沉浸感。
5. 广告和营销：定制化生成广告视频，以吸引特定受众群体。
6. 虚拟现实和增强现实：为VR和AR应用生成动态背景和事件，增强用户互动体验。

MinT项目入口

• 项目主页：https://mint-video.github.io/
• arXiv技术论文：https://arxiv.org/pdf/2412.05263v1