TrackGo：一种灵活高效的可控视频生成方法

TrackGo简介

TrackGo是由北京航空航天大学和AISphere Tech的联合研究团队开发的一种创新视频生成方法。这项技术允许用户通过自由形式的遮罩和箭头来指定目标移动对象或部分，并指示期望的运动轨迹，从而实现对视频内容的精确控制。TrackGo通过引入TrackAdapter，一种高效轻量级的适配器，无缝集成到预训练视频生成模型的时间自注意力层中，利用注意力图准确激活视频中的运动区域，实现了对复杂场景中对象运动和背景移动的精细控制。

TrackGo主要功能

1. 自由形式遮罩和箭头指定：用户可以使用自由形式的遮罩来精确指定视频中的目标移动对象或部分，并使用箭头指示这些对象的期望运动轨迹。
2. 精确控制生成：TrackGo能够根据用户输入生成具有精确控制的视频帧，包括复杂场景中的对象运动和背景移动。
3. 多对象和细粒度控制：支持对视频中多个对象和细粒度对象部分的控制，以及复杂的运动轨迹。
4. 高效性能：通过优化的TrackAdapter设计，TrackGo在保持生成质量的同时，减少了模型参数的增加和推理时间。

TrackGo技术原理

1. 点轨迹生成：TrackGo自动从用户定义的遮罩和箭头中提取点轨迹，这些轨迹作为视频生成的精确蓝图。
2. 时间自注意力层的利用：TrackGo利用时间自注意力层的注意力图来激活视频中的运动区域，实现对运动的精确控制。
3. TrackAdapter集成：TrackAdapter是一个轻量级的适配器，设计用于修改预训练视频生成模型的现有时间自注意力层，以适应新的条件，增强模型对生成视频的控制。
4. 双分支架构：TrackAdapter在现有时间自注意力层内集成了一个额外的自注意力分支，与原始分支并行运行，专注于目标区域内的运动，确保运动动态以高保真度被捕获。
5. 注意力损失引入：为了加速模型收敛并提高效率，TrackGo引入了注意力损失，以优化模型训练过程。
6. 控制未指定区域的运动：在推理过程中，TrackGo允许用户调整未指定区域的运动强度，以实现与前景运动同步或减少未指定区域的感官干扰。

TrackGo应用场景

1. 电影制作：导演可以使用TrackGo来预览和调整电影场景中对象的运动轨迹，实现创意构思。
2. 动画创作：动画师可以利用TrackGo生成动画序列，对角色和物体的运动进行精确控制。
3. 虚拟现实(VR)内容开发：在VR环境中，TrackGo可以用来生成与用户交互同步的动态背景和对象。
4. 游戏开发：游戏设计师可以应用TrackGo来创造游戏中的动态效果和角色动画。
5. 广告制作：广告制作人可以利用TrackGo来设计引人入胜的广告视频，其中包含精确控制的视觉效果。

6. 模拟训练：在军事或紧急服务训练中，TrackGo可以生成模拟真实情况的视频，用于战术演练和决策训练。

TrackGo项目入口

• 官方项目主页：https://zhtjtcz.github.io/TrackGo-Page/
• arXiv技术论文：https://arxiv.org/pdf/2408.11475