VideoJAM：Meta 联合特拉维夫大学推出的视频生成框架

0 10

VideoJAM简介

VideoJAM是由Meta公司GenAI团队与特拉维夫大学合作开发的一种创新视频生成框架，旨在通过联合学习外观和运动表示来显著提升视频生成模型的运动连贯性。该框架通过在训练阶段引入运动先验，并在推理阶段利用模型自身的运动预测作为动态引导信号，解决了传统视频生成模型在运动连贯性上的不足。VideoJAM只需对现有视频模型进行少量修改，即可显著提升其在各种运动类型上的表现，同时还能提高生成视频的视觉质量。这一成果不仅在技术上取得了突破，还为未来视频生成模型的发展提供了新的思路和方向。

VideoJAM主要功能

增强运动连贯性：VideoJAM通过引入运动先验，显著提高了视频生成模型在各种运动类型上的连贯性，解决了传统模型在运动生成方面的不足。
提高视觉质量：尽管主要目标是提升运动连贯性，VideoJAM在不显著增加计算成本的情况下，也提升了生成视频的视觉质量。
广泛适用性：该框架可以应用于任何视频生成模型，无需对训练数据或模型规模进行大幅修改，只需添加少量的线性层。
动态引导生成：在推理阶段，VideoJAM利用模型自身的运动预测作为动态引导信号，确保生成的视频在运动上更加自然和连贯。

VideoJAM技术原理

联合外观-运动表示：
- 训练阶段：在训练过程中，VideoJAM将视频与其对应的运动表示配对，并修改网络结构，使其能够同时预测外观和运动信号。具体来说，模型在输入端添加一个线性层，将视频和运动信号合并为一个联合表示；在输出端添加另一个线性层，从联合表示中提取运动预测。
- 目标函数修改：目标函数被修改为预测联合外观-运动分布，鼓励模型依赖于添加的运动信号，从而在生成过程中保持运动的连贯性。
Inner-Guidance机制：
- 推理阶段：在推理过程中，VideoJAM引入了Inner-Guidance机制，利用模型自身的运动预测作为动态引导信号。与依赖固定外部信号的现有方法不同，Inner-Guidance直接修改模型的采样分布，将生成过程引导至联合外观-运动分布，并远离仅基于外观的预测，使模型能够在整个生成过程中优化自身输出。
光流表示：
- 运动表示：VideoJAM使用光流（optical flow）作为运动表示，因为它灵活、通用且易于表示为RGB视频。光流计算帧之间的密集位移场，并将其转换为RGB图像，使模型能够捕捉运动幅度和方向。
轻量级架构修改：
- 线性层添加：在模型的输入和输出端分别添加两个线性层，以支持联合输入输出格式。这些修改保持了原始模型的潜在维度，使模型能够学习单一的联合潜在表示，从中预测外观和运动信号。