ReCapture：为已有的视频内容生成具有全新相机轨迹的版本

ReCapture简介

ReCapture是由Google的研究团队开发的一种创新视频处理技术，它能够让用户为已有的视频内容生成具有全新相机轨迹的版本。这项技术通过掩码视频微调方法，不仅保留了原始视频中的场景动态，还能够合理地想象出视频中原视角无法观察到的场景部分。ReCapture在无需成对视频数据的情况下工作，展现出了在多种视频场景下的强大泛化能力，显著提升了视频编辑和内容创作的灵活性和用户体验。

ReCapture主要功能

1. 新相机轨迹生成： ReCapture能够根据用户提供的视频，生成具有新定制相机轨迹的视频版本。
2. 场景和主体运动保留： 在生成新视角视频的同时，保持视频中主体和场景的运动不变。
3. 不可见部分合理想象： 能够合理地生成源视频中不可见的部分，增强视频内容的完整性。
4. 视频质量提升： 通过掩码视频微调技术，提高视频的清晰度和时间一致性，减少模糊和抖动。

ReCapture技术原理

1. 生成噪声锚视频：
   • 多视图扩散模型： 使用多视图扩散模型或基于深度的点云渲染生成带有新相机轨迹的初始锚视频，尽管这个视频可能包含噪声和不完整的信息。
   • 点云序列渲染： 将视频帧转换为3D点云，并根据新的相机轨迹重新渲染，以生成新视角的帧。
   • 独立帧处理： 对每个输入视频帧独立应用多视图图像扩散，以产生带有新相机姿态的噪声锚帧。
2. 掩码视频微调技术：
   • 空间LoRA（Low-Rank Adaptation）： 在视频扩散模型的空间层中加入空间LoRA，并在源视频的增强帧上进行微调，使模型学习源视频的主题外观和背景上下文。
   • 时间运动LoRA： 在视频扩散模型的时间层中插入时间LoRA，并在锚视频上使用掩码损失进行微调，使模型学习新相机轨迹下的场景运动。
   • 掩码损失计算： 在损失计算中忽略未知区域，使模型专注于已知区域和运动，同时忽略未知区域。
3. 视频再生：
   • 结构和运动学习： 通过微调的空间和时间LoRA，视频扩散模型能够自动填充锚视频中的未知区域，并显著提高时间一致性，消除抖动。
   • 后处理： 作为最后的精炼步骤，移除时间LoRA并保留空间LoRA，应用SDEdit技术进一步减少模糊并提高时间一致性。

ReCapture应用场景

1. 电影和视频制作： 导演可以使用ReCapture技术在后期制作中调整相机角度和轨迹，以增强视觉效果或弥补拍摄时的限制。
2. 虚拟现实（VR）内容创建： 在VR应用中，ReCapture可以生成新的视角视频，提升用户的沉浸感和交互体验。
3. 新闻和纪录片制作： 记者和制片人可以利用ReCapture重现事件现场，从不同角度展现新闻故事或历史事件。
4. 安全监控分析： 安防行业可以应用ReCapture技术，从单一视角的视频生成多个视角，以更好地分析和理解事件。
5. 体育赛事直播： 体育赛事可以通过ReCapture技术为观众提供不同的视角，如从裁判视角或运动员视角观看比赛。
6. 教育和培训视频： 在教育领域，ReCapture可以用来从不同角度展示复杂的概念或过程，帮助学生更好地理解和学习。

ReCapture项目入口

• 项目主页：https://generative-video-camera-controls.github.io/