Follow-Your-Canvas：一种高分辨率视频外扩技术

Follow-Your-Canvas简介

Follow-Your-Canvas 是一种创新的高分辨率视频外扩技术，由来自腾讯、香港科技大学、中国科学技术大学和清华大学的联合研究团队开发。该技术通过扩散模型生成丰富内容，有效解决了视频扩展过程中的低质量内容生成和 GPU 内存限制问题。它采用分窗处理和布局对齐策略，能够在不牺牲空间和时间一致性的前提下，实现从低分辨率到高分辨率（如从 512×512 到 1152×2048）的大幅视频内容扩展，为视频编辑和增强提供了强大的工具。

Follow-Your-Canvas主要功能

1. 高分辨率视频外扩：能够将视频内容扩展到原始边界之外，填充指定的画布区域，实现从低分辨率到高分辨率的大幅扩展，如从 512×512 到 1152×2048。
2. 丰富内容生成：在扩展视频空间内容的同时，生成与源视频协调一致的高质量、丰富内容。
3. 空间和时间一致性：保持生成的视频在空间布局和时间变化上的连贯性和一致性，避免模糊和不协调的现象。
4. 多分辨率适应性：能够处理任何大小和分辨率的视频，不受 GPU 内存限制，适用于大规模视频内容生成。

Follow-Your-Canvas技术原理

1. 扩散模型：使用基于扩散的方法，通过逐步去噪过程将噪声数据转换成结构化的视频内容。
2. 空间窗口分割：将整个视频外扩任务分解到多个空间窗口中，每个窗口独立处理，然后无缝合并结果，以适应不同分辨率的视频。
3. 相对位置注入：在每个窗口的生成过程中，将源视频及其相对位置关系注入，确保生成的内容与源视频的空间布局协调。
4. 布局编码器（Layout Encoder）：引入布局编码器模块，提供源视频的整体布局信息，通过交叉注意力机制影响模型生成过程。
5. 相对区域嵌入（Relative Region Embedding, RRE）：提供关于源视频与目标窗口（外扩区域）相对位置的信息，帮助模型根据相对位置生成符合全局布局的内容。
6. 并行处理：在多个 GPU 上并行执行窗口外扩，加速生成过程，提高效率。
7. 高斯权重融合：在去噪的每一步后，使用高斯权重来平滑合并各个窗口的输出，确保最终结果的平滑过渡和高质量视觉效果。

Follow-Your-Canvas应用场景

1. 电影和视频制作：在后期制作过程中，可以用来扩展场景，增加画面内容，或者调整视频的宽高比以适应不同的播放格式。
2. 虚拟现实内容创建：为虚拟现实环境生成更加丰富和详细的背景视频，提升沉浸感。
3. 社交媒体视频编辑：用户可以利用该技术扩展短视频内容，增加视觉效果，使分享到社交媒体上的视频更具吸引力。
4. 视频监控分析：在视频监控系统中，对监控画面进行扩展，可以提供更宽广的视野，帮助监控人员更好地理解场景。
5. 游戏视频生成：在游戏中，用于生成更加丰富和连续的背景视频，增强游戏的视觉体验。
6. 教育和培训视频：在制作教育或培训视频时，可以用来扩展和丰富视频内容，使教学材料更加生动和详尽。

Follow-Your-Canvas项目入口

• 项目官网：https://follow-your-canvas.github.io/
• GitHub仓库：https://github.com/mayuelala/FollowYourCanvas
• arXiv技术论文：https://arxiv.org/pdf/2409.01055