ProPainter：南洋理工大学推出的AI视频修复技术

ProPainter简介

ProPainter是一种先进的视频修复技术，由新加坡南洋理工大学S-Lab的研究团队开发。这项技术专注于视频修复中的填充任务，能够填补视频中的缺失区域，同时保持视觉上的连贯性和空间-时间一致性。通过创新的双域传播方法和高效的蒙版引导稀疏视频变换器，ProPainter在维持高效率的同时显著提升了视频修复的性能，实现了与现有最先进技术相比1.46分贝的PSNR增益，展现出在视频内容填充方面的卓越能力。

ProPainter主要功能

1. 视频内容填充：ProPainter能够自动填充视频中的缺失或损坏区域，如删除的对象或丢失的帧。
2. 空间-时间连贯性：确保填充后的视频内容在空间上与周围环境协调一致，在时间上与前后帧平滑过渡。
3. 高效性能：通过优化的算法设计，ProPainter在保持高效率的同时实现高质量的视频修复效果。

ProPainter技术原理

1. 双域传播（Dual-domain Propagation）：结合图像域和特征域的传播优势，利用全局对应关系可靠地进行信息传播。
2. 蒙版引导稀疏视频变换器（Mask-guided Sparse Video Transformer）：通过丢弃不必要的冗余窗口，减少计算量和内存消耗，同时保持修复性能。
3. 循环流完成（Recurrent Flow Completion, RFC）：使用高效的循环网络完成不完整的光流场，为后续的传播模块提供精确的光流信息。
4. 特征传播（Feature Propagation）：利用基于流的变形对齐技术，提高对遮挡和不准确光流完成的鲁棒性。
5. 效率优化：ProPainter的设计考虑到了计算效率，通过GPU加速和稀疏注意力机制减少计算和内存需求。
6. 端到端框架：整个视频修复流程在统一的框架内完成，包括光流的完成、信息的传播以及最终视频序列的重建。

ProPainter应用场景

1. 视频修复：修复因损坏或老化导致的视频内容缺失。
2. 对象移除：在视频中去除不需要的对象或元素。
3. 视频增强：改善视频质量，例如填补压缩过程中丢失的细节。
4. 虚拟现实：在虚拟现实内容创建中填充或平滑视频序列。
5. 监控视频分析：在监控视频中填补遮挡或损坏的部分，以进行更好的事件分析。
6. 电影后期制作：在电影制作过程中，用于填补拍摄中的技术问题或后期编辑需求。

ProPainter项目入口

• 官方项目主页：https://shangchenzhou.com/projects/ProPainter/
• GitHub代码库：https://github.com/sczhou/ProPainter
• arXiv技术论文：https://arxiv.org/pdf/2309.03897