ViewExtrapolator：能够在训练视图范围之外生成新的视角图像

ViewExtrapolator简介

ViewExtrapolator是由南洋理工大学和UCAS-Terminus AI实验室联合开发的一种创新方法，它通过利用稳定视频扩散（Stable Video Diffusion, SVD）的生成先验来实现新视角外推。这种方法能够有效地优化由辐射场或点云渲染产生的易产生伪影的视图，生成更清晰、更逼真的新视角图像。作为一个无需训练的通用新视角外推工具，ViewExtrapolator不仅数据和计算效率高，而且在各种3D渲染方法中都显示出了卓越的性能和广泛的适用性。

ViewExtrapolator主要功能

1. 新视角外推：ViewExtrapolator能够在训练视图范围之外生成新的视角图像，这对于提供沉浸式3D体验和自由探索重建的辐射场至关重要。
2. 伪影减少：通过优化辐射场或点云渲染产生的图像，减少伪影，提高新视角图像的真实性和清晰度。
3. 通用性：作为一个通用的新视角外推工具，ViewExtrapolator可以与不同的3D渲染方法配合使用，如单视图或单目视频的点云渲染。
4. 无需微调：ViewExtrapolator不需要对SVD模型进行微调，节省了数据和计算资源，提高了应用的便捷性和可访问性。

ViewExtrapolator技术原理

1. 稳定视频扩散（SVD）：ViewExtrapolator基于SVD模型，这是一个图像到视频的扩散模型，通过逐步去噪高斯噪声来生成视频。
2. 去噪过程重设计：通过修改SVD的ODE（常微分方程）导数，使其朝向伪影视频的方向，从而引导SVD保留原始场景内容并消除伪影。
3. 引导退火（Guidance Annealing）：在去噪过程的早期步骤中，使用伪影视频指导SVD，以减少伪影并生成更自然的视频细节。
4. 重采样退火（Resampling Annealing）：在去噪步骤中引入重采样技术，通过多次重复去噪步骤来减少伪影，同时允许SVD在未引导的重采样步骤中向更自然的视频方向去噪。
5. 多视图一致性：通过设计引导退火和重采样退火，ViewExtrapolator能够在去噪过程中有效减少伪影，并在不同视图间保持一致性。

ViewExtrapolator应用场景

1. 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，ViewExtrapolator可以用于生成用户在虚拟环境中从不同角度观察的逼真图像，提升沉浸感。
2. 3D电影和游戏制作：在电影或游戏制作中，该技术可以用来创建或增强3D场景，允许从新的视角渲染场景，增加视觉多样性。
3. 文物和历史遗迹复原：对于无法从所有角度进行拍摄的文物或遗迹，ViewExtrapolator可以外推缺失视角的图像，帮助重建完整的3D模型。
4. 建筑可视化：在建筑领域，该技术可以用于从不同角度展示建筑设计，即使这些角度在实际拍摄时无法达到。
5. 安全监控：ViewExtrapolator可以用于从单一监控摄像头视角外推其他视角，增强监控覆盖范围，提高安全监控效率。
6. 自动驾驶模拟：在自动驾驶技术的研发中，该技术可以用于模拟不同视角的道路情况，用于测试和训练自动驾驶系统。

ViewExtrapolator项目入口

• 项目主页：https://kunhao-liu.github.io/ViewExtrapolator
• GitHub仓库：https://github.com/Kunhao-Liu/ViewExtrapolator
• arXiv技术论文：https://arxiv.org/pdf/2411.14208