AuraFusion360：实现高质量的对象移除和孔洞填充

0 50

AuraFusion360简介

AuraFusion360是由台湾新阳明交通大学和英伟达联合开发的一种新型参考图像引导的360°无边界场景修复方法。该方法通过深度感知的未见区域掩码生成、自适应引导深度扩散（AGDD）和基于SDEdit的细节增强等技术，实现了高质量的对象移除和孔洞填充，并在新视图渲染中保持与参考图像的一致性。开发团队通过创新的深度感知技术和扩散模型的应用，解决了三维场景修复中视图一致性和几何精度的挑战，使AuraFusion360在复杂场景中表现出色，尤其在处理大视图变化和复杂几何形状时，能够有效保持场景的真实性和连贯性。

AuraFusion360主要功能

高质量的对象移除和孔洞填充：AuraFusion360能够从三维场景中移除指定对象，并在移除后形成的孔洞区域进行高质量的填充，确保修复后的场景在视觉上自然且真实。
多视图一致性保持：该方法能够在不同视角下生成一致的修复结果，即使在大视图变化的情况下，也能保持场景的几何一致性和视觉连贯性。
参考图像引导的修复：利用参考图像提供的信息，AuraFusion360可以生成与参考图像风格和内容一致的修复结果，确保修复区域与整体场景的融合。
支持360°无边界场景修复：专门针对360°全景场景设计，能够处理无边界环境下的复杂场景，适用于虚拟现实、增强现实等需要全景视图的应用场景。

AuraFusion360技术原理

深度感知的未见区域掩码生成：
- 利用深度信息和多视图几何关系，自动识别被遮挡的区域（未见区域）。
- 通过深度变形技术生成边界框提示，改进SAM2（Segment Anything Model）的未见区域检测，提高掩码的准确性。
- 该技术能够准确区分背景可见区域和需要修复的未见区域，为后续的修复过程提供精确的指导。
自适应引导深度扩散（AGDD）：
- 一种零样本方法，用于将参考视图中的点几何对齐地反投影到未见区域。
- 通过迭代优化的方式，将单目深度估计与现有深度信息对齐，解决传统方法在360°场景中难以处理的深度尺度和坐标系问题。
- 生成的对齐深度信息用于初始化高斯点的位置，为修复区域提供结构化的起点。
基于SDEdit的细节增强：
- 利用SDEdit（Stochastic Differential Equation-based Editing）技术对初始高斯点进行细化。
- 通过DDIM（Denoising Diffusion Implicit Models）反演技术，将渲染的初始高斯点转换为具有结构化噪声的表示，然后通过扩散模型进行去噪，生成与参考图像一致的RGB指导。
- 该过程不仅保留了参考视图的结构信息，还能够对修复区域的细节进行增强，确保修复结果在多视图下的一致性和高质量。
3D高斯点云表示：
- 使用3D高斯点云作为场景的三维表示，这种表示方式既高效又灵活，便于进行对象移除和修复操作。
- 高斯点云的每个点都包含颜色、位置和形状信息，能够精确地表示场景的几何和外观特征。
多视图信息融合：
- 充分利用多视图RGB图像和相机参数，通过深度感知和几何对齐技术，将不同视角的信息融合到修复过程中。
- 这种多视图融合方法能够更好地利用场景的全局信息，提高修复的准确性和一致性。

AuraFusion360应用场景

虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，需要对三维场景进行高质量的对象移除和修复，以创建沉浸式的虚拟环境。例如，移除场景中的干扰物体，或者修复因遮挡导致的孔洞，使用户获得更自然、更真实的视觉体验。
建筑设计与可视化：在建筑设计中，通过移除或修改场景中的某些元素（如临时建筑工具或施工设备），可以更清晰地展示建筑的设计效果。此外，还可以用于虚拟漫游，让用户在虚拟环境中预览建筑空间。
影视制作与特效：在影视后期制作中，常需要移除场景中的穿帮物体或添加虚拟元素。AuraFusion360可以高效地修复因移除物体而产生的孔洞，确保特效的自然融合，提升视觉效果。
游戏开发：在游戏场景的设计和优化中，该技术可用于移除场景中的临时道具或修复因设计调整而产生的视觉缺陷，优化游戏环境的视觉质量和沉浸感。
文化遗产保护与数字化：对于历史建筑或文化遗产的数字化展示，可以移除现代添加的元素（如电线、广告牌等），恢复其原始风貌，为文化遗产的保护和传播提供更准确的视觉资料。
房地产营销与展示：在房地产领域，通过移除场景中的临时物品或修复不完整的视图，可以更美观地展示房产的内部和外部环境，提升房产的吸引力和市场竞争力。