GaussianEditor：使用高斯溅射实现快速且可控的 3D 编辑

GaussianEditor 简介

GaussianEditor是由南洋理工大学S-Lab和计算机科学与工程学院，以及清华大学计算机科学与技术系的联合研究团队开发的一种创新3D编辑算法。该算法基于高斯散射（Gaussian Splatting）技术，提供了快速、可控且多样化的3D场景编辑功能。通过引入高斯语义追踪和分层高斯散射（HGS）技术，GaussianEditor能够在保持高效率的同时，实现对复杂3D场景的精确控制和修改，显著提升了3D编辑的质量和速度。

GaussianEditor 主要功能

1. 高斯语义追踪（Gaussian Semantic Tracing）：通过在3D空间中对特定高斯点赋予语义标签，实现对编辑目标的精确追踪和控制，确保在训练过程中只更新和优化目标区域。
2. 分层高斯散射（Hierarchical Gaussian Splatting, HGS）：将高斯点根据生成顺序分为不同代，对早期代的高斯点施加更严格的约束以保持原始状态，而对新一代的高斯点则相对放松约束，允许更多适应性变化。
3. 3D修复算法（3D Inpainting Algorithm）：允许用户快速从场景中移除特定对象，或者无缝地将新对象集成到指定区域，整个修复过程在5分钟内完成。
4. 高效率和高控制性：相较于传统3D编辑方法，GaussianEditor提供了更快的编辑速度和更高的控制精度。

GaussianEditor 技术原理

1. 高斯散射（Gaussian Splatting）：一种3D场景表示方法，使用高斯分布来描述场景的结构，其中每个高斯点具有位置、颜色、不透明度等属性。
2. 2D分割掩模到3D高斯的反投影：使用2D分割掩模确定每个高斯点的语义标签，通过反投影技术将2D标签映射回3D空间中的相应高斯点。
3. 基于2D扩散模型的生成指导：利用2D扩散模型作为编辑指导，将3D模型的渲染与文本提示或参考图像结合起来，以实现更自然的编辑效果。
4. 对象移除和整合的专门算法：开发了一种局部修复算法，有效消除对象与场景交界处的人工痕迹，并使用2D修复方法生成单视图图像，然后转换为3D网格并细化。

5. 优化的渲染和训练过程：通过精心设计的优化过程，GaussianEditor能够在保持实时渲染性能的同时，实现对3D场景的快速编辑。

GaussianEditor 应用场景

1. 游戏开发：在游戏设计中快速修改和添加3D模型，提高游戏场景的多样性和丰富性。
2. 虚拟现实(VR)：为虚拟现实环境提供实时的3D场景编辑，增强用户体验的沉浸感。
3. 电影和动画制作：在后期制作中对3D动画场景进行细节调整，优化视觉效果。
4. 3D打印：编辑3D打印模型，进行定制化设计，满足个性化需求。
5. 建筑可视化：在建筑设计中对建筑模型进行实时修改，快速呈现设计变更效果。
6. 增强现实(AR)：在AR应用中动态调整3D对象，提供更加真实和交互式的用户界面。

GaussianEditor 项目入口

• GitHub代码库：https://github.com/buaacyw/GaussianEditor
• arXiv技术论文：https://arxiv.org/pdf/2311.14521