3DGS：实时渲染大规模3D场景

3DGS简介

3DGS（hierarchical-3d-gaussians）是一种用于新型视图合成的先进技术，它通过将场景表示为一组具有位置、协方差、不透明度和颜色属性的3D高斯体积原语，能够实现高视觉质量的场景渲染。3DGS利用这些原语在2D屏幕空间上的投影和光栅化，结合视角依赖的颜色值，重新创建捕获场景的外观，提供了一种快速训练和实时渲染的显式基于原语的表示方法，特别适用于处理大规模场景和动态相机路径的渲染任务。

3DGS主要功能

1. 高视觉质量渲染：3DGS能够生成高质量的图像，接近于实际场景的视觉表现。
2. 快速训练：与某些其他视图合成方法相比，3DGS的训练过程更为迅速。
3. 实时渲染：3DGS支持实时渲染，适用于动态场景和交互式应用。
4. 大规模数据处理：3DGS能够有效处理包含数万个图像的大型数据集。
5. 动态细节级别（LOD）：根据渲染需求动态调整细节级别，优化性能与质量的平衡。

3DGS技术原理

1. 3D高斯体积原语：使用3D高斯函数来表示场景中的体积原语，每个原语具有位置、协方差矩阵、不透明度和颜色属性。
2. 投影与光栅化：将3D高斯原语投影到2D屏幕空间，并使用光栅化技术进行渲染。
3. ϵ-Blending：一种特殊的混合技术，用于计算高斯原语在像素级别的贡献，实现平滑的颜色混合。
4. 层次结构优化：创建一个3D高斯的层次结构，允许对内部节点进行优化，以提高视觉质量和渲染效率。
5. 分割与征服：将大型场景分割成小块（Chunks），分别独立训练，然后合并，以处理大规模场景。
6. 细节级别（LOD）渲染：根据相机距离和视角动态选择适当的细节级别，减少渲染负载并提高性能。
7. 合并策略：定义了一种合并3D高斯原语的方法，以创建层次结构中的中间节点，同时最小化视觉质量损失。
8. 抗锯齿：使用EWA（Epipolar Weighted Average）滤波等技术，改善渲染过程中的抗锯齿效果。
9. 数据稀疏性处理：适应性地调整优化策略，以处理由于数据稀疏性带来的挑战，如在大规模场景捕获中常见的情况。

3DGS应用场景

1. 虚拟旅游：提供沉浸式的城市或自然景观虚拟体验。
2. 游戏开发：用于游戏中的环境渲染和动态场景生成。
3. 电影制作：用于电影中的特效渲染和场景重建。
4. 建筑可视化：展示建筑设计和内部装饰的逼真效果。
5. 自动驾驶模拟：模拟真实驾驶环境进行算法测试和训练。
6. 教育和培训：用于历史遗迹或复杂结构的教育展示和培训。

3DGS项目入口

• 官方项目主页：https://repo-sam.inria.fr/fungraph/hierarchical-3d-gaussians/
• GitHub代码库：https://github.com/graphdeco-inria/hierarchical-3d-gaussians
• 技术研究论文：https://gorden-sun.notion.site/7-28-AI-6dc2ee1b4d1b446483d0b740b893145f