GaussianCity：南洋理工大学推出的3D城市生成框架

GaussianCity简介

GaussianCity是由南洋理工大学S-Lab团队开发的一种创新的3D城市生成框架，专门用于高效生成无边界（unbounded）的3D城市场景。该框架基于3D高斯绘制技术（3D Gaussian Splatting），通过引入紧凑的BEV-Point表示法和空间感知的BEV-Point解码器，有效解决了传统方法在大规模场景生成中的显存和效率问题。与现有方法相比，GaussianCity不仅显著提升了生成速度（相比CityDreamer快60倍），还在无人机视角和街景视角的3D城市生成任务中展现了卓越的视觉质量和多视图一致性。这一成果为3D城市建模和虚拟场景生成提供了新的高效解决方案，具有广泛的应用前景。

GaussianCity主要功能

1. 高效无边界3D城市生成：GaussianCity能够生成无限规模的3D城市场景，支持从无人机视角到街景视角的多样化视图，满足游戏、动画、虚拟现实等领域的广泛应用需求。
2. 实时渲染与高效性能：通过优化的3D高斯绘制技术，GaussianCity在生成高质量3D城市时表现出色，渲染速度比现有方法（如CityDreamer）快60倍，达到10.72 FPS，显著提升了实时性。
3. 低显存与存储需求：采用紧凑的BEV-Point表示法，大幅降低了显存（VRAM）和文件存储需求，即使在大规模场景下也能保持恒定的显存占用，解决了传统方法因显存不足导致的扩展性问题。
4. 风格化与可编辑性：支持对建筑风格的灵活编辑和插值，用户可以通过调整风格代码轻松实现建筑外观的多样化，同时兼容主流3D引擎（如Unreal Engine）的光照效果，进一步提升视觉表现。

GaussianCity技术原理

1. 紧凑的3D场景表示（BEV-Point）
   • 原理：引入鸟瞰图（BEV）点作为中间表示，将高斯属性分解为位置相关和风格相关两部分。位置属性通过BEV图表示，风格属性通过查找表压缩，仅处理可见的BEV点，确保显存占用与场景规模无关。
   • 作用：解决了大规模场景生成中的显存瓶颈，使无边界城市生成成为可能。
2. 空间感知的BEV-Point解码器
   • 原理：通过点序列化器（Point Serializer）和点变换器（Point Transformer），捕捉BEV点的结构和上下文特征，生成3D高斯属性。
   • 作用：保留了点云的空间结构信息，提升了生成图像的质量和一致性。
3. 3D高斯绘制（3D-GS）技术
   • 原理：利用3D高斯分布表示场景，每个高斯分布包含位置、颜色、不透明度等属性，通过GPU加速的光栅化技术进行高效渲染。
   • 作用：相比传统方法（如NeRF），显著提升了渲染速度，同时保持了高质量的视觉效果。
4. 优化的训练与生成流程
   • 原理：结合L1损失、VGG损失和GAN损失进行混合优化，通过多视图监督训练生成器和判别器，确保生成场景的多视图一致性和真实感。
   • 作用：在保证生成质量的同时，提升了模型的训练稳定性和收敛速度。

GaussianCity应用场景

1. 游戏开发：快速生成大规模、多样化的虚拟城市环境，为游戏开发者提供丰富的背景资源，降低开发成本和时间。
2. 虚拟现实（VR）与增强现实（AR）：实时渲染逼真的3D城市场景，增强用户沉浸感，适用于虚拟旅游、城市规划展示等应用。
3. 影视制作：为电影和动画制作提供高质量的虚拟城市背景，支持快速生成和风格化编辑，满足不同场景需求。
4. 城市规划与建筑设计：生成大规模城市模型，用于城市规划、建筑设计的可视化展示和方案评估，帮助专业人士快速呈现创意。
5. 自动驾驶仿真：创建逼真的街景和城市环境，用于自动驾驶系统的测试和训练，模拟复杂的交通场景和道路条件。
6. 地理信息系统（GIS）：结合地理数据生成虚拟城市地图，用于地理信息的可视化和分析，支持城市研究和资源管理。

GaussianCity项目入口

• GitHub代码库：https://github.com/hzxie/GaussianCity
• HuggingFace：https://huggingface.co/spaces/hzxie/gaussian-city
• arXiv技术论文：https://arxiv.org/pdf/2406.06526