OmniRe：用于城市场景侦察和模拟的系统级 3DGS 框架

OmniRe简介

OmniRe是由上海交通大学、Technion、多伦多大学、斯坦福大学、NVIDIA Research和南加州大学联合开发的一个创新系统级3DGS框架。该框架专注于从设备日志中高效重建高保真的动态城市场景，通过构建动态神经场景图和多种局部规范空间，能够精确模拟包括车辆、行人和骑行者在内的各种动态对象。OmniRe的先进算法使得场景重建和实时模拟（约60Hz）成为可能，其在Waymo数据集上的评估显示，该方法在定量和定性上均大幅超越了现有技术。

OmniRe主要功能

1. 高保真动态场景重建：OmniRe能够从设备日志中重建出高度真实的动态城市场景。
2. 动态对象建模：准确模拟包括车辆、行人、骑行者等在内的各种动态行为者。
3. 实时模拟：支持以大约60Hz的速率实时模拟重建场景，使所有参与者都能参与其中。
4. 多视角传感器模拟：允许从新的视角模拟传感器数据，增强场景的交互性和逼真度。
5. 场景编辑和控制：提供对重建场景中各个对象的编辑和控制能力，包括位置、姿态和行为。

OmniRe技术原理

1. 3DGS框架：使用三维高斯散射（3DGS）框架来构建动态场景的全面表示。
2. 动态神经场景图：基于高斯表示构建动态神经场景图，以模拟场景中的各种动态对象。
3. 局部规范空间：为不同的动态行为者构建多个局部规范空间，以准确建模其动态行为。
4. 高斯表示：利用高斯函数来表示场景中的各个元素，包括其位置、形状和外观。
5. SMPL模型：对于近距离的行人，使用基于模板的Skinned Multi-Person Linear (SMPL)模型进行建模，允许关节级别的控制。
6. 自监督变形场：对于远距离或其他难以用模板建模的动态对象，使用自监督学习的方法来预测其变形。
7. 端到端优化：通过联合优化所有参数，包括高斯属性、节点姿态、人类姿态和变形网络权重，以实现高质量的场景重建。
8. 损失函数设计：使用包括L1损失、SSIM损失、深度损失、不透明度损失和正则化项的复合损失函数来指导训练过程。

OmniRe应用场景

1. 自动驾驶系统测试：OmniRe能够为自动驾驶车辆提供逼真的虚拟测试环境，用于模拟各种复杂的城市交通场景，以验证和优化自动驾驶算法。
2. 虚拟现实(VR)体验：在虚拟现实应用中，OmniRe可以生成详细的城市环境，为用户提供沉浸式体验，适用于游戏、教育或训练模拟。
3. 城市规划和设计：利用OmniRe重建的城市场景可以帮助规划者和设计师在虚拟环境中评估建筑设计、交通规划和城市发展项目。
4. 电影和游戏制作：在电影视觉特效和游戏开发中，OmniRe可以创建高质量的动态城市背景，提供更加真实和动态的视觉内容。
5. 紧急情况模拟：OmniRe可用于模拟紧急情况，如交通事故或自然灾害，以训练第一反应者和进行风险评估。

6. 增强现实(AR)导航：在增强现实导航应用中，OmniRe能够提供精确的城市环境模型，帮助用户在现实世界中获得更加丰富和直观的导航信息。

OmniRe项目入口

• 官方项目主页：https://ziyc.github.io/omnire/
• GitHub代码库：https://github.com/ziyc/drivestudio
• arXiv研究论文：https://arxiv.org/pdf/2408.16760