CityDreamer4D：南洋理工开发的无边界4D城市生成模型

CityDreamer4D简介

CityDreamer4D是由南洋理工大学S-Lab团队开发的无边界4D城市生成模型。该模型通过将动态对象（如车辆）与静态场景（如建筑和道路）分离，利用神经场技术生成背景、建筑和车辆等对象，有效解决了4D城市生成中的复杂性和多样性问题。它还引入了无边界布局生成器和交通场景生成器，分别生成静态城市布局和动态交通场景，支持大规模、多样化的4D城市生成。此外，团队还构建了包括OSM、GoogleEarth和CityTopia在内的综合数据集，为模型训练提供了丰富的语义和实例注释。CityDreamer4D在生成逼真4D城市方面表现出色，支持实例级编辑和城市风格化，为城市模拟、环境模拟和游戏开发等应用提供了新的可能性。

CityDreamer4D主要功能

1. 无边界4D城市生成：生成具有无限扩展能力的4D城市，包括建筑、道路、车辆等多种城市元素。
2. 动态与静态场景分离：将动态对象（如车辆）与静态场景（如建筑和道路）分离处理，提升生成的灵活性和真实感。
3. 实例级编辑：支持对生成的城市中各个实例（如单个建筑或车辆）进行独立编辑，方便用户进行个性化调整。
4. 城市风格化：通过引入风格代码，可以生成不同风格的城市，如赛博朋克风格或Minecraft风格。
5. 城市模拟：提供高保真度的城市模拟环境，适用于自动驾驶、城市规划和虚拟现实等应用场景。

CityDreamer4D技术原理

1. 组合生成模型：使用组合生成模型，将城市生成任务分为多个模块，包括静态场景生成和动态对象生成。
2. 无边界布局生成器（Unbounded Layout Generator）：基于MaskGIT和VQVAE技术，生成可无限扩展的城市布局，包括语义地图和高度场。
3. 交通场景生成器（Traffic Scenario Generator）：生成高保真度的交通场景，定义动态对象（如车辆）的空间位置和运动轨迹。
4. 神经场技术：使用生成性哈希网格和周期性位置编码来处理背景、建筑和车辆的多样性和规律性。
5. 鸟瞰图表示（BEV Representation）：采用鸟瞰图表示法，提高生成效率和表达能力，特别适用于无边界场景。
6. 多分辨率哈希网格：使用多分辨率哈希网格进行场景参数化，捕捉多尺度特征，提升生成质量。
7. 局部和全局编码器：结合局部和全局编码器，分别处理背景和实例的特征提取，确保生成结果的细节和一致性。
8. 重光照和阴影映射：通过分离背景和实例生成，简化学习过程，并允许对光照和阴影进行独立处理，实现逼真的重光照效果。

CityDreamer4D应用场景

1. 自动驾驶仿真：生成大规模、多样化的城市环境，用于自动驾驶算法的测试和验证，提供丰富的交通场景和道路条件。
2. 城市规划与设计：帮助城市规划师快速生成不同风格和规模的城市布局，进行虚拟规划和效果评估，优化城市空间利用。
3. 虚拟现实与游戏开发：为虚拟现实和游戏行业提供高保真度的城市资产，支持无缝扩展和风格化，增强沉浸感。
4. 环境模拟与研究：模拟不同环境条件下的城市场景，用于气候变化研究、灾害模拟等，分析城市对环境变化的响应。
5. 影视制作与特效：生成逼真的城市背景和动态场景，降低影视制作成本，提升特效的真实感和视觉效果。
6. 智能交通系统：用于交通流量分析、智能交通系统的开发和测试，通过模拟不同的交通场景优化交通管理策略。

CityDreamer4D项目入口

• 项目主页：https://www.infinitescript.com/project/city-dreamer-4d
• GitHub代码库：https://github.com/hzxie/CityDreamer4D
• arXiv技术论文：https://arxiv.org/pdf/2501.08983