SceneX：中国科学院自动化研究所等推出的大规模场景生成框架

SceneX简介

SceneX是由中国科学院自动化研究所（CASIA）和中国科学技术大学（UCAS）等机构联合开发的大规模场景生成框架。该框架通过结合PCGHub和PCGPlanner两个核心组件，能够根据用户的文本描述自动生成高质量、程序化的3D模型。SceneX不仅提高了场景生成的效率和多样性，还降低了非专业人士进入程序化内容生成领域的门槛，使得用户能够轻松创建出具有复杂几何结构、真实材质纹理和自然光照效果的大规模自然场景和城市环境。

SceneX主要功能

1. 场景自动生成： SceneX能够根据用户的文本描述自动生成大规模的3D自然场景或城市环境。
2. 用户控制与定制： 用户可以通过简单的文本指令来控制场景的生成，包括添加对象、改变季节等。
3. 高质量资产生成： 框架提供超过500个程序化模块和10000+高质量资产，用于生成细节丰富的几何结构和真实感材质。
4. 无缝集成与工作流程： 设计用于轻松集成用户PCG资产，简化工作流程，实现平滑的格式化和打包。
5. 场景编辑能力： 支持对生成的场景进行编辑，如资产放置和季节转换等。

SceneX技术原理

1. PCGHub： 作为资源库，集成了广泛的PCG模块和3D资产，提供详细的文档和API，快速整合不同的PCG技术。
2. PCGPlanner： 负责协调PCG方法，生成可执行动作，指导Blender软件根据用户指令创建精确控制的3D资产。
3. 场景分解： 将用户描述转化为目标场景所需的粗略对象列表，并通过资产清晰度评估补充缺失细节。
4. 超参数生成器（Hyperparameter Generator）： 将文本描述转换为PCG参数，并应用这些参数到APIs。
5. 地形生成阶段： 利用专门的PCG技术生成精确控制的地形，包括几何和材质属性。
6. 对象生成与检索阶段： 通过编码描述进行检索，使用预训练的CLIP模型进行文本到文本或文本到图像的检索，以导入或生成资产。
7. 资产放置： 基于资产间的关系指导资产放置，使用预定义布局类型和程序化生成器在场景中安排资产。
8. 系统化模板： 引导大型语言模型（LLMs）进行场景建模任务，通过角色、任务、文档、格式和示例来精确输出。

SceneX应用场景

1. 电影和游戏制作： 用于生成电影背景和游戏环境的高质量3D场景，提高制作效率并降低成本。
2. 虚拟现实（VR）： 创建沉浸式虚拟环境，为用户带来逼真的体验。
3. 城市规划： 模拟城市发展和规划，帮助设计师和规划者预览城市设计的效果。
4. 教育培训： 构建虚拟的教育环境，如历史重现或科学模拟，增强学习体验。
5. 建筑设计： 辅助建筑师快速生成和修改建筑设计方案，进行效果预览。
6. 广告和营销： 制作吸引人的3D广告场景，提升品牌形象和市场吸引力。

SceneX项目入口

• 项目主页：https://zhouzq1.github.io/SceneX/
• arXiv研究论文：https://arxiv.org/pdf/2403.15698