WorldCraft：实现逼真的3D虚拟世界创建与定制

WorldCraft简介

WorldCraft是由香港科技大学和达特茅斯学院的研究团队共同开发的一项创新技术，旨在通过大型语言模型（LLM）代理实现逼真的3D虚拟世界创建与定制。该系统允许用户仅通过自然语言指令控制单个对象的属性和场景布局，从而实现美观、功能性和符合人体工程学的设计。开发团队通过ForgeIt模块实现对象的精细定制，并借助ArrangeIt模块优化场景布局，同时引入轨迹控制功能，让用户能够通过对话操作场景动画和相机轨迹。WorldCraft的开发为非专业人士提供了一个高效、直观的3D创作平台，极大地降低了虚拟世界创建的技术门槛，推动了3D内容创作的民主化。

WorldCraft主要功能

1. 自然语言交互式3D场景创建：用户可以通过简单的自然语言指令生成复杂的室内外3D场景，无需专业的3D建模技能。
2. 单个对象定制：用户能够通过对话精确控制单个对象的几何形状、纹理、材质等属性，实现个性化设计。
3. 场景布局优化：系统根据用户需求和功能要求（如人体工程学、美观性）自动优化场景布局，确保对象的合理放置。
4. 动画与轨迹控制：用户可以通过自然语言描述来控制对象或相机的运动轨迹，生成高质量的动画和视频。
5. 兼容性与扩展性：系统支持与现有的深度3D生成器集成，进一步丰富场景的细节和艺术性。

WorldCraft技术原理

1. 基于LLM的程序化生成：利用大型语言模型（LLM）代理，通过程序化生成技术创建3D对象和场景，模拟人类艺术家的创作过程。
2. ForgeIt模块：对象定制：通过自动验证机制动态构建手册，指导LLM代理精确操作程序化生成器，实现单个对象的几何和外观定制。
3. ArrangeIt模块：布局优化：将场景布局建模为分层的数值优化问题，通过模拟退火算法求解，确保布局符合用户指令和功能要求。
4. 协调代理与任务分解：通过一个协调代理将复杂任务分解为多个子任务，并与其他专业代理（如对象生成、布局优化、轨迹控制）协作完成整个场景创建。
5. 自然语言交互：系统支持多轮对话，用户可以通过自然语言与代理进行交互，实时调整对象属性、场景布局和运动轨迹。
6. 深度3D生成器集成：系统兼容现有的深度3D生成器，用于生成高质量的3D对象，进一步丰富场景的细节和多样性。

WorldCraft应用场景

1. 影视与游戏制作：快速生成逼真的虚拟场景，降低制作成本，提高创作效率。
2. 建筑设计与室内装修：实现虚拟样板间的快速搭建和布局调整，帮助设计师与客户沟通设计效果。
3. 虚拟现实（VR）与增强现实（AR）：创建沉浸式的虚拟环境，用于教育、娱乐或培训。
4. 机器人训练与仿真：构建逼真的虚拟场景用于机器人导航、交互和任务执行的训练。
5. 广告与营销：生成个性化的虚拟展示场景，提升产品宣传效果。
6. 教育与培训：创建虚拟实验室、历史场景或未来城市，丰富教学内容，增强学习体验。

WorldCraft项目入口

• arXiv技术论文：https://arxiv.org/pdf/2502.15601