SceneTeller：通过文本描述生成高质量3D场景

SceneTeller简介

SceneTeller是由阿姆斯特丹大学的UvA-Bosch Delta Lab与博世公司的Bosch Center for AI合作开发的一项创新技术。这项技术能够根据自然语言描述的文本提示，生成高质量、逼真的3D室内场景。用户可以通过简单的文本指令来设计个性化的空间，包括控制对象的放置和风格。SceneTeller的推出，标志着3D设计领域向民主化迈出了重要一步，使得非专业用户也能轻松创建和编辑3D场景。

SceneTeller主要功能

1. 文本到3D场景生成：用户可以用自然语言描述场景布局和对象摆放，SceneTeller据此生成3D场景。
2. 风格编辑：用户可以对整个场景或场景中的个别对象进行风格修改，通过文本指令实现不同风格的应用。
3. 易于使用：即使是3D设计的新手，也能通过简单的文本交互来创建和修改3D场景。
4. 高质量渲染：利用3D Gaussian Splatting技术实现快速且高质量的场景渲染。
5. 灵活性和实用性：提供了一个灵活的框架，支持用户进行个性化设计和场景编辑。

SceneTeller技术原理

1. 上下文学习：SceneTeller使用大型语言模型（LLMs）通过上下文学习来理解文本提示，并生成符合描述的3D布局。
2. 3D布局生成：系统将文本描述转换为3D空间中的对象布局，包括对象的位置、尺寸和方向。
3. CAD模型检索：根据生成的3D布局，从数据库中检索相应的CAD模型以构建场景。
4. 3D Gaussian Splatting：使用3D高斯溅射技术来表示场景，允许对场景进行快速渲染和编辑。
5. 场景编辑：通过训练3D Gaussian Splatting模型，根据用户文本指令对场景或特定对象进行风格化编辑。
6. 优化和损失函数：在3D Gaussian Splatting模型训练中使用L1损失和SSIM损失函数，确保场景编辑的质量和一致性。
7. 二阶段渲染：首先将3D场景渲染为RGB图像，然后使用2D分割掩码进行编辑，实现对特定对象的精确控制。

SceneTeller应用场景

• 室内装修设计：用户可以快速预览不同家具布局和风格选择，辅助室内设计决策。
• 游戏开发：为游戏设计师提供快速生成复杂室内场景的工具，提高开发效率。
• 电影和动画制作：用于创建虚拟的3D场景，减少实际布景的需求，节省成本。
• 虚拟现实(VR)体验：生成逼真的3D环境，提供沉浸式的VR体验。
• 教育和培训：在建筑学和室内设计课程中作为教学工具，帮助学生理解空间布局。
• 房地产展示：为潜在买家展示房产的3D视图，提供更加直观的房产信息。

SceneTeller项目入口

• 官方项目主页：https://sceneteller.github.io/
• arXiv研究论文：https://arxiv.org/abs/2407.20727