HouseCrafter：将二维平面图转换成三维室内场景

HouseCrafter简介

HouseCrafter是由东北大学与Stability AI的研究人员共同开发的一种创新方法，能够将二维平面图转换成逼真的大型三维室内场景。该技术依托于2D扩散模型，自回归地生成多视图的RGB-D图像，并通过采样位置及利用先前生成的图像作为条件，确保新图像与平面图的一致性。最终，这些图像被融合成详细的3D网格模型，为建筑、室内设计和房地产等行业提供了一种快速可视化和迭代设计的可能性。HouseCrafter在3D-Front数据集上的评估显示，它能够生成高质量、与输入平面图高度一致的3D场景。

HouseCrafter主要功能

1. 2D平面图到3D场景的转换： 将二维平面图转换成三维室内场景，如房屋。
2. 多视图RGB-D图像生成： 自动化地生成场景在不同位置的一致的多视图颜色和深度图像。
3. 3D场景重建： 利用生成的RGB-D图像重建出详细的3D网格模型。
4. 全局一致性保证： 通过使用全局平面图和注意力机制，确保生成的图像在全局上保持一致性。
5. 高质量3D场景生成： 生成的3D场景在视觉上具有高质量，并且与输入的平面图保持高度一致。

HouseCrafter技术原理

1. 2D扩散模型的适应： 使用在大规模网络图像上训练的2D扩散模型来生成一致的多视图RGB和深度图像。
2. 自回归图像生成： 基于平面图批量生成RGB-D图像，使用先前生成的图像作为扩散模型的条件来产生新图像。
3. 全局平面图和注意力设计： 确保生成图像的全局一致性，为3D重建提供基础。
4. TSDF融合： 使用Truncated Signed Distance Function（TSDF）算法将生成的RGB-D图像融合成3D网格。
5. 深度信息的集成： 在图像生成过程中同时考虑颜色和几何信息，提高生成图像的质量和3D重建的准确性。
6. 布局引导： 利用平面图中的布局信息引导图像生成过程，确保生成的3D内容与平面图的布局和语义一致。
7. 多视图参考图像条件： 通过参考先前生成的图像来生成新的视图，增强新旧视图之间的几何和语义一致性。
8. 后期细化： 对场景中的对象进行额外的视图生成和融合，以提高网格的细节和质量。

HouseCrafter应用场景

1. 建筑设计与规划： 帮助建筑师快速将设计图纸转化为可视化的3D模型，进行方案评估和修改。
2. 室内设计可视化： 允许室内设计师创建和预览设计方案，如家具布局和装饰风格，以作进一步的调整。
3. 房地产营销： 为房地产经纪人提供3D虚拟房屋参观，吸引潜在买家进行线上看房。
4. 游戏开发： 游戏设计师可以使用它来生成逼真的3D游戏环境，提高游戏的沉浸感。
5. 虚拟现实（VR）： 在VR应用中创建详细的3D室内环境，用于教育、训练或娱乐。

6. 增强现实（AR）： 结合AR技术，将虚拟家具和装饰品叠加到用户的实际空间中，提供购买前的效果预览。

HouseCrafter项目入口

• 项目主页：https://neu-vi.github.io/houseCrafter
• arXiv技术论文：https://arxiv.org/pdf/2406.20077