Edify 3D：根据输入的文本提示生成相应的3D数字资产

Edify 3D简介

Edify 3D 是 NVIDIA 推出的 3D 资产生成解决方案，能够根据文本提示或参考图像快速生成高质量、细节丰富的 3D 模型。这项技术结合了扩散模型和 Transformer 网络，以实现在短短两分钟内生成具有精确几何结构、高分辨率纹理和物理基础渲染材料的 3D 资产。Edify 3D 不仅提升了 3D 内容生产的效率和可扩展性，还满足了视频游戏设计、扩展现实、电影制作和模拟等行业的高标准需求。

Edify 3D主要功能

1. 文本到3D生成：Edify 3D 可以根据输入的文本提示生成相应的3D数字资产。
2. 图像到3D生成：Edify 3D 能够从提供的参考图像中创建3D资产，并自动识别图像中的前景对象。
3. 多视图合成：使用扩散模型从多个视点合成对象的RGB外观和表面法线图像。
4. 3D形状重建：利用重建模型预测3D形状的几何、纹理和材料。
5. 高效率：能够在2分钟内生成高质量的3D资产。
6. 高分辨率纹理：生成的3D资产具有高分辨率的纹理，可达4K分辨率。
7. 物理基础渲染（PBR）材料：生成的资产包括PBR材料，适用于逼真渲染。

Edify 3D技术原理

1. 扩散模型：使用扩散模型合成描述对象的RGB和表面法线图像，这些模型在训练时能够处理文本提示和相机姿态。
2. Transformer架构：基于Transformer的重建模型用于从多视图RGB和表面法线图像中预测3D对象的神经表示。
3. 多视图观察：通过多视图观察来重建对象的形状、纹理和PBR材料。
4. 等值面提取和网格处理：从神经表示中通过等值面提取和后续的网格处理来获得3D网格几何。
5. 跨视图注意力机制：扩展自注意力层以在不同视图间进行信息交流，提高视图间的一致性。
6. 大规模图像和3D资产数据训练：使用大规模的图像和3D资产数据训练模型，提高模型的泛化能力。
7. 数据预处理：包括格式转换、质量过滤、规范姿态对齐和PBR渲染等步骤，以确保数据质量适合模型训练。
8. AI分类和编辑：使用AI分类器和编辑工具来提高生成3D资产的质量和适用性。

Edify 3D应用场景

1. 视频游戏设计：快速生成高质量的3D模型和纹理，用于游戏角色、道具和环境的创建。
2. 扩展现实（XR）：为虚拟现实（VR）和增强现实（AR）应用提供详细的3D资产，增强用户体验。
3. 电影和电视制作：生成逼真的3D场景和特效元素，减少传统建模和特效制作的时间与成本。
4. 模拟和训练：创建模拟环境和训练场景，用于军事、航空、医疗等领域的模拟训练。
5. 建筑和工程可视化：生成精确的3D建筑模型和工程图纸，提高设计和规划的效率。
6. 教育和科研：制作教育用的3D模型，辅助科学可视化，使复杂概念更易于理解和学习。

Edify 3D项目入口

• 项目主页：https://research.nvidia.com/labs/dir/edify-3d/
• arXiv技术论文：https://arxiv.org/pdf/2411.07135