3DTopia-XL：高效生成高质量3D资产的新框架

3DTopia-XL简介

3DTopia-XL是由南洋理工大学、北京大学、上海人工智能实验室以及香港中文大学的研究团队共同开发的一种高质量3D资产生成框架。它采用了创新的基于原语的3D表示方法PrimX，通过紧凑的张量格式编码详细的几何形状、色彩和材质信息，从而实现高分辨率和物理基础渲染（PBR）资产的建模。此框架利用Diffusion Transformer（DiT）构建了一个可扩展的生成模型，能够从文本或视觉输入中学习并生成具有精细纹理和材质的高质量3D资产，有效弥合了现有生成模型与现实世界应用之间的质量差距。

3DTopia-XL主要功能

1. 高质量3D资产生成：能够生成具有平滑几何形状和空间变化纹理的3D资产。
2. 无缝集成：输出的资产（GLB网格）可以无缝移植到图形引擎中，用于基于物理的渲染。
3. 文本或视觉输入：能够根据文本描述或视觉输入生成3D资产。
4. 高分辨率几何建模：支持高分辨率的几何体建模，包括纹理和材质。
5. 物理基础渲染（PBR）资产生成：能够生成包含几何、纹理和材质信息的PBR资产。

3DTopia-XL技术原理

1. PrimX表示：
   • 紧凑的张量格式：将形状、反照率和材料编码进一个紧凑的N×D张量中。
   • 基于原语的3D表示：使用一组小体素（primitives）来近似3D网格的表面。
   • 详细几何编码：每个原语包含有关其3D位置、全局缩放因子和对应空间变化的有效载荷信息。
2. 生成框架：
   • 原语块压缩：使用3D VAE对每个单独的原语进行空间压缩，得到潜在的原语标记。
   • 潜在原语扩散：利用Diffusion Transformers（DiT）来模拟潜在原语标记的全局相关性，进行生成建模。
3. 高效渲染：
   • 可微分渲染：支持从3D数据和图像集合中学习，因为PrimX表示与可微分渲染器兼容。
4. PBR资产提取：
   • 可逆变换：设计了从PrimX到纹理网格的高质量3D PBR资产提取算法，确保可逆变换。
   • 零级轮廓提取：通过Signed Distance Field（SDF）的零级轮廓提取3D形状。
   • 高分辨率UV空间采样：在高分辨率UV空间中采样纹理和材质值。
5. 实验验证：
   • 定性与定量实验：通过广泛的实验来展示3DTopia-XL在生成具有细粒度纹理和材质的高质量3D资产方面显著优于现有方法。
6. 设计选择：
   • 效率与质量的权衡：通过消融研究来激发设计选择，以便在生成建模的上下文中实现更好的效率-质量权衡。

3DTopia-XL应用场景

1. 电影和动画制作：生成高质量的3D模型，用于电影、电视和动画制作中的特效和场景构建。
2. 游戏开发：为游戏创建详细的3D角色、道具和环境，提高游戏的丰富性和沉浸感。
3. 虚拟现实(VR)：生成逼真的3D资产，用于虚拟现实应用中，提供更加引人入胜的用户体验。
4. 增强现实(AR)：为AR应用提供3D模型，如教育、导航和零售中的对象可视化。
5. 建筑可视化：帮助建筑师和设计师通过生成的3D模型进行项目可视化，提前展示建筑和室内设计。
6. 电子商务：为在线零售商提供3D产品展示，使消费者能够在购买前从不同角度查看产品细节。

3DTopia-XL项目入口

• 官方项目主页：https://3dtopia.github.io/3DTopia-XL/
• Github代码库：https://github.com/3DTopia/3DTopia-XL
• arXiv技术论文：https://arxiv.org/pdf/2409.12957