DreamPolish：智普AI与清华大学联合推出的3D生成模型

DreamPolish简介

DreamPolish是由智普AI与清华大学联合开发的一款先进的文本到3D生成模型，它通过利用多种神经网络表示和表面抛光技术，能够生成具有精细几何形状和高质量纹理的3D对象。该模型引入了一种新颖的得分蒸馏目标——领域得分蒸馏（DSD），以指导神经网络表示朝向包含真实感和一致渲染的目标领域，从而在纹理生成方面实现突破。DreamPolish在多个实验中展现出超越现有最先进方法的性能，为3D内容创建领域树立了新的标杆。

DreamPolish主要功能

1. 文本到3D生成：将文本描述直接转换成3D模型。
2. 精细几何生成：生成具有复杂几何细节的3D对象。
3. 高质量纹理渲染：生成具有真实感纹理的3D模型。
4. 多阶段生成流程：结合几何构造和纹理生成的多阶段优化流程。
5. 领域得分蒸馏（DSD）：通过DSD目标优化纹理生成，提升真实感。

DreamPolish技术原理

1. 多神经表示利用：
   • 几何构造阶段：使用NeRF、NeuS和DMTet等多种神经网络表示，逐步精细化3D几何结构。
   • 表面抛光阶段：引入额外的法线估计器，基于不同视点的视场进行几何细节的抛光。
2. 领域得分蒸馏（DSD）：
   • 结合无分类器引导（CFG）和变分分布引导，平衡纹理质量和训练稳定性。
   • 利用DSD目标，模仿无分类器引导生成过程，使用无条件梯度方向保证得分蒸馏的稳定性。
3. 渐进式几何抛光：
   • 从粗糙的3D结构开始，逐步过渡到更高级的表面表示，以提升表面质量和细节。
   • 在新视图中使用扩散先验进行3D一致的法线估计，以细化和抛光表面。
4. 视图条件与无条件图像域的结合：
   • 在纹理生成阶段，结合视图条件扩散先验和无条件图像域，以增强纹理的一致性和真实感。
   • 通过DSD目标，同时从变分域和无条件图像域获取指导，以维持照片级真实感并确保稳定性。
5. 训练损失函数的优化：
   • 参考视图损失（Lref）：衡量参考帧渲染图像与参考图像之间的误差。
   • 指导视图损失（Lguide）：依赖预训练模型确定新视图中的几何信息，使用SDS损失进行监督。

DreamPolish应用场景

1. 虚拟现实（VR）：在虚拟现实环境中创建逼真的3D对象和环境，提升用户体验。
2. 电影和动画制作：快速生成电影或动画中的3D角色和场景，减少手动建模的工作量。
3. 视频游戏开发：为游戏设计提供高质量的3D模型，加快游戏资产的创建过程。
4. 3D打印：根据文本描述直接生成3D打印模型，简化定制化产品的开发流程。
5. 教育和培训：创建教育内容中的3D模型，如历史文物或生物模型，增强学习体验。
6. 室内设计：根据文本描述生成室内设计模型，帮助设计师和客户预览设计效果。

DreamPolish项目入口

• 项目主页：https://deep-diver.github.io/ai-paper-reviewer/paper-reviews/2411.01602
• arXiv技术论文：https://arxiv.org/pdf/2411.01602
• 在线体验：https://huggingface.co/papers/2411.01602