Phidias：能够根据文本描述或单张图像生成相应的3D模型

Phidias简介

Phidias是由香港城市大学、上海人工智能实验室和南洋理工大学的研究人员共同开发的创新生成模型。该模型采用参考增强扩散技术，能够根据文本、图像以及3D条件生成高质量的3D内容。通过整合元控制网络、动态参考路由和自参考增强等关键设计，Phidias在提升3D生成质量、泛化能力和用户控制性方面取得了显著进展，为3D建模和设计领域带来了新的可能性。

Phidias主要功能

1. 文本、图像到3D生成：Phidias能够根据文本描述或单张图像生成相应的3D模型。
2. 3D条件生成：使用现有的3D模型作为参考，生成新的3D内容。
3. 检索增强生成：通过检索技术找到与输入最相似的3D模型，用于辅助生成过程。
4. 主题感知3D生成：能够根据特定的主题或风格生成一系列风格一致的3D变体。
5. 交互式3D生成：允许用户通过粗略的3D形状引导，交互式地生成和编辑3D模型。
6. 高保真度3D补全：能够补全不完整3D模型中缺失的部分，恢复完整的3D结构。

Phidias技术原理

1. 元控制网络（Meta-ControlNet）：动态调整条件信息的强度，以解决参考模型与目标图像之间的不一致性。
2. 动态参考路由：根据去噪时间步调整3D参考模型的分辨率，从粗糙到精细逐步引入细节，减少生成冲突。
3. 自参考增强：使用3D模型本身作为参考，通过应用各种增强手段模拟不一致性，进行自监督训练。
4. 多视图扩散模型：将3D参考模型转换为多视图规范坐标图（CCM），作为扩散模型的条件输入。
5. 稀疏视图3D重建：利用生成的多视图图像，通过稀疏视图3D重建技术得到最终的3D模型。
6. 渐进式课程学习：在训练过程中，从相似度较高的参考开始，逐步增加难度，以提高模型对不同相似度参考的适应能力。

Phidias应用场景

1. 游戏设计：快速生成游戏内3D模型和资产，如角色、武器和环境元素，提高游戏开发的效率。
2. 电影和动画制作：用于创建电影或动画中的3D场景和角色，通过文本描述即可生成所需的3D资产。
3. 虚拟现实（VR）和增强现实（AR）：为虚拟环境设计提供3D模型，增强用户体验的沉浸感。
4. 建筑可视化：根据建筑设计图或描述生成3D建筑模型，帮助设计师和客户更直观地理解设计。
5. 教育和培训：在教育领域，用于创建教学用的3D模型，如历史遗迹重建或生物结构模型，辅助学习。
6. 产品设计：辅助设计师根据概念快速迭代产品设计，通过3D模型直观展示设计思路和功能。

Phidias项目入口

• 官方项目主页：https://rag-3d.github.io/
• GitHub代码库：https://github.com/3DTopia/Phidias-Diffusion
• arXiv研究论文：https://arxiv.org/pdf/2409.11406