PSHuman：跨尺度扩散全身体人类重建模型

PSHuman简介

PSHuman是由香港科技大学、东南大学、清华大学和Vast联合开发的一种基于扩散的全身体人类重建模型。该模型能够从单张穿着衣物的人物图像中，快速重建出具有详细几何形状和逼真3D外观的人类模型。通过创新的跨尺度扩散技术和SMPL-X条件的多视图扩散，PSHuman在保持身份特征的同时，能够生成没有几何畸变的新视角图像，显著提升了全身重建的质量。

PSHuman主要功能

1. 单视图全身重建：从单张RGB图像中重建出详细的3D人类模型。
2. 细节几何和逼真外观：生成具有逼真纹理和精确几何细节的3D人类模型。
3. 多视图生成：利用多视图扩散模型生成多个视角下的人体图像。
4. 身份保留：在新视角生成中保持个体的面部特征和身份。
5. 高效重建：整个过程仅需大约一分钟，实现快速重建。

PSHuman技术原理

1. 跨尺度扩散（Cross-Scale Diffusion）：
   • 同时建模全局全身形状和局部面部特征的联合概率分布。
   • 生成多视图全身图像和局部面部图像，增强面部细节和身份信息。
2. SMPL-X条件的多视图扩散：
   • 利用SMPL-X模型提供的身体先验，指导生成与人体解剖结构一致的多视图图像。
   • 通过条件信号约束多视图分布，提高复杂姿势下的生成准确性和一致性。
3. 显式人类雕刻（Explicit Human Carving）：
   • 使用SMPL-X初始化的3D网格，并根据多视图正常和颜色图进行变形和重新网格化。
   • 通过不同可视化的多视图图像直接重建3D网格，而不是使用隐式函数。
4. 多视图图像融合：
   • 使用可微分渲染技术融合多视图颜色图像，以减少生成不一致性。
   • 将融合后的纹理投影到重建的3D网格上，实现纹理映射。
5. 优化和重建模块：
   • 通过优化SMPL-X参数来对齐多视图图像，并进行几何优化。
   • 使用可微分光栅化技术对网格进行雕刻，以匹配观察到的正常图。
6. 快速且高效：
   • 整个重建流程设计为高效，能够在一分钟内完成从输入到输出的全过程。

PSHuman应用场景

1. 游戏和电影制作：在游戏和电影行业中，PSHuman可以用于快速创建逼真的3D角色模型，提高角色设计的效率和质量。
2. 虚拟/增强现实（AR/VR）：在虚拟现实或增强现实应用中，PSHuman能够生成逼真的3D人物模型，提升用户体验。
3. 时尚设计：时尚行业可以利用PSHuman技术快速生成服装试穿效果，进行服装设计和展示。
4. 个性化定制：通过单张照片生成个性化的3D模型，用于定制个性化产品，如定制人偶或游戏角色。
5. 教育培训：在医学教育和培训中，PSHuman可以用于生成逼真的人体模型，辅助解剖学和手术模拟训练。
6. 安全监控：在安全监控领域，PSHuman技术可以用于从监控视频中提取人物的3D模型，以进行行为分析和身份识别。

PSHuman项目入口

• 项目主页：https://penghtyx.github.io/PSHuman/
• GitHub代码库：https://github.com/pengHTYX/PSHuman
• arXiv研究论文：https://arxiv.org/pdf/2409.10141