PersonaCraft：从单一参考图像生成多个人物的个性化全身图像

PersonaCraft简介

PersonaCraft是由首尔国立大学电气与计算机工程系的研究团队开发的一种创新方法，它结合了扩散模型和3D人类建模技术，能够从单一参考图像生成多个人物的个性化全身图像。这项技术特别擅长处理复杂的遮挡情况，并能够准确个性化全身形状，包括面部身份和身体结构。此外，PersonaCraft还支持用户自定义身体形状调整，增强了个体化定制的灵活性。通过一系列实验，该框架证明了其在生成高质量、现实感强的多人物图像方面的优越性能，为多人物个性化图像合成树立了新的标准。

PersonaCraft主要功能

1. 多人物全身图像合成： PersonaCraft能够根据单一参考图像生成包含多个人物的全身图像，即使在复杂的遮挡情况下也能保持人物细节。
2. 面部身份和身体形状个性化： 该系统能够准确捕捉和再现每个人物的面部特征和身体形状，实现高度个性化的图像合成。
3. 3D感知姿势条件： 利用3D人类模型（SMPLx）和SMPLx-ControlNet（SCNet），系统能够处理复杂的人体姿势和遮挡问题。
4. 用户定义的身体形状控制： 用户可以根据自己的喜好调整生成人物的身高、体型等身体属性，实现定制化的身体形状。
5. 高效单阶段生成过程： 与需要多阶段或测试时优化的方法相比，PersonaCraft能够在一个生成过程中高效地个性化多个身份。

PersonaCraft技术原理

1. 面部和身体身份提取：
   • 使用SMPLx拟合方法从参考图像中提取身体形状参数。
   • 利用InsightFace技术从参考图像中获取面部ID嵌入。
2. 3D感知姿势条件（SCNet）：
   • 通过SMPLx模型生成深度图，作为扩散模型的精确条件信号，有效处理人物间的遮挡。
   • 在MPII-SMPLx数据集上训练SCNet，增强模型在复杂姿势和互动场景下的鲁棒性。
3. 多人个性化图像合成：
   • 结合SCNet和IdentityNet，使用面部掩码准确定位和保留多个人物的身份特征。
4. 用户定义的身体形状控制：
   • 通过调整SMPLx模型的形状参数，允许用户自定义生成人物的身体形状。
5. 高效生成和风格适应性：
   • PersonaCraft作为一个插件式框架，能够与不同的风格特定的LoRAs（低秩适应）结合，适应多种艺术风格，同时保持高效的生成速度。

PersonaCraft应用场景

1. 虚拟试衣： 用户可以在不实际穿着的情况下，看到自己穿上不同服装的样子，这对于在线购物体验尤其有用。
2. 社交媒体内容创作： 用户可以根据自己的形象创建个性化的虚拟形象或头像，用于社交媒体平台。
3. 电影和游戏制作： 在电影或视频游戏的前期制作中，PersonaCraft可以用来快速生成角色的概念艺术或模拟场景。
4. 个性化广告： 品牌可以利用这项技术根据目标受众的偏好定制广告图像，提高广告的吸引力和效果。
5. 虚拟模特： 时尚行业可以利用这项技术创建虚拟模特，展示服装和配饰，减少对真实模特的依赖。
6. 教育和培训模拟： 在医学或安全培训中，可以生成具有不同身份特征的虚拟人物，用于模拟不同的场景和情况。

PersonaCraft项目入口

• 项目主页：https://gwang-kim.github.io/persona_craft/
• GitHub代码库：https://github.com/gwang-kim/PersonaCraft
• arXiv技术论文：https://arxiv.org/pdf/2411.18068