BAG：用于自动生成与人体对齐的3D可穿戴资产

BAG简介

BAG（Body-Aligned 3D Wearable Asset Generation）是由腾讯联合香港中文大学（深圳）和澳大利亚国立大学共同开发的一种创新方法，用于自动生成与人体对齐的3D可穿戴资产。该方法通过结合人体形状和姿态信息，控制3D生成过程，实现了从单视图图像到多视图一致图像的扩散模型，并利用ControlNet引导生成与人体对齐的多视图图像，最终通过3D扩散模型生成高质量的3D资产。BAG在提示跟随能力、形状多样性和形状质量方面显著优于现有方法，能够将生成的资产自动适配到目标人体模型上，为数字3D角色创建提供了高效且高质量的解决方案。

BAG主要功能

1. 自动生成3D可穿戴资产：BAG能够生成各种3D可穿戴资产，包括服装、鞋子和头饰等，并自动适配到给定的3D人体模型上。
2. 多视图一致图像生成：通过单视图图像输入，BAG生成与人体对齐的多视图一致图像，确保生成的3D资产在不同视角下与人体模型保持一致。
3. 高质量3D形状生成：利用先进的3D扩散模型，BAG生成高质量的3D资产形状，具备显著的形状多样性和细节。
4. 自动适配和穿透处理：BAG通过物理模拟器解决资产与人体之间的穿透问题，确保3D资产能够准确地适配到目标人体模型上。

BAG技术原理

1. 单视图到多视图图像扩散模型：
   • 构建一个通用的单视图到一致多视图图像扩散模型，并在Objaverse数据集上进行训练，以实现多样性和泛化能力。
   • 多视图图像通过正交相机渲染，保持固定的方位角和仰角，生成四视图图像。
2. ControlNet引导的多视图图像生成：
   • 训练一个ControlNet，利用目标人体的多视图2D投影作为控制信号，生成与人体对齐的多视图图像。
   • 投影中像素值表示人体表面在规范空间中的XYZ坐标，确保生成的多视图图像与人体模型对齐。
3. 3D形状生成：
   • 将多视图图像输入到本地3D扩散模型中，生成3D资产形状。
   • 通过优化相似性变换（Sim(3)），解决生成形状与输入多视图图像之间的尺度、平移和旋转差异。
4. 处理资产-人体穿透：
   • 使用物理模拟器解决资产与人体之间的穿透问题，确保3D资产能够准确地适配到目标人体模型上。
   • 通过生成单层代理网格，使用位置约束模拟解决穿透问题，并将变形传播回原始网格。
5. 输入图像和人体模型获取：提供多种获取输入图像和人体模型的方法，包括基于图像的SMPLX拟合、草图建模、虚拟试穿和手动图像组装等。

BAG应用场景

1. 虚拟试衣：用户可以通过输入自己的照片或3D模型，快速生成虚拟试衣效果，无需实际试穿，节省时间和成本。
2. 游戏开发：为游戏角色快速生成个性化的服装和装备，提升角色的视觉效果和多样性，同时减少手动建模的工作量。
3. 影视制作：在动画和特效制作中，快速生成高质量的服装和道具，提高制作效率，缩短制作周期。
4. 虚拟现实（VR）和增强现实（AR）：为虚拟环境中的角色生成逼真的可穿戴资产，增强沉浸感和交互性。
5. 时尚设计：设计师可以利用BAG快速生成不同风格的服装设计，进行虚拟展示和修改，加速设计流程。
6. 社交媒体和虚拟形象：用户可以为自己的虚拟形象生成个性化的服装和配饰，提升虚拟形象的个性化和趣味性。

BAG项目入口

• 项目主页：https://bag-3d.github.io/
• arXiv技术论文：https://arxiv.org/pdf/2501.16177