ClotheDreamer：腾讯联合复旦大学等高校推出的3D服装生成技术

ClotheDreamer简介

ClotheDreamer是由中国上海大学、上海交通大学、复旦大学以及腾讯优图实验室的研究人员共同开发的一种创新3D服装生成技术。该技术能够根据文本提示生成可穿戴、生产就绪的3D服装资产，通过一种名为“Disentangled Clothe Gaussian Splatting (DCGS)”的新颖表示方法，实现了服装与人体的有效分离，从而提高了服装生成的质量和多样性。此外，ClotheDreamer还采用了双向Score Distillation Sampling (SDS)指导和一种新的修剪策略，以增强服装的完整性和逼真度。

ClotheDreamer主要功能

1. 文本引导的3D服装生成：根据文本提示生成多样化、可穿戴的3D服装资产。
2. 服装与人体分离：使用DCGS表示方法，将服装与人体分开，便于独立的优化和编辑。
3. 双向SDS指导：利用预训练的扩散模型同时监督RGB和深度渲染，提高服装生成质量。
4. 定制服装生成：支持通过模板网格引导的个性化3D服装生成。
5. 物理准确的服装动画：能够实现精确的服装动画，支持模拟网格序列的动画。

ClotheDreamer技术原理

1. Disentangled Clothe Gaussian Splatting (DCGS)：通过将服装和人体初始化为一个高斯模型但冻结人体高斯斑点，实现服装与人体的分离。
2. 3D Gaussian Splatting (3DGS)：结合了网格和NeRF表示的优势，用于高效的新视角合成和3D重建。
3. Score Distillation Sampling (SDS)：从参数化空间中采样，使用2D预训练扩散模型优化3D表示。
4. Bidirectional SDS Guidance：对服装和人体RGBD渲染分别进行监督，以姿势条件增强3DGS训练。
5. Pruning Strategy for Loose Clothing：针对宽松服装的新修剪策略，确保在优化过程中保留有用的高斯斑点，避免服装几何失真。
6. Template-Guided Generation：通过输入的模板网格提供整体形状指导，生成与模板风格一致的服装。
7. Animation with Simulated Mesh Priors：使用模拟的网格序列作为先验，驱动服装点的动画，特别适合宽松服装的动画制作。

ClotheDreamer应用场景

1. 虚拟试衣：用户可以在虚拟环境中试穿各种服装，无需实际穿戴，适用于在线购物和时尚设计。
2. 游戏和娱乐：为游戏角色或虚拟形象设计和生成服装，提供丰富的视觉效果和个性化选项。
3. 时尚设计：设计师可以使用该技术快速原型化和迭代设计概念，加速时尚创作过程。
4. 电影和电视制作：在电影或电视节目中生成服装，特别是对于需要快速更换服装的场景或特效服装。
5. 增强现实(AR)体验：在AR应用中为用户提供服装预览，增强用户互动和购买体验。
6. 教育和培训：在服装设计和人体工程学的教学中，作为工具帮助学生更好地理解和学习服装结构。

ClotheDreamer项目入口

• 项目主页：https://ggxxii.github.io/clothedreamer
• GitHub代码库：https://github.com/ggxxii/clothedreamer
• arXiv技术论文：https://arxiv.org/pdf/2406.16815