AnyDressing：字节联合清华大学推出的多服装虚拟试穿技术

AnyDressing简介

AnyDressing是由字节跳动与清华大学联合开发的一种创新的多服装虚拟试穿技术，它通过利用潜在扩散模型，可以根据任意服装组合和个性化文本提示来定制角色形象。这项技术包括两个核心网络：GarmentsNet和DressingNet，能够高效提取服装细节特征，并准确将这些特征融入到生成的图像中，同时保持与文本提示的高度一致性。AnyDressing的设计理念使其能够作为插件模块，与社区控制扩展集成，增强合成图像的多样性和可控性，在虚拟试穿领域展现出了卓越的性能和广泛的应用潜力。

AnyDressing主要功能

1. 多服装虚拟试穿：AnyDressing能够根据用户指定的任何服装组合生成虚拟试穿效果。
2. 个性化文本提示响应：用户可以输入个性化的文本提示，AnyDressing将根据这些提示生成匹配的虚拟试穿图像。
3. 服装细节保持：在生成的图像中保持服装的精细纹理和细节。
4. 文本-图像一致性：确保生成的图像与输入的文本提示在风格和内容上保持一致。
5. 插件兼容性：可以作为插件模块与社区控制扩展集成，提高合成图像的多样性和可控性。

AnyDressing技术原理

1. GarmentsNet网络：
   • Garment-Specific Feature Extractor (GFE)模块：并行提取多个服装的详细特征，避免服装特征混淆。
   • LoRA层：在共享的U-Net架构中使用LoRA层来独立编码服装纹理。
2. DressingNet网络：
   • Dressing-Attention (DA)机制：将多服装特征无缝集成到去噪过程中。
   • Instance-Level Garment Localization (IGL)学习策略：确保每个服装实例只关注其对应区域，避免影响无关区域。
3. Garment-Enhanced Texture Learning (GTL)策略：
   • 感知损失：基于Deep Image Structure and Texture Similarity (DISTS) 度量，增强结构一致性和图案相似性。
   • 高频损失：使用边缘检测提取高频信息，加强服装细节模式的约束。
4. 训练和推理：
   • 损失函数：结合LDMs的损失和额外的局部损失，以优化模型性能。
   • 分类器自由指导：在去噪过程中应用，以增强服装特征和文本提示的控制。
5. 数据集构建：
   • 利用HumanParsing模型从现有的数据集中提取服装项目，形成包含上衣、下装和模特图像的三元组数据对。
6. 用户研究：
   • 通过用户研究评估生成图像的质量，确保AnyDressing在实际应用中的有效性和用户接受度。

AnyDressing应用场景

1. 电子商务：在线零售商可以使用AnyDressing来提供虚拟试衣间，让顾客在购买前看到服装在不同体型和风格上的效果。
2. 时尚设计：时尚设计师可以利用这项技术快速预览服装设计在模特身上的效果，加速设计迭代过程。
3. 个性化广告：广告行业可以利用AnyDressing根据目标受众的偏好定制服装广告，提高广告的相关性和吸引力。
4. 社交媒体：用户可以在社交媒体上使用AnyDressing功能，上传自己的照片并尝试不同的服装风格，分享个性化的虚拟试穿照片。
5. 游戏和虚拟世界：在游戏或虚拟世界中，玩家可以使用AnyDressing来定制他们的虚拟角色，选择和试穿各种服装。
6. 电影和娱乐行业：电影制作和娱乐行业可以应用AnyDressing技术来快速更换演员的服装，节省服装制作和更换的时间和成本。

AnyDressing项目入口

• 项目主页：https://crayon-shinchan.github.io/AnyDressing/
• GitHub代码库：https://github.com/Crayon-Shinchan/AnyDressing
• arXiv研究论文：https://arxiv.org/pdf/2412.04146