TryOffAnyone：从模特穿着的照片中生成高保真的平铺服装图像

TryOffAnyone简介

TryOffAnyone是一项利用深度学习和计算机视觉技术从穿着服装的人像照片中生成高保真平铺服装图像的技术。它通过微调StableDiffusion模型，并采用单阶段网络设计，结合特定于服装的遮罩来隔离和处理目标服装，以降低计算复杂性并提高生成效率。这项技术能够处理全身和半身图像，为时尚行业的在线购物体验、个性化推荐和虚拟试穿系统提供了强大的支持。

TryOffAnyone主要功能

1. 高保真平铺服装图像生成：从模特穿着的服装照片中生成高分辨率的平铺（lay-down）视图服装图像。
2. 个性化推荐：通过生成平铺视图图像，增强在线购物体验，提供个性化的服装推荐。
3. 虚拟试穿系统：允许用户在不实际穿着服装的情况下，虚拟试穿服装，提升用户体验。
4. 操作效率提升：减少获取平铺服装图像的成本和劳动强度，提高时尚行业的操作效率。

TryOffAnyone技术原理

1. 潜在扩散模型（LDMs）：使用基于LDMs的方法，特别是微调的StableDiffusion模型，进行图像到图像的翻译。
2. 单阶段网络设计：采用简化的单阶段网络架构，通过选择性训练变换器块来减少计算复杂性。
3. 服装特定遮罩集成：利用服装特定的遮罩来隔离和处理目标服装，提高模型的针对性和效果。
4. 变分自编码器（VAE）：使用VAE将输入图像编码到低维潜在空间，保留关键的服装特征。
5. 去噪U-Net：在潜在空间中，使用去噪U-Net进行迭代去噪，以生成目标平铺服装图像。
6. 选择性训练：仅训练U-Net中的变换器块，以优化生成质量，同时显著减少可训练参数的数量。
7. 跨注意力层的移除：由于模型不依赖文本输入，因此移除跨注意力层以简化模型架构，降低内存和计算负载。
8. 实验分析：通过实验确定网络中哪些组件对于生成高质量的平铺服装图像最为关键，并据此优化模型。

TryOffAnyone应用场景

1. 在线零售平台：在电商平台上，TryOffAnyone可以用于展示服装的平铺视图，帮助消费者更全面地了解产品细节，提升购物体验。
2. 虚拟试衣间：在虚拟试衣应用中，用户可以通过上传自己的全身或半身照片，生成穿着特定服装的虚拟形象，进行试穿体验。
3. 时尚设计软件：设计师可以利用TryOffAnyone快速生成服装的平铺图像，用于设计评估和概念验证，加速设计流程。
4. 个性化推荐系统：结合用户的历史购买和浏览数据，TryOffAnyone可以生成个性化的服装搭配建议，提高用户满意度。
5. 社交媒体营销：时尚品牌可以利用TryOffAnyone创建吸引人的服装展示图像，用于社交媒体广告和营销活动，吸引潜在客户。
6. 库存管理与展示：零售商可以利用TryOffAnyone生成的平铺图像，更高效地管理和展示库存，减少实体拍摄的成本和时间。

TryOffAnyone项目入口

• GitHub代码库：https://github.com/ixarchakos/try-off-anyone
• arXiv研究论文：https://arxiv.org/pdf/2412.08573