FabricDiffusion：将现实世界的服装纹理精确转移到三维服装模型上

FabricDiffusion 简介

FabricDiffusion 是由卡内基梅隆大学和谷歌研究团队开发的一种先进方法，用于将现实世界的服装纹理精确转移到三维服装模型上。这一方法能够处理各种纹理和材料，并生成适用于不同光照条件的 PBR 纹理贴图，从而实现高度真实感的三维服装渲染。通过创新的去噪扩散模型和合成数据集训练，FabricDiffusion 能够纠正输入纹理的扭曲，并生成可与现有 PBR 材料生成流程紧密集成的平面纹理贴图。

FabricDiffusion 主要功能

1. 纹理转移： 能够将现实世界的二维服装图片的纹理细节精确地转移到三维服装模型上。
2. 材质生成： 生成包括漫反射、粗糙度、法线和金属在内的PBR（Physically-Based Rendering）材质贴图。
3. 光照适应： 生成的三维服装能够在不同光照条件下进行准确的重光照和渲染。
4. 图案和印花处理： 能够处理服装上的图案和印花，包括透明度和复杂的背景。
5. 泛化能力： 经过合成数据训练，能够零样本泛化到真实世界的服装图片。

FabricDiffusion 技术原理

1. 去噪扩散模型： 使用去噪扩散模型来纠正输入纹理图像中的扭曲和变形，生成平面且无失真的纹理贴图。
2. 合成数据集训练： 利用大规模合成数据集训练模型，该数据集包含多样化的纹理、材料和光照条件，以提高模型的泛化能力。
3. PBR材料集成： 生成的纹理贴图与现有的基于物理的渲染材料生成流程兼容，允许在不同光照条件下进行真实的渲染。
4. 条件生成网络： 采用条件生成网络，根据输入的服装图片生成对应的纹理贴图，同时保留原始捕获区域的颜色、纹理图案和材料特性。
5. 圆形填充策略： 采用圆形填充策略来确保生成的纹理贴图能够无缝拼接，适用于任意形状的服装模型。
6. 透明通道处理： 对于印花和标志，生成具有透明背景的RGBA图像，以便在渲染时实现更真实的视觉效果。

FabricDiffusion 应用场景

1. 虚拟试衣： 在电子商务网站上允许用户上传自己的照片，然后在其身体模型上预览服装纹理和样式。
2. 游戏和娱乐： 在游戏和电影制作中，为角色创建逼真的服装纹理，提高视觉效果的真实感。
3. 增强现实（AR）和虚拟现实（VR）： 在AR和VR应用中，为用户提供虚拟服装的试穿体验。
4. 时尚设计： 设计师可以使用这一技术快速将设计概念转化为可视化的三维模型，加速设计流程。
5. 三维打印： 在三维打印服装领域，用于生成具有所需纹理和图案的服装模型。
6. 社交媒体和个性化内容： 用户可以在社交媒体上创建和分享个性化的三维服装模型，增加互动性和趣味性。

FabricDiffusion 项目入口

• 项目主页：https://humansensinglab.github.io/fabric-diffusion
• arXiv技术论文：https://arxiv.org/pdf/2410.01801