ZeST：将一个图像中的材质直接迁移到另一个图像上

0 90

ZeST项目介绍

ZeST是一种基于深度学习的图像处理技术，专注于实现零样本下的材质迁移。它通过使用扩散适配器从示例图像中提取材质的隐含表示，并利用预训练的修复模型，结合深度估计和灰度着色作为指导，将特定材质应用到另一图像的对象上。ZeST的架构由三个分支组成：材质编码、几何指导和潜在照明指导，共同作用以确保在迁移过程中不仅材质特性得以复制，而且对象的几何形状和光照条件也得到保留。这项技术展示了在无需大量训练数据的情况下，也能高效地进行复杂的图像编辑任务，为图形设计和艺术创作提供了一种新的工具。

ZeST主要功能

❶材质迁移：将一个图像中的材质直接迁移到另一个图像中的对象上，无需进行任何形式的训练或微调。
❷多对象材质编辑：在单个图像中对多个对象应用不同的材质，使得可以在一张图片中实现多种材质效果。
❸照明感知编辑：在材质迁移过程中考虑到不同照明条件下的材质表现，保持材质在不同光照下的一致性和真实感。
❹无需3D几何和照明信息：不需要显式估计3D形状、照明条件或材质属性，简化了材质编辑的复杂性。
❺适用于真实图像：ZeST能够在真实世界拍摄的图片上工作，输出具有高真实感的合成图像。

ZeST应用场景

❶视觉效果和电影制作：在电影和视频中创建逼真的视觉效果，如改变服装材料或环境表面。
❷游戏开发：为游戏角色和环境设计逼真的材料和纹理。
❸产品设计：在产品设计过程中模拟不同材料的外观，以评估和选择最佳的材料选项。
❹虚拟现实和增强现实：在虚拟环境中创建真实的材料感，提高用户的沉浸感。
❺时尚和零售：在时尚行业中模拟不同面料和材料的效果，用于在线购物和虚拟试穿。

ZeST技术原理

❶零样本学习：ZeST 采用了零样本学习方法，这意味着它不需要针对特定材质进行训练，能够直接在真实图像上工作。
❷扩散适配器：利用扩散适配器从材质示例图像中提取隐含的材质表示。
❸预训练的修复扩散模型：使用这种模型，结合深度估计作为几何线索，灰度对象着色作为照明线索，来迁移材质到输入图像的对象上。
❹三分支架构：
a.材质编码分支：使用图像编码器（例如 IP-Adaptor）对材质示例进行编码，提取材质的潜在表示。
b.几何指导分支：将输入图像转换为深度图，用于 ControlNet，以提供几何信息。
c.潜在照明指导分支：创建前景掩膜和前景灰度图像，用于在生成过程中保持照明和背景信息。
❺结合指导信息：通过结合几何和照明指导信息以及材质编码的潜在特征，ZeST 能够在保留输入图像所有其他属性的同时，将材质属性迁移到对象上。