Alchemist：使用扩散模型控制图像中材料属性

Alchemist简介

Alchemist是一种先进的图像编辑方法，由谷歌和MIT CSAIL的联合研究团队开发。这项技术能够对真实图像中的物体材料属性进行精细控制，包括粗糙度、金属感、反照率和透明度。通过利用文本到图像的生成模型的先进能力，Alchemist不仅能够实现对合成数据的精确编辑，还能够扩展到真实世界图像的编辑，为图像编辑、广告和图像取证等领域带来了新的应用潜力。

Alchemist主要功能

1. 材料属性编辑：能够对图像中的物体进行粗糙度、金属感、反照率和透明度等材料属性的编辑。
2. 真实图像处理：尽管在合成数据上训练，但Alchemist能够泛化到真实世界图像，实现精细的材料属性调整。
3. 无缝过渡：通过改变属性的相对强度，Alchemist能够实现材料属性编辑的平滑过渡效果。
4. 多属性同时编辑：支持在单个扩散过程中同时编辑多个材料属性，提供更丰富的视觉效果。
5. 空间定位编辑：能够识别图像中的特定实例，并仅对该实例应用材料属性编辑。
6. NeRF材料编辑：将编辑能力扩展到神经辐射场（NeRF）的重建，允许对3D场景中的材料属性进行控制。

Alchemist技术原理

1. 生成先验利用：基于文本到图像模型的生成先验，这些模型以照片写实度著称，Alchemist通过调整模型来改变低级材料属性。
2. 合成数据集：针对缺乏精确标记材料属性的实际数据集问题，Alchemist生成了一个包含物理基础材料和环境贴图的合成数据集。
3. 扩散模型微调：使用一个修改过的预训练文本到图像扩散模型，通过微调来实现对真实图像中材料属性的编辑。
4. 参数控制：通过额外的输入通道和基于指令的过程，Alchemist实现了对材料属性的参数化控制。
5. 物理基础渲染：利用Blender的Cycles渲染器，确保合成数据集的物理基础渲染效果，为模型训练提供高质量的数据。
6. 多属性编辑网络训练：通过在数据集中同时变化多个属性（如反照率、粗糙度和金属感），训练网络以实现对这些属性的综合控制。
7. 无分类器引导：采用无分类器引导技术来提高生成图像的视觉质量和真实性。
8. 用户研究验证：通过用户研究来验证Alchemist编辑效果的逼真度和用户偏好。

Alchemist应用场景

1. 图像编辑：在后期制作中调整物体表面的材料特性，提升视觉效果。
2. 广告制作：为广告中的产品和服务创造吸引人的材料外观。
3. 游戏开发：为游戏中的物体设计逼真的材质效果。
4. 电影特效：在电影后期制作中实现材料属性的动态变化。
5. 虚拟现实：增强虚拟现实环境中物体的真实感。
6. 产品可视化：为电子商务平台提供高真实感的产品模型展示。

Alchemist项目入口

• 官方项目主页：https://prafullsharma.net/alchemist/
• 技术研究论文：https://prafullsharma.net/alchemist/alchemist_paper.pdf