SynthLight：Adobe联合耶鲁大学推出的肖像重照明扩散模型

SynthLight简介

SynthLight是由Adobe与耶鲁大学合作开发的一项创新技术，它是一个专门用于肖像重照明的扩散模型。该模型通过学习重新渲染合成的人脸图像，能够在真实肖像照片上产生逼真的照明效果，包括自然的高光和阴影。SynthLight的独特之处在于，尽管它仅在合成的头像图像上进行训练，却能够出色地泛化到各种真实场景，包括半身和全身肖像。这一技术不仅在定量实验中展现出与现有顶尖方法相当的性能，而且在定性结果上也呈现出了前所未有的丰富照明效果，如眼睛中的反光、耳朵的次表面散射等，极大地推动了肖像重照明技术的发展。

SynthLight主要功能

1. 肖像重照明：SynthLight的核心功能是对肖像照片进行重照明，即改变照片中的光照条件，以产生不同的视觉效果。这包括在颈部产生明显的投影、在皮肤上产生自然的高光等，从而增强肖像的立体感和真实感。
2. 身份保留：在改变光照条件的同时，SynthLight能够保留被摄对象的身份特征，确保重照明后的肖像与原始肖像在面部特征上保持一致。
3. 泛化能力：尽管模型仅在合成的头像图像上进行训练，但它能够很好地泛化到各种真实场景，包括半身肖像和全身人偶，展现出强大的适应性。
4. 高质量照明效果：SynthLight能够产生高质量的照明效果，如强烈的投影、眼睛中的反光（catch lights）、耳朵的次表面散射（subsurface scattering）等，这些效果在以往的方法中难以实现。

SynthLight技术原理

1. 基于物理的渲染引擎：使用Blender的Cycles渲染器，合成一个包含3D头部模型的数据集，这些模型在不同的光照条件下进行渲染，以模拟真实世界中的光照变化。每个模型都包含详细的脸部组件，如眼睛、牙齿、牙龈和头发，并通过高质量的PBR（Physically Based Rendering）纹理贴图来增强 realism。
2. 扩散模型：基于Stable Diffusion模型，SynthLight将输入肖像和目标环境图整合到网络的输入中。通过扩展Unet的第一卷积层的通道数，模型能够学习从一个光照条件下的肖像重新渲染到另一个光照条件下的肖像。
3. 多任务训练：为了弥合合成数据和真实图像之间的领域差距，SynthLight采用了多任务训练策略。这包括一个文本到肖像的生成任务，该任务约束模型在给定输入提示的情况下生成逼真的肖像图像。这种多任务训练有助于提高模型的泛化能力和真实感。
4. 推理时适应：在推理阶段，SynthLight采用基于无分类器引导的适应方案，有效地在输入肖像的细节保留和重照明强度之间取得平衡。通过调整引导参数，可以在保持身份特征的同时，实现合理的重照明效果。
5. 环境图与背景对比：与使用背景作为照明条件的方法相比，SynthLight使用环境图作为照明条件，能够更准确地捕捉照明信息，从而生成更精确的阴影和自遮挡效果。

SynthLight应用场景

1. 摄影后期处理：摄影师可以使用SynthLight在拍摄后调整肖像的光照效果，无需重新拍摄，节省时间和成本。
2. 影视特效制作：在影视后期中，对演员的肖像进行重照明，以匹配不同的场景光照，提升视觉效果的一致性。
3. 虚拟现实（VR）和增强现实（AR）：为虚拟角色或增强现实中的真实人物提供逼真的光照效果，增强沉浸感。
4. 游戏开发：在游戏中动态调整角色的光照，使其更好地融入不同的游戏环境，提升游戏的视觉体验。
5. 广告制作：在广告图像中调整模特的光照，以突出产品或创造特定的氛围，吸引观众注意力。
6. 社交媒体内容创作：用户可以利用SynthLight美化自己的照片，添加艺术效果，提升照片的吸引力和分享价值。

SynthLight项目入口

• 项目主页：https://vrroom.github.io/synthlight/
• arXiv研究论文：https://arxiv.org/pdf/2501.09756