IC-Portrait：ETH Zurich联合南洋理工等推出的个性化肖像生成框架

IC-Portrait简介

IC-Portrait是由ETH Zurich、ZMO AI Inc.、浙江大学和南洋理工大学联合开发的一种创新的个性化肖像生成框架。该框架通过将肖像生成任务分解为光照感知拼接和视角一致适应两个子任务，有效解决了用户肖像在光照和视角多样性方面的挑战。IC-Portrait利用高比例掩码自编码技术和合成的多视角数据集，实现了高保真的身份保持和视角一致的肖像生成，同时支持多主体设置和极端光照条件下的高质量输出。在广泛的实验中，IC-Portrait在身份相似度和视觉质量方面均优于现有的最先进方法，展示了其在数字内容创作、虚拟头像生成等领域的巨大潜力。

IC-Portrait主要功能

1. 个性化肖像生成：IC-Portrait能够生成高度个性化的肖像图像，保持用户的身份特征，同时适应不同的艺术风格和环境光照条件。
2. 视角一致性：该框架可以生成在不同视角下保持一致的肖像图像，确保在多角度观看时身份特征的一致性。
3. 光照感知：IC-Portrait能够在不同光照条件下生成一致的肖像图像，适应从明亮的阳光到昏暗的室内光等多种光照环境。
4. 多主体支持：该框架支持处理包含多个主体的图像，确保每个主体的身份准确捕获并整合到群像中。
5. 3D感知重光照：IC-Portrait展示了在3D环境中重新光照的能力，能够在不同光照条件下保持身份特征的一致性。

IC-Portrait技术原理

1. 高比例掩码自编码技术：通过对输入图像进行高比例（约80%）的掩码自编码，IC-Portrait能够自监督地学习风格参考图像的光照特征，有效减少用户肖像与风格参考图像之间的适应性差距。
2. 视角一致适应：利用合成的视角一致的肖像数据集，IC-Portrait学习上下文对应关系，使参考肖像能够扭曲成任意姿势，实现强大的空间对齐视角条件。
3. 预训练扩散模型：IC-Portrait利用预训练的扩散模型进行上下文密集对应匹配，通过简单地连接潜在变量形成类似ControlNet的监督和建模，显著提高身份保持的保真度和稳定性。
4. 多视角数据集：通过生成多视角的人脸图像并利用EG3D模型将这些图像映射到三平面表示中，IC-Portrait能够在不同视角下生成一致的肖像图像。
5. 逐步推理：IC-Portrait采用逐步生成方案，通过添加高斯噪声来进行输入投影，最大限度地保留原始光照，同时实现所需的身份转换。

IC-Portrait应用场景

1. 数字内容创作：为电影、电视剧、动漫等制作个性化角色肖像，快速生成符合剧本设定的人物形象。
2. 虚拟头像生成：为社交媒体、在线游戏、虚拟现实应用等创建高度个性化的虚拟头像，增强用户沉浸感。
3. 广告与营销：根据品牌形象和目标受众生成个性化的肖像广告素材，提升广告的吸引力和相关性。
4. 艺术创作：为艺术家和设计师提供灵感，快速生成不同风格和视角的肖像作品，辅助艺术创作。
5. 娱乐与互动：在互动娱乐应用中，如线上照片编辑工具、虚拟试妆应用等，实时生成个性化肖像，提升用户体验。
6. 教育与培训：用于教育领域，生成不同人物形象用于教学案例分析，或在培训中模拟真实场景中的人物形象。

IC-Portrait项目入口

• arXiv技术论文：https://arxiv.org/pdf/2501.17159