UniPortrait：阿里推出的支持多角色身份一致性的创新框架

UniPortrait简介

UniPortrait 是由阿里巴巴集团智能计算研究所开发的一项创新技术，它是一个统一的框架，用于个性化定制单个人和多个人的图像，同时保持高度的身份保真度和广泛的面部编辑能力。UniPortrait 通过两个即插即用模块——身份嵌入模块和身份路由模块——实现，它们协同工作以适应性地将身份特征嵌入并分布于合成图像的相应区域。这项技术不仅支持自由形式的文本描述，还能生成多样化的布局，为用户提供了一种高效、灵活且高度可定制的图像生成解决方案。

UniPortrait主要功能

1. 身份保持风格迁移：能够在风格转换过程中保持人物面部身份的一致性。
2. 文本到多身份个性化：支持根据文本描述生成包含多个身份特征的图像。
3. 文本到单身份个性化：允许用户通过文本提示生成具有特定身份特征的单一人物图像。
4. 高保真度面部编辑：提供对合成图像中面部特征的细致编辑能力。
5. 自由形式文本描述：用户可以使用自然语言描述来指导图像的生成，无需预设布局。
6. 多样化布局生成：能够创造出不同布局的图像，增加生成图像的多样性。

UniPortrait技术原理

1. ID嵌入模块：利用面部识别模型的中间层特征作为基础的身份特征，并结合CLIP图像编码器的局部特征以及面部骨干网络的浅层特征，增强面部结构表示。
2. 解耦策略：通过强调强dropout正则化（如DropToken和DropPath），明确解耦面部结构特征与内在身份特征，防止模型过拟合非关键面部细节。
3. ID路由模块：提出一种路由网络，通过在交叉注意力层预测离散概率分布，为图像中每个潜在的面部区域动态分配唯一身份。
4. 两阶段训练方案：UniPortrait的训练分为单身份训练阶段和多身份微调阶段，先训练ID嵌入模块，再专门训练ID路由模块。
5. 路由正则化损失：引入路由正则化损失和Gumbel-softmax技巧，帮助路由网络学习有效管理和分配身份表示。
6. 兼容性与扩展性：UniPortrait设计为与现有的生成控制工具（如ControlNet和IP-Adapter）兼容，增强了技术的适用性和扩展性。

UniPortrait应用场景

1. AI肖像照片：为个人生成具有高度身份特征的AI艺术肖像。
2. 虚拟试穿：在电子商务中，用户可以上传自己的照片，尝试不同的服装和配饰。
3. 图像动画：将静态图像转换成动画，保持人物面部特征的连贯性。
4. 个性化广告：根据目标受众的面部特征定制广告图像，提高广告的相关性和吸引力。
5. 社交媒体内容：用户可以根据自己的描述生成独特的社交媒体头像或封面图片。
6. 故事板和概念艺术：为电影、游戏或书籍创作提供个性化的角色设计和场景布局。

UniPortrait项目入口

• 官方项目主页：https://aigcdesigngroup.github.io/UniPortrait-Page/
• GitHub代码库：https://github.com/junjiehe96/UniPortrait
• arXiv研究论文：https://arxiv.org/pdf/2408.05939