MagicFace：芬兰奥卢大学联合东南大学推出的面部表情编辑框架

0 90

MagicFace简介

MagicFace是由芬兰奥卢大学机器视觉与信号分析中心和东南大学生物科学与医学工程学院联合开发的高保真面部表情编辑框架。该框架通过控制面部动作单元（AU）的相对变化来精细调整特定人物的表情，同时保留其身份、姿势、背景和面部细节。MagicFace的核心是一个基于AU变化的扩散模型和一个ID编码器，后者用于保持面部特征的一致性。该模型利用预训练的Stable-Diffusion模型，通过自注意力机制将身份特征与噪声图像合并，实现对表情的精确控制。MagicFace不仅在图像生成质量上超越了现有方法，还提供了一种用户友好的界面，允许非专业人士以直观的方式编辑面部表情。此外，该框架在处理不同种族和年龄组的真实人类图像以及卡通风格图像时表现出良好的泛化能力，为数字环境中的通信和娱乐媒体行业带来了新的可能性。

MagicFace主要功能

高保真面部表情编辑：能够对特定人物的面部表情进行精细、连续且可解释的编辑，如改变笑容的强度、增加愤怒的表情等，同时保持人物的身份、姿势、背景和详细面部属性不变，生成高质量、逼真的编辑图像。
基于动作单元（AU）的控制：采用AU来表示面部表情，AU作为解剖学标记，能精确且灵活地描述图像中的面部表情。用户可以通过调整特定AU的强度来实现对面部表情的局部控制，如仅改变嘴角上扬的AU来调整笑容程度，为用户提供了一种直观、易于理解的编辑工具。
身份和面部细节保持：借助ID编码器，以对称的UNet结构捕获输入身份的空间细节，使模型能够在统一的特征空间内理解身份图像与编辑目标之间的关系，从而在编辑过程中有效保持身份特征和高频面部特征的一致性，避免出现身份混淆或面部细节丢失的问题。

MagicFace技术原理

扩散模型的应用：基于预训练的Stable-Diffusion模型构建，该模型是一种生成模型，通过学习数据的分布来生成新的样本。在MagicFace中，扩散模型用于将AU变化映射到逼真的图像中，其核心是一个去噪UNet，该网络在训练时学习如何从添加了高斯噪声的潜在表示中恢复出原始的潜在表示，从而实现高质量的图像生成。
条件输入的设计：
- AU变化作为条件：与使用绝对AUs相比，MagicFace选择AU变化作为条件输入。AU变化表示目标AUs与源AUs之间的差异，这种设计更直观、用户友好，用户无需精确匹配源图像中的AU值，只需指定想要改变的AU及其变化程度即可。同时，AU变化的值以零为中心，为模型提供了更有意义的信息，有助于指导表情编辑并稳定训练过程。
- 背景和姿势的分离处理：通过Attribute Controller将背景和姿势从身份中分离出来，作为独立的条件输入。在训练时，模型学习如何从目标图像中解析出背景和姿势轮廓，并将其与噪声潜在表示一起输入到去噪UNet中。这样做的好处是避免了模型仅通过输入的身份图像来学习背景和姿势信息，使模型能够更专注于脸部表情的编辑，同时保持背景和姿势的一致性。
ID编码器与自注意力机制：ID编码器用于提取身份图像的特征，并通过自注意力机制将这些特征与去噪UNet中的特征进行合并。自注意力层在UNet中起到了关键作用，它能够在空间上传递外观信息，使生成的图像在外观上与输入的身份图像保持相似，即使在几何结构发生变化的情况下也能生成视觉上相似的图像，从而实现了对身份和面部细节的有效保持。
AU dropout技术：在训练过程中引入AU dropout操作，即随机将部分AU设置为全零，以实现对AU条件的分类器自由引导。这一策略有助于平衡图像生成的质量和多样性，使模型在生成图像时既能保持较高的质量，又能产生具有一定多样性的表情变化。在推理阶段，通过设置合适的引导尺度α，可以进一步调整条件控制对预测噪声的影响，从而实现对表情编辑强度的精细调控。