SHMT：能够将一种化妆风格从参考图像转移到源图像上

SHMT简介

SHMT（Self-supervised Hierarchical Makeup Transfer）是一种先进的自监督化妆转移技术，由武汉理工大学与阿里巴巴集团联合研发。该技术通过利用潜在扩散模型，能够在无需成对训练数据的情况下，精确地将各种化妆风格自然地应用到目标面部图像上。SHMT采用“解耦-重建”策略，结合拉普拉斯金字塔和迭代双重对齐模块，实现了对不同化妆风格下纹理细节的灵活控制和对齐误差的动态校正，显著提升了化妆转移的效果和保真度，为社交媒体、虚拟试妆、电影制作等多个领域提供了强大的技术支持。

SHMT主要功能

1. 化妆风格转移：SHMT能够将一种化妆风格从参考图像转移到源图像上，同时保持源图像的内容特征，如面部结构、姿态和表情。
2. 自监督学习：采用自监督策略，避免了依赖不精确的伪配对数据，通过“解耦-重建”范式进行训练。
3. 层次化纹理细节处理：使用拉普拉斯金字塔分解技术，灵活控制源图像中不同层次的纹理细节的保留或丢弃，以适应不同的化妆风格。
4. 动态对齐校正：通过迭代双重对齐（IDA）模块，在每个去噪步骤中动态调整注入条件，纠正由内容和化妆表示之间的域间隙引起的对齐错误。

SHMT技术原理

1. 潜在扩散模型：SHMT基于潜在扩散模型（Latent Diffusion Models），该模型通过在低维潜在空间中进行迭代逆去噪过程来生成图像。
2. 解耦和重建：将面部图像分解为背景、化妆表示和内容表示，然后通过重建原始输入来模拟化妆转移过程。
3. 内容和化妆表示：
   • 内容表示：包括3D面部形状和纹理细节，通过3D面部重建模型和拉普拉斯金字塔构建。
   • 化妆表示：通过对输入图像应用随机空间变换来破坏内容信息，保留化妆信息。
4. 拉普拉斯金字塔：用于层次化分解输入图像的纹理信息，允许模型根据不同的化妆风格灵活控制内容细节的保留或丢弃。
5. 迭代双重对齐（IDA）：在每个去噪步骤中，IDA利用中间结果来动态调整注入条件，帮助纠正由于内容和化妆表示之间的域差异引起的对齐错误。

SHMT应用场景

1. 社交媒体美容滤镜：SHMT可以应用于社交媒体平台，为用户提供实时的美容滤镜效果，让用户在发布照片前预览不同的化妆风格。
2. 虚拟试妆应用：在电子商务领域，SHMT技术可以集成到虚拟试妆应用中，让顾客在线上试戴各种化妆品，提高购物体验。
3. 电影和游戏角色设计：在娱乐产业，SHMT可以用于快速更换或设计电影和游戏中角色的妆容，提高制作效率。
4. 个性化广告制作：广告行业可以利用SHMT技术，根据目标受众的偏好定制模特的妆容，使广告更加吸引人。
5. 美容教育和培训：SHMT可以作为美容教育工具，帮助学生和专业人士学习不同化妆技巧，通过模拟实践提高技能。
6. 个性化肖像制作：在艺术和摄影领域，SHMT技术可以用来创作个性化的肖像作品，让艺术家和摄影师探索不同的美学效果。

SHMT项目入口

• GitHub代码库：https://github.com/Snowfallingplum/SHMT
• arXiv研究论文：https://arxiv.org/pdf/2412.11058