Follow-Your-Emoji：基于扩散模型的创新性肖像动画框架

0 100

Follow-Your-Emoji简介

Follow-Your-Emoji是由香港科技大学、腾讯和清华大学的联合研究团队开发的，基于扩散模型的创新性肖像动画框架。该技术能够将目标表情和动作序列精确地映射到各种风格的参考肖像上，无论是真人、卡通、雕塑还是动物形象。通过引入表情感知标志点和面部细粒度损失函数，它在保持肖像身份的同时，能够生动地传达微妙和夸张的表情变化，展现出卓越的动画生成能力和高度的控制性。此外，该团队还创建了EmojiBench基准，为肖像动画领域的研究提供了宝贵的资源。

Follow-Your-Emoji主要功能

❶肖像动画生成：能够将目标表情和动作序列转移到不同的参考肖像上，包括真人、卡通、雕塑和动物等风格。
❷身份保持：在动画过程中保持参考肖像的身份，避免身份信息泄露。
❸表情传递：能够准确地将目标表情传递给参考肖像，包括夸张的表情。
❹时间一致性：确保动画在时间序列上保持连贯性，避免不自然的跳变。
❺高质量动画：生成高质量的动画视频，具有高分辨率和逼真的细节。

Follow-Your-Emoji应用场景

❶在线会议：为远程工作提供更加自然和个性化的视频会议体验，允许用户以动画形象出现，增强互动性。
❷虚拟角色：在游戏和虚拟现实应用中，创建具有丰富表情和动作的虚拟角色，提升沉浸感。
❸社交媒体：用户可以将自己的肖像转换成动画表情或头像，用于社交媒体上的个性化表达。
❹电影和电视制作：在后期制作中，用于生成或增强角色的面部表情，节省制作成本并提高效率。
❺教育和培训：创建教育内容中的动画角色或模拟场景，使学习材料更加生动和吸引人。
❻广告和营销：设计吸引人的动画广告，通过个性化和富有表现力的动画角色来吸引观众的注意力。

Follow-Your-Emoji技术原理

❶Stable Diffusion模型：使用强大的Stable Diffusion模型作为基础，为动画生成提供强大的先验信息。
❷表情感知标志点：引入一种新的显式运动信号，通过3D关键点投影获得，专注于表情变化，同时避免身份信息的破坏。
❸面部细粒度损失函数：提出一种新的损失函数，通过面部和表情掩模计算空间距离，指导模型更关注面部表情的细微变化。
❹渐进式生成策略：采用从粗糙到精细的策略生成长期动画，提高动画的稳定性和保真度。
❺高质量表情训练数据集：构建包含18种夸张表情和115名受试者20分钟视频的数据集，用于训练模型。
❻EmojiBench基准：创建一个包含多种风格肖像动画视频的基准，用于评估和验证模型性能。