FlexiAct：清华联合腾讯开发的一种灵活动作控制技术

0 20

FlexiAct项目简介

FlexiAct是由清华大学深圳国际研究生院和腾讯ARC实验室联合开发的一种灵活动作控制技术。该技术能够在异构场景中将参考视频的动作精准地转移到任意目标图像上，即使在空间结构、骨骼结构或视角存在显著差异的情况下，也能保持动作的准确性和外观的一致性。开发团队通过创新的RefAdapter和Frequency-aware Action Extraction（FAE）组件，分别解决了空间结构适应和精确动作提取的难题，显著提升了动作转移的适应性和灵活性。实验结果表明，FlexiAct在多样化主体和场景中表现出色，为影视、游戏和动画制作等领域提供了高效且低成本的动作转移解决方案。

FlexiAct主要功能

灵活动作转移
FlexiAct能够将参考视频中的动作精准地转移到任意目标图像上，即使目标图像与参考视频在空间结构、骨骼结构或视角上存在显著差异，也能实现动作的准确复制和外观的一致性保持。
适应多样化场景
该技术能够在异构场景中工作，支持跨主体、跨领域的动作转移，例如从人类到动物、从真实图像到动画角色等，具有广泛的适用性。
高效资源利用
FlexiAct通过轻量级的模型设计和优化训练策略，降低了动作转移的计算成本和时间成本，相比传统方法更加高效。
保持外观一致性
在动作转移过程中，FlexiAct能够确保生成视频与目标图像在外观上高度一致，避免因动作调整而导致的外观失真。

FlexiAct技术原理

RefAdapter（空间结构适配器）
- 功能：解决空间结构适应问题，确保动作能够适应目标图像的不同姿势、布局和视角，同时保持外观一致性。
- 原理：通过在训练过程中随机选择视频帧作为条件图像，而不是仅使用第一帧，增加了空间结构的多样性。RefAdapter通过注入LoRA（Low-Rank Adaptation）到CogVideoX-I2V的MMDiT层中，仅需少量可训练参数即可实现高效的适配。
Frequency-aware Action Extraction（FAE，频率感知动作提取）
- 功能：在去噪过程中动态调整注意力权重，实现精确的动作提取和控制。
- 原理：FAE通过训练一组可学习的嵌入向量，使其在去噪过程的不同时间步中关注不同频率的动作信息。在早期时间步中，嵌入向量关注低频动作信息（如运动区域），而在后期时间步中关注高频细节（如外观细节）。通过动态调整注意力权重，FAE能够直接在去噪过程中提取动作，而无需依赖于单独的时空架构。
CogVideoX-I2V基础模型
- 功能：作为FlexiAct的核心框架，提供高效的图像到视频（I2V）生成能力。
- 原理：基于MMDiT的视频扩散模型，通过3D VAE将条件图像和视频映射到潜在空间，利用扩散模型的去噪过程生成视频。该模型通过优化MSE损失函数来训练，确保生成视频与目标图像在语义和外观上的一致性。
两阶段训练流程
- 功能：确保RefAdapter和FAE在训练过程中相互独立，避免相互干扰。
- 原理：首先对RefAdapter进行训练，使其能够适应不同的空间结构；然后对FAE进行训练，使其能够精确提取动作信息。在推理阶段，RefAdapter和FAE协同工作，完成动作转移任务。

FlexiAct应用场景

影视制作
在电影和电视剧中，FlexiAct可以快速生成角色的特定动作，减少昂贵的动作捕捉和动画制作成本，同时支持对不同角色（如人类、动物或虚拟角色）的动作定制。
游戏开发
用于游戏动画制作，能够快速为游戏角色生成多样化的动作，提升游戏的交互性和视觉效果，尤其适用于需要大量动画资源的开放世界游戏。
广告与营销
用于广告视频制作，快速生成符合创意需求的角色动作，提升广告的吸引力和表现力。例如，让虚拟代言人执行特定动作以展示产品。
教育与培训
在教育领域，FlexiAct可用于生成教学动画，帮助学生更直观地理解复杂的动作过程，如体育动作教学或舞蹈训练。
虚拟现实（VR）与增强现实（AR）
在VR和AR应用中，FlexiAct可以实时生成用户或虚拟角色的动作，增强沉浸感和交互性，例如在虚拟健身应用中生成教练的动作。
社交媒体与内容创作
为内容创作者提供高效的动作生成工具，快速生成有趣的视频内容，如将用户上传的静态图片转化为动态视频，增加内容的趣味性和吸引力。