MotionFollower：复旦大学等推出的视频运动编辑技术

0 90

MotionFollower项目简介

MotionFollower是由复旦大学、微软亚洲研究院、卡耐基梅隆大学和虎牙公司的联合研究团队开发的一种视频运动编辑技术。它通过轻量级得分引导扩散模型，能够在不改变视频背景和主角外观的前提下，实现对视频运动的精确编辑，同时显著降低了计算资源的消耗。

MotionFollower主要功能

❶运动同步：将一个视频中的运动同步到另一个视频的主角身上。
❷背景保留：在运动转移过程中保留原始视频的背景。
❸外观一致性：确保主角的外观在运动编辑后与原始视频保持一致。
❹相机运动适应：适应并保留原始视频中的相机运动，如平移、缩放等。
❺资源优化：在保持高效编辑质量的同时，减少对计算资源的需求。
❻编辑灵活性：提供对视频运动进行细致调整的能力，以适应不同的创作需求。

MotionFollower应用场景

❶社交媒体内容创作：用户在社交平台上创作有趣的动作模仿或舞蹈视频。
❷虚拟试衣：展示服装在不同动作下的展示效果。
❸互动广告：在社交媒体上通过动作编辑增强广告互动性。
❹个性化表情包：制作含有个性化动作的动态表情包。
❺社交媒体滤镜：开发动作相关的AR滤镜，用于社交媒体自拍。
❻直播互动：在直播中实时应用动作效果，增加观众参与感。

MotionFollower技术原理

❶得分引导扩散模型：使用基于得分的指导原则，通过条件控制去噪过程，实现对视频运动的精确编辑。
❷双分支架构：采用包括重建和编辑两个分支的结构，增强对纹理细节和复杂背景的建模能力。
❸轻量信号控制器：设计了两种轻量级信号控制器（Pose Controller和Reference Controller），用于控制姿势和建模外观，减少计算量。
❹一致性正则化：在得分估计过程中引入多个一致性正则化和损失函数，确保生成的视频在保持原始背景细节和主角外观的同时，进行运动修改。
❺无需注意力机制：通过纯卷积操作代替传统的注意力机制，降低计算成本。
❻混合训练策略：结合单帧图像和视频片段的训练，提高模型对视频时间一致性的表现。
❼特征融合策略：通过将源帧转换为CLIP嵌入并与潜在特征进行交叉注意力操作，增强模型对源视频外观的保持能力。