MIVE：Adobe联合韩国高校推出的多实例视频编辑框架

MIVE简介

MIVE是由Adobe联合韩国科学技术院、 韩国中央大学推出的多实例视频编辑框架。该框架通过创新的Disentangled Multi-instance Sampling（DMS）和Instance-centric Probability Redistribution（IPR）技术，实现了在视频编辑中对多个对象的精确和忠实编辑，同时有效减少了编辑泄露问题。MIVE框架不依赖于全局编辑提示，而是利用个别实例提示进行编辑，显著提升了编辑的准确性和效率。

MIVE主要功能

1. 多实例视频编辑：MIVE框架能够同时对视频中的多个对象进行精确的编辑，而不影响其他部分。
2. 零样本学习：无需额外训练，MIVE可以直接应用于新的视频编辑任务。
3. 减少编辑泄露：通过特有的技术减少编辑过程中的对象间干扰，即编辑泄露问题。
4. 提高编辑忠实度：确保编辑结果忠实于给定的文本提示，增强编辑的准确性。
5. 空间控制：利用实例掩码进行精确的空间控制，确保编辑仅在指定区域内进行。
6. 新的评价指标：引入了Cross-Instance Accuracy (CIA) Score来量化多实例编辑任务中的注意力泄露。

MIVE技术原理

1. Disentangled Multi-instance Sampling (DMS)：
   • Latent Parallel Sampling (LPS)：独立地对每个实例进行编辑，以减少注意力泄露。
   • Noise Parallel Sampling (NPS)：在LPS的基础上，通过融合和重新反转操作来协调独立编辑的实例。
   • Latent Fusion：在中间采样步骤中融合多个实例的潜在表示。
   • Re-inversion：在潜在融合后进行重新反转，以减少编辑中的伪影和模糊。
2. Instance-centric Probability Redistribution (IPR)：
   • 注意力重分配：调整交叉注意力层中的注意力分布，以增强编辑的局部化和忠实度。
   • 编辑定位：确保编辑内容精确地出现在对应的实例掩码内。
3. MIVE数据集：
   • 多样化视频场景：提供了包含200个视频的新数据集，覆盖多种视频场景和实例大小。
   • 实例级标注：为每个视频提供了实例级别的掩码和描述性字幕。
4. 评价指标：
   • CIA Score：新提出的指标，用于评估多实例视频编辑中的编辑泄露问题。
   • 背景保持：衡量编辑过程中背景的保持程度，确保编辑不会影响视频的非目标区域。

MIVE应用场景

1. 社交媒体内容创作：用户可以在社交媒体上快速编辑视频内容，如替换或修改视频中的特定对象，以符合特定的主题或风格。
2. 电影和视频制作：在电影后期制作中，MIVE可以用来修改或增强视频中的多个元素，如更换演员服装或调整道具的外观。
3. 新闻和报道：在新闻报道中，MIVE可以用于对视频素材进行快速编辑，以适应不同的报道需求，例如更改背景或隐藏敏感信息。
4. 教育和培训：在教育领域，MIVE可以用于创建定制化的视频教程，通过编辑视频中的特定实例来突出教学重点。
5. 广告和营销：营销人员可以使用MIVE来定制视频广告，根据目标受众的偏好更改产品展示或场景设置。
6. 家庭和个人娱乐：个人用户可以利用MIVE编辑家庭视频，如更改服装颜色或添加特效，以创造有趣的视频回忆。

MIVE项目入口

• 项目主页：https://kaist-viclab.github.io/mive-site/
• arXiv研究论文：https://arxiv.org/pdf/2412.12877