Through-The-Mask：将静态图像转化为具有逼真运动的视频序列

0 40

Through-The-Mask简介

“Through-The-Mask”是由Meta联合耶路撒冷希伯来大学开发的一种创新的图像到视频（I2V）生成方法。该技术通过引入基于掩码的运动轨迹作为中间表示，将静态图像转化为具有逼真运动的视频序列。这一两阶段的框架首先生成一个显式的中间表示，然后基于此表示生成最终视频。关键创新在于其掩码运动轨迹能够同时捕捉物体的语义信息和运动，通过物体级别的注意力机制，确保视频生成的准确性和一致性。在多物体和高运动场景的挑战性基准测试中，该方法展现了卓越的时间连贯性、运动逼真度和文本提示的忠实度，并引入了新的SA-V-128基准测试，进一步推动了I2V领域的研究进展。

Through-The-Mask主要功能

图像到视频生成：将静态图像转化为具有逼真运动的视频序列，基于文本描述生成准确且一致的物体运动，尤其是在多物体场景中表现出色。
多物体运动处理：能够准确捕捉和表现多个物体之间的运动和交互，解决了现有模型在多物体场景中的不足。
高质量视频输出：生成的视频具有高分辨率和高质量，保持了输入图像的关键视觉元素，并且在帧间保持高度的一致性和连贯性。
文本驱动的视频生成：根据提供的文本描述生成视频，确保视频内容与文本描述高度一致，提高了视频生成的可控性和准确性。

Through-The-Mask技术原理

两阶段生成框架：
- 图像到运动（Image-to-Motion）生成：首先生成一个基于掩码的运动轨迹，该轨迹捕捉了个体物体的动态行为。这一阶段的模型利用输入图像、分割掩码和运动特定的提示来生成运动轨迹。
- 运动到视频（Motion-to-Video）生成：利用生成的运动轨迹、物体特定的提示和参考图像来产生最终的视频。这一阶段的模型通过去噪过程逐步细化噪声潜在表示，生成清晰的视频输出。
基于掩码的运动轨迹：
- 语义和运动的结合：运动轨迹不仅捕捉了物体的运动，还包含了语义信息，使得生成的视频能够准确地反映物体的类型和行为。
- 物体级别的运动表示：与像素级别的光流不同，基于掩码的运动轨迹在物体级别上操作，减少了第一阶段的错误，并为第二阶段提供了更大的灵活性。
注意力机制：
- 掩码交叉注意力（Masked Cross-Attention）：将物体特定的提示直接整合到潜在空间的相应区域，确保每个物体的潜在表示只关注自己的提示，提高了视频生成的准确性和一致性。
- 掩码自注意力（Masked Self-Attention）：确保每个位置只关注同一物体的位置，增强时间一致性，并防止不同物体之间的干扰，使得视频中的物体运动更加自然和连贯。
数据预处理：
- 运动能力物体提示提取：使用预训练的大型语言模型（LLM）从输入文本中提取与运动相关的物体提示，这些提示用于生成特定的运动路径。
- 视频分割：利用Grounding DINO和SAM2技术对视频进行分割，生成与每一帧匹配的分割掩码，为运动轨迹的生成提供基础。
- 运动和物体特定提示：从输入文本中提取运动特定提示和物体特定提示，这些提示在视频生成过程中用于指导物体的运动和行为。
模型训练和优化：
- 去噪过程：在VAE的潜在空间中应用去噪过程，逐步细化噪声潜在表示，生成清晰的视频输出。
- 模型架构：支持多种架构，包括U-Net和DiT，通过调整注意力块的数量和配置，优化模型的性能和生成质量。
- 预训练和微调：利用预训练的文本到视频模型进行初始化，并在特定任务上进行微调，提高了模型的收敛速度和生成质量。

Through-The-Mask应用场景

内容创作与媒体制作：
- 视频广告制作：根据广告文案自动生成视频内容，提高广告制作效率，降低成本。
- 电影和电视剧特效：快速生成复杂的物体运动和交互场景，辅助特效制作，提升创作效率。
娱乐与游戏开发：
- 游戏动画生成：自动生成游戏中的角色和物体动画，丰富游戏内容，提升玩家体验。
- 虚拟现实（VR）和增强现实（AR）：实时生成逼真的动态场景，增强沉浸感，提升用户体验。
教育与培训：
- 在线教育视频：根据教学大纲自动生成教育视频，丰富教学资源，提高学习效果。
- 职业培训模拟：生成逼真的操作场景和流程，帮助学员更好地理解和掌握操作技能。
社交媒体与个人娱乐：
- 个性化视频创作：用户可以根据自己的创意和文本描述生成个性化的视频，分享到社交媒体。
- 视频日记（Vlog）：自动生成视频日记，记录日常生活中的有趣瞬间，提升创作乐趣。
艺术与设计：
- 数字艺术创作：艺术家可以利用该技术生成独特的动态艺术作品，探索新的艺术表现形式。
- 动画设计：快速生成动画原型，辅助动画设计师进行创意构思和设计。
科学研究与工程：
- 科学可视化：生成复杂的科学现象和实验过程的动态可视化，帮助研究人员更好地理解和展示研究成果。
- 工程模拟：生成工程设计中的动态模拟，如机械运动、流体动力学等，辅助工程设计和优化。