Boximatorz：控制视频中对象的位置、形状和运动路径

0 20

Boximator项目介绍

Boximator 是由字节跳动开发的一项先进视频合成技术，它通过硬框和软框的创新约束方法，实现了对视频动作的精细控制。该技术作为一个插件，增强了视频生成模型的能力，允许用户通过视觉选择而非文本描述来控制视频中的动作，极大地提升了视频内容的创作灵活性和个性化水平。

Boximator主要功能

❶精细的运动控制：Boximator 允许用户通过定义硬框（hard box）和软框（soft box）来控制视频中对象的位置、形状和运动路径。
❷视频合成：作为一个插件，Boximator 可以与现有的视频扩散模型结合使用，生成具有丰富动态和细节的视频内容。
❸无需额外文本：用户可以通过视觉选择而非文本描述来控制视频中的对象和动作，这简化了操作过程。
❹与现有模型兼容：Boximator 设计为可以适配任何视频扩散模型，而不需要修改原始模型的权重。

Boximator应用场景

❶电影和视频制作：在电影后期制作或视频编辑中，可以用来生成或调整特定场景中的动作，如特效场景或动画序列。
❷游戏开发：在游戏设计中，Boximator 可以用来生成或编辑游戏角色和物体的动态行为，提高游戏的互动性和真实感。
❸广告和营销：在广告制作中，通过精细控制视频中的产品或角色动作，可以更有效地吸引观众的注意力。
❹社交媒体内容创作：内容创作者可以使用 Boximator 生成具有吸引力的视频内容，用于社交媒体平台，增加作品的创意和互动性。
❺教育和培训：在教育领域，可以利用 Boximator 生成教学视频中的动态示例，帮助学生更好地理解复杂的概念或过程。

Boximator技术原理

❶硬框和软框：硬框精确地限定了对象的边界框，而软框定义了一个更宽泛的区域，对象可以在该区域内移动。
❷对象ID关联：通过为每个框分配一个唯一的对象ID，Boximator 能够跨帧关联并控制多个对象。
❸自跟踪技术：Boximator 训练模型生成彩色的边界框，这些框与每个受约束的对象相对应，简化了学习框-对象相关性的挑战。
❹多阶段训练过程：
第一阶段：使用所有提供的边界框作为硬框约束进行训练，帮助模型初步理解坐标和ID。
第二阶段：将硬框替换为软框，软框通过随机扩展硬框来生成，增加了训练的难度和灵活性。
第三阶段：继续第二阶段的训练，但不使用自跟踪技术，以进一步提高模型的性能。
❺数据流水线：Boximator 使用自动数据注释流水线从 WebVid-10M 数据集中生成了大量动态视频剪辑用于训练。
❻模型架构：Boximator 在视频扩散模型的每个空间注意力块中添加了一个新的自注意力层，用于处理框约束。