ObjectMover：在移动图像位置时能保持物体的身份和外观

0 90

ObjectMover简介

ObjectMover是由香港大学和Adobe Research联合开发的一种新型生成模型。该模型能够在一个图像中移动物体，同时保持物体的身份、调整光照和阴影效果、填补遮挡部分，并理解材料和调整物体的透视图。ObjectMover通过将物体移动任务建模为序列到序列的问题，并利用预训练的视频生成模型来解决这一问题，从而在复杂的现实场景中实现高质量的图像编辑效果。开发团队通过使用现代游戏引擎生成高质量的合成数据，并采用多任务学习策略，使模型能够同时处理物体移动、移除和插入任务。ObjectMover在多个任务上均优于现有方法，为图像编辑领域带来了新的突破。

ObjectMover主要功能

物体移动：
- 在图像中将物体从一个位置移动到另一个位置，同时保持物体的身份和外观。
- 自动调整光照、阴影和反射效果，确保物体与新位置的环境一致。
- 处理复杂的场景，包括透明物体、复杂背景和遮挡关系。
物体移除：
- 从图像中完全移除物体及其相关效果（如阴影和反射）。
- 无缝填补移除物体后的空白区域，确保背景的完整性和自然性。
物体插入：
- 将物体插入到图像中的指定位置，同时确保物体与周围环境的自然融合。
- 生成逼真的阴影、反射和光照效果，使物体看起来像是原本就属于该场景的一部分。

ObjectMover技术原理

序列到序列建模：
- 将物体移动任务建模为序列到序列的问题，利用预训练的视频扩散模型来解决。
- 将输入场景图像、感兴趣物体、用户指令和目标帧视为一系列帧，利用视频模型中的视频先验知识来捕捉跨帧的光照、物体身份和场景上下文的一致性演变。
视频扩散模型：
- 使用预训练的视频扩散模型（基于扩散变换器架构）作为基础，通过微调使其适应物体移动任务。
- 通过噪声注入和逐步去噪的过程生成目标图像，确保生成结果的自然性和一致性。
合成数据生成：
- 使用现代游戏引擎（如Unreal Engine）生成高质量的合成数据对。
- 数据生成流程包括背景场景生成、运动模板预配置和物体运动序列生成，确保数据的多样性和现实性。
- 合成数据包含完整的背景图像，支持无掩码的物体移除和插入训练。
多任务学习：
- 在合成数据上同时训练物体移动、移除和插入三个任务，充分利用数据的多样性和丰富性。
- 在现实世界视频数据上训练基于掩码的插入任务，增强模型对复杂光照效果的适应能力。
- 通过多任务学习，模型能够更好地泛化到不同的场景和任务。
光照和阴影调整：
- 利用视频先验知识，自动调整物体移动后的光照和阴影效果，确保与新位置的环境一致。
- 处理复杂的光照条件，如从阳光到阴影的过渡，以及透明物体的反射和折射效果。
遮挡关系处理：
- 理解物体之间的遮挡关系，生成自然的遮挡效果。
- 在物体移动过程中，动态调整遮挡关系，确保生成的图像符合物理规律。