InstructMove：东京大学联合Adobe推出的指令式图像编辑模型

InstructMove简介

InstructMove是由东京大学和Adobe联合推出的一种创新的指令式图像编辑模型。该模型通过分析视频帧对和利用多模态大型语言模型（MLLMs）生成的编辑指令进行训练，擅长于执行非刚性编辑任务，例如调整图像中主体的姿势、表情和视角，同时保持内容的连贯性和细节的完整性。InstructMove支持精确的局部编辑，并能与蒙版引导和其他控制类型集成，实现多样化的图像修改。

InstructMove主要功能

1. 非刚性编辑：能够调整图像中主体的姿势、表情和视角，处理复杂的非刚性变化。
2. 内容一致性维护：在编辑过程中保持原始图像的内容和细节的完整性。
3. 精确局部编辑：通过集成蒙版、人体姿势等控制机制，实现对图像特定区域的精确编辑。
4. 自然语言驱动：支持基于自然语言指令的图像操作，使得编辑过程更加直观和用户友好。
5. 扩展性：能够与其他控制类型（如ControlNets）集成，实现更复杂和精确的编辑操作。

InstructMove技术原理

1. 视频帧采样：从互联网视频中采样帧对，这些帧对捕捉了自然而复杂的变换，如主体姿势变化、元素移动和相机运动。
2. 多模态大型语言模型（MLLMs）：使用MLLMs分析视频帧对的变化，并生成精确的编辑指令。
3. 空间条件策略：通过在空间维度上连接参考图像和噪声输入，而不是传统的通道连接，增强模型执行灵活编辑的能力。
4. 微调预训练模型：在构建的数据集上微调预训练的文本到图像模型（如Stable Diffusion），以实现基于指令的图像操作。
5. 结构化数据分布：利用扩散模型将噪声转换为结构化数据分布，这是文本到图像生成中的领先方法。
6. 编辑网络架构：通过修改内部架构或采样过程，开发了基于扩散模型的图像编辑技术，以实现对图像的精确控制。
7. 集成额外控制：支持使用蒙版和控制点等额外的视觉提示，以增强对图像特定区域的控制和编辑能力。

InstructMove应用场景

1. 照片修复与美化：InstructMove可以用于调整老旧照片中的人物姿势或表情，提升照片的整体美观度。
2. 广告与营销：在广告图像制作中，根据营销需求调整产品或模特的姿势和表情，以更好地吸引目标受众。
3. 电影和游戏制作：在电影特效或游戏角色设计中，对图像进行非刚性编辑，以实现更自然的动作和表情。
4. 新闻媒体：在新闻报道中，对现场照片进行必要的编辑，以符合报道的视角和内容要求，同时保持事件的真实性。
5. 社交媒体内容创作：用户可以在社交媒体上使用InstructMove编辑个人照片，添加有趣的表情或调整姿势，创造更有吸引力的内容。
6. 教育与培训材料：在制作教育或培训材料时，对图像进行编辑以展示不同的场景和动作，提高教学内容的互动性和实用性。

InstructMove项目入口

• 项目主页：https://ljzycmd.github.io/projects/InstructMove
• arXiv技术论文：https://arxiv.org/pdf/2412.12087v1