FramePainter：华为诺亚方舟联合哈工大推出的交互式图像编辑工具

0 30

FramePainter简介

FramePainter是由哈尔滨工业大学和华为诺亚方舟实验室联合开发的交互式图像编辑工具。它创新性地将图像编辑任务重构为图像到视频的生成问题，巧妙地利用了视频扩散模型的强大先验，从而显著降低了训练成本，同时确保了编辑结果的时间连贯性和视觉一致性。FramePainter配备了轻量级的稀疏控制编码器，能够精准地注入编辑信号，并通过独特的匹配注意力机制，实现了编辑图像与源图像之间的密集对应，进一步提升了编辑的精细度和真实性。在多种编辑信号下，FramePainter均展现出卓越的性能，不仅超越了现有技术，还展现了对真实世界视频中未出现场景的出色泛化能力，为图像编辑领域带来了新的突破。

FramePainter主要功能

交互式图像编辑：FramePainter允许用户通过直观的视觉指令（如绘制草图、点击点和拖动区域）来修改图像，提供了比传统文本引导编辑更灵活和精确的解决方案。
无缝且连贯的编辑效果：它能够实现高度无缝和连贯的图像编辑，例如自动调整杯子的反射，同时保持图像的视觉一致性和真实性。
强大的泛化能力：即使在真实世界视频中不存在的场景中，FramePainter也能展现出卓越的泛化能力，例如将小丑鱼的形状转变为类似鲨鱼的形状。
支持多种编辑信号：FramePainter不仅支持单一类型的编辑信号，还能够处理多种编辑信号，如草图、拖动点和粗编辑图像，为用户提供了更广泛的应用场景。

FramePainter技术原理

图像到视频生成任务重构：FramePainter将交互式图像编辑任务重新定义为图像到视频的生成问题，以源图像作为第一帧，编辑信号作为控制引导，生成包含重建和目标图像的两帧视频。这种重构使得模型能够利用预训练的视频扩散模型中的现实世界动态先验，减少了训练成本，并简化了模型架构。
轻量级稀疏控制编码器：FramePainter使用轻量级的稀疏控制编码器来高效地编码编辑信号，并将其注入到U-Net中。这种编码器通过多个ResNet块实现，能够将编辑信号（如草图图像）有效地转换为模型可以理解的特征，从而指导图像的编辑过程。
匹配注意力机制：为了解决视频扩散模型中时间注意力在处理两帧之间大运动时的局限性，FramePainter提出了匹配注意力机制。匹配注意力通过扩展空间注意力到时间轴，扩大了感受野，并鼓励编辑图像和源图像标记之间的密集对应关系。具体来说，匹配注意力仅将目标图像标记作为查询，源图像标记作为键和值，通过计算注意力权重来实现精确的对应关系，从而提高了编辑的精确性和视觉一致性。
源图像重建：FramePainter在训练过程中不仅关注目标图像的生成，还注重源图像的重建。通过在扩散损失中同时考虑源图像和目标图像的重建，模型能够更好地保留源图像的颜色、纹理等细节信息，从而生成更视觉一致的编辑图像。
数据构建与训练：为了训练FramePainter，开发团队从高质量视频中构建了数千对图像，并将其分为训练和评估数据集。这些图像对是通过随机采样并确保局部区域的光流幅度足够大（即显著的对象运动）来保存的。对于每种类型的编辑信号，团队设计了不同的算法来构建相应的编辑信号，如使用Sobel滤波器提取光流的边缘作为草图信号，或通过CoTracker-v3提取跟踪点来构建拖动点信号等。通过这种方式，FramePainter能够在多种编辑信号下进行有效的训练和优化。

FramePainter应用场景

照片编辑与美化：用户可以通过简单的草图或拖动操作，轻松调整照片中物体的位置、形状和姿态，如改变人物的姿态或调整风景照片中物体的位置，使照片更具艺术感和个性化。
设计与创意构思：设计师可以利用FramePainter快速实现设计构思，通过直观的编辑操作生成多种设计方案，如改变产品设计的外观、调整建筑模型的结构等，加速创意过程。
影视后期制作：在影视后期制作中，FramePainter可用于调整特效场景中的元素，如改变怪物的形态、调整场景中物体的动态，提高制作效率和效果的真实性。
游戏开发：游戏开发者可以使用FramePainter快速生成游戏中的角色和场景元素的变体，如改变角色的装备、调整场景的布局等，丰富游戏内容，提升玩家体验。
教育与培训：在教育领域，教师可以使用FramePainter创建教学材料，如通过编辑图像来展示生物的进化过程、物理实验的变化等，使教学更加生动直观。
广告与营销：广告设计师可以利用FramePainter快速生成广告创意，如改变产品包装的外观、调整广告场景中的元素布局等，以吸引消费者的注意力，提升广告效果。