SuperEdit：字节等推出的新型图像编辑方法

0 20

SuperEdit项目简介

SuperEdit是由字节跳动智能创作团队（ByteDance Intelligent Creation）和佛罗里达中央大学计算机视觉研究中心（Center for Research in Computer Vision, University of Central Florida）联合开发的一种新型图像编辑方法。该方法专注于优化监督信号，以提高基于指令的图像编辑性能。通过分析扩散模型在不同推理阶段的生成属性，SuperEdit利用视觉语言模型（如GPT-4o）修正编辑指令，使其更好地与原始图像和编辑图像对齐，并引入对比监督信号进一步优化模型训练。与现有方法相比，SuperEdit在多个基准测试中表现出色，显著提高了编辑准确性，同时减少了训练数据和模型参数的需求。这一成果为图像编辑领域提供了新的视角，展示了高质量监督信号在提升编辑性能方面的巨大潜力。

SuperEdit主要功能

高效图像编辑：SuperEdit能够根据自然语言指令对图像进行精准编辑，包括全局场景变换（如将背景从森林变为雪景）、局部对象修改（如更换人物的服装或物品）、风格转换（如将图像风格变为水彩画）等。
提升编辑准确性：通过修正编辑指令和引入对比监督信号，SuperEdit显著提高了模型对指令的理解和执行能力，减少了因指令不清晰或数据噪声导致的错误编辑。
优化监督信号：SuperEdit专注于优化监督信号，通过高质量的训练数据和有效的监督方法，提升模型的编辑性能，即使在使用较少训练数据的情况下也能达到优异的效果。
减少计算资源需求：与现有方法相比，SuperEdit在实现高性能的同时，大幅减少了模型参数和训练数据量，降低了计算资源和成本。

SuperEdit技术原理

编辑指令修正（Rectifying Supervision）：
- 扩散模型生成属性分析：SuperEdit分析了扩散模型在不同推理阶段的生成属性，发现早期阶段关注全局布局，中期阶段关注局部对象属性，晚期阶段关注图像细节，而风格变化则贯穿整个生成过程。
- 基于生成属性的指令修正：利用这些生成属性，SuperEdit通过视觉语言模型（如GPT-4o）对编辑指令进行修正，使其更好地与原始图像和编辑图像对齐。修正后的指令更准确地描述了图像之间的变化，从而提高了监督信号的质量。
- 指令标准化：为了确保指令适用于模型，SuperEdit将修正后的指令进行标准化处理，确保其长度符合模型输入要求（如CLIP文本编码器的77个token限制）。
对比监督信号（Facilitating Supervision）：
- 正负样本对构建：SuperEdit基于修正后的编辑指令，通过视觉语言模型生成错误的编辑指令，从而创建正样本（正确的编辑指令）和负样本（错误的编辑指令）。
- 三元组损失函数：在训练过程中，SuperEdit使用三元组损失函数（Triplet Loss），使模型能够从正样本中学习正确的编辑结果，同时避免负样本中的错误编辑结果。具体来说，模型的目标是使正样本的预测噪声更接近真实噪声，而负样本的预测噪声则更远离真实噪声。
- 增强模型理解能力：通过对比监督信号，SuperEdit能够帮助模型更好地理解编辑指令中的细微差别，从而在复杂的编辑任务中表现出色。
高效数据利用：
- 数据集构建：SuperEdit从多个公共编辑数据集中采样，构建了一个包含40,000个训练样本的多样化数据集。这些样本涵盖了不同类型的编辑任务，确保了数据的多样性和平衡性。
- 数据增强：通过修正和对比监督信号的引入，SuperEdit能够从有限的训练数据中提取更多的有效信息，从而在较少的数据量下实现更好的训练效果。