OMNI-EDIT：滑铁卢大学等推出的新型全能图像编辑模型

OMNI-EDIT简介

OMNI-EDIT是由加拿大滑铁卢大学、威斯康星大学麦迪逊分校和Vector Institute的研究人员共同开发的新型全能图像编辑模型。该模型能够处理包括对象替换、添加、移除、属性修改、背景替换、环境变化和风格转换在内的七种不同的图像编辑任务，并支持任意比例和分辨率的图像。通过专家监督学习、重要性采样和创新的EditNet架构，OMNI-EDIT在保持原始图像质量的同时，能够准确遵循编辑指令，显著提升了图像编辑的多样性和灵活性。

OMNI-EDIT主要功能

1. 多任务编辑能力：OMNI-EDIT能够执行七种不同的图像编辑任务，包括对象替换、对象添加、对象移除、属性修改、背景替换、环境变化和风格转换。
2. 任意比例和分辨率支持：模型能够处理不同长宽比和任意分辨率的图像，使其适用于各种实际场景。
3. 指令基础的编辑：用户可以通过文本指令指导OMNI-EDIT进行特定的图像编辑，提高编辑的灵活性和用户控制度。
4. 高质量图像输出：在添加或替换图像内容时，OMNI-EDIT能够保持图像的高保真度和视觉清晰度。

OMNI-EDIT技术原理

1. 专家到通才的监督学习：
   • 利用七个不同领域的专家模型提供监督信号，训练出一个通用的图像编辑模型OMNI-EDIT。
2. 重要性采样：
   • 使用大型多模态模型（如GPT-4o）对合成样本进行质量评分，基于评分进行重要性采样，以提高训练数据的质量。
3. EditNet架构：
   • 引入EditNet，一种新的基于扩散-变换器的架构，通过中间表示促进控制分支和原始分支之间的交互，增强模型理解多样化编辑任务的能力。
4. 支持任意长宽比：
   • 在训练过程中加入不同长宽比的图像，确保模型能够适应各种长宽比的图像编辑需求。
5. 数据集和评估：
   • 构建了一个包含不同长宽比、高分辨率和多样化编辑指令的测试集OMNI-EDIT-BENCH，用于评估模型性能。
6. 自动和人类评估：
   • 结合自动评估和人类评估来验证OMNI-EDIT的编辑效果，确保编辑结果既符合指令又保持高质量。

OMNI-EDIT应用场景

1. 社交媒体内容创作：用户可以快速编辑图片，以适应不同的社交媒体平台，增加内容的吸引力和互动性。
2. 广告和营销材料制作：设计师可以利用OMNI-EDIT快速调整图像中的产品或场景，以满足不同的营销策略和广告需求。
3. 摄影后期处理：摄影师可以使用OMNI-EDIT对拍摄的照片进行风格转换、对象移除等编辑，提升照片的专业感和艺术性。
4. 电子商务产品展示：电商平台可以利用OMNI-EDIT更换产品图片的背景，或者添加/替换产品特征，以提高产品的在线展示效果。
5. 游戏和电影概念艺术：艺术家可以利用OMNI-EDIT快速迭代和修改概念艺术作品，以探索不同的视觉效果和场景设置。
6. 教育和培训材料制作：教育机构可以利用OMNI-EDIT创建或修改教学图像，如科学图表、历史场景重现等，以增强教学内容的直观性和吸引力。

OMNI-EDIT项目入口

• GitHub代码库：https://github.com/TIGER-AI-Lab/OmniEdit
• HuggingFace模型：https://huggingface.co/collections/TIGER-Lab/omniedit-6732d8e381c3e56b0a2106d5
• arXiv技术论文：https://arxiv.org/pdf/2411.07199