BrushEdit：腾讯联合清华等高校推出的图像编辑框架

BrushEdit简介

BrushEdit是由北京大学、腾讯ARC实验室、香港中文大学和清华大学的联合研究团队开发的一款先进的交互式图像编辑框架。该框架结合了多模态大型语言模型和图像修复技术，使用户能够通过自然语言指令进行直观的图像编辑，如添加或移除对象、进行结构性更改等。它支持多轮次的交互式编辑，允许用户在编辑过程中灵活调整，以达到满意的效果。BrushEdit以其卓越的性能，在图像编辑和修复任务中展现了对背景的高保真度和对编辑指令的精确对齐能力。

BrushEdit主要功能

1. 自然语言指令编辑：用户可以通过输入自然语言指令来指导图像编辑，如添加或移除图像中的特定对象。
2. 交互式编辑：支持用户与编辑过程的直接交互，允许在编辑过程中进行多轮次的调整和细化。
3. 多样化编辑支持：能够处理包括添加对象、移除元素、结构变化等多种编辑任务。
4. 图像修复：能够在图像中修复或填充缺失的部分，保持修复区域与周围内容的连贯性和一致性。
5. 多模态大型语言模型（MLLMs）集成：利用预训练的MLLMs来理解和处理图像编辑指令。
6. 双分支图像修复模型：使用BrushNet的双分支架构来处理目标区域的修复，同时保持背景的一致性。

BrushEdit技术原理

1. 编辑类别分类：通过MLLMs识别用户指令中的编辑类型，如添加、删除或修改。
2. 主要编辑对象识别：利用MLLMs和检测模型确定需要编辑的主要对象。
3. 编辑掩码和目标描述生成：基于识别的对象和编辑类型，生成编辑掩码和目标图像的描述。
4. 图像修复模型：使用双分支修复模型BrushNet，一个分支处理掩码区域的内容生成，另一个分支保持背景信息。
5. 代理协作框架：集成MLLMs和图像修复模型在代理协作框架中，以执行编辑类别分类、对象识别、掩码获取和图像编辑。
6. 迭代细化：用户可以在编辑过程中的任何阶段修改中间控制输入，如编辑掩码或编辑图像的描述，并迭代执行这些步骤以获得满意的结果。
7. 灵活性和适应性：框架能够适应不同的预训练扩散模型，并且可以通过调整保留未编辑区域的比例来实现灵活的编辑控制。
8. 混合微调策略：在训练过程中，同时使用随机掩码和分割掩码，使模型能够处理任意掩码形状的图像编辑和修复任务。

BrushEdit应用场景

1. 数字内容创作：BrushEdit可以用于数字艺术家和设计师在创作过程中对图像进行快速编辑和修复，提高创作效率。
2. 照片修复：在修复老照片或损坏的照片时，BrushEdit能够去除划痕、污渍或填补缺失部分，恢复照片原貌。
3. 广告和营销：营销人员可以使用BrushEdit快速更改广告图像中的产品或背景，以适应不同的市场和促销活动。
4. 电影和游戏制作：在电影视觉效果和游戏开发中，BrushEdit可以用于创建或修改场景元素，减少后期制作的时间和成本。
5. 新闻媒体：新闻机构可以利用BrushEdit对新闻图片进行非侵入性编辑，如移除敏感信息或增强图像质量，以适应不同的报道需求。
6. 教育和研究：在教育和科研领域，BrushEdit可以用于图像数据的预处理和分析，帮助研究人员快速清理和调整图像数据集。

BrushEdit项目入口

• 项目主页：https://liyaowei-stu.github.io/project/BrushEdit
• GitHub代码库：https://github.com/TencentARC/BrushEdit
• HuggingFace：https://huggingface.co/TencentARC/BrushEdit
• arXiv技术论文：https://arxiv.org/pdf/2412.10316