DiffBrush：北京邮电大学等推出的图像生成与编辑框架

DiffBrush简介

DiffBrush是由北京邮电大学、清华大学、中国电信人工智能研究所和西北工业大学的研究团队共同开发的一种创新的图像生成与编辑框架。它基于预训练的文本到图像（T2I）模型，通过用户手绘草图来精确控制图像的颜色、实例和语义信息，无需额外训练成本。DiffBrush的核心优势在于其直观的交互方式和强大的生成能力，能够将用户的简单绘画转化为高质量的图像作品。它兼容多种主流T2I模型，如Stable Diffusion和SDXL，并支持多种LoRA风格调整，极大地提升了用户在AI绘画中的创作自由度和控制力。

DiffBrush主要功能

1. 手绘草图驱动的图像生成：用户可以通过简单的手绘草图来定义图像的内容和布局，DiffBrush能够将这些草图转化为高质量的图像作品，满足用户的创作需求。
2. 精确的颜色控制：用户可以指定草图中不同区域的颜色，DiffBrush会确保生成的图像中相应区域的颜色与用户要求一致。
3. 实例与语义控制：用户可以定义图像中不同实例（如物体、人物等）的语义属性，DiffBrush能够准确区分并生成具有特定语义的对象，避免语义混淆。
4. 图像编辑功能：用户可以在已有图像的基础上进行编辑，通过手绘草图修改图像中的特定部分，实现局部调整和优化。
5. 兼容多种T2I模型：DiffBrush支持多种主流的文本到图像模型（如Stable Diffusion、SDXL等），并允许用户根据需求选择不同的模型和风格。
6. 无需额外训练：DiffBrush无需对预训练模型进行额外的训练或微调，用户可以直接使用，大大降低了使用门槛。

DiffBrush技术原理

1. 基于扩散模型的生成机制：DiffBrush基于预训练的扩散模型（如Stable Diffusion），通过逐步去噪的过程将随机噪声转化为真实图像。它通过控制去噪过程中的潜在空间，引导生成的图像符合用户的手绘草图。
2. 颜色引导（Color Guidance）：利用潜在空间与颜色空间的高度相似性，通过最小化用户草图与生成图像之间的颜色特征差异，实现对生成图像颜色的精确控制。
3. 实例与语义引导（Instance & Semantic Guidance）：通过操作扩散模型中的自注意力图和交叉注意力图，分别控制图像中实例的位置和语义属性。这种方法可以解决相似颜色实例之间的区分问题，并确保语义属性的正确性。
4. 潜在空间再生（Latent Regeneration）：通过迭代优化初始噪声分布，使其更接近用户草图的分布，从而获得更好的图像生成布局。这种方法可以减少生成图像与用户需求之间的偏差。
5. 用户草图的语义解析：用户的手绘草图被解析为语义标签和掩码，DiffBrush将这些信息与文本提示相结合，生成符合用户意图的图像。
6. 多模态融合：DiffBrush结合了文本描述和手绘草图的多模态信息，通过设计不同的能量函数来平衡用户条件和模型的生成自由度，从而生成高质量的图像。

DiffBrush应用场景

1. 创意绘画与艺术创作：艺术家和设计师可以利用DiffBrush快速将手绘草图转化为高质量的艺术作品，探索不同的风格和创意。
2. 插画与漫画创作：为插画师和漫画家提供快速生成和编辑插画的工具，帮助他们快速实现角色和场景设计。
3. 广告与平面设计：设计师可以快速生成符合创意概念的图像，用于广告海报、宣传册等设计项目，提升设计效率。
4. 游戏开发：游戏开发者可以用DiffBrush快速生成游戏场景、角色和道具的概念图，加速游戏设计和开发流程。
5. 教育与教学：在美术教育中，教师可以用DiffBrush辅助教学，帮助学生理解色彩、构图和语义表达，激发学生的创造力。
6. 个人创意表达：普通用户可以通过DiffBrush将自己手绘的简单草图转化为精美的图像，实现个性化的创意表达，用于社交媒体分享或个人项目。

DiffBrush项目入口

• arXiv技术论文：https://arxiv.org/pdf/2502.20904