D-Edit：将图像分割成多个可编辑的项目 实现精确控制

D-Edit简介

D-Edit是由耶鲁大学、新加坡国立大学和Collov Labs联合开发的先进图像编辑框架，它通过将图像分割成多个可编辑的项目，并为每个项目分配独特的提示（prompt），实现了对图像中特定元素的精确控制。该框架利用预训练的扩散模型和解耦的交叉注意力机制，允许用户通过修改提示、掩码和项目之间的关联来执行多样化的编辑操作，包括基于文本、图像、掩码的编辑以及项目移除，展现了在图像编辑领域中的创新能力和广泛的应用潜力。

D-Edit主要功能

1. 文本引导编辑：允许用户通过改变与特定图像项目相关联的文本提示来编辑图像中的项目。
2. 图像引导编辑：用户可以选择一个参考图像中的项目，并将其替换为目标图像中的项目。
3. 基于掩码的编辑：用户可以通过编辑与项目相关的掩码来改变项目的位置、大小、形状或进行细节上的调整。
4. 项目移除：用户可以删除图像中的特定项目，并通过模型自动填充空白区域。
5. 提示插值：在两个不同的提示之间进行插值，以实现平滑的编辑过渡效果。

D-Edit技术原理

1. 解耦控制：通过将图像与提示之间的交互解耦为多个项目与提示的交互，实现对图像中特定项目的精确控制。
2. 独特的项目提示：每个项目都与一个独特的提示相关联，这些提示通常包含特殊标记或罕见词汇。
3. 两步优化过程：首先，通过微调文本编码器的嵌入矩阵来建立项目和提示之间的关联；其次，通过优化UNet模型的权重来进一步调整这种关联。
4. 分组交叉注意力机制：引入分组交叉注意力来隔离注意力计算和值更新，使得每个项目只关注与其相关联的提示。
5. 预训练扩散模型：使用预训练的扩散模型，通过迭代细化来生成高质量图像，同时保持与文本提示的语义对齐。
6. 编码器和解码器结构：使用预训练的文本编码器（如CLIP）将文本提示编码为嵌入，然后与图像潜在表示一起输入到UNet的交叉注意力层。
7. 项目分割：使用分割模型将输入图像分割成多个非重叠的项目，每个项目由一个或多个提示控制。
8. 编辑灵活性：通过修改提示、掩码和项目之间的关联，用户可以实现各种类型的图像编辑，同时保持编辑过程的精确控制。

D-Edit应用场景

1. 数字艺术创作：D-Edit可以用于数字艺术家手中，通过文本提示快速修改和调整作品中的特定元素，如更换背景或调整人物姿态，以实现艺术创作的多样化。
2. 广告和营销：在广告设计中，D-Edit能够根据市场需求快速更换产品图像，例如替换广告图中的服装款式或调整产品颜色，以适应不同的营销策略。
3. 时尚设计：时尚设计师可以利用D-Edit在服装设计图中更换面料纹理或颜色，无需重新绘制整个设计，提高设计效率。
4. 电影和游戏制作：在电影特效或游戏场景制作中，D-Edit可以用来无缝替换或移除场景中的元素，如移除不需要的道具或添加新的角色。
5. 新闻媒体：新闻媒体在报道时可能需要对图片进行编辑以突出新闻焦点，D-Edit可以快速调整图片中的特定元素，如更换人物位置或修改标志。
6. 社交媒体内容创作：社交媒体用户可以利用D-Edit编辑个人照片或视频，如更换服装、调整背景或移除不需要的对象，以创造更具吸引力的内容。

D-Edit项目入口

• GitHub代码库：https://github.com/collovlabs/d-edit
• arXiv技术论文：https://arxiv.org/pdf/2403.04880
• 在线体验：https://huggingface.co/spaces/Collov-Labs/d-edit