DCEdit：北交联合美图推出的文本引导图像编辑方法

DCEdit简介

DCEdit是由北京交通大学信息科学研究所与美图公司MT Lab联合开发的一种新型文本引导图像编辑方法。它通过精确语义定位（PSL）策略和双层控制（DLC）机制，显著提升了基于扩散模型的图像编辑性能。PSL利用视觉和文本自注意力增强交叉注意力图，实现精准语义定位；DLC则在特征和潜在空间中引入区域线索，实现精细编辑控制。此外，开发团队还构建了高分辨率、真实世界的RW-800基准测试集，用于评估DiT-based编辑方法。DCEdit在多个基准测试中展现出卓越的背景保持和编辑质量，为文本引导的图像编辑领域带来了新的突破。

DCEdit主要功能

1. 精确语义定位与编辑：
   • 能够精确定位图像中的目标语义区域，并根据文本提示进行准确编辑，例如改变物体颜色、替换物体、添加或删除元素等。
   • 在编辑过程中保持背景和其他未编辑区域的一致性和自然性。
2. 双层控制机制：
   • 在特征空间和潜在空间中分别进行控制，实现对编辑过程的精细调整。
   • 特征级控制通过软引导方式选择性融合模型特征，增强编辑效果。
   • 潜在级控制通过二值化注意力图进行潜在混合，保持背景内容的一致性。
3. 高分辨率图像编辑：
   • 支持高分辨率图像（1K及以上）的编辑，适用于复杂背景和丰富语义的真实世界图像。
4. 长描述性文本支持：
   • 能够处理长描述性文本，利用更丰富的语义信息进行编辑。
5. 插件式集成：
   • 可以无缝集成到现有的基于扩散变换器（DiT）的图像生成模型中，无需额外训练或调整。

DCEdit技术原理

1. 精确语义定位（PSL）：
   • 视觉自注意力：利用视觉自注意力矩阵补充交叉注意力图中提取的语义区域，解决激活区域不完整的问题。
   • 文本自注意力逆操作：通过文本自注意力矩阵的逆操作，解耦语义之间的纠缠，避免错误激活背景区域。
   • 注意力图优化：通过上述方法优化交叉注意力图，使其成为精确的区域线索，指导编辑过程。
2. 双层控制（DLC）机制：
   • 特征级控制：在特征空间中，通过软引导的方式选择性地融合模型特征，而不是直接替换，从而增强编辑效果。
   • 潜在级控制：在潜在空间中，通过二值化注意力图进行潜在混合，保留背景区域的原始内容，增强图像一致性。
3. 扩散模型与逆过程：
   • 利用扩散模型的逆过程将输入图像映射到初始噪声，然后在采样过程中应用PSL和DLC机制进行编辑。
   • 在采样过程中，通过特征级控制和潜在级控制逐步调整生成的图像，实现精确编辑。
4. 基准测试集RW-800：
   • 构建了一个包含高分辨率真实世界图像、长描述性文本和多种编辑任务的基准测试集RW-800。
   • 该数据集用于全面评估DCEdit的性能，并与其他DiT-based编辑方法进行比较。

DCEdit应用场景

1. 广告与营销：快速生成符合广告主题的图像，根据不同的营销策略调整产品展示效果，如改变背景、添加品牌元素或调整产品颜色，提升视觉吸引力。
2. 影视与娱乐：在影视制作中快速修改场景元素，如替换道具、调整场景风格或添加特效，节省后期制作成本和时间。还可以用于生成虚拟角色或场景的变体，丰富创意表达。
3. 游戏开发：快速迭代游戏场景和角色设计，根据游戏剧情或玩家反馈调整视觉元素，如改变角色装备、场景风格或添加新的游戏元素，提高开发效率。
4. 社交媒体内容创作：为社交媒体平台快速生成个性化、吸引人的图像内容，如添加流行元素、调整风格或修改图像中的特定部分，以适应不同的社交平台和受众。
5. 教育与培训：在教育材料中快速修改图像内容，以适应不同的教学场景和学习目标，如替换示例图中的元素、调整实验场景或创建虚拟场景，增强教学效果。
6. 产品设计与原型制作：在产品设计阶段快速生成产品原型的图像，根据用户反馈调整设计细节，如修改产品外观、添加功能元素或调整使用场景，加速产品开发周期。

DCEdit项目入口

• arXiv技术论文：https://arxiv.org/pdf/2503.16795