SmartEraser：从图像中智能地移除用户指定的任何对象

0 100

SmartEraser简介

SmartEraser是由中国科学技术大学和微软亚洲研究院联合开发的图像编辑工具，它能够从图像中智能地移除用户指定的任何对象，同时保持周围环境的完整性。该工具基于一种创新的“掩码区域引导”范式，与传统的“掩码和修复”方法相比，具有显著优势。开发团队提出了一个大规模的对象移除数据集Syn4Removal，并设计了一个基于文本到图像扩散模型的框架，通过引入掩码增强和基于CLIP的视觉引导来提高模型的鲁棒性和性能。SmartEraser在多个基准测试中均展现出卓越的性能，无论是整体图像质量、预测区域与背景的一致性，还是与真实值的一致性，都优于现有的方法。

SmartEraser主要功能

对象移除：SmartEraser的核心功能是从图像中移除用户指定的对象。用户可以通过提供一个掩码来标记需要移除的对象，SmartEraser能够准确地识别并移除这些对象，同时保持图像的自然和真实感。
上下文保留：在移除对象的同时，SmartEraser能够有效地保留周围环境的上下文信息。这意味着图像的背景和其他未被掩码覆盖的部分将保持不变，从而确保移除后的图像在视觉上的一致性和连贯性。
高质量图像生成：SmartEraser生成的图像具有高质量，能够无缝融合移除对象后的区域，使得最终图像看起来自然、逼真，没有明显的修复痕迹。
鲁棒性：SmartEraser对不同形状和大小的掩码具有较强的鲁棒性。即使用户提供的掩码不完全精确，模型也能够准确地识别和移除目标对象，同时保持周围环境的完整性。

SmartEraser技术原理

掩码区域引导（Masked-Region Guidance）：
- 保留掩码区域：与传统的“掩码和修复”方法不同，SmartEraser保留了掩码区域作为输入的一部分。这种方法允许模型在移除过程中使用掩码区域的信息，从而更准确地识别和移除目标对象。
- 上下文信息：由于掩码区域通常会超出目标对象本身，SmartEraser能够利用这些额外的上下文信息来更好地保留周围环境的细节，减少移除过程中对周围区域的误修改。
Syn4Removal数据集：
- 大规模合成数据：为了支持新的“掩码区域引导”范式，开发团队构建了一个大规模的对象移除数据集Syn4Removal。该数据集包含100万个图像三元组，每个三元组包括一个输入图像、一个掩码和一个真实值图像。
- 数据生成流程：数据集的生成流程包括实例裁剪、背景过滤、可行区域计算、alpha混合等步骤。通过这些步骤，确保生成的训练数据具有高质量和多样性，能够有效地支持模型的训练。
掩码增强技术（Mask Enhancement）：
- 模拟不同掩码形状：在训练过程中，SmartEraser使用多种掩码变形方法来模拟用户输入的掩码形状，包括原始掩码、腐蚀掩码、膨胀掩码、凸包掩码、椭圆掩码和Bbox & Bessel掩码。这些方法帮助模型在训练时适应不同形状的掩码，提高模型在实际应用中的鲁棒性。
基于CLIP的视觉引导（CLIP-Based Visual Guidance）：
- 视觉特征提取：SmartEraser使用预训练的CLIP模型来提取掩码区域的视觉特征。这些特征被映射到文本编码器的特征空间中，以便模型能够更好地理解移除目标。
- 文本提示生成：通过将视觉特征与文本提示“Remove the instance of”结合，模型能够在生成过程中更准确地识别和移除目标对象，从而提高移除的准确性和质量。
扩散模型（Diffusion Model）：
- 基于文本到图像的扩散模型：SmartEraser基于文本到图像的扩散模型，利用扩散过程中的噪声特征来生成高质量的图像。模型通过最小化预测噪声和实际噪声之间的差异来优化生成结果。
- 训练损失函数：训练过程中使用的损失函数是标准的扩散过程损失函数，通过优化这个损失函数，模型能够学习如何在给定掩码和视觉引导的情况下生成高质量的移除结果。