SISO：个性化图像生成和编辑技术

SISO简介

SISO（Single Image Subject Optimization）是一种图像生成和编辑技术，能够在无需训练的情况下，仅通过一张特定主题的图像来个性化图像生成和编辑。它通过优化生成图像与单张主题图像之间的相似度分数，迭代调整模型参数，直至达到满意的相似度水平。SISO在图像生成任务中，能够根据简单提示生成高质量图像，并在复杂提示下保持主题一致性；在图像编辑任务中，能够精准替换图像主体，同时保留原始背景。该方法不仅显著提升了图像质量、主题保真度和背景保留能力，还具有高度的灵活性和适应性，可广泛应用于多种生成模型，为个性化图像生成和编辑开辟了新的研究方向。

SISO主要功能

1. 个性化图像生成：
   • 仅使用一张特定主题的图像，即可生成与该主题相关的多样化图像。
   • 能够根据不同的文本提示生成符合主题的图像，同时保持高质量和自然度。
   • 支持使用多种生成模型（如SDXL-Turbo、FLUX Schnell、Sana等）进行图像生成。
2. 个性化图像编辑：
   • 在给定图像中替换或修改主体对象，同时保留原始背景。
   • 能够精准地将单张主题图像中的主体融入到目标图像中，保持自然的融合效果。
   • 适用于多种复杂的编辑场景，如主体替换、背景保留等。
3. 高效优化与控制：
   • 采用迭代优化的方式，每次生成图像并计算相似度损失，逐步调整模型参数，直至达到满意的相似度水平。
   • 支持用户在优化过程中实时观察生成图像，并根据需要随时停止优化，增强用户对生成过程的控制能力。
   • 提供两阶段训练简化，先在简单提示和少量去噪步骤下进行优化，再在复杂提示和更多去噪步骤下生成高质量图像。

SISO技术原理

1. 基于相似度的优化：
   • 使用预训练的图像相似度模型（如DINO和IR）来计算生成图像与单张主题图像之间的相似度。
   • 通过优化相似度损失函数，指导模型生成与主题图像更相似的图像，同时过滤掉背景等无关信息。
2. 迭代生成与参数更新：
   • 在每次迭代中，生成图像并计算相似度损失，然后通过反向传播更新模型参数。
   • 重复这一过程，逐步提高生成图像与主题图像的相似度，直到达到满意的水平。
   • 优化过程在像素空间进行，避免了传统扩散模型中直接预测噪声的局限性。
3. 背景保留与主体替换：
   • 在图像编辑任务中，通过扩散逆向映射将输入图像转换为潜在空间，并添加背景保留正则化项，以确保背景的自然保留。
   • 使用目标检测和分割技术生成主体掩码，从而在优化过程中保持背景不变，仅对主体进行替换或修改。
4. 模型适配与灵活性：
   • SISO能够无缝适配多种生成模型，无需对模型进行重新训练或大量调整。
   • 提供了插件式的设计，允许用户轻松替换相似度损失函数和生成模型，以适应不同的应用场景和需求。

SISO应用场景

1. 广告与营销：根据品牌或产品的特定形象生成个性化广告图像，例如将品牌标志或代言人融入不同的场景中，快速生成多样化的广告素材。
2. 数字艺术创作：艺术家可以利用SISO将特定的艺术风格或元素融入新的作品中，快速探索不同的创意方向，提升创作效率。
3. 影视制作：在影视特效中快速替换或修改角色形象，例如将某个角色的外观替换为特定演员的形象，同时保持场景背景不变，节省后期制作成本。
4. 游戏开发：为游戏角色生成个性化外观或替换角色模型，快速适配不同的游戏场景和风格，提升玩家的沉浸感。
5. 社交媒体内容创作：用户可以将自己的照片或特定元素融入到各种有趣的场景中，生成个性化的社交媒体图片，增加互动性和趣味性。
6. 教育与培训：在教育材料中快速生成与特定主题相关的图像，例如将历史人物形象融入到不同的历史场景中，帮助学生更好地理解和记忆知识内容。

SISO项目入口

• 项目主页：https://siso-paper.github.io
• GitHub代码库：https://github.com/yairshp/SISO
• arxiv论文：https://arxiv.org/pdf/2503.16025