Nested Attention：Snap Research推出的个性化文本到图像模型

Nested Attention简介

Nested Attention是一种创新的文本到图像个性化机制，由Snap Research团队开发，旨在通过在模型的交叉注意力层中注入丰富的图像表示来改善身份保留和文本提示对齐之间的平衡。这种方法通过生成查询依赖的主题值，使得模型能够在遵循输入文本提示的同时，为图像的每个区域选择和整合相关的主题特征，从而在单一图像中结合多个个性化概念，提高了个性化图像生成的灵活性和准确性。

Nested Attention主要功能

1. 个性化图像生成：允许用户生成包含特定主题的图像，这些主题可以是人物、宠物等，跨越不同的场景和风格。
2. 身份保留：在生成图像时保持输入主题的身份特征，确保生成的图像与原始主题在视觉上保持一致性。
3. 文本提示对齐：确保生成的图像与输入的文本提示语义上一致，即使在个性化主题的情况下也能遵循文本的指导。
4. 多主题融合：能够在单个图像中结合来自不同领域的多个个性化主题，如人和宠物。
5. 跨领域应用：方法通用，可以在不同领域进行训练，不仅限于人脸，也适用于非人脸领域。

Nested Attention技术原理

1. 嵌套注意力机制：通过两层注意力机制实现，外层为标准文本到图像的交叉注意力层，内层为嵌套注意力层，用于构建局部化、查询依赖的注意力值。
2. 查询依赖的主题值：嵌套注意力层学习为生成图像的每个区域选择最相关主题特征，生成查询依赖的主题值。
3. 编码器基个性化：使用编码器将输入图像嵌入到潜在表示中，然后与多样的文本提示一起生成图像。
4. 先验保留：通过将丰富的、多标记的表示与单个文本标记关联，保持模型的先验知识，避免对模型预训练知识的干扰。
5. 跨注意力层的集成：将嵌套层集成到模型的所有交叉注意力层中，同时保持原始模型权重在训练过程中不变。
6. 正则化处理：为了避免注意力过拟合，对嵌套注意力层生成的值进行正则化，以保持与原始交叉注意力值的一致性。
7. 训练过程：使用包含输入图像、文本提示和目标图像的数据集进行训练，通过向目标图像添加噪声并预测这些噪声来进行，以此学习个性化表示。

Nested Attention应用场景

1. 社交媒体个性化：用户可以在社交媒体上使用Nested Attention技术生成带有个人特征的图像，例如个性化头像或与个人相关的艺术风格图片。
2. 广告与营销：品牌可以利用这项技术创建与特定客户身份相匹配的广告图像，以提高广告的吸引力和个性化程度。
3. 娱乐与游戏：在电子游戏或虚拟世界中，Nested Attention可以用于生成具有玩家特征的虚拟角色，提升沉浸感和个性化体验。
4. 个性化礼品：为亲友定制带有个人特征的礼物，如根据个人照片生成的艺术风格肖像画或卡通形象。
5. 时尚与服装：用户可以上传自己的照片，通过Nested Attention技术生成穿着不同风格服装的图像，用于在线试衣或时尚搭配建议。
6. 教育与培训：在教育领域，可以利用这项技术生成包含特定人物或场景的图像，用于教学材料或模拟训练，提高学习效率和互动性。

Nested Attention项目入口

• arXiv研究论文：https://arxiv.org/pdf/2501.01407