SynCD：卡内基梅隆大学联合Meta开源的文生图训练数据集

SynCD简介

SynCD是由卡内基梅隆大学和Meta联合开发的合成训练数据集，旨在解决文本到图像模型定制化任务中高质量多图像训练数据稀缺的问题。该数据集通过结合3D资产和先进的合成技术，生成同一物体在不同光照、背景和姿态下的多张图像，同时利用共享注意力机制和深度引导的多视图一致性来确保物体在不同图像中的视觉一致性。SynCD的创建为无调优的文本到图像模型定制化提供了高质量的训练基础，显著提升了模型在生成新场景中特定物体时的性能，推动了个性化图像生成技术的发展。

SynCD主要功能

1. 多图像生成：生成同一物体在不同光照、背景和姿态下的多张高质量图像，确保物体在不同图像中的视觉一致性。
2. 高质量训练数据：提供高质量的合成训练数据集，解决了真实世界中多图像数据稀缺的问题。
3. 模型定制化：支持文本到图像模型的无调优定制化，使模型能够在不进行昂贵优化的情况下生成新场景中的特定物体。
4. 提升图像生成性能：通过高质量数据和先进的技术，显著提升了文本到图像模型在生成新场景中特定物体时的性能。

SynCD技术原理

1. 共享注意力机制（Masked Shared Attention, MSA）：在生成多张图像时，使用共享注意力机制确保每张图像中的前景物体区域在视觉上的一致性。
2. 3D资产引导：利用Objaverse等3D数据集中的资产，通过深度图和多视图对应关系来促进刚体物体在不同视角下的一致性。
3. 深度引导的多视图一致性：通过深度图和多视图对应关系，确保刚体物体在不同图像中的3D形状一致性。
4. 自动数据过滤：使用美学评分和DINOv2特征空间中的对象相似性来自动过滤低质量和不一致的图像，确保最终数据集的高质量。
5. LLM辅助提示生成：使用大语言模型生成详细的物体描述和背景描述，以生成多张具有共同物体的图像。
6. 归一化推理技术：在推理过程中，通过归一化文本和图像引导向量来减轻过曝光问题，确保生成图像的质量和一致性。

SynCD应用场景

1. 个性化产品设计：用户可以根据自己的想法生成特定产品的设计图，如带有个性化图案的服装、家具等。
2. 虚拟场景构建：在游戏开发或虚拟现实应用中，快速生成特定物体在不同场景中的图像，丰富虚拟环境。
3. 广告与营销：为品牌生成特定产品在各种场景中的广告图像，提升广告的吸引力和个性化程度。
4. 艺术创作：艺术家可以利用该技术生成创意灵感，将特定物体置于不同的艺术风格或背景中。
5. 教育与培训：在教育领域，生成特定物体在不同环境中的图像，用于教学演示或模拟实验。
6. 内容创作：帮助内容创作者快速生成高质量的图像素材，用于视频、文章等创作，提升内容的多样性和吸引力。

SynCD项目入口

• 项目主页：https://www.cs.cmu.edu/~syncd-project
• GitHub代码库：https://github.com/nupurkmr9/syncd
• arXiv技术论文：https://arxiv.org/pdf/2502.01720