SANA 1.5：在不同的计算预算下保持高质量的图像生成能力

SANA 1.5简介

SANA 1.5是由NVIDIA、MIT、清华大学、Playground和北京大学联合开发的高效线性扩散变换器模型。它专注于在文本到图像生成任务中实现训练时间和推理时间的高效扩展。通过引入深度增长范式、模型深度剪枝技术和推理时扩展策略，SANA 1.5能够在显著降低计算资源需求的同时，保持高质量的图像生成能力。此外，该模型还配备了高效的CAME-8bit优化器，进一步提升了训练效率。SANA 1.5的开发旨在打破“模型越大越好”的传统观念，通过创新的扩展策略，使高质量的图像生成更加高效且易于实现，为研究人员和实际应用提供了更强大的工具。

SANA 1.5主要功能

1. 高效的训练扩展：通过深度增长范式，SANA 1.5能够从1.6B参数扩展到4.8B参数，同时显著减少计算资源需求。
2. 模型深度剪枝：通过分析扩散变换器中输入输出的相似性模式，剪枝掉不重要的块，并通过微调快速恢复模型质量。
3. 推理时扩展：通过重复采样策略，较小的模型可以在推理时通过计算而非参数扩展来匹配较大模型的质量。
4. 内存高效优化：引入CAME-8bit优化器，通过块级8位量化减少内存使用，同时保持训练稳定性。
5. 高质量图像生成：在不同的计算预算下保持高质量的图像生成能力，适用于各种实际应用场景。

SANA 1.5技术原理

1. 深度增长范式：
   • 策略性初始化：通过策略性地初始化额外的块，使大型模型能够保留小型模型的先验知识，从而减少训练时间。
   • 部分保留初始化：保留预训练模型的前几层，并随机初始化新增层，以确保有效的知识转移。
2. 模型深度剪枝：
   • 块重要性分析：通过分析输入输出的相似性模式，确定每个块的重要性。
   • 剪枝与微调：剪枝掉不重要的块，并通过微调快速恢复模型质量，使模型在不同配置下保持竞争力的质量。
3. 推理时扩展：
   • 重复采样策略：通过生成多个样本并利用视觉语言模型（VLM）选择最佳样本，提高生成质量。
   • VLM评估：使用VLM对生成的图像进行评估和筛选，以确保生成结果与输入提示高度匹配。
4. CAME-8bit优化器：
   • 块级8位量化：对大矩阵进行块级8位量化，显著减少内存使用。
   • 混合精度设计：保持关键统计量的32位精度，以确保优化稳定性。
5. 高效训练与推理：
   • 训练效率提升：通过高效的训练扩展策略，SANA 1.5在相同训练时间内实现更高质量，或在减少训练时间的情况下达到相同质量。
   • 推理效率提升：通过推理时扩展策略，在有限的计算资源下实现高质量图像生成。

SANA 1.5应用场景

1. 创意设计与艺术创作：根据用户输入的文本描述，快速生成高质量的艺术图像，帮助艺术家和设计师激发灵感，节省创作时间。
2. 广告与营销：为广告公司和营销人员生成符合特定主题或风格的视觉内容，用于广告海报、社交媒体配图等，提升视觉吸引力。
3. 游戏开发：快速生成游戏场景、角色和道具的图像，辅助游戏设计师进行概念设计，加速游戏开发流程。
4. 虚拟现实与增强现实：为虚拟现实（VR）和增强现实（AR）应用生成逼真的虚拟环境和物体，提升用户体验。
5. 教育与培训：在教育领域，根据教学内容生成相关的图像，帮助学生更好地理解和记忆知识，例如生成历史场景、科学现象等图像。
6. 影视制作：为影视行业生成概念图、场景设计图等，辅助编剧和导演进行创意构思，降低制作成本和时间。

SANA 1.5项目入口

• arXiv技术论文：https://arxiv.org/pdf/2501.18427