Infinity：字节跳动推出的高分辨率图像合成模型

Infinity简介

Infinity是由字节跳动公司开发的一种先进的比特视觉自回归模型，它能够根据语言指令生成高分辨率、逼真的图像。该模型通过采用无限词汇量的标记器、分类器和比特级自我纠正机制，在图像合成的细节和质量上实现了显著提升，超越了现有的顶级扩散模型，并在文本到图像的生成任务中展现了卓越的性能。Infinity的创新之处在于其比特级建模框架，这为离散生成模型开辟了新的可能性，并推动了视觉建模技术的发展。

Infinity主要功能

1. 高分辨率图像合成：Infinity能够根据文本提示生成高分辨率、逼真的图像。
2. 精确遵循提示：模型能够准确理解和遵循用户提供的语言指令，生成与指令高度匹配的图像。
3. 多风格和宽高比适应：支持不同风格和宽高比的图像生成，包括常见的1:1、16:9以及特殊的1:3等比例。
4. 快速推理速度：相比其他模型，Infinity在生成图像时拥有更快的推理速度，提高了生成效率。
5. 自我纠正能力：在训练过程中，模型能够模拟预测错误并进行自我纠正，减少累积错误，提高生成质量。

Infinity技术原理

1. 比特级视觉自回归建模：Infinity采用比特级标记预测框架，重新定义了视觉自回归模型，提高了生成细节和容量。
2. 无限词汇量标记器：通过理论上将标记器词汇量扩展到无穷大，显著提高了模型的生成能力和细节重建质量。
3. 比特级自我纠正机制：在训练中引入随机翻转比特的操作来模拟预测错误，并通过重新量化残差特征进行自我纠正。
4. 无限词汇量分类器（IVC）：代替传统分类器，预测位而不是索引标签，大幅减少了模型参数和计算资源需求。
5. 多尺度残差量化：使用多尺度残差量化技术，将连续特征量化为索引标签，提高了图像重建的质量。
6. 跨注意力机制：利用跨注意力机制，使文本嵌入有效地指导图像合成过程。
7. 动态宽高比和位置编码：为适应不同宽高比的图像生成，设计了分辨率感知的位置编码方法，处理不同尺度和宽高比的特征。
8. 渐进式训练策略：通过分阶段训练，从低分辨率逐步过渡到高分辨率，优化了模型的训练效率和生成质量。

Infinity应用场景

1. 数字艺术创作：Infinity可以用于生成数字艺术作品，帮助艺术家和设计师快速实现创意构思，创作出高分辨率的视觉艺术图像。
2. 游戏和电影制作：在游戏和电影行业，Infinity能够辅助概念艺术家快速生成场景和角色原型，提高前期制作效率。
3. 广告和营销：Infinity可以根据广告文案生成吸引人的视觉内容，为营销活动提供定制化的图像素材。
4. 虚拟试衣：在时尚领域，Infinity可以生成穿着不同服饰的虚拟模特图像，用于线上购物平台的虚拟试衣体验。
5. 教育和培训：Infinity可以生成教育内容中所需的图像，如历史场景重现、科学现象模拟等，增强学习材料的互动性和吸引力。
6. 社交媒体内容生成：用户可以利用Infinity根据文本描述生成图像，用于社交媒体平台的内容创作和分享。

Infinity项目入口

• 项目主页：https://foundationvision.github.io/infinity.project
• GitHub代码库：https://github.com/FoundationVision/Infinity
• HuggingFace：https://huggingface.co/FoundationVision/Infinity
• arXiv技术论文：https://arxiv.org/pdf/2412.04431