xAR：约翰霍普金斯大学联合字节推出的自回归视觉生成框架

0 10

xAR简介

xAR是由约翰霍普金斯大学和字节跳动联合开发的一种新型自回归视觉生成框架。它通过扩展传统的“下一个标记”预测范式，提出了“下一个X（Next-X）预测”的概念，其中X可以是单个图像块、单元格、子样本、整个图像或不同尺度的分辨率。xAR的核心在于将离散的标记分类转化为连续的实体回归，并引入噪声上下文学习（NCL），在训练时使用噪声实体而非真实标记，从而有效缓解了传统自回归模型中的暴露偏差问题。这一框架不仅提高了图像生成的质量，还显著提升了推理速度。在ImageNet-256基准测试中，xAR的轻量级模型xAR-B以1.72亿参数超越了6.75亿参数的DiT-XL和SiT-XL，且推理速度提升20倍；其最大模型xAR-H更是以1.24的FID刷新了最佳性能记录，同时无需依赖视觉基础模块或高级引导采样技术。

xAR主要功能

高效图像生成：xAR能够生成高质量的图像，同时显著提升生成速度，使其在实际应用中更加高效。
灵活的预测单位：通过“下一个X（Next-X）预测”框架，xAR支持多种预测单位（如单个图像块、单元格、子样本、整个图像或不同尺度的分辨率），能够根据任务需求灵活调整。
缓解暴露偏差：引入噪声上下文学习（NCL），在训练时使用噪声实体而非真实标记，增强模型对错误的鲁棒性，减少推理时的累积错误。
无需依赖外部模块：xAR不依赖于预训练的视觉基础模型（如DINOv2）或高级引导采样技术，通过自身架构实现高性能生成。
适应多种图像分辨率：在不同分辨率（如256×256和512×512）的图像生成任务中均表现出色，具有良好的通用性。

xAR技术原理

Next-X预测框架：
- xAR将传统的“下一个标记预测”扩展为“下一个X预测”，其中X可以是多种灵活的预测单位，如单元格（cell）、子样本（subsample）、整个图像或不同尺度的分辨率。
- 通过这种方式，模型能够捕捉更丰富的上下文信息和空间结构，提升生成图像的质量。
连续实体回归：
- xAR将离散的标记分类问题转化为连续的实体回归问题，利用流匹配（flow matching）方法在每个自回归步骤中进行指导。
- 这种方法允许模型在训练时处理噪声数据，而不是完全依赖于真实的标记，从而增强模型的泛化能力。
噪声上下文学习（NCL）：
- 在训练过程中，xAR通过在所有先前的噪声实体上进行条件训练，而不是依赖于真实的标记。
- 这种方法减少了模型对完美输入的依赖，提高了模型在推理时对错误的鲁棒性，有效缓解了传统自回归模型中的暴露偏差问题。
多尺度预测：
- xAR支持从粗到细的多尺度预测，通过逐步细化图像细节，生成高质量的图像。
- 这种方法类似于VAR（Visual Autoregressive Modeling）中的尺度预测，但更加灵活，支持任意的尺度配置。
高效的推理策略：
- xAR在推理时通过自回归的方式逐步生成图像，每次生成一个预测单位（如单元格），并利用噪声样本进行引导。
- 这种方法不仅保证了生成图像的质量，还显著提升了生成速度，使其在实际应用中更具优势。