UniTok：香港大学联合字节推出的统一视觉分词器

0 60

UniTok项目简介

UniTok是由香港大学、字节跳动公司和华中科技大学联合开发的一种创新的统一视觉分词器。它旨在弥合视觉生成与理解之间的差距，为多模态大语言模型（MLLMs）提供一个能够同时处理这两种任务的框架。UniTok通过引入多码本量化技术，将向量量化分解为多个独立子码本，显著扩展了潜在特征空间，同时避免了因码本过大而导致的训练不稳定问题。此外，它还采用了注意力因子化来增强离散化后的语义表示能力。在实验中，UniTok在视觉生成和理解任务中均表现出色，其重建质量和零样本分类准确率均优于现有的分词器。这一成果为多模态模型的设计和发展提供了新的思路和方法。

UniTok主要功能

统一视觉生成与理解：
- UniTok能够同时支持视觉生成（如图像生成、视频生成）和视觉理解（如视觉问答、图像分类）任务，为多模态大语言模型提供统一的视觉表示。
- 它通过单一框架整合了视觉生成和理解的能力，避免了使用独立分词器带来的复杂性和性能损失。
高效离散化表示：
- UniTok通过多码本量化技术，将连续的视觉特征离散化为多个子码本的组合，显著提升了离散分词器的表达能力。
- 它能够以离散令牌的形式高效编码图像，同时保留丰富的语义信息和细节特征。
提升多模态任务性能：
- 在视觉生成任务中，UniTok能够生成高质量、细节丰富的图像，支持复杂的文本提示。
- 在视觉理解任务中，UniTok能够准确理解图像内容，支持多种视觉问答任务，提升模型的语义理解和推理能力。

UniTok技术原理

多码本量化（Multi-codebook Quantization）：
- 将视觉令牌分割成多个块，每个块通过独立的子码本进行量化，从而扩展了潜在特征空间。
- 通过增加子码本的数量，理论上的词汇表大小呈指数级增长，同时避免了因单个码本过大而导致的优化问题。
注意力因子化（Attention Factorization）：
- 使用基于注意力机制的因子化模块替代传统的线性投影层，增强离散化后的语义表示能力。
- 注意力因子化能够更好地保留原始令牌的丰富语义，提升模型在视觉理解任务中的性能。
统一监督（Unified Supervision）：
- 结合VQVAE的重建损失和CLIP的对比损失，同时满足视觉生成和理解的需求。
- 重建损失用于保留低层次的细节信息，对比损失用于增强高层次的语义信息，使模型在两种任务中均表现出色。
离散化与语义对齐：
- UniTok通过离散化处理将连续的视觉特征映射到离散的令牌空间，同时通过对比学习与文本特征进行对齐。
- 这种设计使得视觉和文本模态能够在统一的离散空间中进行交互和学习，支持多模态任务的高效处理。