DoraCycle：新加坡国立大学推出的多模态领域适应框架

DoraCycle简介

DoraCycle是由新加坡国立大学Show Lab团队开发的一种创新的多模态领域适应框架，旨在将统一生成模型高效地适应特定领域。该框架通过设计文本到图像再到文本（T Cycle）和图像到文本再到图像（I Cycle）的多模态循环，利用未配对数据进行训练，无需依赖大量的成对数据。DoraCycle通过计算循环终点的交叉熵损失来优化模型，并采用指数移动平均（EMA）和梯度裁剪技术提高训练稳定性。它在风格化和特定领域适应等任务中表现出色，能够仅用未配对数据或结合少量成对数据实现高效的领域适应，为多模态内容生成提供了灵活且可扩展的解决方案。

DoraCycle主要功能

1. 领域适应性：
   • 能够将预训练的统一生成模型适应于特定的视觉或语言领域，满足个性化内容创作的需求。
   • 支持从风格化到特定身份生成等多种任务，适应性强。
2. 数据灵活性：
   • 主要依赖未配对数据进行训练，避免了成对数据稀缺或难以获取的问题。
   • 可结合少量成对数据和大量未配对数据，进一步提升适应效果。
3. 多模态生成能力：
   • 支持文本到图像（T2I）和图像到文本（I2T）的双向生成任务，提升模型的多模态理解和生成能力。
   • 生成的图像和文本能够保持与目标领域的风格和语义一致性。
4. 高效训练与优化：
   • 通过循环一致性损失和EMA模型，确保训练过程稳定，减少计算资源消耗。
   • 支持大规模未配对数据的高效利用，提升模型的泛化能力。

DoraCycle技术原理

1. 多模态循环设计：
   • 文本到图像再到文本（T Cycle）：输入文本，先生成图像，再从图像重建文本，通过比较原始文本和重建文本的损失来优化模型。
   • 图像到文本再到图像（I Cycle）：输入图像，先生成文本，再从文本重建图像，通过比较原始图像和重建图像的损失进行优化。
   • 两个循环均通过计算同一模态的交叉熵损失来实现无监督训练。
2. 循环一致性损失：
   • 在循环的终点计算损失，确保输入和输出在模态上的一致性。
   • 通过损失函数约束模型在跨模态映射过程中保持信息的完整性和准确性。
3. 指数移动平均（EMA）模型：
   • 维护一个EMA模型，用于生成中间步骤的伪数据，避免训练过程中的梯度爆炸和优化不稳定。
   • EMA模型通过缓慢更新参数，为模型提供更稳定的训练目标。
4. 梯度裁剪与优化：
   • 采用梯度裁剪技术，避免两个循环优化方向的冲突，提升训练稳定性。
   • 通过调整损失权重和梯度正交化，平衡两个循环的优化速度。
5. 特殊标记的引入：
   • 在文本中引入特殊标记（如<soc>和<eoc>），用于标记特定概念（如角色名称），提升模型对新概念的学习能力和语义对齐效果。
6. 基于统一生成模型的扩展：
   • DoraCycle基于预训练的统一生成模型（如Show-o），利用其强大的多模态理解和生成能力，通过少量的适配训练实现领域适应。
   • 通过LoRA（低秩适配）技术引入可训练参数，减少训练成本，同时保持模型的高效性和灵活性。

DoraCycle应用场景

1. 风格化图像生成：将普通图像转换为目标风格（如赛博朋克、卡通风格）的图像，满足艺术创作和视觉设计需求。
2. 特定角色生成：根据文本描述生成特定角色的图像，如动漫角色、游戏角色或影视角色，适用于游戏开发、动漫制作和影视后期。
3. 个性化内容创作：根据用户输入的文本生成符合个人风格的图像或视频，如定制化壁纸、头像等。
4. 视觉描述生成：为图像自动生成准确的文本描述，适用于图像标注、辅助视觉障碍人士理解图像内容等。
5. 跨模态搜索：通过文本搜索与之匹配的图像，或通过图像搜索相关文本，提升搜索引擎的多模态交互能力。
6. 虚拟场景构建：根据文本描述生成虚拟场景，如游戏关卡设计、虚拟现实环境搭建等，提升内容生成的效率和多样性。

DoraCycle项目入口

• Github代码库：https://github.com/showlab/DoraCycle
• arXiv技术论文：https://arxiv.org/pdf/2503.03651