D-DiT：字节联合耶鲁大学等推出的多模态扩散模型

D-DiT项目简介

D-DiT（Dual Diffusion Transformer）是由卡内基梅隆大学、耶鲁大学和字节跳动联合开发的一种新型多模态扩散模型。它通过创新的双分支架构，将图像和文本模态的生成与理解任务统一在一个模型中。D-DiT利用连续扩散技术处理图像，同时采用离散扩散技术处理文本，实现了图像生成、标题生成和视觉问答等多种任务的高效处理。该模型在多个视觉问答基准测试中表现出色，与自回归模型相比具有显著的竞争力，展现了其作为多模态生成模型的强大潜力。D-DiT的开发团队通过联合训练图像和文本的条件似然，突破了传统扩散模型在多模态任务中的限制，为未来的研究和应用提供了新的方向。

D-DiT主要功能

1. 图像生成：根据文本描述生成高质量的图像，能够准确捕捉复杂的视觉场景和细节。
2. 图像到文本生成：为给定的图像生成描述性的文本，如图像标题或详细描述。
3. 视觉问答（VQA）：根据图像和相关问题生成准确的答案，支持复杂的视觉推理。
4. 多模态对话：支持基于图像的对话任务，能够根据图像内容和用户问题生成自然语言回复。
5. 文本到图像填充：在给定部分图像或文本的情况下，生成缺失的部分，实现图像或文本的补全。

D-DiT技术原理

1. 双分支扩散模型架构：
   • 采用多模态扩散Transformer（MM-DiT）架构，包含两个分支：图像分支和文本分支。
   • 图像分支通过连续扩散技术处理图像数据，而文本分支通过离散扩散技术处理文本数据。
   • 图像和文本分支在每个注意力层中相互交互，实现跨模态信息融合。
2. 联合训练与损失函数：
   • 采用联合去噪目标，结合连续扩散和离散扩散技术，同时训练图像和文本的条件似然。
   • 使用单一损失函数反向传播到扩散Transformer的两个分支，确保图像和文本模态的联合优化。
3. 连续扩散与离散扩散：
   • 连续扩散：用于图像生成，通过逐步去除噪声来恢复图像，采用流匹配（flow matching）目标函数。
   • 离散扩散：用于文本生成，通过逐步去除噪声来恢复文本，采用掩码扩散技术，允许在文本中保留部分已知信息（如问题文本）。
4. 双向Transformer架构：
   • 利用双向Transformer架构，允许图像和文本模态之间的双向交互，确保模型能够从图像中提取信息以生成文本，反之亦然。
   • 该架构支持无序输入，避免了传统自回归模型中对生成顺序的依赖。
5. 指令调优与适应性：
   • 在训练的最后阶段，通过指令调优（instruction tuning）进一步提升模型的多模态理解能力，使其能够更好地处理视觉问答和多模态对话任务。
   • 模型能够根据不同的任务指令生成相应的输出，支持长文本和短文本回答。
6. 高效的采样与生成：
   • 在推理阶段，采用分类器自由引导（classifier-free guidance）技术，通过调整采样过程中的引导强度，生成高质量的图像。
   • 对于文本生成任务，通过掩码扩散技术逐步填充文本，支持动态文本长度的生成。

D-DiT应用场景

1. 创意设计：根据用户输入的文本描述快速生成高质量图像，帮助设计师快速构思创意，节省设计时间。
2. 内容创作：为社交媒体、博客或广告生成与主题相关的图像和配文，提升内容吸引力。
3. 视觉问答：在教育、客服等领域，通过图像和问题生成详细答案，帮助用户更好地理解图像内容。
4. 智能写作辅助：为作家或编辑提供图像描述或创意灵感，辅助撰写文章、故事或剧本。
5. 虚拟助手：结合图像识别和自然语言处理，为用户提供基于图像的对话和信息查询服务。
6. 游戏开发：快速生成游戏场景、角色或道具的图像，加速游戏开发流程，同时为游戏剧情生成配套文本。

D-DiT项目入口

• 项目官网：https://zijieli-jlee.github.io/dualdiff.github.io
• GitHub仓库：https://github.com/zijieli-Jlee/Dual-Diffusion
• arXiv技术论文：https://arxiv.org/pdf/2501.00289