DiffSensei：北大联合上海人工智能实验室推出的AI漫画生成框

DiffSensei简介

DiffSensei是由北京大学和上海人工智能实验室联合开发的一项创新框架，旨在通过结合多模态大型语言模型（MLLM）和扩散模型，实现定制化漫画的生成。该框架通过精确控制角色外观和互动，解决了现有文本到图像生成模型在多角色场景中缺乏有效控制的问题，推动了故事可视化技术的发展。DiffSensei利用MLLM作为文本兼容的身份适配器，动态调整角色特征以响应文本提示，同时引入MangaZero数据集，支持多角色、多状态的漫画生成任务。

DiffSensei主要功能

1. 定制化漫画生成：DiffSensei能够根据用户提供的角色图像和布局条件生成定制化的漫画面板。
2. 多角色控制：框架支持对漫画中的多个角色进行细节控制，包括表情、动作和姿势。
3. 文本提示适应：能够根据文本提示动态调整角色的特征，以符合叙事内容。
4. 精确布局控制：DiffSensei可以精确控制角色和对话框在漫画面板中的位置。
5. 数据集支持：利用MangaZero数据集，支持多角色、多状态的漫画生成任务。

DiffSensei技术原理

1. 多模态大型语言模型（MLLM）：作为文本兼容的身份适配器，用于理解和处理文本提示，以指导角色特征的动态调整。
2. 扩散模型：用于生成漫画图像，提供高质量的视觉输出。
3. 掩码交叉注意力机制：通过这种机制，DiffSensei能够无缝整合角色特征，并实现对角色布局的精确控制。
4. 特征提取：使用CLIP和Magi图像编码器提取图像特征，然后通过特征提取器进行处理。
5. 对话布局编码：通过引入可训练的嵌入来控制对话框的布局，而不是生成对话框的内容，以便人工编辑。
6. MLLM作为特征适配器：在训练的第二阶段，使用MLLM来微调源角色特征，使其与文本提示相匹配。
7. 损失函数优化：结合语言模型损失（LM Loss）、均方误差损失（MSE Loss）和扩散损失（Diffusion Loss），以训练MLLM并优化生成的特征。

DiffSensei应用场景

1. 漫画创作辅助：帮助漫画家快速生成漫画草图，提高创作效率，尤其是在需要多角色互动和复杂布局的场景中。
2. 教育可视化：在教育领域，将抽象的文本内容转化为视觉漫画，增强学生的学习兴趣和理解能力，如历史故事、科学原理的漫画化。
3. 广告和营销：为产品或服务创建定制化的漫画广告，以吸引目标受众，尤其是年轻群体，通过故事叙述提升品牌吸引力。
4. 电影和游戏概念设计：在电影制作和游戏开发初期，快速生成视觉概念图，帮助团队成员更好地理解和沟通故事和场景设计。
5. 个性化内容定制：允许用户上传自己的照片，生成个性化的漫画形象或故事，用于社交媒体分享或个人娱乐。
6. 数据集和模型训练：提供给研究人员和开发者用于训练和测试新的图像生成模型，推动人工智能在视觉叙事领域的研究进展。

DiffSensei项目入口

• 项目主页：https://jianzongwu.github.io/projects/diffsensei
• GitHub代码库：https://github.com/jianzongwu/DiffSensei
• arXiv技术论文：https://arxiv.org/pdf/2412.07589