DreamOmni：图像生成与编辑的多任务统一模型

DreamOmni简介

DreamOmni 是由字节跳动、香港中文大学和香港科技大学联合推出的一款图像生成和编辑模型。该模型通过统一框架整合了文本到图像（T2I）生成和多种编辑任务，能够高效地处理包括指令性编辑、图像修复、拖拽编辑和参考图像生成在内的多种图像编辑需求。DreamOmni 通过创新的合成数据管道技术，解决了高质量编辑数据创建的难题，并在多个图像处理任务中展现出卓越的性能。

DreamOmni主要功能

1. 图像生成：DreamOmni能够根据文本提示生成高质量的图像。
2. 图像编辑：模型支持多种图像编辑任务，包括指令性编辑、图像修复、拖拽编辑等。
3. 统一框架：集成了文本到图像（T2I）模型和多种编辑任务，实现在一个框架内处理不同的图像生成和编辑需求。
4. 合成数据管道：通过合成数据管道，高效生成用于训练的高质量编辑数据。
5. 多任务学习：联合训练T2I生成和下游编辑任务，提升模型在编辑性能上的表现。

DreamOmni技术原理

1. 统一框架设计：提出一个统一框架，整合T2I模型和各种编辑任务，以实现多任务学习。
2. 合成数据管道：开发了一个合成数据管道，使用贴纸元素合成准确、高质量的数据集，以支持统一模型训练。
3. 视觉-语言模型（VLM）：替换传统的文本编码器，使用VLM统一编码视觉和语言提示，实现更深层次的理解和生成。
4. 多尺度处理：在不同尺度上处理图像，特别是在2倍下采样的潜在空间中集中计算，以获得更好的性能。
5. 残差连接：在模型中使用残差连接，显著提高模型的训练收敛速度。
6. 多头自注意力机制：在DIT（Denoising with Transformers）块中使用多头自注意力机制，增强模型对复杂提示的理解和生成能力。
7. 联合训练：T2I训练和编辑任务的联合训练，使模型在理解特定概念和提高生成质量的同时，也能掌握编辑任务的细微差别。

DreamOmni应用场景

1. 数字艺术创作：艺术家和设计师可以使用DreamOmni根据文本描述生成或编辑图像，快速实现创意构思。
2. 游戏开发：游戏开发者可以利用DreamOmni创建游戏资产，如角色、场景等，提高开发效率。
3. 广告和营销：营销人员可以基于产品描述生成吸引人的广告图像，或对广告素材进行快速编辑，以适应不同的营销渠道。
4. 电影和娱乐：电影制作中，DreamOmni可用于生成或编辑特效图像，减少后期制作的时间与成本。
5. 教育和培训：在教育领域，DreamOmni可以用于生成教学材料中的图像，如科学插图，帮助学生更好地理解复杂概念。
6. 社交媒体内容创作：内容创作者可以利用DreamOmni生成或编辑图像，用于社交媒体帖子，吸引更多关注和互动。

DreamOmni项目入口

• 项目主页：https://zj-binxia.github.io/DreamOmni-ProjectPage
• arXiv技术论文：https://arxiv.org/pdf/2412.17098