ACE：阿里通义实验室推出的全能型图像生成和编辑模型

ACE简介

ACE是由阿里通义实验室开发的一款全能型图像生成和编辑模型，它基于扩散变换器技术，能够理解和执行通过自然语言指令提出的复杂图像编辑任务。ACE通过统一的条件格式和长上下文处理能力，支持多模态输入和广泛的视觉生成任务，使得用户能够以聊天的方式与模型互动，轻松创建和编辑图像。这一创新工具不仅提高了图像编辑的效率，还为设计师和艺术家提供了一个强大的生产力增强平台。

ACE主要功能

1. 多模态条件输入： ACE能够处理包括文本指令和参考图像在内的多种输入条件，以生成或编辑图像。
2. 广泛的任务覆盖： 支持从文本引导的图像生成到可控生成、语义编辑、元素编辑等多种视觉生成任务。
3. 长上下文处理： 通过Long-context Condition Unit (LCU)，ACE能够理解和处理多轮对话中的上下文信息，实现复杂的多步编辑任务。
4. 高效的数据收集： 采用合成和聚类方法高效收集训练数据，确保模型能够学习广泛的视觉和文本模式。
5. 交互式图像编辑： 支持通过自然语言与模型进行交互，实现图像的精确编辑和生成。
6. 单一模型多任务处理： 避免了传统视觉代理中复杂的处理流程，使用单一模型即可响应多种图像创建请求。

ACE技术原理

1. Diffusion Transformer： ACE基于扩散变换器构建，这是一种生成模型，能够逐步去噪输入数据以生成高质量的图像。
2. 条件标记化（Condition Tokenizing）： 将文本指令和视觉信息（如图像和掩码）编码成序列，以便模型处理。
3. 图像指示嵌入（Image Indicator Embedding）： 通过预定义的文本标记来指示文本指令中的图像顺序，确保指令与图像序列的对应关系。
4. 长上下文注意力块（Long-context Attention Block）： 利用3D旋转位置编码（RoPE）和自注意力机制，处理长上下文序列，增强模型对历史信息的理解。
5. 多模态大型语言模型（MLLM）： 微调MLLM以自动生成和优化文本指令，提高数据收集的质量和效率。
6. 数据对收集： 结合合成和大规模数据库配对的方法，构建用于训练的大规模、高质量的数据集。
7. 统一输入范式（Conditional Unit, CU）： 定义了一种统一的输入格式，将文本指令和视觉信息封装在一起，简化了不同任务的输入处理。

ACE应用场景

1. 艺术创作与设计：ACE能够根据文本描述生成图像，辅助艺术家和设计师快速实现创意构思，提升创作效率。
2. 广告与营销材料制作：企业可以利用ACE生成吸引人的广告图像和营销材料，以提高市场推广的效果。
3. 教育与培训：在教育领域，ACE可以用于创建教学辅助材料，如科学图解和历史场景重现，增强学生的学习体验。
4. 游戏与娱乐：游戏开发者可以使用ACE来设计游戏内的角色和环境，或者快速原型设计，加速游戏开发流程。
5. 社交媒体内容生成：用户可以通过ACE创建个性化的社交媒体图像和帖子，如节日贺卡或个性化表情包，增加互动乐趣。
6. 电子商务产品展示：电商平台可以利用ACE为商品生成多样化的展示图像，如不同颜色、款式的服装试穿效果，提升购物体验。

ACE项目入口

• 项目主页：https://ali-vilab.github.io/ace-page
• GitHub代码库：https://github.com/ali-vilab/ACE/
• arXiv技术论文：https://arxiv.org/pdf/2410.00086