FLUX.1 Kontext：Black Forest Labs 推出的图像生成与编辑模型

0 50

FLUX.1 Kontext项目简介

FLUX.1 Kontext是由Black Forest Labs开发的一种先进的生成式流匹配模型，旨在将图像生成与编辑功能融合于单一架构之中。该模型借助文本及图像输入的语义上下文，生成全新的图像视图，并通过简单的序列连接方法，高效处理局部编辑与上下文生成任务。与现有编辑模型相比，FLUX.1 Kontext在多轮编辑中展现出更优的对象与角色一致性保持能力，有效避免了视觉漂移问题，同时具备快速生成的特点，能够支持交互式应用与快速原型制作工作流程，为创意设计与内容创作带来了全新的可能性。

FLUX.1 Kontext：Black Forest Labs 推出的图像生成与编辑模型

FLUX.1 Kontext主要功能

图像生成与编辑统一：FLUX.1 Kontext能够将图像生成和编辑功能集成在一个模型中，既可以基于文本描述生成全新的图像，也可以对现有图像进行各种编辑操作，满足多样化的图像创作需求。
上下文感知编辑：该模型可以理解图像的上下文信息，并根据上下文进行智能编辑。例如在进行局部修改时，能够保持周围环境的一致性，如改变图像中物体的颜色、替换背景等，同时保留主体内容和原始风格。
角色与对象一致性保持：在多轮迭代编辑过程中，FLUX.1 Kontext能够较好地保持角色和对象的外观特征和身份一致性，这对于需要连续性创作的场景，如故事创作、品牌宣传等尤为重要，避免了因多次编辑导致的角色或对象特征丢失。
快速生成与交互式应用：模型具有较快的图像生成速度，能够在短时间内生成高质量的图像，支持实时交互式应用和快速原型制作工作流程，为用户提供即时反馈，提高创作效率。
多样化编辑任务支持：FLUX.1 Kontext支持多种类型的编辑任务，包括局部编辑、全局编辑、风格参考、角色参考、文本编辑等，能够满足不同场景下的具体需求，如风格迁移、文本内容修改、场景重构等。

FLUX.1 Kontext技术原理

基于流的生成模型：FLUX.1 Kontext采用流匹配（Flow Matching）技术，这是一种生成模型的训练方法。它通过学习数据的潜在空间中的流，将噪声逐步转换为目标图像，相比传统的生成对抗网络（GAN）或变分自编码器（VAE），能够更灵活地建模复杂的图像分布，并且在生成质量和稳定性上有优势。
潜在空间操作：模型在图像自编码器的潜在空间中进行操作。图像首先被编码成潜在空间中的标记序列，然后在这些标记上进行处理和生成。这种操作方式使得模型能够更高效地处理图像内容，并且能够更好地保持图像的语义信息和结构特征。
序列连接与上下文建模：FLUX.1 Kontext通过简单的序列连接方法将上下文图像和目标图像的标记进行组合，然后一起输入到模型中进行处理。这种序列连接方式支持不同分辨率和宽高比的输入，并且可以轻松扩展到多个上下文图像。同时，模型利用3D旋转位置嵌入（3D RoPE）来编码位置信息，使得上下文和目标图像在潜在空间中能够被正确区分和处理。
修正流变换器架构：FLUX.1 Kontext基于修正流变换器（Rectified Flow Transformer）架构构建。该架构结合了双流块和单流块，双流块对图像和文本标记使用不同的权重，并通过注意力操作进行混合，以实现图像和文本之间的有效交互；单流块则专注于图像标记的处理，进一步优化图像生成质量。
对抗性扩散蒸馏：为了提高生成速度和样本质量，FLUX.1 Kontext采用了对抗性扩散蒸馏（Adversarial Diffusion Distillation）技术。通过对抗训练，将多步采样过程简化为更少的步骤，同时保持或提高生成图像的质量，从而实现快速、高质量的图像生成。
大规模训练与优化：模型通过大规模的训练数据和优化方法进行训练，以学习丰富的图像和文本特征表示。在训练过程中，使用了混合精度训练、选择性激活检查点等技术来提高训练效率和降低内存占用，同时采用Flash Attention 3和区域编译等方法来提高模型的推理速度。