CreatiLayout：能够根据给定的布局信息生成高质量的图像

CreatiLayout简介

CreatiLayout是由复旦大学和字节跳动公司联合开发的一项创新技术，旨在通过布局信息实现高质量、精确可控的图像生成。该技术基于多模态扩散变换器（MMDiTs），提出了SiamLayout模型，将布局视为与图像和文本同等重要的独立模态，并采用孪生分支结构来分别处理图像-布局和图像-文本交互，有效缓解了模态间的竞争问题，增强了布局的指导作用。此外，开发团队还构建了大规模布局数据集LayoutSAM，包含270万对图像-文本对和1070万个实体，为模型训练提供了丰富的数据支持。同时，他们还提出了LayoutDesigner布局生成器，能够将不同粒度的用户输入转换为和谐美观的布局，进一步提升了图像生成的效果和用户体验。CreatiLayout在多个基准测试中表现出色，显著优于现有方法，为布局到图像生成领域带来了新的突破和应用前景。

CreatiLayout主要功能

• 高质量图像生成：能够根据给定的布局信息生成高质量的图像，图像在视觉上具有吸引力且艺术性高.
• 精确可控的生成：生成的图像能够精确地遵循布局条件，包括空间位置、颜色、纹理、形状、数量等复杂属性，满足用户的多样化需求.
• 支持多样化的用户输入：能够处理不同粒度的用户输入，如中心点、掩码、涂鸦或粗略想法等，并将其转换为合理的布局，从而生成符合预期的图像.
• 大规模数据集支持：拥有大规模的布局数据集LayoutSAM，包含丰富的图像-文本对和实体标注，为模型的训练和优化提供了坚实的数据基础.

CreatiLayout技术原理

• 多模态扩散变换器（MMDiTs）：采用MMDiTs作为基础架构，将文本视为与图像同等重要的独立模态，通过多模态注意力（MM-Attention）替代传统的交叉注意力，实现模态间的有效交互和融合，增强了对文本提示的遵循能力.
• SiamLayout模型结构：将布局视为独立模态，采用独立的变换器参数来处理布局信息。在前向传播过程中，布局模态通过MM-Attention与其他模态进行交互，并保持自更新。同时，将图像-布局和图像-文本交互解耦为两个孪生分支，分别独立地引导图像生成，然后在后续阶段进行融合，缓解了模态间的竞争问题，增强了布局的指导作用.
• LayoutSAM数据集构建：通过自动化标注流程，从大规模图像数据中提取和标注布局信息，构建了包含270万对图像-文本对和1070万个实体的LayoutSAM数据集。每个实体都标注了边界框和详细描述，为模型训练提供了丰富的细粒度数据.
• LayoutDesigner布局生成器：利用大型语言模型的强大能力，将用户输入的中心点、掩码、涂鸦或粗略想法等不同粒度的信息，转换并优化为和谐且美观的布局。通过在大量布局设计数据上进行微调，提升了布局生成的专业性和准确性，为图像生成提供了更专业的布局指导.

CreatiLayout应用场景

1. 广告设计：根据广告主题和内容要求，自动生成符合布局规范的广告图像，提升广告的视觉吸引力和信息传达效果.
2. 社交媒体内容创作：帮助用户根据特定主题或风格，快速生成个性化的社交媒体配图，增强内容的吸引力和分享率.
3. 游戏开发：为游戏场景设计提供布局到图像的生成支持，能够根据游戏剧情和场景布局要求，生成逼真的游戏背景和元素图像.
4. 虚拟现实（VR）和增强现实（AR）：在虚拟场景构建中，根据场景布局需求，生成相应的虚拟物体和环境图像，提升虚拟场景的真实感和沉浸感.
5. 教育与培训：在教育领域，用于生成教学材料中的插图和示意图，帮助学生更好地理解和记忆知识点，提高学习效果.
6. 产品设计与展示：为产品设计提供布局到图像的生成支持，能够根据产品设计布局和特点，生成高质量的产品展示图像，用于产品宣传和营销.

CreatiLayout项目入口

• 项目主页：https://creatilayout.github.io/
• Github代码库：https://github.com/HuiZhang0812/CreatiLayout
• arXiv技术论文：https://arxiv.org/pdf/2412.03859
• 在线体验Demo：https://huggingface.co/spaces/HuiZhang0812/CreatiLayout