BizGen：专注于推进文章级别的视觉文本渲染技术

BizGen简介

BizGen是由清华大学、布朗大学、利物浦大学、微软亚洲研究院和微软联合推出的AI信息图生成工具，专注于推进文章级别的视觉文本渲染技术，尤其在信息图表和幻灯片生成方面表现出色。该系统通过构建高质量的商业内容数据集Infographics-650K和采用布局引导的交叉注意力方案，有效解决了长文本上下文和数据稀缺性两大挑战。BizGen在视觉文本拼写精度、提示遵循以及用户研究中均显著优于现有的先进模型，如DALL·E3、SD3和FLUX。其生成的多语言和多风格信息图表和幻灯片具有高视觉美学和准确的区域控制，为商业内容创作带来了新的突破。

BizGen主要功能

1. • BizGen能够根据用户提供的文章级别描述性提示和超密集布局，生成高质量的信息图表和幻灯片。
   • 支持多语言（包括英语、法语、德语、西班牙语、意大利语、葡萄牙语、俄语、中文、日语和韩语）和多风格的商业内容生成。
   • 生成的内容具有高视觉美学、准确的视觉文本拼写和良好的提示遵循能力。
2. 灵活的布局控制
   • 通过布局引导的交叉注意力方案，BizGen能够灵活地处理复杂的超密集布局，确保每个子区域的精确渲染。
   • 支持对每个层进行单独的控制，能够根据布局条件灵活调整生成内容。
3. 数据稀缺性解决方案
   • 开发了可扩展的信息图表数据引擎，生成了包含650,000个样本的高质量、高分辨率信息图表数据集（Infographics-650K），有效解决了数据稀缺问题。
   • 数据集包含详细的全局标题、图像、超密集布局和区域特定标题，为研究提供了丰富的资源。

BizGen技术原理

1. 可扩展信息图表数据引擎
   • 数据收集与预处理：从内部数据集中收集超过5000个信息图表，提取所有图层及其布局信息。
   • 透明图层生成：利用LayerDiffuse生成高质量透明图层，并通过LoRA技术生成多种风格的透明图层，确保视觉和谐。
   • 分层检索增强生成：通过GPT-4o识别重要图层，从透明图层数据库中检索相关图层并替换，生成多样化的信息图表变体。
2. 布局引导的交叉注意力方案
   • 区域划分：根据超密集布局将视觉令牌和文本令牌划分为多个组，每个组对应一个矩形区域。
   • 区域交叉注意力：仅在每个组内的视觉令牌和文本令牌之间进行交叉注意力计算，显著减少上下文长度。
   • 区域特定提示：每个区域的文本提示长度控制在100个文本令牌以内，提高生成效率和质量。
3. 布局条件分类自由引导（LCFG）
   • 灵活的层控制：在推理过程中，为不同层分配不同的引导值，消除特定层的伪影。
   • 时间步控制：通过调整LCFG的起始时间步，平衡细节调整和全局一致性，确保生成内容的质量。
4. 多语言和多风格支持
   • 多语言生成：利用多语言数据集（Infographics-650K和Slides-500K），支持十种不同语言的视觉文本生成。
   • 多风格定制：通过在提示中添加触发词，生成不同风格的信息图表，满足多样化的视觉需求。

BizGen应用场景

1. 市场营销与广告：快速生成吸引人的信息图表和幻灯片，用于产品推广、品牌宣传和市场报告，提升视觉效果和信息传达效率。
2. 数据分析与报告：将复杂的数据分析结果转化为直观的信息图表，帮助企业管理层和决策者快速理解关键指标和趋势。
3. 教育与培训：制作教学用的信息图表和幻灯片，帮助学生更好地理解和记忆课程内容，提高教学效果。
4. 新闻媒体：为新闻报道和专题文章生成信息图表，增强新闻的可读性和吸引力，帮助读者快速获取关键信息。
5. 企业内部沟通：生成用于内部会议、项目汇报和员工培训的幻灯片，提升沟通效率和专业形象。
6. 创意设计与策划：为创意团队提供设计灵感，快速生成多种风格的信息图表和幻灯片原型，加速创意设计流程。

BizGen项目入口

• 项目主页：https://bizgen-msra.github.io/
• Github代码库：https://github.com/1230young/bizgen
• HuggingFace模型：https://huggingface.co/PYY2001/BizGen
• arXiv技术论文：https://arxiv.org/pdf/2503.20672