OmniSVG：复旦大学联合 StepFun 推出的多模态SVG生成框架

OmniSVG简介

OmniSVG是由复旦大学和StepFun团队共同开发的一个强大的多模态SVG生成框架。它利用预训练的视觉-语言模型（VLMs），能够自回归地生成从简单图标到复杂动漫角色的高质量SVG内容。OmniSVG通过将SVG命令和坐标参数化为离散标记，解耦了结构逻辑与低级几何，从而在保持复杂SVG结构表达性的同时，显著提高了训练效率。该框架不仅支持文本到SVG、图像到SVG等多种生成模态，还引入了MMSVG-2M这一大规模多模态数据集以及标准化的评估协议MMSVG-Bench，为SVG生成任务提供了丰富的资源和全面的评估标准。OmniSVG在多个关键指标上超越了现有方法，展现出其在专业SVG设计工作流程中的巨大应用潜力。

OmniSVG主要功能

1. 多模态SVG生成：支持文本到SVG、图像到SVG和角色参考SVG生成等多种模态。
2. 高质量SVG输出：生成从简单图标到复杂动漫角色的高质量SVG内容。
3. 参数化SVG命令：将SVG命令和坐标参数化为离散标记，提高训练效率。
4. 大规模数据集支持：引入MMSVG-2M数据集，包含两百万个SVG资产，支持多样化训练。
5. 标准化评估协议：提供MMSVG-Bench评估协议，用于全面评估SVG生成任务。
6. 高效训练与生成：利用预训练的视觉-语言模型（VLMs），显著提升生成效率。

OmniSVG技术原理

1. 预训练视觉-语言模型（VLMs）：利用预训练的VLMs处理视觉和文本输入，生成精确且紧凑的SVG输出。
2. SVG命令参数化：将SVG命令和坐标参数化为离散标记，解耦结构逻辑与低级几何，提高训练效率。
3. 多模态输入支持：支持文本、图像等多种输入方式，适应不同的生成需求。
4. 自回归生成：通过下一个标记预测损失进行训练，支持高效的SVG生成。
5. 大规模数据集训练：使用MMSVG-2M数据集进行训练，涵盖图标、插图和动漫设计等多种SVG类型。
6. 标准化评估：通过MMSVG-Bench评估协议，从生成保真度、多样性、可编辑性等多个维度评估SVG生成任务。

OmniSVG应用场景

1. UI/UX设计：快速生成高质量的SVG图标和图形，提升设计效率。
2. 动画制作：生成复杂的SVG角色和动画元素，简化动画制作流程。
3. 游戏开发：创建游戏中的SVG图形和角色，支持高分辨率和可编辑性。
4. 教育领域：生成教学用的SVG图形和动画，增强教学效果。
5. 广告设计：快速生成SVG广告素材，支持多种风格和复杂度。
6. 工业设计：生成SVG图形用于工业CAD系统，支持高精度和可编辑性。

OmniSVG项目入口

• 项目官网：https://omnisvg.github.io/
• Github仓库：https://github.com/OmniSVG
• HuggingFace模型库：https://huggingface.co/OmniSVG
• arXiv技术论文：https://arxiv.org/pdf/2504.06263