SmolDocling：专为端到端多模态文档转换而设计

SmolDocling简介

SmolDocling是由IBM Research和HuggingFace联合开发的超紧凑型视觉-语言模型，专为端到端多模态文档转换而设计。该模型通过生成DocTags标记格式，全面捕捉文档页面的全部内容、结构和位置信息，能够高效处理包括商业文件、学术论文、技术报告等多种文档类型。SmolDocling在文本识别、布局分析、表格结构识别等任务上表现出色，性能与比其大27倍的模型相当，同时显著降低了计算需求。开发团队还贡献了多个新的公开数据集，涵盖图表、表格、公式和代码识别等任务，为文档理解领域的研究和应用提供了重要支持。

SmolDocling主要功能

1. 端到端文档转换：SmolDocling能够将整个文档页面图像直接转换为结构化的机器可处理格式，支持多种文档类型，包括商业文件、学术论文、技术报告、专利和表单等。
2. 内容与结构识别：模型可以准确识别文档中的文本、表格、公式、图表、代码、列表等元素，并保留其原始布局和结构信息。
3. 多模态融合：结合视觉信息（文档图像）和语言信息（文本内容），实现对文档的全面理解，支持复杂的文档布局和视觉元素。
4. 高效标记生成：通过DocTags标记格式，SmolDocling能够高效地表示文档的全部内容和布局特征，便于后续处理和分析。
5. 多样化任务支持：除了文档转换，SmolDocling还可用于代码识别、公式识别、图表重建等任务，具有广泛的应用潜力。

SmolDocling技术原理

1. 视觉编码器：使用SigLIP作为视觉骨干网络，对文档图像进行编码，提取视觉特征。通过像素洗牌策略将图像特征压缩为视觉标记，减少计算复杂度。
2. 文本提示与融合：将用户提供的文本提示与视觉特征相结合，通过投影和池化操作将视觉嵌入与文本嵌入对齐，然后输入到语言模型中。
3. DocTags标记格式：引入DocTags，一种专为文档转换优化的标记格式，明确区分文本内容与文档结构，支持嵌套标签以表示元素的层次关系和位置信息。
4. 课程学习与训练：采用课程学习方法逐步对模型进行训练，先冻结视觉编码器训练语言模型部分，再联合训练整个模型，以提高模型的收敛速度和性能。
5. 多任务数据集训练：结合多种文档预训练数据集和任务特定数据集进行训练，涵盖布局分析、表格结构、代码、公式和图表等任务，增强模型的泛化能力。

SmolDocling应用场景

1. 学术文献处理：将学术论文、研究报告等复杂文档转换为结构化格式，方便研究人员快速提取关键信息，如公式、图表和参考文献。
2. 商业文档管理：自动转换商业合同、报告和表格，便于企业进行文档存储、检索和分析，提高工作效率。
3. 技术文档生成：将技术手册、代码文档等转换为可编辑格式，支持代码片段的准确识别和格式化，便于开发者查阅和维护。
4. 教育资料整理：将教材、讲义中的内容（如公式、图表）提取并转换为易于理解的格式，辅助教学和学习。
5. 专利文档分析：快速解析专利文档中的技术细节、图表和结构，帮助专利审查员和研究人员高效分析专利内容。
6. 电子病历处理：将手写或打印的医疗记录转换为电子格式，提取关键信息如检查结果、治疗方案等，便于医疗信息化管理。

SmolDocling项目入口