ViDoRAG：专门用于处理视觉丰富文档中的复杂推理任务

ViDoRAG简介

ViDoRAG（Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents）是一种新型的检索增强生成框架，专门用于处理视觉丰富文档中的复杂推理任务。它通过多模态混合检索和动态迭代推理智能体，有效整合了文本与视觉信息，解决了传统方法在处理视觉丰富文档时的局限性。ViDoRAG的核心是结合高斯混合模型（GMM）的检索策略和多智能体生成流程，包括Seeker、Inspector和Answer三种智能体，能够从粗到细逐步提取线索、反思和生成答案。该框架在新提出的ViDoSeek数据集上取得了显著优于现有方法的性能，准确率提升超过10%，并展现出良好的可扩展性和适应性。ViDoRAG为视觉丰富文档的检索增强生成任务提供了新的解决方案，有望在教育、金融等领域发挥重要作用。

ViDoRAG主要功能

1. 高效检索与生成：ViDoRAG专门针对视觉丰富文档（包含图表、表格、布局等）的检索增强生成任务，能够高效检索相关文档并生成准确答案。
2. 复杂推理支持：通过多智能体协作和动态迭代推理，ViDoRAG能够处理复杂的单跳和多跳推理任务，适应多样化的查询需求。
3. 多模态信息整合：结合文本和视觉特征进行检索和生成，弥补了传统方法在处理视觉丰富文档时的不足，提升了信息检索的准确性和生成内容的相关性。
4. 动态检索优化：利用高斯混合模型（GMM）动态调整检索结果数量，优化检索效率，减少无关信息的干扰，提高生成效率。

ViDoRAG技术原理

1. 多模态混合检索：
   • 结合文本和视觉特征进行检索，通过高斯混合模型（GMM）动态调整检索结果分布，根据查询与文档集合的相似度分布自动确定最优的检索数量（K值）。
   • 将文本检索和视觉检索结果进行融合，优化检索效率，减少长上下文带来的噪声。
2. 多智能体迭代推理框架：
   • Seeker Agent：负责从粗粒度视角快速筛选相关图像，根据查询和Inspector的反馈选择最相关的图像。
   • Inspector Agent：对Seeker选择的图像进行详细审查，提供反馈或生成初步答案，指导Seeker进行更精准的选择。
   • Answer Agent：在最终步骤中验证Inspector生成的答案的一致性，并给出最终答案。
3. 动态迭代推理：通过迭代交互，从粗到细逐步提取线索、反思和生成答案，减少无关信息的干扰，确保生成答案的准确性和一致性。
4. 测试时推理扩展：在推理阶段通过少量任务演示引导模型，将复杂任务分解为简单子任务，提升模型的推理能力和生成效率。

ViDoRAG应用场景

1. 金融分析：快速检索财务报告中的图表和数据，回答关于公司业绩、利润变化等复杂问题。
2. 教育领域：辅助教师从教学课件中提取关键信息，回答学生关于课程内容的详细问题。
3. 法律文档检索：从法律文件中提取与案件相关的图表、条款和布局信息，辅助法律推理。
4. 市场研究：分析市场调研报告中的可视化数据，回答关于市场趋势和消费者行为的问题。
5. 医疗健康：从医学文献中检索图表和数据，辅助医生回答关于疾病研究和治疗效果的问题。
6. 科学研究：帮助研究人员从科学报告中提取关键图表和数据，支持复杂的科学问题推理和分析。

ViDoRAG项目入口

• GitHub代码库：https://github.com/Alibaba-NLP/ViDoRAG
• arXiv研究论文：https://arxiv.org/abs/2502.18017