DeepRAG：中国科学院等推出的检索增强型推理框架

DeepRAG简介

DeepRAG是由中国科学院软件研究所中文信息处理实验室、中国科学院大学以及腾讯微信AI模式识别中心联合开发的一种新型检索增强型推理框架。该框架通过将检索增强推理建模为马尔可夫决策过程（MDP），实现了动态、适应性的检索策略。DeepRAG能够根据问题的复杂性逐步分解查询，并在每一步动态判断是否需要检索外部知识，从而优化检索效率并提高回答的准确性。实验表明，DeepRAG在多个开放域问答数据集上显著优于现有方法，平均回答准确率提升了21.99%，同时大幅减少了不必要的检索操作，展现了其在处理复杂问题时的高效性和准确性。

DeepRAG主要功能

1. 动态检索决策：DeepRAG能够根据问题的复杂性和当前的推理状态，动态决定是否需要检索外部知识，避免不必要的检索操作。
2. 逐步问题分解：通过将复杂问题分解为多个子查询，DeepRAG能够逐步解决每个子问题，确保推理过程的连贯性和准确性。
3. 高效检索增强生成：结合内部参数知识和外部检索信息，DeepRAG在生成答案时能够有效利用现有知识，提高回答的准确性和可靠性。
4. 知识边界识别：DeepRAG能够识别自身知识的边界，动态调整检索策略，确保在需要时进行检索，而在不需要时依赖内部知识。

DeepRAG技术原理

1. 马尔可夫决策过程（MDP）建模：将检索增强推理过程建模为MDP，通过状态、动作、转移动态和奖励函数来优化推理过程。
   • 状态（S）：表示当前问题的部分解决方案，包括输入问题和已生成的子查询及其中间答案。
   • 动作（A）：包括终止决策（决定是否继续生成子查询）和原子决策（决定是否检索外部知识）。
   • 转移动态（P）：描述在执行动作后状态的变化。
   • 奖励函数（R）：基于答案的正确性和检索成本评估状态。
2. 二叉树搜索：通过二叉树搜索方法，构建不同检索策略下的推理路径，探索每个子查询的最优回答策略。
   • 直接利用参数知识：在无需检索的情况下，直接生成中间答案。
   • 检索外部文档：在需要检索时，获取相关文档并生成中间答案。
3. 模仿学习：通过合成数据，提取最优推理路径，训练模型学习有效的检索模式和子查询分解能力。
   • 数据合成：使用优先队列高效探索潜在的推理路径，优先考虑检索成本较低的路径。
   • 训练目标：通过屏蔽无关文本的损失函数，增强模型的子查询分解和基于需求的检索能力。
4. 校准链：通过合成偏好数据，优化模型的原子决策能力，使其能够准确判断何时需要检索外部信息。
   • 偏好数据合成：基于最优路径构建偏好对，指示每个子查询的最佳检索选择。
   • 校准目标：通过链式校准训练，增强模型基于内部知识边界的原子决策能力。

DeepRAG应用场景

1. 智能客服系统：通过动态检索和推理，快速准确地回答客户问题，提供个性化服务。
2. 在线教育平台：为学生提供实时的答疑服务，结合外部知识库补充教学内容。
3. 医疗健康咨询：辅助医生快速获取最新医学知识，为患者提供准确的医疗建议。
4. 新闻媒体行业：帮助记者快速整合新闻背景信息，提升报道的准确性和时效性。
5. 企业知识管理：在企业内部快速检索和整合知识库，提高员工工作效率。
6. 智能搜索助手：为用户提供更精准的搜索结果，结合推理能力提供更全面的答案。

DeepRAG项目入口

• arXiv技术论文：https://arxiv.org/pdf/2502.01142