Auto-RAG：中科院推出的自主检索增强生成模型

Auto-RAG简介

Auto-RAG是由中国科学院计算技术研究所智能信息处理重点实验室开发的自主迭代检索模型，旨在增强大型语言模型在知识密集型任务中的表现。该模型通过与检索器的多轮对话，系统地规划检索和优化查询，以自主获取和整合有价值的外部知识，直到能够充分回答用户的查询。Auto-RAG利用其推理和决策能力，动态调整检索次数，并以自然语言形式表达迭代过程，增强了模型的可解释性和用户体验。

Auto-RAG主要功能

1. 自主迭代检索： Auto-RAG能够与检索器进行多轮对话，自主地规划检索和提炼查询，以获取解决问题所需的外部知识。
2. 系统规划与查询优化： 模型通过推理来确定何时需要额外的检索，并具体指明下一步需要寻找的信息。
3. 知识获取与整合： 通过不断的查询和检索，Auto-RAG能够收集足够的外部信息，以生成最终答案。
4. 动态调整迭代次数： 根据问题的复杂性和检索到的知识的相关性，Auto-RAG能够自主决定何时停止迭代。
5. 自然语言表达： 模型以自然语言形式表达迭代检索过程，提高了模型的可解释性和用户体验。

Auto-RAG技术原理

1. 基于推理的决策指令合成： Auto-RAG开发了一种方法，能够自动合成基于推理的决策指令，以指导迭代检索过程。
2. 微调大型语言模型： 通过微调最新的开源大型语言模型，Auto-RAG增强了模型在迭代检索中的自主决策能力。
3. 多轮交互模拟： 将用户查询转化为与检索器之间的多轮交互，模拟人类在检索过程中的认知行为。
4. 检索规划、信息提取和答案推断： Auto-RAG在每次迭代中执行三种类型的推理：检索规划、信息提取和答案推断，以优化效率和保持一致性。
5. 数据过滤与格式化： 在生成推理和查询的过程中，Auto-RAG会进行数据过滤，确保最终答案与参考答案一致，并通过特定的格式组织数据。
6. 标准监督微调策略： 使用标准监督微调策略，Auto-RAG能够根据输入输出对进行训练，以提升其在迭代检索中的表现。
7. 参数知识与外部知识的有效利用： 当检索器和检索语料库受限时，Auto-RAG尝试提供自生成的文档或答案，以更有效地利用模型的参数知识。

Auto-RAG应用场景

1. 智能问答系统：Auto-RAG可以集成到智能问答系统中，提供基于大量数据和知识库的准确回答，适用于客户服务和在线帮助中心。
2. 教育辅助工具：在教育领域，Auto-RAG能够辅助学生和教师获取深入的学术信息和解答复杂的学习问题，增强学习和教学体验。
3. 研究和数据分析：研究人员可以利用Auto-RAG快速检索和整合大量文献资料，以支持复杂的数据分析和研究项目。
4. 医疗咨询：在医疗行业，Auto-RAG可以帮助医生和患者快速访问最新的医疗知识和研究，辅助临床决策和患者教育。
5. 法律研究：法律专业人士可以使用Auto-RAG来检索相关的法律文献和案例，以支持法律研究和案件准备。
6. 新闻和内容创作：Auto-RAG能够协助记者和内容创作者进行事实核查和背景研究，提高新闻报道和内容创作的准确性和深度。

Auto-RAG项目入口

• 项目主页：https://auto-rag.com/
• GitHub代码库：https://github.com/Marker-Inc-Korea/AutoRAG
• HuggingFace：https://huggingface.co/AutoRAG
• arXiv技术论文：https://arxiv.org/pdf/2411.19443