Open Deep Search:华盛顿大学等开源的搜索AI框架

Open Deep Search简介

Open Deep Search(ODS)是由Sentient、华盛顿大学、普林斯顿大学和加州大学伯克利分校的研究团队共同开发的开源搜索AI框架,旨在缩小专有搜索AI解决方案与开源方案之间的差距。ODS通过增强开源大型语言模型(LLMs)的推理能力,结合推理代理和网络搜索工具来回答用户查询。它包含两个主要组件:Open Search Tool和Open Reasoning Agent。前者提供高质量的网络搜索结果,后者则负责解释查询并调用工具完成任务。ODS在SimpleQA和FRAMES两个基准测试中表现出色,接近甚至超越了现有的最先进水平。开发团队致力于通过开源方式推动搜索AI的创新和社区发展。

Open Deep Search:华盛顿大学等开源的搜索AI框架

Open Deep Search主要功能

  1. 高质量网络搜索:通过Open Search Tool,ODS能够提供比现有专有解决方案更高质量的搜索结果。它能够重新表述查询、提取上下文、应用分块和重新排序等,确保包含所有相关搜索结果的上下文。
  2. 推理与行动执行:Open Reasoning Agent能够解释用户查询,评估检索到的上下文,并调用适当的工具(如Open Search Tool)来回答查询。它支持基于ReAct和CodeAct的两种推理方式,分别适用于不同的任务需求。
  3. 多工具集成:ODS支持多种工具的集成,包括网络搜索工具、数学处理工具(如Wolfram Alpha API)、代码解释器等,能够处理复杂的推理和计算任务。
  4. 灵活的LLM集成:用户可以选择任何基础LLM(包括开源或闭源模型),ODS能够无缝集成并利用其推理能力,实现高性能的搜索和推理任务。
  5. 适应性搜索策略:ODS能够根据查询的复杂性和初始搜索结果的质量,自适应地决定是否进行额外的搜索,提高搜索效率和准确性。

Open Deep Search技术原理

  1. Open Search Tool
    • 查询重述:通过生成多个语义相关的查询变体,扩大搜索范围,提高检索结果的多样性和覆盖度。
    • 检索与格式化:从搜索引擎结果页面API(SERP)中检索相关信息,并将其格式化为包含元数据(如标题、URL、描述、日期等)的上下文,优先考虑可靠来源。
    • 内容增强:从检索到的网页中提取相关段落,通过重排序和相关性评分,筛选出与用户查询最相关的上下文内容,提供更深入的答案。
  2. Open Reasoning Agent
    • ReAct框架:结合推理步骤(Thought)和行动执行(Action),通过迭代过程增强任务完成和决策能力。它支持动态少样本学习,通过示例引导模型的推理和行动模式。
    • CodeAct框架:利用LLMs的代码生成能力,生成和执行代码来处理需要精确数值或符号计算的任务,提升推理的准确性和范围。
    • 工具调用与集成:通过标准化接口与外部工具(如网络搜索、数学计算、代码解释器等)集成,根据任务需求灵活调用不同工具,实现复杂问题的解决。
    • 自适应搜索决策:基于初始搜索结果的质量和模型输出,自适应地决定是否进行额外的搜索,避免不必要的搜索操作,提高整体效率。

Open Deep Search应用场景

  1. 学术研究:研究人员可以利用ODS快速查找最新的学术资料、论文和研究数据,辅助文献综述和实验设计。
  2. 新闻报道:记者可以通过ODS获取最新的新闻事件、背景信息和相关报道,提高新闻写作的时效性和准确性。
  3. 教育领域:教师和学生可以使用ODS查找教学资源、解答学术问题,辅助课程学习和研究项目。
  4. 商业分析:企业分析师可以利用ODS收集市场数据、行业动态和竞争对手信息,为商业决策提供支持。
  5. 医疗咨询:医疗专业人员可以借助ODS查找最新的医学研究、疾病信息和治疗方案,辅助临床决策。
  6. 技术开发:开发者可以利用ODS查找编程语言的文档、开源代码库和开发工具,提高开发效率和解决问题的能力。

Open Deep Search项目入口

© 版权声明
pANYIIS.jpg

相关文章

暂无评论

暂无评论...