OpenScholar：辅助科学家整合科学文献的检索大型语言模型

OpenScholar简介

OpenScholar是由华盛顿大学、艾伦人工智能研究所、伊利诺伊大学厄巴纳-香槟分校、卡内基梅隆大学、北卡罗来纳大学教堂山分校和斯坦福大学联合开发的一个先进的检索增强型大型语言模型。该模型专门设计用于通过整合和分析大量科学文献，帮助研究人员回答复杂的科学问题，并提供引用支持的回答。OpenScholar通过其独特的数据存储、检索器和自我反馈推理循环，显著提高了科学文献合成的准确性和效率。

OpenScholar主要功能

1. 科学文献检索： 从4500万篇开放获取的论文中识别相关段落。
2. 合成回答： 合成引用支持的回答，以回应科学查询。
3. 引用准确性： 确保回答中的引用准确无误，与人类专家水平相当。
4. 自我反馈推理： 通过迭代自我反馈生成来改进回答质量。
5. 多领域覆盖： 在计算机科学、物理学、神经科学和生物医学等多个科学领域提供服务。
6. 性能评估： 通过SCHOLARQABENCH基准测试，评估模型在文献搜索和合成方面的表现。
7. 开源贡献： 提供开源代码、模型、数据存储和演示，促进研究社区的发展。

OpenScholar技术原理

1. 检索增强型语言模型（Retrieval-Augmented LMs）： 通过在推理时集成检索的外部知识源，提高系统处理文献搜索和合成的能力。
2. 数据存储（OPENSCHOLAR-DATASTORE, OSDS）： 包含大量科学论文的数据库，用于存储和检索相关文献。
3. 检索器和重排器： 训练有素的模型，用于从OSDS中检索和重排最相关的段落。
4. 自我反馈推理： 通过生成初始回答和自我反馈，迭代改进输出，以提高质量和适应性地整合补充信息。
5. 训练合成数据： 利用推理管道生成高质量的训练数据，用于训练更小、更高效的模型。
6. 多阶段评估： 结合自动化指标和人类评估，衡量引用准确性、事实正确性、内容覆盖度、连贯性和整体质量。
7. 模型和人类评估： 使用Prometheus等工具进行模型评估，并结合人类专家的细致评估，以确保评估的准确性和可靠性。

OpenScholar应用场景

1. 科研辅助： 帮助研究人员快速从大量科学文献中提取关键信息，支持研究工作和论文撰写。
2. 文献综述： 自动生成特定科学领域的文献综述，为研究人员提供领域内的最新进展概览。
3. 学术查询响应： 对学术界的复杂查询提供详细回答，包括跨多篇文献的综合分析和解释。
4. 教育支持： 辅助学生和教师在准备课程、研究报告或学术论文时，快速获取和理解科学文献。
5. 数据验证： 提供一个工具，用于验证科学声明和数据的真实性，增强科学研究的可靠性。
6. 跨学科研究： 促进不同科学领域间的信息交流，通过整合不同领域的文献来支持跨学科研究项目。

OpenScholar项目入口

• 项目主页：https://allenai.org/blog/openscholar
• GitHub代码库：https://github.com/AkariAsai/OpenScholar
• arXiv技术论文：https://arxiv.org/pdf/2411.14199