WebWalkerQA：评估大型语言模型网页浏览能力的基准测试框架

WebWalkerQA简介

WebWalkerQA是由阿里巴巴集团通义实验室开发的一个用于评估大型语言模型（LLMs）网页浏览能力的基准测试框架。该框架旨在解决传统搜索引擎在处理复杂、多层信息检索任务时的局限性，通过模拟人类网页导航行为，系统地遍历网页子页面以提取高质量数据。WebWalkerQA包含680个问答对，涵盖教育、会议、组织和游戏四大领域，并支持中文和英文两种语言。其设计注重模拟真实世界中的信息检索挑战，通过单源和多源查询类型评估LLMs在深度和广度上的信息获取能力。WebWalkerQA的推出为研究LLMs在动态、知识密集型场景中的应用提供了重要工具，同时也为开发更高效的信息检索系统提供了新的方向。

WebWalkerQA主要功能

1. 网页遍历：WebWalkerQA能够系统地遍历网站的子页面，模拟人类的网页导航行为，从而提取深层次的信息。
2. 信息检索：通过检索增强生成（RAG）技术，WebWalkerQA可以从网页中获取最新的、动态更新的信息，提升LLMs在知识密集型任务中的表现。
3. 多源信息整合：支持从多个网页来源整合信息，处理复杂的多步骤查询，提供更全面的答案。
4. 问答评估：使用问答对的形式评估LLMs在网页浏览和信息提取任务中的表现，确保模型能够准确理解和回答复杂问题。
5. 多语言支持：WebWalkerQA支持中文和英文两种语言，适用于不同语言环境下的信息检索任务。
6. 领域覆盖：涵盖教育、会议、组织和游戏四大领域，能够处理多种类型的网页信息检索任务。

WebWalkerQA技术原理

1. 检索增强生成（RAG）：通过结合外部搜索引擎，WebWalkerQA能够在模型生成答案时检索最新的网页信息，增强模型的知识库。
2. 多智能体框架：WebWalker采用多智能体框架，包括探索者智能体和批评者智能体，前者负责网页遍历，后者负责信息整合和回答生成。
3. ReAct框架：探索者智能体基于ReAct框架，通过思考-行动-观察的循环模式，系统地点击网页按钮，收集有用信息。
4. 批评者智能体：批评者智能体维护探索过程中收集的信息，并在认为信息足够时生成答案，确保回答的准确性和完整性。
5. 长上下文处理：WebWalkerQA能够处理长上下文信息，通过有效的记忆管理和信息整合，提升模型在长文本任务中的表现。
6. 数据收集与注释：采用两阶段注释策略，先由LLMs生成初始注释，再由人工标注员进行质量控制，确保数据的准确性和高质量。

WebWalkerQA应用场景

1. 教育领域：帮助用户从教育机构官网中检索课程信息、教师资料或学术活动安排，辅助学习和研究。
2. 会议查询：快速定位会议官网中的议程、演讲嘉宾、提交截止日期等信息，方便参会者规划行程。
3. 组织信息检索：从组织官网中提取活动安排、成员信息或政策文件，助力用户了解组织动态。
4. 游戏攻略与资讯：在游戏官网中查找攻略、更新日志或赛事信息，提升玩家体验。
5. 学术研究支持：从学术会议或机构官网中获取最新研究成果、论文提交要求或会议地点等信息。
6. 企业信息查询：在企业官网中检索产品信息、服务内容或联系方式，助力用户快速获取商业资讯。

WebWalkerQA项目入口

• 项目主页：https://alibaba-nlp.github.io/WebWalker
• GitHub代码库：https://github.com/Alibaba-nlp/WebWalker
• arXiv技术论文：https://arxiv.org/pdf/2501.07572