BrowseComp：OpenAI 开源的 AI Agent 网络浏览能力基准

0 40

BrowseComp简介

BrowseComp是由OpenAI开源的一个用于衡量智能代理网络浏览能力的基准测试。它包含1266个问题，这些问题需要在互联网上进行深入搜索才能找到答案。BrowseComp旨在测试AI代理在面对难以获取且复杂交织的信息时的持久性和创造性。这些问题设计得既具有挑战性，又易于验证，答案简短且明确。尽管BrowseComp不涵盖所有用户查询的复杂性，但它为评估AI代理在互联网上寻找信息的核心能力提供了一个重要且有限的子集。开发团队希望BrowseComp能够推动更可靠和可信的AI代理的研究。

BrowseComp主要功能

衡量AI代理的网络浏览能力：
- 测试AI代理在面对难以获取且复杂交织的信息时的持久性和创造性。
- 评估AI代理在互联网上寻找特定信息的能力，尤其是在需要多跳推理和广泛搜索时。
提供挑战性强且易于验证的问题：
- 包含1266个问题，这些问题设计得非常具有挑战性，现有模型难以解决。
- 答案简短且易于验证，便于评估AI代理的性能。
推动AI代理技术的发展：
- 通过提供一个标准化的基准测试，激励研究人员开发更强大的AI代理。
- 促进AI代理在事实推理、搜索策略和信息合成方面的能力提升。

BrowseComp技术原理

问题设计：
- 挑战性：问题设计得非常难以解决，确保现有模型无法轻易回答。训练师通过多种方式验证问题的难度，包括检查现有模型的性能和进行简单的Google搜索。
- 易于验证：问题的答案是简短且明确的，便于通过简单的搜索验证其正确性。
- 倒置问题设计：从一个事实出发，设计一个倒置的问题，使得答案难以找到但容易验证。
数据集构建：
- 人类训练师收集：数据集完全由人类训练师创建，确保问题的质量和多样性。
- 主题多样性：涵盖多个主题，如电视节目、电影、科学、技术、艺术、历史、体育、音乐、视频游戏、地理和政治等。
评估方法：
- 准确性评估：通过比较预测答案和参考答案来评估AI代理的性能。
- 校准分析：评估模型的置信度与其答案正确性的匹配程度。
- 计算量扩展：研究测试时计算量对性能的影响，验证性能是否随计算量的增加而提高。
- 聚合策略：通过多次尝试和不同的投票策略（如多数投票、加权投票和最佳N选择）来提高模型性能。
模型性能评估：
- 多模型比较：评估不同模型（如GPT-4o、GPT-4.5、OpenAI o1和Deep Research）在BrowseComp上的表现。
- 性能提升：通过增加测试时计算量和使用聚合策略，显著提升模型性能。