如何评估Deep Research ？四个Benchmark介绍

推荐语

深度研究AI Agent的四大评测基准，揭示智能体在复杂信息检索与推理能力上的真实水平。

核心内容：
1. BrowseComp系列：专注复杂浏览与确切检索能力，分为在线与离线版本
2. GAIA基准：测试AI解决现实世界复杂问题的通用能力与工具调用水平
3. xbench-DeepSearch：针对深度搜索设计的端到端高难度评测集

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

BrowseComp,BrowseComp-Plus,GAIA,xbench-DeepSearch这四个数据集和评测基准代表了当前评估 AI Agent（尤其是具备复杂信息检索和“深度研究/Deep Research”能力的智能体）的最前沿标准。

它们的核心区别在于评测环境（离线固定语料 vs. 实时在线网络）以及任务考察的侧重点（纯信息检索 vs. 复杂多步推理与工具调用）。

以下是这几个数据集的详细介绍：

1. BrowseComp 系列 (专注复杂浏览与确切检索)

BrowseComp (在线版)
定位：一个专门衡量智能体在真实互联网上持续浏览、寻找“难以发现且相互关联信息”能力的基准 。
特点：问题设计类似于“网络浏览的编程竞赛”。它刻意避开了生成长篇大论的主观评估，重点考察模型在面对海量网络信息时的搜索持久性（Persistence）、事实核查能力以及浏览策略的创造性。

BrowseComp-Plus (离线版)
定位：BrowseComp 的完全离线版本，使用固定的本地语料库。
核心价值：实时网络环境存在极大的不可控性。BrowseComp-Plus 通过人工验证，提供了一个高度确定且可复现（Deterministic and Reproducible）的评测环境。它非常适合用来验证模型（如 OpenResearcher-30B）通过微调后在纯粹推理能力上的提升，排除了网络波动的干扰。

2. GAIA (General AI Assistants)

定位：由Meta (Yann LeCun 团队)、HuggingFace 等机构联合推出，旨在测试 AI 解决现实世界复杂问题的通用能力。
特点：
• 人类与 AI 的鸿沟：题目对人类来说逻辑清晰且容易完成，但对当前 AI 来说极度困难。
• 综合工具调用：不仅仅考察搜索，还要求 Agent 综合运用代码解释器、文件读取（PDF, Excel）等多种工具。
• 严苛的长程规划：要求完成“长程规划 -> 多步执行 -> 总结”的完整闭环，任何中间环节出错都会导致最终答案错误。

3. xbench-DeepSearch (专注端到端深度搜索)

定位：由红杉中国推出，专门针对 Agent 深度搜索（Deep Search）能力设计的评测集。
特点：
• 高难度防作弊：由专家出题，核心原则是“绝对无法通过一次简单 Query 直接获得答案”。
• 端到端综合能力：需要在多个看似互不相关的网页之间建立漫长的推理逻辑链，属于“规划+搜索+推理+总结”的考察。
• 高区分度：平均正确率极低（约 32%），能够显著拉开不同模型和 Agent 架构之间的真实战力差距。

总结对比
• BrowseComp-Plus (离线)：适合评估企业内部 RAG 系统或模型微调效果。
• BrowseComp (在线)：适合评估网络爬虫 Agent 的浏览策略持久性。
• GAIA (在线+工具)：适合评估通用 AGI 助手执行复杂日常任务的能力。
• xbench-DeepSearch (在线API)：适合评估专业级 Deep Research 智能体及深度调研系统。

目前的评测标准正在从“测试大模型认识多少知识”转变为“测试大模型在面对未知信息时，能否像研究员一样去获取、过滤和推理” 。

--—------------------

今天放假，祝大家新年快乐🎆