ScienceAgentBench

把真实论文中的数据驱动科研工作抽成独立任务，统一要求生成一份自包含 Python 程序。官方基准有 102 题，源自 44 篇论文、覆盖 4 个学科；适合检验 agent 能否从任务说明与真实数据走到可执行且正确的结果。

返回目录与筛选该基准的成绩与评分协议 →

基本情况与使用条件

提出机构: The Ohio State University；University of Wisconsin–Madison
时间: 2024-10-07 首次预印本；ICLR 2025
引用数: 6 · OpenAlex · 2026-10-12 [6]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
是否有知名大模型厂商引用 / 采用: 厂商采用情况未核实论文/榜单评测某厂商模型，不等于该厂商已在其报告或产品中采用本基准。
原文链接: 原论文官方仓库 HF 数据与 verified 说明项目页本地原论文证据
数据集 / 项目链接: 官方仓库 HF 数据与 verified 说明项目页
涉及学科: 生物信息、计算化学、地理信息、心理与认知神经
数据规模: 102 题（取自 44 篇论文）本地论文是 ICLR 2025 版本；2026-04-30 verified 更新旨在减少 false negatives。展示保留 102 题，但必须说明数据/评估资产版本。
是否允许 train · Agent 权重训练: 训练政策未核实[1][2][3][4][5]公开任务、代码或数据许可不等于已确认允许将评测题用于训练 agent；本轮未找到明确的专门训练授权。
任务内模型拟合 / 训练: 部分Model Development任务明确要求在提供的训练集上拟合下游模型；这不等于允许用基准答案训练外层Agent。
单个样本评测所需时间预估: 未报告统一端到端耗时；程序筛选要求 ≤10 分钟[1][2][3][4][5]尚无统一时长；论文只收集可在10分钟内完成任务的参考程序，并提到 agent 通常10分钟内生成有意义的草稿；均不等于完整 agent 运行、调试和评分总耗时。

输入格式与样例

自然语言任务描述、领域背景和数据文件；需提交一份自包含Python程序。原论文Figure 2的Clintox任务给出训练CSV与测试CSV。[5]

输入样例

来源中的实例 / 文件契约

任务：利用训练数据预测Clintox测试集的FDA_APPROVED与CT_TOX标签。
训练：clintox_train.csv（smiles, FDA_APPROVED, CT_TOX）
测试：clintox_test.csv（smiles）

输出格式与样例

自包含 Python 程序与按任务要求保存的预测、数据或图像文件；只在回答里描述分析过程不满足程序与产物要求。[5]

输出样例

来源中的实例 / 文件契约

编写并执行独立Python程序：读取SMILES，构建并拟合下游模型，预测测试集标签。
输出文件：pred_results/clintox_test_pred.csv
列：FDA_APPROVED, CT_TOX
此处展示论文给出的文件契约，不转录隐藏测试标签。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

评分：VER 检查无错误执行及正确保存输出；SR 检查任务特定的结果条件，且执行无效时 SR 为 0。另有代码相似度、成本与部分得分 rubric；图像任务部分依赖模型裁判。原论文主表按三次独立运行中的最佳结果统计，不能混同单次通过率或三次均值。

版本：本地论文是 ICLR 2025 版本；2026-04-30 verified 更新旨在减少 false negatives。展示保留 102 题，但必须说明数据/评估资产版本。

目标程序可执行不等于科学结果正确；代码相似度也不能替代结果验证。图像裁判和严格文件契约可能引入误判；旧版与 verified 版的评分不能直接拼成一张趋势表。
本条依据原目录与公开/本地官方资料整理；未重跑基准，未测量实际完成时间。

原文与依据

原论文今日在线读取。 · 本次在线读取：2026-10-12
官方仓库沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
HF 数据与 verified 说明沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
项目页沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
本地原论文证据首页机构；§2.2 任务收集；程序执行时长筛选与评分协议。仅本地读取。 · 供稿 / 既有材料来源；本次未重新在线核验
OpenAlex 引用统计ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery；https://doi.org/10.48550/arxiv.2410.05080；cited_by_count=6 · 本次在线读取：2026-10-12

汇总来源：web/data/benchmark-catalog.json#scienceagentbench；benchmark/new-reports/_materials/ScienceAgentBench_2410.05080.pdf；benchmark/new-reports/_materials/sab.txt；benchmark/new-reports/_materials/sab_repo_README.md；benchmark/new-reports/_parts/ScienceAgentBench调研报告.md；benchmark/new-reports/Agentic-Science-Benchmark调研报告-第二批.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。