从科学推理、数据分析到长程研究执行，集中查阅每个基准的提出背景、任务契约、使用边界与已有成绩。
多条件组合筛选 · 资料卡 / 字段表 · 并排比较
引用数须附统计来源和日期；“尚未确认”不代表“否”。训练许可指 Agent 权重训练，任务内拟合单独说明。官方时限与条件估算均不代表本次实测耗时。阅读字段说明 →
显示 24 / 24 个条目
在真实操作系统环境完成长程专业任务，并依据最终文件评分。覆盖13个产业簇、55个子领域，科学任务是其一部分。
FutureHouse的语言agent交互环境框架，支持行为克隆、专家迭代和多步科学工具使用。它是可扩展环境集合，不能当成一份固定题库。
把蛋白工程、药物发现、单细胞和成像数据封装为可执行机器学习任务，评估预测质量与交付可靠性。
给 agent 匿名化的真实生物数据，要求通过分析识别可客观验证的生物学属性，例如样本来源、物种或实验扰动。方法可以自由选择，答案侧尽量锚定实验或元数据事实；现行 v11 完整集有 90 题，公开预览集有 5 题。
OpenAI提出的通用浏览检索基准，要求持续查找难以定位、相互纠缠的网页信息并给出简短可核验答案；并非科学专属。
用化学与材料问答评估知识、推理和领域判断，支持选择题与开放式回答。
物理、化学与生物的专家原创题，区分Olympiad短答案与Research开放式研究子任务。
专家编写的跨学科多模态闭卷问答基准，以选择题与短答案检验高难学术知识和推理；成绩不直接代表端到端科研执行能力。
以随机种子生成科研文件系统与可验证问答，测试数据分析、工具使用与识别信息不足的能力。
用文献、数据库、图表、实验协议、序列和克隆场景测量生物科研助手的基础能力。
以离线Kaggle竞赛测试数据准备、模型训练、实验迭代和预测文件交付能力。
Meta的开放式机器学习研究评测，要求agent修改方法、训练模型、运行实验并迭代；MLGym是支撑训练和评测的框架，MLGym-Bench是13任务套件。
要求代理从机器学习论文出发构建代码并复现实验，通过新环境重跑与分层rubric验证成果。
让 agent 从整理好的真实科研工作区出发，自主分析原始数据、实现方法并产出带图表的研究报告，再与隐藏的目标论文提供的证据比较。论文主基准有 40 个任务、10 个学科，覆盖目标优化和诊断分析两类研究目标。
保留研究论文的数据、基线和评分环境，同时隐藏原论文方法，让agent自行提出假设、开展实验并尝试超越基线；强调闭环研究与长时可靠性。
SciAgentGym提供1,780个科学工具与闭环执行环境；配套SciAgentBench以分级多步任务检验科学工具编排、错误恢复和长程推理。
把科学家的实际研究计算拆为多个函数与集成主问题，通过数值和领域测试检验生成代码。
对SciCode测试任务进行领域专家审计后发布的修订版，修复题意、参考数值、随机性和测试容差等缺陷；必须保留数据版本与评分协议。
把真实论文中的数据驱动科研工作抽成独立任务，统一要求生成一份自包含 Python 程序。官方基准有 102 题，源自 44 篇论文、覆盖 4 个学科；适合检验 agent 能否从任务说明与真实数据走到可执行且正确的结果。
以科学探究流程为框架，评测深度研究、想法生成、干/湿实验及实验推理。覆盖 10 个学科和 1,000 余个专家整理样本；价值在于把科学能力分解成可诊断的维度，而不是只给一个知识问答总分。
考查 coding agent 在真实科研软件仓库中完成工程任务时，能否保持单位、坐标、数值不变量、文件格式等科学约束。官方发布含 119 个任务，覆盖 20 个科学领域；它关注科学软件的正确修改，与从零进行科学发现的范围不同。
通用终端 agent 基准，覆盖软件、系统、科学计算等真实工作。对应论文介绍的 Terminal-Bench 2.0 有 89 个任务，每题包含环境、说明、人工参考解与验证测试；它是理解 Terminal-Bench-Science 工程设计的背景材料。
把科学家实际需要完成的计算工作包装为可执行终端任务。v0.1.0 收录 70 个任务，覆盖生命、物理、地球、数学与工程科学；核心不是回答知识题，而是在受控环境里产出满足科学约束的文件、数值结果或程序。
以自然语言多条件查询检验 agent 从 NCBI Virus 检索病毒序列并返回正确数量的能力，重点是元数据过滤、分页与确定性数据访问。
| 文章 / 基准名称 | 提出机构 | 时间 | 引用数 | 知名大模型厂商引用 / 采用 | 原文链接 | 数据集 / 项目链接 | 涉及学科 | 数据规模 | 输入格式 | 输入样例 | 输出格式 | 输出样例 | 是否允许 train | 单个样本评测所需时间预估 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Agents’ Last Exam | UC Berkeley RDI；RDI Foundation | 2026-06-03 首发；v2 2026-06-11；v3 2026-10-09 | 0 · OpenAlex · 2026-10-12 | 厂商采用待核实 | ALE 官方项目页 ALE 官方仓库 ALE arXiv论文与版本历史 ALE 数据许可 | ALE 官方项目页 ALE 官方仓库 ALE 数据许可 | 通用、工程、计算机、生物、地球科学 | 约150个公开任务；收集池1,500+ | 任务卡（task_prompt.md/JSON 元数据）+ staged 输入文件（CSV/XLSX/图片/GeoPackage 等）+ 软件环境说明；VM/容器中执行 | 供稿实例转录，尚未逐记录复核：读取 base\input\seq1524_d02.gpkg 的图层 seq1524_d02、task_prompt.md 和 runtime_env/requirements.txt；按 brief 计算每个 id_lcp 的 8 个审计字段，并保持输出 CRS=EPSG:2154。来源中的实例 / 文件契约 | 在 output/ 写入可评分文件和轨迹；示例要求输出 eligible_units.gpkg、flagged_units.gpkg，图层名分别为 eligible_units、flagged_units。 | 供稿实例转录，尚未逐记录复核：该任务卡要求的真实结果文件为 base\output\eligible_units.gpkg（图层 eligible_units）和 flagged_units.gpkg，均保留原始几何/字段并附 8 个审计字段；reference/ground-truth 输出受 gated 限制，公开文件未给出可抄录的行数或标签数值。来源中的实例 / 文件契约 | 公开任务许可与评测隔离须区分任务内建模：专业任务可运行工具、编写代码；若具体任务要求拟合预测模型，应按任务卡执行。 | 按任务与harness设置；未核验统一时长供稿估算（待复核）：约 30 分钟–数小时/任务；复杂长程任务可达 8 小时以上（官方不设统一固定时长）尚无统一时长 |
| Aviary | FutureHouse；University of Rochester；Francis Crick Institute | 2024-12-30（论文首次提交） | 10 · OpenAlex · 2026-10-12 | 大模型厂商采用待核验 | Aviary 官方论文 Aviary 论文日期 FutureHouse Aviary官方仓库 | FutureHouse Aviary官方仓库 | 科学文献问答、分子克隆、蛋白稳定性、通用问答、数学 | 论文实现5种环境，其中3种科学环境 | 环境初始观察、自然语言任务、工具接口；可附文献、DNA构件或蛋白数据 | 根据给定蛋白与质粒信息，规划在酵母中表达的GFP融合克隆方案。格式示意，非原题与标准答案 | 工具调用轨迹及环境指定答案/构件方案/蛋白突变候选；环境返回观测与奖励 | 克隆方案与相应工具执行结果，或文献问题的最终选项；输出形式随环境变化。格式示意，非原题与标准答案 | 明确支持agent训练；保留独立测试任务内建模：可调用科学工具或预测器执行任务；环境反馈优化外层agent与任务内拟合需要分别报告。 | 随环境和推理方案变化尚无统一时长 |
| BioML-bench | Shift Bioscience；University of Cambridge；ScienceMachine；University of Toronto；Vector Institute | 2025-09-04 bioRxiv首发；v2 2025-09-07 | 6 · OpenAlex · 2026-10-12 | 厂商采用待核实 | BioML-bench 官方仓库 BioML-bench 官方论文v2全文 BioML-bench 官方作者单位与版本历史 | BioML-bench 官方仓库 | 生物、医学、化学、计算机 | 24个任务（供稿v0.1a口径） | Docker task capsule：任务描述 + train.* + test_features.* + sample_submission.*；代理在容器内读数据、建模并提交预测 | 供稿实例转录，尚未逐记录复核：train.csv 列为 Drug（SMILES）和 Y，test_features.csv 列为 id、Drug，任务是由 Drug SMILES 预测 Caco-2 effective permeability；公开 task YAML 为 caco2-wang。来源中的实例 / 文件契约 | submission.csv 或 submission.h5ad 等预测文件；按任务指标自动评分（如 MAE、AUROC、Spearman） | 供稿实例转录，尚未逐记录复核：真实公开模板为 sample_submission.csv，列为 id,Y，初始化首行是 0,0.0；评分目标为 mean_absolute_error，answers.csv 中的测试标签属于 private 文件。来源中的实例 / 文件契约 | 代理权重训练政策待核实任务内建模：任务内训练预测模型是核心流程；使用公开训练集，不能使用私有测试标签。 | 其他任务CPU预算8小时；成像GPU预算16小时官方预算 / 配置上限 |
| BioMysteryBench | Anthropic | 2026-04-29 官方公告；2026-07-06 v11 | 待核验 | Anthropic 提出并评测 Claude | Anthropic 官方介绍 完整数据与访问条件 5 题预览数据 官方预览使用条件与示例 官方修订记录快照 | 完整数据与访问条件 5 题预览数据 官方预览使用条件与示例 | 生物信息、结构生物学、测序、表达、变异与调控 | v11 共 90 题（初版 99 题）；公开预览 5 题 | 问题与匿名化数据文件；环境可提供常用工具，并按规则访问标准生物数据库或安装分析工具。answer_rubric 含参考答案，应放在评测端而不是 solver 输入中。 | 预览 hb020：给定匿名晶体结构数据，识别所属物种，按双名法回答。来源中的实例 / 文件契约 | 最终生物学答案与可审查的求解轨迹。不同分析路线均可得分，但必须同时满足正确性与无违规追溯数据源的条件。 | 一个物种双名及求解证据；参考答案留在 evaluator，不能随 solver 输入提供。来源中的实例 / 文件契约 | 仅评估；禁止训练/微调/RL/蒸馏任务内建模：依题目进行生物数据分析或参数估计；未取得任务内新建预测模型训练的统一规则，不据此扩大其仅评测许可。 | 单题端到端耗时未核实尚无统一时长 |
| BrowseComp | OpenAI | 2025-04-10（官方发布） | 2 · OpenAlex · 2026-10-12 | OpenAI 提出 | OpenAI BrowseComp 发布页 BrowseComp 论文 | 见原文与项目来源 | 网页检索、多步浏览、信息查证 | 1,266 个问题 | 需要多步网络检索的自然语言问题 | 根据若干跨网页线索定位一个人物、事件或作品。（结构示意，非数据集原题。）格式示意，非原题与标准答案 | 简短、尽可能唯一且可核验的最终答案 | <准确的实体名或短事实答案>（结构示意）。格式示意，非原题与标准答案 | 防止测试题进入训练语料任务内建模：任务内浏览和证据整理，不等于agent权重训练。 | 没有统一单题耗时尚无统一时长 |
| ChemBench | Friedrich Schiller University Jena；HIPOLE Jena；CSIC；EPFL；University of Cambridge；University of Bayreuth；Intel Labs | 2024-04-01 arXiv首发；供稿期刊发表2025-05-20 | 84 · OpenAlex · 2026-10-12 | 厂商采用待核实 | ChemBench 官方数据集 ChemBench 官方仓库 ChemBench arXiv首发 ChemBench 论文全文 Nature Chemistry期刊版本（供稿链接） | ChemBench 官方数据集 ChemBench 官方仓库 | 化学、材料 | 2,700+题；供稿论文口径2,788 | JSON/Parquet：examples.input与target或target_scores、领域标签及评分指标。 | 已读公开数据实例询问弱碱溶液的触感；选项为Dry、Gritty、Slippery、Sticky。来源中的实例 / 文件契约 | 模型返回选项/文字答案；评分器对照target或target_scores。 | 该公开记录将Slippery的target_score设为1，其他选项为0。原表苯胺反应实例完整保留，尚未逐记录复核。来源中的实例 / 文件契约 | 仅用于评测，不得训练或微调任务内建模：不是提供监督拟合train split的预测建模任务。 | 未核验统一单题耗时供稿估算（待复核）：选择题通常 <2 分钟；需要化学推理/工具的开放题约 2–10 分钟尚无统一时长 |
| FrontierScience | OpenAI | 2025-12-16 官方首发；供稿论文日期2026-01-29 | 1 · OpenAlex · 2026-10-12 | OpenAI提出并发布 | OpenAI FrontierScience 官方发布 OpenAI 官方数据集 | OpenAI 官方数据集 | 物理、化学、生物 | 160道公开gold题；完整评测700+ | JSON文本题：problem、answer、subject、task_group_id；推理时不提供answer。 | 公开数据首行是介电体内能题：给定U(T,P)=CT+f(P)，在Curie定律条件下求内能；subject为physics。来源中的实例 / 文件契约 | Olympiad为短答案/表达式；Research为文字解答，由rubric评分。 | 介电体题的数据集answer为U=CT；原字段尾部带有引号字符。Research成功阈值为rubric至少7/10分。来源中的实例 / 文件契约 | 评测集不得进入训练语料任务内建模：题目求解不是独立的预测模型训练任务；不应把公开gold答案当作训练集。 | 未核验统一代理耗时供稿估算（待复核）：Olympiad 通常分钟至 1 小时；Research 专家预计至少 3–5 小时/题（论文明确）尚无统一时长 |
| Humanity’s Last Exam（HLE） | Center for AI Safety；Scale AI | 2025-01-24（论文首次提交） | 45 · OpenAlex · 2026-10-12 | OpenAI 官方采用 | HLE 官方论文 HLE 论文版本日期 CAIS 官方数据卡 OpenAI GPT-5 发布页 | CAIS 官方数据卡 | 数学、自然科学、人文、多学科 | 2,500 道公开题；另有私有保留集 | 文本问题；约14%题目含图像；选择题或精确短答 | 某一高难学术问题及可选配图，要求给出可判定的短答案。格式示意，非原题与标准答案 | 短答案/选项，并可报告解释与置信度 | Exact Answer: <答案>；Confidence: <置信度>（格式示意，无真实答案）。格式示意，非原题与标准答案 | 正式测试题应隔离任务内建模：任务本身是问答，不涉及训练下游科学模型。 | 总评测耗时待核验尚无统一时长 |
| InfiniteScienceGym | University of Utah | 2026-04-14 首发；v2 2026-08-10；COLM 2026 | 0 · OpenAlex · 2026-10-12 | 厂商采用待核实 | InfiniteScienceGym 官方项目页 InfiniteScienceGym 官方仓库 InfiniteScienceGym 论文 InfiniteScienceGym 首发与版本 | InfiniteScienceGym 官方项目页 InfiniteScienceGym 官方仓库 | 生物、化学、物理、工程、通用 | 可程序生成；500题实验样本 | 随机种子生成的repository + 问题 + 文件系统/分析工具。 | 官方页给出按耦合强度、试验编号和数据阈值筛选后计算相位相干方差的问题，要求从仓库数据判断其是否可回答。来源中的实例 / 文件契约 | 答案字符串，或明确判断信息不足。 | 必须依据该种子仓库的实际数据给出答案；官网此实例未展示可抄录的单一数值答案。供稿行数163尚未逐记录核验，保留于originalRow。未取得可核验实例 | 生成器可复用；代理训练政策未明确任务内建模：可用分析工具拟合或计算任务需要的统计量；特权生成元数据和QA真值不向被测代理暴露。 | 未公布本次可核验的单题耗时供稿估算（待复核）：单题通常数十秒–数分钟；含多步 MCP/分析时约 5–15 分钟（取决于模型和工具调用）尚无统一时长 |
| LAB-Bench | FutureHouse | 2024-07-14 首发；v3 2024-07-17 | 18 · OpenAlex · 2026-10-12 | 厂商采用待核实 | LAB-Bench 官方仓库 LAB-Bench 首发与论文 | LAB-Bench 官方仓库 | 生物、医学 | 2,457道题；8大类、30子任务 | AgentInput包含question、choices，以及FigQA/TableQA需要的figures。 | 接口示意：question为一道生物研究多选题，choices提供选项，图表题另含PIL图像列表；原表FigQA/DbQA实例保留于originalRow，尚未逐记录验证。格式示意，非原题与标准答案 | 单字符选项字母。 | 官方harness演示返回A；这是演示占位，不能视为某一道FigQA或DbQA的标准答案。格式示意，非原题与标准答案 | 评测数据应从模型训练中排除任务内建模：主要是答题与检索，不是提供监督训练集的预测建模任务。 | 单题耗时未统一核验供稿估算（待复核）：简单题通常 <10 分钟；论文特别指出较难题可能需要受训分子生物学家 >10 分钟尚无统一时长 |
| MLE-bench | OpenAI | 2024-10-09 论文首发；ICLR 2025 | 7 · OpenAlex · 2026-10-12 | OpenAI提出并发布 | MLE-bench 官方仓库 MLE-bench 论文与首发 | MLE-bench 官方仓库 | 计算机、通用 | 75个竞赛；Lite为22个 | 竞赛说明、公开训练数据和测试特征；准备脚本从公开数据重新划分train/test。 | 官方README提供spaceship-titanic作为提交评分接口示例；具体模型输入取决于竞赛。原表ventilator压力任务字段保留在originalRow。来源中的实例 / 文件契约 | 符合竞赛说明的预测CSV，JSONL清单给出competition_id与submission_path。 | 接口示意：{"competition_id":"spaceship-titanic","submission_path":"/path/to/submission.csv"}。这里展示提交元数据，不编造测试集正确标签。格式示意，非原题与标准答案 | 允许任务内拟合；代理训练政策需另查任务内建模：允许且是核心能力：用公开训练集训练预测模型；遵守竞赛规则与泄漏审查。 | 官方比较预算24小时/竞赛官方预算 / 配置上限 |
| MLGym-Bench（MLGym） | Meta；University College London；University of California, Santa Barbara；University of Wisconsin–Madison；University of Oxford | 2025-02-20（论文首次提交） | 4 · OpenAlex · 2026-10-12 | Meta 提出 | MLGym 官方论文 MLGym 首次提交日期 Meta 官方MLGym仓库 | Meta 官方MLGym仓库 | 计算机视觉、自然语言处理、强化学习、博弈论、算法推理 | 13 个开放式研究任务 | 任务说明、数据集、基线代码和可执行的Gym/Docker环境 | 在Fashion MNIST任务中，从给定双层CNN基线出发修改架构与超参数。格式示意，非原题与标准答案 | 任务指定的模型、算法、代码或预测等提交产物；执行评测产生任务指标 | 提交训练和推理实现，评测返回分类准确率；其他任务可返回奖励、BLEU或求解时间。格式示意，非原题与标准答案 | 框架支持训练agent；需另设干净测试任务内建模：任务内部训练分类器、语言模型或RL策略是被评测工作的一部分，与外层LLM agent权重训练不同。 | 论文报告部分任务平均约0.5–4小时论文特定配置运行时间 |
| PaperBench | OpenAI | 2025-04-02 首发；供稿v3 2025-04-07 | 待核验；供稿 4（统计来源 / 日期未确认） | OpenAI提出并发布 | OpenAI PaperBench 官方发布 PaperBench 原论文 PaperBench 当前官方实现 PaperBench 官方README | PaperBench 当前官方实现 PaperBench 官方README | 计算机 | 20篇论文；8,316个可评分叶任务 | 论文PDF/Markdown、作者澄清addendum与任务指令；rubric用于评分。 | 原论文实验工作区包含目标论文、addendum与指令；RICE是20篇目标论文之一。原作者代码仓库及其他在线复现受逐论文黑名单限制。来源中的实例 / 文件契约 | 提交代码库与reproduce.sh；新容器执行后收集日志和产物，再按rubric打分。 | 需要可在干净环境执行的reproduce.sh和代码；评分区分代码实现、执行证据与结果匹配，并非返回一个标准数值答案。来源中的实例 / 文件契约 | 任务内实验训练允许；代理训练须隔离评测任务内建模：允许：按照目标论文训练/微调模型或运行RL实验；不能以原论文代码替代从零实现。 | 原论文代理预算12小时/篇官方预算 / 配置上限 |
| ResearchClawBench | Shanghai Artificial Intelligence Laboratory | 2026-05-28 首次预印本；2026-07-03 v5 | 0 · OpenAlex · 2026-10-12 | 厂商采用情况未核实 | 原论文 官方仓库 官方数据 官网与榜单 本地原论文与官方协议证据 | 官方仓库 官方数据 官网与榜单 | 天文、化学、地球科学、能源、信息科学、生命科学、材料、数学、神经科学、物理 | 40 题（论文主集）；HF 镜像另有 17 题社区任务 | 标准化工作区中的 INSTRUCTIONS.md、data/、related_work/ 等研究材料。评分侧另持有目标论文提取的加权 rubric、关键技术点和目标图像。 | 论文 Table 1 / Astronomy_000：原始观测后验样本与相关文献，用黑洞超辐射约束超轻玻色子参数。来源中的实例 / 文件契约 | report/report.md、生成的图表、代码与计算输出；评估运行还记录元数据、agent 轨迹、分项理由和总分。 | 研究报告及约束曲线、代码和计算证据；目标论文及其评分 rubric 不作为 solver 输入。来源中的实例 / 文件契约 | 训练政策未核实任务内建模：部分研究目标可涉及模型开发、拟合与实验；以各任务工作区说明为准，不能使用隐藏目标论文或rubric充当训练答案。 | 单题端到端耗时未核实尚无统一时长 |
| ResearchGym | TCS Research；Yale University | 2026-02-16（论文首次提交；已读v2） | 1 · OpenAlex · 2026-10-12 | 厂商采用待核验 | ResearchGym 官方论文v2 ResearchGym 版本历史 | 见原文与项目来源 | 机器学习研究、材料文本、持续学习、跨模态检索、时间序列解释 | 5 个容器化环境，39 个子任务 | 隔离容器、论文仓库裁剪版本、数据、基线、目标指标、资源预算；隐藏提出的方法 | 在材料领域tokenization环境中，改进若干材料文本任务的F1等指标。格式示意，非原题与标准答案 | 可执行方法实现、实验产物与待填结果表，使用继承自源论文的执行式评分器 | 提交新方法代码和各子任务实验结果，由评分器计算相对于基线的表现。格式示意，非原题与标准答案 | agent权重训练许可/标准划分待核验任务内建模：任务内训练和微调研究对象模型属于允许的实验活动；不等于允许用测试答案训练外层agent。 | 每环境12小时；扩展/CLI评测24小时官方预算 / 配置上限 |
| SciAgentGym / SciAgentBench | Fudan University / Fudan NLP Group | 2026-02-13（论文首次提交；已读v2） | 0 · OpenAlex · 2026-10-12 | 厂商采用待核验 | SciAgentGym 官方论文v2 SciAgentGym 版本历史 | 见原文与项目来源 | 物理、化学、材料科学、生命科学 | 259 个任务、1,134 个子问题；1,780 个工具 | 科学问题与子问题、可选图片/结构数据、领域工具接口和隔离文件系统 | 分析薄膜干涉问题，结合推导与数值/可视化工具完成各子问题。格式示意，非原题与标准答案 | 各子问题答案和工具调用轨迹；报告整题成功率SR及路径效率SPL | 按顺序返回各子问题答案；只有全部子问题正确才算整题成功。格式示意，非原题与标准答案 | Gym支持合成训练；Bench测试题政策待核验任务内建模：任务内调用Gym工具、执行数值计算属于求解活动；SciForge合成轨迹后更新agent权重属于外层训练；SciAgentBench测试题与答案应另行管理并披露训练重合。 | 单任务batch超时上限20分钟官方预算 / 配置上限 |
| SciCode | University of Illinois Urbana-Champaign；Argonne National Laboratory；Carnegie Mellon University；Massachusetts Institute of Technology；Harvard University；University of Chicago；Princeton University | 2024-07-18 arXiv首发 | 3 · OpenAlex · 2026-10-12 | 厂商采用待核实 | SciCode 官方项目页 SciCode 官方Haldane实例 SciCode 首发与论文 SciCode 论文全文 | SciCode 官方项目页 SciCode 官方Haldane实例 | 数学、物理、化学、生物、材料、计算机 | 80 主问题 / 338 子问题；测试集 65 / 288 | 科学问题说明、函数签名、前序子问题代码，可选科学背景与测试案例。 | 官方实例要求扫描Haldane模型的m/t2与相位参数，输入delta、a、t1、t2与N，生成计算Chern数的代码。来源中的实例 / 文件契约 | 可执行Python函数与集成程序，通过数值/科学测试。 | 官方Haldane实例规定返回形状(N,N)的Chern数矩阵，以及长度N的m_values、phi_values；此处不臆造某组参数下的数值。来源中的实例 / 文件契约 | 独立评测使用；禁训政策未明示核验任务内建模：科学计算任务以程序求解与测试为主；是否拟合模型取决于具体题目。 | 未核验统一单题运行时间供稿估算（待复核）：单个 subproblem 通常数分钟；完整主问题需组合多个函数和测试，约 15–60 分钟尚无统一时长 |
| SciCode-Verified | University of Science and Technology of China / Hefei National Laboratory；Harbin Engineering University；Institute of Theoretical Physics, Chinese Academy of Sciences | 2026-08-05（论文首次提交；数据v2） | 0 · OpenAlex · 2026-10-12 | 厂商采用待核验 | SciCode-Verified 官方论文正文 SciCode-Verified arXiv摘要与日期 SciCode-Verified 官方仓库 | SciCode-Verified 官方仓库 | 科学编程、物理、数学、数值计算 | 当前v2：64个主问题、287个评分子问题 | 修订后的科学问题、函数接口、子问题与可选专家背景；累计使用前序解答 | 实现科学数值函数，并遵守明确的符号、索引和边界条件；是否给背景作为独立设置。格式示意，非原题与标准答案 | 可执行Python函数；按子问题测试并汇总主问题全通过率 | 生成函数实现，由固定依赖环境执行测试；同一主问题全部计分子问题通过才判成功。格式示意，非原题与标准答案 | 测试集权重训练政策待核验任务内建模：生成代码、运行数值计算与调试属于任务内求解，和使用测试参考解训练模型不同。 | 完整评测耗时待核验尚无统一时长 |
| ScienceAgentBench | The Ohio State University；University of Wisconsin–Madison | 2024-10-07 首次预印本；ICLR 2025 | 6 · OpenAlex · 2026-10-12 | 厂商采用情况未核实 | 原论文 官方仓库 HF 数据与 verified 说明 项目页 本地原论文证据 | 官方仓库 HF 数据与 verified 说明 项目页 | 生物信息、计算化学、地理信息、心理与认知神经 | 102 题（取自 44 篇论文） | 自然语言任务描述、领域背景和数据文件；需提交一份自包含Python程序。原论文Figure 2的Clintox任务给出训练CSV与测试CSV。 | 任务：利用训练数据预测Clintox测试集的FDA_APPROVED与CT_TOX标签。 训练：clintox_train.csv（smiles, FDA_APPROVED, CT_TOX） 测试：clintox_test.csv（smiles）来源中的实例 / 文件契约 | 自包含 Python 程序与按任务要求保存的预测、数据或图像文件；只在回答里描述分析过程不满足程序与产物要求。 | 编写并执行独立Python程序：读取SMILES，构建并拟合下游模型，预测测试集标签。 输出文件：pred_results/clintox_test_pred.csv 列：FDA_APPROVED, CT_TOX 此处展示论文给出的文件契约，不转录隐藏测试标签。来源中的实例 / 文件契约 | 训练政策未核实任务内建模：部分Model Development任务明确要求在提供的训练集上拟合下游模型；这不等于允许用基准答案训练外层Agent。 | 未报告统一端到端耗时；程序筛选要求 ≤10 分钟尚无统一时长 |
| SGI-Bench | Shanghai Artificial Intelligence Laboratory | 2025-12-18 首次预印本 | 0 · OpenAlex · 2026-10-12 | 厂商采用情况未核实 | 原论文 官方仓库 官方数据合集 项目页 原论文文本证据 | 官方仓库 官方数据合集 项目页 | 跨学科科学探究、10 个学科、75 个研究方向 | 1,000+ 专家整理样本 | 随任务类别变化的研究问题、背景/文献、计算要求、协议要求或实验图像。SGIEvalAgent 提供问题选择、指标定制、推理评估和报告生成的评测工作流。 | 说明性示例：针对一个科研问题和背景文献，生成结构化研究构想；其他子任务可输入实验图像或代码要求。格式示意，非原题与标准答案 | 短答案及推理步骤、结构化想法、可运行代码、实验操作序列或图像推理答案，具体取决于子任务。 | 说明性示例：包含假设、方法与验证设计的想法；干实验交代码，湿实验交操作序列，实验推理交答案。格式示意，非原题与标准答案 | 训练政策未核实任务内建模：干实验任务可能要求模型训练或数值拟合，湿实验部分主要交付流程；依各子任务约束，不推导Agent权重训练许可。 | 单题端到端耗时未核实尚无统一时长 |
| SWE-bench Science | Shanghai Innovation Institute（上海创智学院）；Fudan University（复旦大学） | 2026-08-20 首次预印本 | 0 · OpenAlex · 2026-10-12 | 厂商采用情况未核实 | 原论文 官方仓库 官方数据入口 官网与榜单 官方发布 manifest 与 README 论文首页机构摘录 | 官方仓库 官方数据入口 官网与榜单 官方发布 manifest 与 README | 科学软件工程、20 个科学领域 | 119 题（默认 96 + 需授权 23） | 任务说明、固定源码基线、公开测试数据和依赖环境。任务 manifest 指定环境与 verifier 的不可变镜像引用，runner 在运行时选择并安装 agent harness。 | task_001：Repair an inconsistent transition-state rotor workflow；仓库 Auto-Mech/autochem 与固定 base_commit。来源中的实例 / 文件契约 | 候选代码补丁 model.patch，以及 runner 保存的运行配置和结果文件；verifier 在干净基线上应用补丁，必要时重新编译后测试。 | model.patch，以及 runner 保存的执行配置、测试与评分结果。来源中的实例 / 文件契约 | 训练政策未核实任务内建模：以科研软件代码修改为任务；是否需要模型拟合由具体仓库与任务说明决定，不作统一允许推断。 | 单题端到端耗时未核实尚无统一时长 |
| Terminal-Bench 2.0 | Stanford University；Laude Institute；Anthropic | 2026-01-17 论文首次预印本；非软件首次发布日 | 2 · OpenAlex · 2026-10-12 | Anthropic 作者参与提出；独立采用待核验 | 原论文 官方网站 原论文任务与耗时说明 | 见原文与项目来源 | 软件工程、系统管理、科学计算、通用终端工作流 | 89 题（2.0） | 每题特定的容器环境、文件、工具与自然语言说明，执行器提供终端交互和运行记录。 | 说明性示例：在给定容器内修复一个构建失败的软件项目，并满足任务规定的测试。格式示意，非原题与标准答案 | 任务规定的文件、程序、服务状态或其他环境产物，并由对应测试验证。 | 说明性示例：修复后的代码、文件或服务状态；由测试检查最终容器状态。格式示意，非原题与标准答案 | 训练政策未核实任务内建模：依具体终端任务；模型拟合、科学计算与程序实现可能是交付内容，但不得将隐藏verifier或参考解作为训练数据。 | 单题端到端耗时未核实尚无统一时长 |
| Terminal-Bench-Science | Stanford University；Laude Institute | 2026-08（软件引用月份；确切日未核实） | 待核验 | 厂商提供 API 支持；引用 / 采用待核验 | 官方仓库 固定发行版 v0.1.0 官方发布说明 官网与榜单 v0.1.0 示例任务与运行预算 | 官方仓库 固定发行版 v0.1.0 v0.1.0 示例任务与运行预算 | 生命科学、物理科学、地球科学、数学、工程科学 | 70 题（v0.1.0） | instruction.md、task.toml、environment/ 中的容器环境及任务数据；网络、资源与时限由每个任务的配置约束。 | masked-spherical-remap：修复球面网格保守重映射器；输入 mesh.json 与 fields.npz。来源中的实例 / 文件契约 | 任务声明的结果文件、模型、程序或其他可检查的环境状态；具体交付契约由 instruction.md 与 tests/ 对齐定义。 | 提交 /root/results/submission/remapper.py；运行后输出含 cell_mean、cell_total 等约定数组的 NPZ。来源中的实例 / 文件契约 | 禁止进入训练语料任务内建模：依具体终端任务；模型拟合、科学计算与程序实现可能是交付内容，但不得将隐藏verifier或参考解作为训练数据。 | 单题 agent 预算上限 480 分钟官方预算 / 配置上限 |
| VirBench | Hasso Plattner Institute / University of Potsdam；Broad Institute of MIT and Harvard；FutureHouse；NCBI / NIH；Anthropic | 2026-06-04（论文首次提交） | 0 · OpenAlex · 2026-10-12 | Anthropic 参与提出 | VirBench 官方论文 VirBench 官方仓库 Anthropic 官方研究介绍 | VirBench 官方仓库 | 病毒基因组学、生物信息学、数据库检索 | 120 个查询，覆盖40种病原体 | 结构化自然语言查询：TaxID/登录号，加宿主、地区、时间、长度等过滤条件 | 检索某病毒、某宿主和地区范围内，满足发布日期与序列长度限制的NCBI序列。格式示意，非原题与标准答案 | 满足全部条件的最终序列数；检索工具可同时生成序列与元数据文件 | 匹配序列数：<根据实际检索得到的整数>（不提供编造计数）。格式示意，非原题与标准答案 | 完整测试集未公开，以避免训练污染任务内建模：任务内只进行查询、过滤与计数；无需训练预测模型。 | 完整任务耗时待核验尚无统一时长 |
试着减少筛选条件，或搜索更宽泛的学科名称。