本页目录
EVIDENCE & FIELD DEFINITIONS字段口径与来源
让版本、来源、未知项与估算依据随资料一起展示,便于选择基准和继续补充。
收录范围
合并原有 benchmark 目录、子玲的 9 条表格、benchmark Markdown 清单与 PPT 中的补充基准。重复名称按项目去重,SciCode-Verified 保留独立版本卡;MLE-bench Lite、PaperBench Code-Dev、FS-R、HLE-Biomedicine 作为子集或协议说明。Aviary 归为环境框架,SciAgentGym / SciAgentBench 合并为一个项目,SciForge 仅记为训练方法。LifeSciBench、GeneBench-Pro 只有历史名称线索,尚无足够原始资料,未并入目录。
15 个字段的对应关系
目录对应供稿表格的 15 列:名称、提出机构、时间、引用数、厂商引用、原文链接、数据集链接、学科、数据规模、输入格式、输入样例、输出格式、输出样例、是否允许 train、单样本时间。首页字段表可切换完整字段;每个详情页始终展示全部资料。
时间与版本
优先记首次公开提出时间,另注明论文、期刊和仓库版本。只确认到月份时保留月份,不补造日期。资料整理日不是论文发表日;来源旁“本次在线读取”仅表示该页本次确实读到,不意味着运行过数据或环境。
引用数
本次按DOI核对OpenAlex,21个条目已取得带记录链接和2026-10-12统计日期的计数,公开响应摘录保存在data/citation-snapshot.json。ChemBench采用期刊记录,HLE采用数据库合并后的Nature记录,不与预印本计数相加。原表的9个数值原样保留在reportedCount / originalRow,因未提供统计口径和日期,不作为当前引用数或排序依据。OpenAlex计数为0只表示该库当前记录为0;未匹配、没有独立论文与无人引用是不同情况。剩余条目保留空值,数据存在收录延迟。
大模型厂商引用 / 采用
区分三种状态:有厂商公开引用 / 采用证据、厂商为基准提出方、尚未确认。证据需能连接到厂商报告、论文或评测页;作者拿 GPT、Claude 等做实验,不等于厂商引用了该工作。厂商提供 API credits 仅是支持关系,不算引用。提出方和引用方可同时存在,详情页列出实际关系。
是否允许 train
主状态针对用该基准题目、轨迹或答案训练 / 微调 / RL / 蒸馏 Agent 权重。明确许可才记允许;明确禁止或有测试集保留 / 污染限制记受限;未见明确许可记尚未确认。另列“任务内模型拟合 / 训练”,用于说明在 MLE、BioML 等任务中训练预测模型。代码开源、数据可下载、带 train split 或作者做过训练,不自动授予全部测试资产的权重训练许可。法律许可与评测有效性都需按来源确认。
单个样本的评测时间
样本单位沿用每个基准定义:一道问答、一次代码任务、一场竞赛或一篇论文复现。官方论文预算 / task.toml 时限只是运行预算或上限;论文特定配置的实测分布另作标注。供稿原始时间描述单列为待复核线索,其中人类专家工时和子程序时长不代表Agent端到端耗时。供稿未给模型 / 硬件的估算不补造假设,也不包装为官方测量值。其余没有依据时记未知。本次没有启动容器、训练模型或重跑基准。
输入输出样例
优先用公开任务中的题面、真实字段或文件契约;公开来源只有产物规范时展示规范,不编造预测结果或隐藏答案。教学格式示意单独标注“非原题与标准答案”。gated 数据、隐藏 rubrics 和参考答案不因列入目录而复制公开。
成绩的可比性
已取得 12 个基准的 797 条数值成绩,另保留 13 条缺失值记录及其来源;历史快照、比较组与协议分别保留。只在同一数据版本、子集、指标、预算、工具和重复统计下比较;不同基准之间没有统一总榜。新介绍页可能记录更新的官方规则,成绩页以各组实验快照为准。其他条目不生成未经核验的排行榜。
独立部署与维护
此目录包含全部 HTML、CSS、JavaScript 和必要的小型证据,不依赖父级站点或 CDN。可直接打开 index.html,也可把整个 servers 目录作为静态网站根目录部署到任意子路径。所有筛选与比较在浏览器本地进行;无需账户和后端。资料维护时修改 data/core.json、supplement.json、extended.json;成绩维护时保留 benchmark-results.base.json 并编辑 benchmark-results.supplement.json,再执行 python3 tools/build.py。