ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/成绩对照矩阵/BioML-bench 成绩
本页目录

SCIENCE BENCHMARKS / RESULTS

BioML-bench 成绩

24个端到端生物医学ML任务；分别报告性能、排名和有效交付率。

基准官方网站 ↗ · 成绩矩阵 · 基准介绍

每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。

失败记零 · Leaderboard percentile

版本
bioRxiv2025.09.01.673319v2
赛道
all domains
数据集
penalized
任务数
24
主指标
Leaderboard percentile
统计口径
4 independent replicates per agent-task; aggregate as Table2

原指标为百分位，越高越好；不是准确率。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Table2；imaging:1 NVIDIA L4,16vCPU,64GB,16h；其他CPU同规格8h。后端按agent保留。±类型未明确。

5 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。

BioML-bench · 失败记零 · Leaderboard percentile；仅主指标有数值的记录排名，并列采用 1、1、3。
配置与证据
1Claude Sonnet 4Biomni · 0.0.5未报告34.45%
配置、误差与来源

配置说明：供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。

工具：未报告 · 预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB

误差：Table2 reports ±; uncertainty type not explicitly defined in table caption.；类型：reported_unspecified；±5.36

成绩位置：Table2 penalized; Agent=Biomni; column=Leaderboard percentile

  • 位置：§§3.3–3.4、Table2（PDF pp4–5）发布日期：2025-09-07读取日期：2026-10-12备注：供稿Blueprint p11；原文Table2核验全部45个指标值。Table2未明确±类型，不将Figure2的SEM定义外推到表。本地证据
2GPT-4.1AIDE · 6.3.3未报告28.5%
配置、误差与来源

配置说明：供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。

工具：未报告 · 预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB

误差：Table2 reports ±; uncertainty type not explicitly defined in table caption.；类型：reported_unspecified；±5.22

成绩位置：Table2 penalized; Agent=AIDE; column=Leaderboard percentile

  • 位置：§§3.3–3.4、Table2（PDF pp4–5）发布日期：2025-09-07读取日期：2026-10-12备注：供稿Blueprint p11；原文Table2核验全部45个指标值。Table2未明确±类型，不将Figure2的SEM定义外推到表。本地证据
3GPT-4.1MLAgentBench未报告21.43%
配置、误差与来源

配置说明：供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。

工具：未报告 · 预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB

误差：Table2 reports ±; uncertainty type not explicitly defined in table caption.；类型：reported_unspecified；±4.4

成绩位置：Table2 penalized; Agent=MLAgentBench; column=Leaderboard percentile

  • 位置：§§3.3–3.4、Table2（PDF pp4–5）发布日期：2025-09-07读取日期：2026-10-12备注：供稿Blueprint p11；原文Table2核验全部45个指标值。Table2未明确±类型，不将Figure2的SEM定义外推到表。本地证据
4基座未公开STELLA未报告20.61%
配置、误差与来源

配置说明：供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。；原文仅写OpenRouter default，未明确模型名称/快照，不补猜。

工具：未报告 · 预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB

误差：Table2 reports ±; uncertainty type not explicitly defined in table caption.；类型：reported_unspecified；±5.41

成绩位置：Table2 penalized; Agent=STELLA; column=Leaderboard percentile

  • 位置：§§3.3–3.4、Table2（PDF pp4–5）发布日期：2025-09-07读取日期：2026-10-12备注：供稿Blueprint p11；原文Table2核验全部45个指标值。Table2未明确±类型，不将Figure2的SEM定义外推到表。本地证据
5Dummy（随机 / 零预测）Dummy未报告2.5%
配置、误差与来源

配置说明：供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。；非LLM基线：按任务生成随机或零预测。

工具：未报告 · 预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB

误差：Table2 reports ±; uncertainty type not explicitly defined in table caption.；类型：reported_unspecified；±1.16

成绩位置：Table2 penalized; Agent=Dummy; column=Leaderboard percentile

  • 位置：§§3.3–3.4、Table2（PDF pp4–5）发布日期：2025-09-07读取日期：2026-10-12备注：供稿Blueprint p11；原文Table2核验全部45个指标值。Table2未明确±类型，不将Figure2的SEM定义外推到表。本地证据
查看本组前 10 条成绩

辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。

本组来源

  • 位置：§§3.3–3.4、Table2（PDF pp4–5）发布日期：2025-09-07读取日期：2026-10-12备注：供稿Blueprint p11；原文Table2核验全部45个指标值。Table2未明确±类型，不将Figure2的SEM定义外推到表。本地证据

阅读边界

  • 不同agent后端不同，不能将结果差异归因于脚手架。
  • penalized失败记零；non-penalized排除失败。Table2的±类型未明确。
  • Dummy为不含LLM的非信息性预测基线，单独标示。

来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。