ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/成绩对照矩阵/MLE-bench 成绩
本页目录

SCIENCE BENCHMARKS / RESULTS

MLE-bench 成绩

75个离线Kaggle竞赛，以提交质量和获奖比例评估ML工程agent。

基准官方网站 ↗ · 成绩矩阵 · 基准介绍

每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。

原论文 · 24h · Any medal

版本
arXiv2410.07095v6
赛道
standard hardware
数据集
all75
任务数
75
主指标
Any medal
统计口径
mean over seeds; seed count varies by configuration

未报告

同一来源内比较；运行条件差异仍须结合每行配置解释。

每次24h/1 A10 24GB/36vCPU/440GB RAM；16/36/3 seeds按行标示。禁止查看在线解法；submission validator不返回分数。

6 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。

MLE-bench · 原论文 · 24h · Any medal；仅主指标有数值的记录排名，并列采用 1、1、3。
配置与证据
1o1-previewAIDE未报告16.9%
配置、误差与来源

配置说明：供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。

工具：未报告 · 预算：16 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM

误差：mean±one standard error of the mean (Table2 caption)；类型：standard_error；±1.1

成绩位置：Table2 agent=AIDE; model=o1-preview; column=Any medal

  • 位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据
2gpt-4o-2024-08-06 · gpt-4o-2024-08-06AIDE未报告8.7%
配置、误差与来源

配置说明：供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。

工具：未报告 · 预算：36 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM

误差：mean±one standard error of the mean (Table2 caption)；类型：standard_error；±0.5

成绩位置：Table2 agent=AIDE; model=gpt-4o-2024-08-06; column=Any medal

  • 位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据
3claude-3-5-sonnet-20240620 · claude-3-5-sonnet-20240620AIDE未报告7.6%
配置、误差与来源

配置说明：供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。

工具：未报告 · 预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM

误差：mean±one standard error of the mean (Table2 caption)；类型：standard_error；±1.8

成绩位置：Table2 agent=AIDE; model=claude-3-5-sonnet-20240620; column=Any medal

  • 位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据
4gpt-4o-2024-08-06 · gpt-4o-2024-08-06OpenHands未报告4.4%
配置、误差与来源

配置说明：供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。

工具：未报告 · 预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM

误差：mean±one standard error of the mean (Table2 caption)；类型：standard_error；±1.4

成绩位置：Table2 agent=OpenHands; model=gpt-4o-2024-08-06; column=Any medal

  • 位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据
5llama-3.1-405b-instructAIDE未报告3%
配置、误差与来源

配置说明：供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。

工具：未报告 · 预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM

误差：mean±one standard error of the mean (Table2 caption)；类型：standard_error；±1

成绩位置：Table2 agent=AIDE; model=llama-3.1-405b-instruct; column=Any medal

  • 位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据
6gpt-4o-2024-08-06 · gpt-4o-2024-08-06MLAB未报告0.8%
配置、误差与来源

配置说明：供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。

工具：未报告 · 预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM

误差：mean±one standard error of the mean (Table2 caption)；类型：standard_error；±0.5

成绩位置：Table2 agent=MLAB; model=gpt-4o-2024-08-06; column=Any medal

  • 位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据
查看本组前 10 条成绩

辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。

本组来源

  • 位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据

阅读边界

  • 主实验24h/1 A10/36vCPU/440GB；模型配置的重复次数不同，分别注明。
  • 多次尝试pass@8独立分组，不能视为同成本pass@1。
  • 表格误差为标准误SEM；Bronze/Silver/Gold为各奖牌等级比例，Any medal为任一奖牌。

来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。