本页目录
MLE-bench
以离线Kaggle竞赛测试数据准备、模型训练、实验迭代和预测文件交付能力。
基本情况与使用条件
- 提出机构
- OpenAI
- 时间
- 2024-10-09 论文首发；ICLR 2025
- 引用数
- 7 · OpenAlex · 2026-10-12[4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。原表供稿数值另行原样保留，其统计日期和数据库未提供。
- 是否有知名大模型厂商引用 / 采用
- OpenAI提出并发布README还列出Google CAIR等机构提交；本栏仅记录已直接核实的提出方关系，不以被测模型厂商推导采用。
- 数据集 / 项目链接
- MLE-bench 官方仓库
- 涉及学科
- 计算机、通用
- 数据规模
- 75个竞赛；Lite为22个当前官方README确认75竞赛；low complexity/Lite为22竞赛，不等同全量。
- 是否允许 train · Agent 权重训练
- 允许任务内拟合；代理训练政策需另查[2][3]官方明确评估训练模型、处理数据与跑实验；这只确认任务内ML。没有据此认定允许将竞赛测试集/答案训练进代理权重。
- 任务内模型拟合 / 训练
- 允许且是核心能力：用公开训练集训练预测模型；遵守竞赛规则与泄漏审查。
- 单个样本评测所需时间预估
- 官方比较预算24小时/竞赛[2]官方预算 / 配置上限；官方建议24h、36 vCPU、440GB RAM、单张24GB A10；这是比较预算，不是平均完成耗时。原表100h扩展实验保留但未重新核对。
- 供稿时间描述 · 待复核
- 标准预算 24 小时/竞赛；论文还报告 100 小时扩展实验供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。
输入格式与样例
竞赛说明、公开训练数据和测试特征；准备脚本从公开数据重新划分train/test。[2][1]
输入样例
来源中的实例 / 文件契约官方README提供spaceship-titanic作为提交评分接口示例；具体模型输入取决于竞赛。原表ventilator压力任务字段保留在originalRow。输出格式与样例
符合竞赛说明的预测CSV，JSONL清单给出competition_id与submission_path。[2]
输出样例
格式示意，非原题与标准答案接口示意：{"competition_id":"spaceship-titanic","submission_path":"/path/to/submission.csv"}。这里展示提交元数据，不编造测试集正确标签。厂商引用 / 采用证据
- OpenAI · proposer：OpenAI官方仓库发布benchmark代码与评测流程。 证据来源
评分、版本与阅读边界
- 原表“允许train”限定为任务内预测建模，不是对代理权重训练的许可。
- 官方README记录多项数据泄漏和准备脚本已知问题；实际实验应固定版本并检查对应任务。
原文与依据
- 子玲供稿原表（完整15列）mle-bench.originalRow；Agentic Science.xlsx 第7行 · 供稿 / 既有材料来源；本次未重新在线核验
- MLE-bench 官方仓库README: Dataset / Runtime & Compute / Grading Submissions · 本次在线读取：2026-10-12
- MLE-bench 论文与首发Abstract / Submission history · 本次在线读取：2026-10-12
- OpenAlex 引用统计MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering；https://doi.org/10.48550/arxiv.2410.07095；cited_by_count=7 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。