本页目录
MLGym-Bench（MLGym）
Meta的开放式机器学习研究评测，要求agent修改方法、训练模型、运行实验并迭代；MLGym是支撑训练和评测的框架，MLGym-Bench是13任务套件。
返回目录与筛选本条目暂无迁入的成绩表。
基本情况与使用条件
- 提出机构
- Meta；University College London；University of California, Santa Barbara；University of Wisconsin–Madison；University of Oxford
- 时间
- 2025-02-20（论文首次提交）
- 引用数
- 4 · OpenAlex · 2026-10-12[4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
- 是否有知名大模型厂商引用 / 采用
- Meta 提出评测GPT、Claude和Gemini不构成对应厂商采用证据。
- 数据集 / 项目链接
- Meta 官方MLGym仓库
- 涉及学科
- 计算机视觉、自然语言处理、强化学习、博弈论、算法推理
- 数据规模
- 13 个开放式研究任务任务含CIFAR-10/Fashion MNIST、MS-COCO、MNLI、语言建模、强化学习、3-SAT与重复博弈。
- 是否允许 train · Agent 权重训练
- 框架支持训练agent；需另设干净测试[3][1]官方框架明确支持RL算法和合成数据来训练AI研究agent；多数代码为CC-BY-NC 4.0，部分组件另有许可。该支持不自动提供独立无污染的13任务测试划分，训练/测试分离需另行设计。
- 任务内模型拟合 / 训练
- 任务内部训练分类器、语言模型或RL策略是被评测工作的一部分，与外层LLM agent权重训练不同。
- 单个样本评测所需时间预估
- 论文报告部分任务平均约0.5–4小时[1]论文特定配置运行时间；Table 7报告平均agent wall-clock，非统一预算或本机实测；每条Python训练命令限30或40分钟，不能当成整题耗时。当前字段枚举无“published_runtime”，因此数值留空并保留原始描述。
输入格式与样例
任务说明、数据集、基线代码和可执行的Gym/Docker环境[1]
输入样例
格式示意，非原题与标准答案在Fashion MNIST任务中，从给定双层CNN基线出发修改架构与超参数。输出格式与样例
任务指定的模型、算法、代码或预测等提交产物；执行评测产生任务指标[1]
输出样例
格式示意，非原题与标准答案提交训练和推理实现，评测返回分类准确率；其他任务可返回奖励、BLEU或求解时间。厂商引用 / 采用证据
- Meta · 提出并发布：facebookresearch官方仓库介绍Meta MLGym和MLGym-Bench，并链接论文。 证据来源
评分、版本与阅读边界
- 不与MLAgentBench或MLE-bench混为一项。
- 部分任务的平均运行时间在Table 7未填，不能补成统一0.5–4小时范围的保证。
原文与依据
- MLGym 官方论文§4；Table 3；Appendix A.1 Table 7 · 本次在线读取：2026-10-12
- MLGym 首次提交日期Submission history：2025-02-20 · 本次在线读取：2026-10-12
- Meta 官方MLGym仓库Introduction；License · 本次在线读取：2026-10-12
- OpenAlex 引用统计MLGym: A New Framework and Benchmark for Advancing AI Research Agents；https://doi.org/10.48550/arxiv.2502.14499；cited_by_count=4 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/科学智能体相关的benchmark.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。