ResearchGym

保留研究论文的数据、基线和评分环境，同时隐藏原论文方法，让agent自行提出假设、开展实验并尝试超越基线；强调闭环研究与长时可靠性。

返回目录与筛选本条目暂无迁入的成绩表。

基本情况与使用条件

提出机构: TCS Research；Yale University
时间: 2026-02-16（论文首次提交；已读v2）
引用数: 1 · OpenAlex · 2026-10-12 [3]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
是否有知名大模型厂商引用 / 采用: 厂商采用待核验论文评测某厂商模型，不等于厂商引用或采用。
原文链接: ResearchGym 官方论文v2 ResearchGym 版本历史
数据集 / 项目链接: 见原文与项目来源
涉及学科: 机器学习研究、材料文本、持续学习、跨模态检索、时间序列解释
数据规模: 5 个容器化环境，39 个子任务由ICML、ICLR、ACL的5篇oral/spotlight论文改造；39子任务不是39个独立研究环境。
是否允许 train · Agent 权重训练: agent权重训练许可/标准划分待核验[1]论文主要定义评测环境与控制污染的设计，未在所读正文中确认独立agent训练集或将五个正式测试环境用于权重训练的统一规则；如训练使用这些环境，须披露并另设未见任务。
任务内模型拟合 / 训练: 任务内训练和微调研究对象模型属于允许的实验活动；不等于允许用测试答案训练外层agent。
单个样本评测所需时间预估: 每环境12小时；扩展/CLI评测24小时[1]官方预算 / 配置上限；论文主实验预算12小时和10美元API，扩展增加12小时和10美元；Claude Code/Codex试验为24小时、20美元。单GPU隔离容器；这是预算，不是实际完成时间。

输入格式与样例

隔离容器、论文仓库裁剪版本、数据、基线、目标指标、资源预算；隐藏提出的方法[1]

输入样例

格式示意，非原题与标准答案

在材料领域tokenization环境中，改进若干材料文本任务的F1等指标。

输出格式与样例

可执行方法实现、实验产物与待填结果表，使用继承自源论文的执行式评分器[1]

输出样例

格式示意，非原题与标准答案

提交新方法代码和各子任务实验结果，由评分器计算相对于基线的表现。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

论文评测Claude Code/Codex，不构成Anthropic/OpenAI官方采用证据。
设计包含近期论文和隐藏方法来减轻污染，但不是完全消除训练污染的证明。

原文与依据

ResearchGym 官方论文v2§2 benchmark design；§5.1.1；Appendix D实验设置 · 本次在线读取：2026-10-12
ResearchGym 版本历史v1 2026-02-16；v2 2026-03-11 · 本次在线读取：2026-10-12
OpenAlex 引用统计ResearchGym: Evaluating Language Model Agents on Real-World AI Research；https://doi.org/10.48550/arxiv.2602.15112；cited_by_count=1 · 本次在线读取：2026-10-12

汇总来源：survey/子玲/科学智能体相关的benchmark.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。