本页目录
PaperBench
要求代理从机器学习论文出发构建代码并复现实验，通过新环境重跑与分层rubric验证成果。
基本情况与使用条件
- 提出机构
- OpenAI
- 时间
- 2025-04-02 首发；供稿v3 2025-04-07
- 引用数
- 待核验；供稿 4（统计来源 / 日期未确认）未取得可准确匹配的OpenAlex论文计数；不将未匹配解释为0。供稿引用数缺少统计平台与统计日期；仅保留历史报告值，不作为当前引用数。
- 是否有知名大模型厂商引用 / 采用
- OpenAI提出并发布Claude等模型被作者评测不构成相应厂商独立采用证据。
- 数据集 / 项目链接
- PaperBench 当前官方实现 PaperBench 官方README
- 涉及学科
- 计算机
- 数据规模
- 20篇论文；8,316个可评分叶任务20篇ICML 2024 Spotlight/Oral；8,316是rubric叶任务数，不能当作独立输入论文数。
- 是否允许 train · Agent 权重训练
- 任务内实验训练允许；代理训练须隔离评测[3]论文允许下载所需数据、使用必要API和执行复现实验，但禁止访问原作者代码及黑名单中的在线复现。本次未读取对代理权重训练的单独明示许可。
- 任务内模型拟合 / 训练
- 允许：按照目标论文训练/微调模型或运行RL实验；不能以原论文代码替代从零实现。
- 单个样本评测所需时间预估
- 原论文代理预算12小时/篇[3][5]官方预算 / 配置上限；原论文主实验上限12h；规则不统一限制资源，当前README另有24/36h结果与24h canonical配置。复现阶段另计，不把供稿5.5分钟当作全任务耗时。
- 供稿时间描述 · 待复核
- 代理单样本上限 12 小时；论文报告脚本平均运行约 5.5 分钟，完整复现常需数小时供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。
输入格式与样例
论文PDF/Markdown、作者澄清addendum与任务指令；rubric用于评分。[3]
输入样例
来源中的实例 / 文件契约原论文实验工作区包含目标论文、addendum与指令；RICE是20篇目标论文之一。原作者代码仓库及其他在线复现受逐论文黑名单限制。输出格式与样例
提交代码库与reproduce.sh；新容器执行后收集日志和产物，再按rubric打分。[3][5]
输出样例
来源中的实例 / 文件契约需要可在干净环境执行的reproduce.sh和代码；评分区分代码实现、执行证据与结果匹配，并非返回一个标准数值答案。厂商引用 / 采用证据
- OpenAI · proposer：OpenAI官方发布20篇论文复现基准。 证据来源
评分、版本与阅读边界
- 供稿输入列将原论文代码列为输入，已按原论文规则纠正：原作者代码在黑名单中。
- 供稿benchflow-ai链接保留在originalRow.G；官方发布页当前代码指向openai/frontier-evals，应优先使用官方来源。
原文与依据
- 子玲供稿原表（完整15列）paperbench.originalRow；Agentic Science.xlsx 第8行 · 供稿 / 既有材料来源；本次未重新在线核验
- OpenAI PaperBench 官方发布2025-04-02 / benchmark description · 本次在线读取：2026-10-12
- PaperBench 原论文§2.5 Rules / §3 Dataset / §5.1–5.2 setup · 本次在线读取：2026-10-12
- PaperBench 当前官方实现README: three stages / canonical command · 供稿 / 既有材料来源；本次未重新在线核验
- PaperBench 官方READMELeaderboard / Canonical command · 本次在线读取：2026-10-12
汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。