本页目录
SCIENCE BENCHMARKS / RESULTS
PaperBench 成绩
20篇ML论文的端到端复现，加权rubric评估代码、执行和结果。
每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。
原论文 · BasicAgent · 12h
- 版本
- arXiv2504.01848v3
- 赛道
- BasicAgent
- 数据集
- 20 papers
- 任务数
- 20
- 主指标
- Replication score
- 统计口径
- mean-of3 per paper; weighted rubric aggregation
分层rubric的加权满足度；不是完全复现论文的比例。
同一来源内比较；运行条件差异仍须结合每行配置解释。
12h上限；Ubuntu24.04/1 A10；互联网与工具可用；HF/OpenAI服务提供$1000 credits，非模型API总成本上限。Judge=o3-mini-high。
6 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | claude-3.5-sonnet · claude-3-5-sonnet-20241022 | BasicAgent | 未报告 | 21% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.8 成绩位置：Table4; BasicAgent; 12h; model=claude-3.5-sonnet
|
| 2 | o1-high · o1-2024-12-17 | BasicAgent | high | 13.2% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.3 成绩位置：Table4; BasicAgent; 12h; model=o1-high
|
| 3 | DeepSeek-R1 | BasicAgent | 未报告 | 6% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.3 成绩位置：Table4; BasicAgent; 12h; model=DeepSeek-R1
|
| 4 | gpt-4o · gpt-4o-2024-08-06 | BasicAgent | 未报告 | 4.1% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.1 成绩位置：Table4; BasicAgent; 12h; model=gpt-4o
|
| 5 | gemini-2.0-flash · gemini-2.0-flash | BasicAgent | 未报告 | 3.2% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.2 成绩位置：Table4; BasicAgent; 12h; model=gemini-2.0-flash
|
| 6 | o3-mini-high · o3-mini-2025-01-31 | BasicAgent | high | 2.6% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.2 成绩位置：Table4; BasicAgent; 12h; model=o3-mini-high
|
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
- PaperBench 原论文 v3 ↗ 基准论文
原论文 · IterativeAgent · 12h
- 版本
- arXiv2504.01848v3
- 赛道
- IterativeAgent
- 数据集
- 20 papers
- 任务数
- 20
- 主指标
- Replication score
- 统计口径
- mean-of3 per paper; weighted rubric aggregation
分层rubric的加权满足度；不是完全复现论文的比例。
同一来源内比较；运行条件差异仍须结合每行配置解释。
12h上限；Ubuntu24.04/1 A10；互联网与工具可用；HF/OpenAI服务提供$1000 credits，非模型API总成本上限。Judge=o3-mini-high。
3 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | o1-high · o1-2024-12-17 | IterativeAgent | high | 24.4% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.7 成绩位置：Table5; IterativeAgent; 12h; model=o1-high
|
| 2 | claude-3.5-sonnet · claude-3-5-sonnet-20241022 | IterativeAgent | 未报告 | 16.1% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.1 成绩位置：Table5; IterativeAgent; 12h; model=claude-3.5-sonnet
|
| 3 | o3-mini-high · o3-mini-2025-01-31 | IterativeAgent | high | 8.5% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.8 成绩位置：Table5; IterativeAgent; 12h; model=o3-mini-high
|
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
- PaperBench 原论文 v3 ↗ 基准论文
原论文 · IterativeAgent · 36h
- 版本
- arXiv2504.01848v3
- 赛道
- IterativeAgent
- 数据集
- 20 papers
- 任务数
- 20
- 主指标
- Replication score
- 统计口径
- mean-of3 per paper; weighted rubric aggregation
分层rubric的加权满足度；不是完全复现论文的比例。
同一来源内比较；运行条件差异仍须结合每行配置解释。
36h上限；Ubuntu24.04/1 A10；互联网与工具可用；HF/OpenAI服务提供$1000 credits，非模型API总成本上限。Judge=o3-mini-high。
1 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | o1-high · o1-2024-12-17 | IterativeAgent | high | 26% | 配置、误差与来源配置说明：供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。 工具：bash,Python,web browser,paginated file reader; internet enabled · 预算：3 runs/paper;36h/run;1 A10; $1000 task-service credits 误差：SEM per Table4 and Figure3 caption；类型：standard_error；±0.3 成绩位置：Table5; IterativeAgent; 36h; model=o1-high
|
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
- PaperBench 原论文 v3 ↗ 基准论文
阅读边界
- BasicAgent、IterativeAgent与12h/36h条件分别显示。
- 模型均3次/论文；误差SEM；JudgeEval和Code-Dev不是本组复现成绩。
来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。