本页目录
SCIENCE BENCHMARKS / RESULTS
ScienceAgentBench 成绩
102项数据驱动科研代码任务；执行、产出正确性和代码相似性分别计量。
每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。
论文每题择优3次／无专家知识
- 版本
- arXiv:2410.05080v3 (pre-verified)
- 赛道
- All
- 数据集
- 未报告
- 任务数
- 102
- 主指标
- Success Rate (SR)
- 统计口径
- best-of-3
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
temperature=0.2, top_p=0.95；o1默认超参；不同脚手架单独行。
17 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | OpenAI o1-preview · o1-preview-2024-09-12 | Self-Debug | 未报告 | 42.2% | 配置、误差与来源配置说明：without expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 88.4%；Valid Execution Rate 92.2%；API Cost 0.636 USD/task 成绩位置：Table 3 |
| 2 | OpenAI o1-preview · o1-preview-2024-09-12 | Direct Prompting | 未报告 | 34.3% | 配置、误差与来源配置说明：without expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 87.1%；Valid Execution Rate 70.6%；API Cost 0.221 USD/task 成绩位置：Table 3 |
| 3 | Claude-3.5-Sonnet (2024-06-20) · 2024-06-20 | Self-Debug | 未报告 | 32.4% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 86.4%；Valid Execution Rate 92.2%；API Cost 0.057 USD/task 成绩位置：Table 3 |
| 4 | Mistral-Large-2 (2407) · 2407 | Self-Debug | 未报告 | 23.5% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 85.1%；Valid Execution Rate 83.3%；API Cost 0.034 USD/task 成绩位置：Table 3 |
| 5 | GPT-4o (2024-05-13) · 2024-05-13 | Self-Debug | 未报告 | 22.6% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 84.4%；Valid Execution Rate 83.3%；API Cost 0.047 USD/task 成绩位置：Table 3 |
| 6 | Claude-3.5-Sonnet (2024-06-20) · 2024-06-20 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 21.6% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 83.6%；Valid Execution Rate 87.3%；API Cost 0.958 USD/task 成绩位置：Table 3 |
| 7 | GPT-4o (2024-05-13) · 2024-05-13 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 19.6% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 83.1%；Valid Execution Rate 78.4%；API Cost 0.803 USD/task 成绩位置：Table 3 |
| 8 | Claude-3.5-Sonnet (2024-06-20) · 2024-06-20 | Direct Prompting | 未报告 | 17.7% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 83.6%；Valid Execution Rate 51%；API Cost 0.017 USD/task 成绩位置：Table 3 |
| 9 | Llama-3.1-Instruct-405B | Self-Debug | 未报告 | 14.7% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 82.9%；Valid Execution Rate 78.4%；API Cost 0.047 USD/task 成绩位置：Table 3 |
| 10 | Llama-3.1-Instruct-70B | Self-Debug | 未报告 | 13.7% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 82.7%；Valid Execution Rate 80.4%；API Cost 0.007 USD/task 成绩位置：Table 3 |
| 10 | Mistral-Large-2 (2407) · 2407 | Direct Prompting | 未报告 | 13.7% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 83.2%；Valid Execution Rate 47.1%；API Cost 0.009 USD/task 成绩位置：Table 3 |
| 12 | GPT-4o (2024-05-13) · 2024-05-13 | Direct Prompting | 未报告 | 11.8% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 82.6%；Valid Execution Rate 52.9%；API Cost 0.011 USD/task 成绩位置：Table 3 |
| 13 | Mistral-Large-2 (2407) · 2407 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 9.8% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 72.5%；Valid Execution Rate 53.9%；API Cost 0.513 USD/task 成绩位置：Table 3 |
| 14 | Llama-3.1-Instruct-70B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 6.9% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 63.5%；Valid Execution Rate 30.4%；API Cost 0.145 USD/task 成绩位置：Table 3 |
| 15 | Llama-3.1-Instruct-405B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 5.9% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 65.8%；Valid Execution Rate 52%；API Cost 0.383 USD/task 成绩位置：Table 3 |
| 15 | Llama-3.1-Instruct-70B | Direct Prompting | 未报告 | 5.9% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 81.5%；Valid Execution Rate 29.4%；API Cost 0.001 USD/task 成绩位置：Table 3 |
| 17 | Llama-3.1-Instruct-405B | Direct Prompting | 未报告 | 3.9% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 79.4%；Valid Execution Rate 35.3%；API Cost 0.01 USD/task 成绩位置：Table 3 |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
论文每题择优3次／有专家知识
- 版本
- arXiv:2410.05080v3 (pre-verified)
- 赛道
- All
- 数据集
- 未报告
- 任务数
- 102
- 主指标
- Success Rate (SR)
- 统计口径
- best-of-3
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
temperature=0.2, top_p=0.95；o1默认超参；不同脚手架单独行。
17 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | OpenAI o1-preview · o1-preview-2024-09-12 | Self-Debug | 未报告 | 41.2% | 配置、误差与来源配置说明：with expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 88.9%；Valid Execution Rate 91.2%；API Cost 0.713 USD/task 成绩位置：Table 3 |
| 2 | Claude-3.5-Sonnet (2024-06-20) · 2024-06-20 | Self-Debug | 未报告 | 34.3% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 87.1%；Valid Execution Rate 86.3%；API Cost 0.061 USD/task 成绩位置：Table 3 |
| 3 | OpenAI o1-preview · o1-preview-2024-09-12 | Direct Prompting | 未报告 | 31.4% | 配置、误差与来源配置说明：with expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 87.4%；Valid Execution Rate 63.7%；API Cost 0.236 USD/task 成绩位置：Table 3 |
| 4 | GPT-4o (2024-05-13) · 2024-05-13 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 27.5% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 86.3%；Valid Execution Rate 73.5%；API Cost 1.094 USD/task 成绩位置：Table 3 |
| 4 | Mistral-Large-2 (2407) · 2407 | Self-Debug | 未报告 | 27.5% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 86.8%；Valid Execution Rate 78.4%；API Cost 0.036 USD/task 成绩位置：Table 3 |
| 6 | Claude-3.5-Sonnet (2024-06-20) · 2024-06-20 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 24.5% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 85.1%；Valid Execution Rate 88.2%；API Cost 0.9 USD/task 成绩位置：Table 3 |
| 7 | GPT-4o (2024-05-13) · 2024-05-13 | Self-Debug | 未报告 | 23.5% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 85.6%；Valid Execution Rate 71.6%；API Cost 0.046 USD/task 成绩位置：Table 3 |
| 8 | Claude-3.5-Sonnet (2024-06-20) · 2024-06-20 | Direct Prompting | 未报告 | 21.6% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 85.4%；Valid Execution Rate 41.2%；API Cost 0.017 USD/task 成绩位置：Table 3 |
| 9 | Llama-3.1-Instruct-70B | Self-Debug | 未报告 | 16.7% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 83.4%；Valid Execution Rate 73.5%；API Cost 0.008 USD/task 成绩位置：Table 3 |
| 9 | Mistral-Large-2 (2407) · 2407 | Direct Prompting | 未报告 | 16.7% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 84.7%；Valid Execution Rate 39.2%；API Cost 0.009 USD/task 成绩位置：Table 3 |
| 11 | Llama-3.1-Instruct-405B | Self-Debug | 未报告 | 13.7% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 83.6%；Valid Execution Rate 79.4%；API Cost 0.055 USD/task 成绩位置：Table 3 |
| 11 | Mistral-Large-2 (2407) · 2407 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 13.7% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 78.8%；Valid Execution Rate 50%；API Cost 0.759 USD/task 成绩位置：Table 3 |
| 13 | GPT-4o (2024-05-13) · 2024-05-13 | Direct Prompting | 未报告 | 10.8% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 83.8%；Valid Execution Rate 41.2%；API Cost 0.012 USD/task 成绩位置：Table 3 |
| 14 | Llama-3.1-Instruct-405B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 8.8% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 71.4%；Valid Execution Rate 58.8%；API Cost 0.74 USD/task 成绩位置：Table 3 |
| 15 | Llama-3.1-Instruct-70B | Direct Prompting | 未报告 | 4.9% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 82.1%；Valid Execution Rate 27.5%；API Cost 0.001 USD/task 成绩位置：Table 3 |
| 16 | Llama-3.1-Instruct-405B | Direct Prompting | 未报告 | 2.9% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 81.3%；Valid Execution Rate 25.5%；API Cost 0.011 USD/task 成绩位置：Table 3 |
| 16 | Llama-3.1-Instruct-70B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 2.9% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：误差未报告 补充指标：CodeBERTScore 65.7%；Valid Execution Rate 25.5%；API Cost 0.252 USD/task 成绩位置：Table 3 |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
论文3次均值±SD／无专家知识
- 版本
- arXiv:2410.05080v3 (pre-verified)
- 赛道
- All
- 数据集
- 未报告
- 任务数
- 102
- 主指标
- Success Rate (SR)
- 统计口径
- mean-of-3
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
temperature=0.2, top_p=0.95；o1默认超参；不同脚手架单独行。
17 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | OpenAI o1-preview · o1-preview-2024-09-12 | Self-Debug | 未报告 | 27.1% | 配置、误差与来源配置说明：without expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.2 补充指标：CodeBERTScore 84.9%；Valid Execution Rate 84.6%；API Cost 0.701 USD/task 成绩位置：Table E.1 |
| 2 | OpenAI o1-preview · o1-preview-2024-09-12 | Direct Prompting | 未报告 | 23.9% | 配置、误差与来源配置说明：without expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.5 补充指标：CodeBERTScore 84.5%；Valid Execution Rate 56.2%；API Cost 0.237 USD/task 成绩位置：Table E.1 |
| 3 | Claude-3.5-Sonnet | Self-Debug | 未报告 | 22.9% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2 补充指标：CodeBERTScore 84.2%；Valid Execution Rate 84%；API Cost 0.066 USD/task 成绩位置：Table E.1 |
| 4 | Mistral-Large-2 (2407) · 2407 | Self-Debug | 未报告 | 16% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.7 补充指标：CodeBERTScore 83.2%；Valid Execution Rate 70.3%；API Cost 0.043 USD/task 成绩位置：Table E.1 |
| 5 | GPT-4o | Self-Debug | 未报告 | 14.7% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±3.2 补充指标：CodeBERTScore 82.6%；Valid Execution Rate 71.2%；API Cost 0.057 USD/task 成绩位置：Table E.1 |
| 6 | Claude-3.5-Sonnet | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 14.1% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.2 补充指标：CodeBERTScore 81.2%；Valid Execution Rate 63.4%；API Cost 1.122 USD/task 成绩位置：Table E.1 |
| 7 | GPT-4o | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 13.1% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2.6 补充指标：CodeBERTScore 80.6%；Valid Execution Rate 62.8%；API Cost 1.093 USD/task 成绩位置：Table E.1 |
| 8 | Claude-3.5-Sonnet | Direct Prompting | 未报告 | 11.8% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2.1 补充指标：CodeBERTScore 82.5%；Valid Execution Rate 36%；API Cost 0.017 USD/task 成绩位置：Table E.1 |
| 9 | Mistral-Large-2 (2407) · 2407 | Direct Prompting | 未报告 | 10.1% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.2 补充指标：CodeBERTScore 82.5%；Valid Execution Rate 36.6%；API Cost 0.01 USD/task 成绩位置：Table E.1 |
| 10 | Llama-3.1-Instruct-405B | Self-Debug | 未报告 | 8.8% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.4 补充指标：CodeBERTScore 80.8%；Valid Execution Rate 67%；API Cost 0.054 USD/task 成绩位置：Table E.1 |
| 11 | GPT-4o | Direct Prompting | 未报告 | 7.5% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.5 补充指标：CodeBERTScore 81.7%；Valid Execution Rate 42.2%；API Cost 0.011 USD/task 成绩位置：Table E.1 |
| 11 | Mistral-Large-2 (2407) · 2407 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 7.5% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.9 补充指标：CodeBERTScore 70.4%；Valid Execution Rate 42.8%；API Cost 0.735 USD/task 成绩位置：Table E.1 |
| 13 | Llama-3.1-Instruct-70B | Self-Debug | 未报告 | 7.2% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.2 补充指标：CodeBERTScore 81.2%；Valid Execution Rate 67.3%；API Cost 0.009 USD/task 成绩位置：Table E.1 |
| 14 | Llama-3.1-Instruct-405B | Direct Prompting | 未报告 | 3.6% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.5 补充指标：CodeBERTScore 79.3%；Valid Execution Rate 32%；API Cost 0.011 USD/task 成绩位置：Table E.1 |
| 14 | Llama-3.1-Instruct-70B | Direct Prompting | 未报告 | 3.6% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2 补充指标：CodeBERTScore 81%；Valid Execution Rate 22.2%；API Cost 0.001 USD/task 成绩位置：Table E.1 |
| 16 | Llama-3.1-Instruct-70B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 3.3% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.5 补充指标：CodeBERTScore 59.9%；Valid Execution Rate 17%；API Cost 0.234 USD/task 成绩位置：Table E.1 |
| 17 | Llama-3.1-Instruct-405B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 2.6% | 配置、误差与来源配置说明：without expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.9 补充指标：CodeBERTScore 59%；Valid Execution Rate 34.3%；API Cost 0.576 USD/task 成绩位置：Table E.1 |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
论文3次均值±SD／有专家知识
- 版本
- arXiv:2410.05080v3 (pre-verified)
- 赛道
- All
- 数据集
- 未报告
- 任务数
- 102
- 主指标
- Success Rate (SR)
- 统计口径
- mean-of-3
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
temperature=0.2, top_p=0.95；o1默认超参；不同脚手架单独行。
17 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | Claude-3.5-Sonnet | Self-Debug | 未报告 | 27.8% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2 补充指标：CodeBERTScore 85.5%；Valid Execution Rate 81.1%；API Cost 0.072 USD/task 成绩位置：Table E.2 |
| 1 | OpenAI o1-preview · o1-preview-2024-09-12 | Self-Debug | 未报告 | 27.8% | 配置、误差与来源配置说明：with expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.7 补充指标：CodeBERTScore 85.8%；Valid Execution Rate 83%；API Cost 0.853 USD/task 成绩位置：Table E.2 |
| 3 | Mistral-Large-2 (2407) · 2407 | Self-Debug | 未报告 | 18.3% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.5 补充指标：CodeBERTScore 84.9%；Valid Execution Rate 62.8%；API Cost 0.051 USD/task 成绩位置：Table E.2 |
| 3 | OpenAI o1-preview · o1-preview-2024-09-12 | Direct Prompting | 未报告 | 18.3% | 配置、误差与来源配置说明：with expert-provided knowledge; o1额外推理token及默认超参，仅供参考。 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.5 补充指标：CodeBERTScore 84.6%；Valid Execution Rate 45.4%；API Cost 0.247 USD/task 成绩位置：Table E.2 |
| 5 | Claude-3.5-Sonnet | Direct Prompting | 未报告 | 16.7% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2.4 补充指标：CodeBERTScore 84.5%；Valid Execution Rate 33%；API Cost 0.017 USD/task 成绩位置：Table E.2 |
| 5 | GPT-4o | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 16.7% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2.8 补充指标：CodeBERTScore 83.7%；Valid Execution Rate 60.8%；API Cost 1.402 USD/task 成绩位置：Table E.2 |
| 7 | Claude-3.5-Sonnet | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 15.7% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2.1 补充指标：CodeBERTScore 82.8%；Valid Execution Rate 68%；API Cost 1.095 USD/task 成绩位置：Table E.2 |
| 8 | GPT-4o | Self-Debug | 未报告 | 15% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2 补充指标：CodeBERTScore 83.8%；Valid Execution Rate 61.4%；API Cost 0.063 USD/task 成绩位置：Table E.2 |
| 9 | Mistral-Large-2 (2407) · 2407 | Direct Prompting | 未报告 | 11.4% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.2 补充指标：CodeBERTScore 83.8%；Valid Execution Rate 28.8%；API Cost 0.01 USD/task 成绩位置：Table E.2 |
| 10 | Llama-3.1-Instruct-70B | Self-Debug | 未报告 | 9.8% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2.1 补充指标：CodeBERTScore 82%；Valid Execution Rate 60.8%；API Cost 0.011 USD/task 成绩位置：Table E.2 |
| 11 | Mistral-Large-2 (2407) · 2407 | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 9.2% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.9 补充指标：CodeBERTScore 74.1%；Valid Execution Rate 35.3%；API Cost 0.757 USD/task 成绩位置：Table E.2 |
| 12 | GPT-4o | Direct Prompting | 未报告 | 8.2% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±1.8 补充指标：CodeBERTScore 83.2%；Valid Execution Rate 35.6%；API Cost 0.012 USD/task 成绩位置：Table E.2 |
| 12 | Llama-3.1-Instruct-405B | Self-Debug | 未报告 | 8.2% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python execution feedback · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.9 补充指标：CodeBERTScore 82.2%；Valid Execution Rate 61.1%；API Cost 0.072 USD/task 成绩位置：Table E.2 |
| 14 | Llama-3.1-Instruct-405B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 4.3% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±2 补充指标：CodeBERTScore 62.9%；Valid Execution Rate 35.6%；API Cost 0.653 USD/task 成绩位置：Table E.2 |
| 15 | Llama-3.1-Instruct-405B | Direct Prompting | 未报告 | 2.9% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0 补充指标：CodeBERTScore 81.3%；Valid Execution Rate 24.5%；API Cost 0.011 USD/task 成绩位置：Table E.2 |
| 16 | Llama-3.1-Instruct-70B | Direct Prompting | 未报告 | 2.6% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：No environment interaction · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.5 补充指标：CodeBERTScore 81.7%；Valid Execution Rate 19.3%；API Cost 0.001 USD/task 成绩位置：Table E.2 |
| 17 | Llama-3.1-Instruct-70B | OpenHands CodeAct · CodeActAgent v1.9 | 未报告 | 1.6% | 配置、误差与来源配置说明：with expert-provided knowledge; temperature=0.2; top_p=0.95 工具：Python interpreter, bash shell, web browser · 预算：未报告 误差：3 independent runs; mean (standard deviation), Appendix E.1；类型：standard_deviation；±0.9 补充指标：CodeBERTScore 60.5%；Valid Execution Rate 16.7%；API Cost 0.296 USD/task 成绩位置：Table E.2 |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
HAL／单次运行
- 版本
- HAL snapshot 2026-10-10
- 赛道
- All
- 数据集
- 未报告
- 任务数
- 102
- 主指标
- HAL Accuracy
- 统计口径
- single-run
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
全部Runs=1；知识开关/数据revision未明确；部分成本/token存在2×重复计数。
23 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | o3 Medium (April 2025) | SAB Self-Debug | medium | 33.33% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 11.69 USD；runs 1 runs 成绩位置：Leaderboard row 1 |
| 2 | Claude Sonnet 4.5 High (September 2025) | SAB Self-Debug | high | 30.39% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 7.47 USD；runs 1 runs 成绩位置：Leaderboard row 2 |
| 2 | Claude-3.7 Sonnet High (February 2025) | SAB Self-Debug | high | 30.39% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 11.74 USD；runs 1 runs 成绩位置：Leaderboard row 3 |
| 2 | GPT-5 Medium (August 2025) | SAB Self-Debug | medium | 30.39% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 18.26 USD；runs 1 runs 成绩位置：Leaderboard row 4 |
| 5 | Claude Sonnet 4.5 (September 2025) | SAB Self-Debug | 未报告 | 29.41% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 7.39 USD；runs 1 runs 成绩位置：Leaderboard row 5 |
| 6 | Claude Opus 4.1 (August 2025) | SAB Self-Debug | 未报告 | 27.45% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 33.37 USD；runs 1 runs 成绩位置：Leaderboard row 8 |
| 6 | o4-mini High (April 2025) | SAB Self-Debug | high | 27.45% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 11.18 USD；runs 1 runs 成绩位置：Leaderboard row 7 |
| 6 | o4-mini Low (April 2025) | SAB Self-Debug | low | 27.45% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 3.95 USD；runs 1 runs 成绩位置：Leaderboard row 6 |
| 9 | Claude Opus 4.1 High (August 2025) | SAB Self-Debug | high | 26.47% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 33.75 USD；runs 1 runs 成绩位置：Leaderboard row 9 |
| 10 | GPT-4.1 (April 2025) | SAB Self-Debug | 未报告 | 24.51% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 7.42 USD；runs 1 runs 成绩位置：Leaderboard row 10 |
| 11 | Claude Haiku 4.5 High (October 2025) | SAB Self-Debug | high | 23.53% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 3.41 USD；runs 1 runs 成绩位置：Leaderboard row 11 |
| 11 | DeepSeek R1 (January 2025) | SAB Self-Debug | 未报告 | 23.53% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 18.24 USD；runs 1 runs 成绩位置：Leaderboard row 12 |
| 13 | Claude-3.7 Sonnet (February 2025) | SAB Self-Debug | 未报告 | 22.55% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 7.12 USD；runs 1 runs 成绩位置：Leaderboard row 13 |
| 14 | o4-mini High (April 2025) | HAL Generalist Agent | high | 21.57% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 76.3 USD；runs 1 runs 成绩位置：Leaderboard row 14 |
| 15 | o4-mini Low (April 2025) | HAL Generalist Agent | low | 19.61% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 77.32 USD；runs 1 runs 成绩位置：Leaderboard row 15 |
| 16 | Claude Haiku 4.5 (October 2025) | SAB Self-Debug | 未报告 | 18.63% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 2.66 USD；runs 1 runs 成绩位置：Leaderboard row 16 |
| 17 | Claude-3.7 Sonnet High (February 2025) | HAL Generalist Agent | high | 17.65% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 48.28 USD；runs 1 runs 成绩位置：Leaderboard row 17 |
| 18 | DeepSeek V3 (March 2025) | SAB Self-Debug | 未报告 | 15.69% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 2.09 USD；runs 1 runs 成绩位置：Leaderboard row 18 |
| 19 | Gemini 2.0 Flash (February 2025) | SAB Self-Debug | 未报告 | 12.75% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 0.19 USD；runs 1 runs 成绩位置：Leaderboard row 19 |
| 20 | Claude-3.7 Sonnet (February 2025) | HAL Generalist Agent | 未报告 | 10.78% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 41.22 USD；runs 1 runs 成绩位置：Leaderboard row 20 |
| 21 | o3 Medium (April 2025) | HAL Generalist Agent | medium | 9.8% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 31.08 USD；runs 1 runs 成绩位置：Leaderboard row 21 |
| 22 | GPT-4.1 (April 2025) | HAL Generalist Agent | 未报告 | 6.86% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 68.95 USD；runs 1 runs 成绩位置：Leaderboard row 22 |
| 23 | DeepSeek V3 (March 2025) | HAL Generalist Agent | 未报告 | 0.98% | 配置、误差与来源配置说明：Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。 工具：未报告 · 预算：未报告 误差：误差未报告 补充指标：reported-total-cost 55.73 USD；runs 1 runs 成绩位置：Leaderboard row 23 |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
阅读边界
- 原论文旧版102题；2026-04-30 verified版本不能与旧成绩混用。
- Table3 是每题3次中按 SR→VER→CBS→Cost 逐级择优；Appendix E.1/E.2 是3次运行均值±SD。
- OpenAI o1-preview使用默认超参数和额外推理token，论文注明仅作参考。
- HAL成本存在官方已知重复计数问题；保留原报告值，不自行除以2。
来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。