ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/成绩对照矩阵/SWE-bench Science 成绩
本页目录

SCIENCE BENCHMARKS / RESULTS

SWE-bench Science 成绩

119 个科学软件仓库修复任务，覆盖98个仓库和20个学科，区分公共测试得分与完整私有测试成功率。

基准官方网站 ↗ · 成绩矩阵 · 基准介绍

每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。

官方榜单 · 全量 119 题

版本
official leaderboard 2026-10-09
赛道
standard
数据集
all-119
任务数
119
主指标
Pass@1
统计口径
119 个任务的 task-level mean；每题须通过全部适用 private tests 才算成功。

每个任务全部适用私有测试通过的比例。

同一来源内比较；运行条件差异仍须结合每行配置解释。

不是默认下载 selection 的 96 题。Public/Private 是任务内测试均分的跨任务均值，不是 Pass@1。Issue/Expert/Engineering 子项分别为 52/49/18 题 Pass@1。

17 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。

SWE-bench Science · 官方榜单 · 全量 119 题；仅主指标有数值的记录排名，并列采用 1、1、3。
配置与证据
1GPT-6 AstraCodexmax50.42%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 100%；Private score 83.18%；Fail2Pass 80.11%；Pass2Pass 95.95%；issue_pass_at_1 46.15%；expert_pass_at_1 57.14%；engineering_pass_at_1 44.44%

报告日期：2026-10-09

成绩位置：Model results row 1: GPT-6 Astra (max) / Codex

2Claude-Opus-5Claude Codemax47.9%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 96.64%；Private score 75.11%；Fail2Pass 68.6%；Pass2Pass 97.37%；issue_pass_at_1 38.46%；expert_pass_at_1 65.31%；engineering_pass_at_1 27.78%

报告日期：2026-10-09

成绩位置：Model results row 2: Claude-Opus-5 (max) / Claude Code

3GPT-5.6-solCodexmax40.34%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 98.32%；Private score 75.57%；Fail2Pass 69.98%；Pass2Pass 96.3%；issue_pass_at_1 34.62%；expert_pass_at_1 46.94%；engineering_pass_at_1 38.89%

报告日期：2026-10-09

成绩位置：Model results row 3: GPT-5.6-sol (max) / Codex

4DeepSeek-V4-ProClaude Codemax39.5%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 100%；Private score 71.5%；Fail2Pass 63.81%；Pass2Pass 96.58%；issue_pass_at_1 26.92%；expert_pass_at_1 53.06%；engineering_pass_at_1 38.89%

报告日期：2026-10-09

成绩位置：Model results row 4: DeepSeek-V4-Pro (max) / Claude Code

5Kimi-K3Kimi Codemax35.29%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 98.32%；Private score 66.34%；Fail2Pass 57.55%；Pass2Pass 94.94%；issue_pass_at_1 25%；expert_pass_at_1 44.9%；engineering_pass_at_1 38.89%

报告日期：2026-10-09

成绩位置：Model results row 5: Kimi-K3 (max) / Kimi Code

6GLM-5.2Codexmax31.93%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 94.12%；Private score 63.61%；Fail2Pass 53.81%；Pass2Pass 97.53%；issue_pass_at_1 17.31%；expert_pass_at_1 46.94%；engineering_pass_at_1 33.33%

报告日期：2026-10-09

成绩位置：Model results row 6: GLM-5.2 (max) / Codex

7Qwen3.8-27BClaude Codexhigh29.41%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 100%；Private score 65.75%；Fail2Pass 56.46%；Pass2Pass 97.36%；issue_pass_at_1 25%；expert_pass_at_1 38.78%；engineering_pass_at_1 16.67%

报告日期：2026-10-09

成绩位置：Model results row 7: Qwen3.8-27B (xhigh) / Claude Code

8Nex N2Codex未报告24.37%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 93.28%；Private score 61.89%；Fail2Pass 51.09%；Pass2Pass 94.92%；issue_pass_at_1 11.54%；expert_pass_at_1 36.73%；engineering_pass_at_1 27.78%

报告日期：2026-10-09

成绩位置：Model results row 8: Nex N2 / Codex

9DeepSeek-V4-flashClaude Codemax23.53%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 98.32%；Private score 61.41%；Fail2Pass 52.34%；Pass2Pass 95.74%；issue_pass_at_1 19.23%；expert_pass_at_1 26.53%；engineering_pass_at_1 27.78%

报告日期：2026-10-09

成绩位置：Model results row 9: DeepSeek-V4-flash (max) / Claude Code

10Intern-S2-Preview-397BClaude Codemax21.01%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 97.48%；Private score 55.96%；Fail2Pass 42.68%；Pass2Pass 96.67%；issue_pass_at_1 9.62%；expert_pass_at_1 32.65%；engineering_pass_at_1 22.22%

报告日期：2026-10-09

成绩位置：Model results row 10: Intern-S2-Preview-397B (max) / Claude Code

11DeepSeek-V4-flashClaude Codehigh19.33%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 100%；Private score 58.77%；Fail2Pass 47.67%；Pass2Pass 95.02%；issue_pass_at_1 11.54%；expert_pass_at_1 28.57%；engineering_pass_at_1 16.67%

报告日期：2026-10-09

成绩位置：Model results row 11: DeepSeek-V4-flash (high) / Claude Code

12Qwen3.6-35B-A3BClaude Codemax16.81%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 98.32%；Private score 54.7%；Fail2Pass 39.2%；Pass2Pass 96.59%；issue_pass_at_1 7.69%；expert_pass_at_1 24.49%；engineering_pass_at_1 22.22%

报告日期：2026-10-09

成绩位置：Model results row 12: Qwen3.6-35B-A3B (max) / Claude Code

13Agents-A1Claude Codemax15.13%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 96.64%；Private score 51.35%；Fail2Pass 37.9%；Pass2Pass 93.55%；issue_pass_at_1 9.62%；expert_pass_at_1 24.49%；engineering_pass_at_1 5.56%

报告日期：2026-10-09

成绩位置：Model results row 13: Agents-A1 (max) / Claude Code

13BigBang-v1Claude Codemax15.13%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 96.64%；Private score 50.39%；Fail2Pass 36.81%；Pass2Pass 92.88%；issue_pass_at_1 5.77%；expert_pass_at_1 22.45%；engineering_pass_at_1 22.22%

报告日期：2026-10-09

成绩位置：Model results row 14: BigBang-v1 (max) / Claude Code

13Nex-N2-miniClaude Codemax15.13%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 90.68%；Private score 52.35%；Fail2Pass 40.21%；Pass2Pass 91.05%；issue_pass_at_1 11.54%；expert_pass_at_1 18.37%；engineering_pass_at_1 16.67%

报告日期：2026-10-09

成绩位置：Model results row 15: Nex-N2-mini (max) / Claude Code

16Qwen3.5-397BCodex未报告14.29%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 96.64%；Private score 51.79%；Fail2Pass 38.33%；Pass2Pass 95.16%；issue_pass_at_1 5.77%；expert_pass_at_1 24.49%；engineering_pass_at_1 11.11%

报告日期：2026-10-09

成绩位置：Model results row 16: Qwen3.5-397B / Codex

17Qwen3.5-9BClaude Codemax7.56%
配置、误差与来源

配置说明：未报告

工具：未报告 · 预算：未报告

误差：误差未报告

补充指标：Public score 88.98%；Private score 39.11%；Fail2Pass 21.27%；Pass2Pass 91.33%；issue_pass_at_1 3.85%；expert_pass_at_1 12.24%；engineering_pass_at_1 5.56%

报告日期：2026-10-09

成绩位置：Model results row 17: Qwen3.5-9B (max) / Claude Code

查看本组前 10 条成绩

辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。

本组来源

阅读边界

  • 默认下载 selection=96 题；all selection=119 题。下载选择与官方119题榜单不是同一概念。
  • 官网与论文结果版本不同，不合并同名配置。
  • 只有同来源且同题集、同协议的成绩在同一组内比较。

来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。