ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/成绩对照矩阵/Terminal-Bench-Science 成绩
本页目录

SCIENCE BENCHMARKS / RESULTS

Terminal-Bench-Science 成绩

70 个跨学科终端科研工作流任务,以程序化验证衡量 agent 的任务解决率。

基准官方网站 ↗ · 成绩矩阵 · 基准介绍

每组仅在已取得精确数值的记录中排序,不跨组比较;模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。

官方 v0.1 · 全部学科 · 70 题

版本
v0.1 / fixed release v0.1.0
赛道
all domains
数据集
all
任务数
70
主指标
Resolution rate
统计口径
官方榜单 Resolution rate(保留显示的一位小数)

官方榜单的任务解决率;误差条为标准误。

同一来源内比较;运行条件差异仍须结合每行配置解释。

Harbor 运行;官方示例使用 Modal。榜单未在已读来源公开每配置的重复次数与统一 token/时间预算。不同 model–agent 配置按官方同一表并列,不能归因为纯模型能力。

17 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序;缺分不排名。

Terminal-Bench-Science · 官方 v0.1 · 全部学科 · 70 题;仅主指标有数值的记录排名,并列采用 1、1、3。
配置与证据
1GPT-6 AstraCodexmax68.1%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-09-03

工具:未报告 · 预算:未报告

误差:± 3.2 percentage points; official HTML footer labels standard error;类型:standard_error;±3.2

补充指标:reported_tokens_total 2300000000 tokens;reported_cost_total 4997 USD

成绩位置:All domains, v0.1, Ranking row 1: GPT-6 Astra / Codex

2Opus 5.5Claude Codemax63.3%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-09-22

工具:未报告 · 预算:未报告

误差:± 3.3 percentage points; official HTML footer labels standard error;类型:standard_error;±3.3

补充指标:reported_tokens_total 8700000000 tokens;reported_cost_total 4874 USD

成绩位置:All domains, v0.1, Ranking row 2: Opus 5.5 / Claude Code

3Fable 5.1Claude Codemax40%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-09-01

工具:未报告 · 预算:未报告

误差:± 3.4 percentage points; official HTML footer labels standard error;类型:standard_error;±3.4

补充指标:reported_tokens_total 3800000000 tokens;reported_cost_total 6247 USD

成绩位置:All domains, v0.1, Ranking row 3: Fable 5.1 / Claude Code

4Opus 5Claude Codemax30%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-07-24

工具:未报告 · 预算:未报告

误差:± 3.2 percentage points; official HTML footer labels standard error;类型:standard_error;±3.2

补充指标:reported_tokens_total 7300000000 tokens;reported_cost_total 6993 USD

成绩位置:All domains, v0.1, Ranking row 4: Opus 5 / Claude Code

5GPT-5.6 SolCodexmax22.4%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-07-09

工具:未报告 · 预算:未报告

误差:± 2.9 percentage points; official HTML footer labels standard error;类型:standard_error;±2.9

补充指标:reported_tokens_total 8400000000 tokens;reported_cost_total 4222 USD

成绩位置:All domains, v0.1, Ranking row 5: GPT-5.6 Sol / Codex

6Fable 5Claude Codemax21.4%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-06-09

工具:未报告 · 预算:未报告

误差:± 2.8 percentage points; official HTML footer labels standard error;类型:standard_error;±2.8

补充指标:reported_tokens_total 6400000000 tokens;reported_cost_total 14176 USD

成绩位置:All domains, v0.1, Ranking row 6: Fable 5 / Claude Code

7DeepSeek V4.1 FlashCodexmax15.7%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-09-10

工具:未报告 · 预算:未报告

误差:± 2.5 percentage points; official HTML footer labels standard error;类型:standard_error;±2.5

补充指标:reported_tokens_total 14900000000 tokens;reported_cost_total 386 USD

成绩位置:All domains, v0.1, Ranking row 7: DeepSeek V4.1 Flash / Codex

8Grok 4.7Grok Buildxhigh14.3%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-09-21

工具:未报告 · 预算:未报告

误差:± 2.4 percentage points; official HTML footer labels standard error;类型:standard_error;±2.4

补充指标:reported_tokens_total 4200000000 tokens;reported_cost_total 3071 USD

成绩位置:All domains, v0.1, Ranking row 8: Grok 4.7 / Grok Build

9Gemini 3.8 Flashmini-SWE-agenthigh12.4%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-09-02

工具:未报告 · 预算:未报告

误差:± 2.3 percentage points; official HTML footer labels standard error;类型:standard_error;±2.3

补充指标:reported_tokens_total 10500000000 tokens;reported_cost_total 1117 USD

成绩位置:All domains, v0.1, Ranking row 9: Gemini 3.8 Flash / mini-SWE-agent

10Opus 4.8Claude Codemax10.5%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-05-28

工具:未报告 · 预算:未报告

误差:± 2.1 percentage points; official HTML footer labels standard error;类型:standard_error;±2.1

补充指标:reported_tokens_total 6800000000 tokens;reported_cost_total 5838 USD

成绩位置:All domains, v0.1, Ranking row 10: Opus 4.8 / Claude Code

11GPT-5.6 TerraCodexmax8.6%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-07-09

工具:未报告 · 预算:未报告

误差:± 1.9 percentage points; official HTML footer labels standard error;类型:standard_error;±1.9

补充指标:reported_tokens_total 7600000000 tokens;reported_cost_total 1984 USD

成绩位置:All domains, v0.1, Ranking row 11: GPT-5.6 Terra / Codex

12GLM 5.3Claude Codemax8.1%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-08-14

工具:未报告 · 预算:未报告

误差:± 1.9 percentage points; official HTML footer labels standard error;类型:standard_error;±1.9

补充指标:reported_tokens_total 8500000000 tokens;reported_cost_total 2733 USD

成绩位置:All domains, v0.1, Ranking row 12: GLM 5.3 / Claude Code

13Grok 4.6Grok Buildxhigh7.1%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-08-12

工具:未报告 · 预算:未报告

误差:± 1.8 percentage points; official HTML footer labels standard error;类型:standard_error;±1.8

补充指标:reported_tokens_total 3700000000 tokens;reported_cost_total 3344 USD

成绩位置:All domains, v0.1, Ranking row 14: Grok 4.6 / Grok Build

13Kimi K3Claude Codemax7.1%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-07-16

工具:未报告 · 预算:未报告

误差:± 1.8 percentage points; official HTML footer labels standard error;类型:standard_error;±1.8

补充指标:reported_tokens_total 3200000000 tokens;reported_cost_total 1524 USD

成绩位置:All domains, v0.1, Ranking row 13: Kimi K3 / Claude Code

15Gemini 3.7 Flashmini-SWE-agenthigh5.7%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-08-13

工具:未报告 · 预算:未报告

误差:± 1.6 percentage points; official HTML footer labels standard error;类型:standard_error;±1.6

补充指标:reported_tokens_total 12000000000 tokens;reported_cost_total 1297 USD

成绩位置:All domains, v0.1, Ranking row 15: Gemini 3.7 Flash / mini-SWE-agent

16DeepSeek V4 ProCodexmax3.8%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-08-13

工具:未报告 · 预算:未报告

误差:± 1.3 percentage points; official HTML footer labels standard error;类型:standard_error;±1.3

补充指标:reported_tokens_total 11200000000 tokens;reported_cost_total 1120 USD

成绩位置:All domains, v0.1, Ranking row 16: DeepSeek V4 Pro / Codex

17GPT-5.6 LunaCodexmax3.3%
配置、误差与来源

配置说明:模型发布日期(不是成绩提交日期):2026-07-09

工具:未报告 · 预算:未报告

误差:± 1.2 percentage points; official HTML footer labels standard error;类型:standard_error;±1.2

补充指标:reported_tokens_total 14200000000 tokens;reported_cost_total 383 USD

成绩位置:All domains, v0.1, Ranking row 17: GPT-5.6 Luna / Codex

查看本组前 10 条成绩

辅助展示;每条柱对应一项运行配置。数值和证据以上方表格为准。

本组来源

阅读边界

  • 当前官方榜单 17 个配置,替代本地旧 14 行快照。
  • 成本和 tokens 是已发生消耗,不等于授权上限或固定预算。

来源日期与读取日期分别保留。误差按原文类型呈现;未注明类型的误差不解释为置信区间。