本页目录
SCIENCE BENCHMARKS / RESULTS
Terminal-Bench-Science 成绩
70 个跨学科终端科研工作流任务,以程序化验证衡量 agent 的任务解决率。
每组仅在已取得精确数值的记录中排序,不跨组比较;模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。
官方 v0.1 · 全部学科 · 70 题
- 版本
- v0.1 / fixed release v0.1.0
- 赛道
- all domains
- 数据集
- all
- 任务数
- 70
- 主指标
- Resolution rate
- 统计口径
- 官方榜单 Resolution rate(保留显示的一位小数)
官方榜单的任务解决率;误差条为标准误。
同一来源内比较;运行条件差异仍须结合每行配置解释。
Harbor 运行;官方示例使用 Modal。榜单未在已读来源公开每配置的重复次数与统一 token/时间预算。不同 model–agent 配置按官方同一表并列,不能归因为纯模型能力。
17 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序;缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | GPT-6 Astra | Codex | max | 68.1% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-09-03 工具:未报告 · 预算:未报告 误差:± 3.2 percentage points; official HTML footer labels standard error;类型:standard_error;±3.2 补充指标:reported_tokens_total 2300000000 tokens;reported_cost_total 4997 USD 成绩位置:All domains, v0.1, Ranking row 1: GPT-6 Astra / Codex |
| 2 | Opus 5.5 | Claude Code | max | 63.3% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-09-22 工具:未报告 · 预算:未报告 误差:± 3.3 percentage points; official HTML footer labels standard error;类型:standard_error;±3.3 补充指标:reported_tokens_total 8700000000 tokens;reported_cost_total 4874 USD 成绩位置:All domains, v0.1, Ranking row 2: Opus 5.5 / Claude Code |
| 3 | Fable 5.1 | Claude Code | max | 40% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-09-01 工具:未报告 · 预算:未报告 误差:± 3.4 percentage points; official HTML footer labels standard error;类型:standard_error;±3.4 补充指标:reported_tokens_total 3800000000 tokens;reported_cost_total 6247 USD 成绩位置:All domains, v0.1, Ranking row 3: Fable 5.1 / Claude Code |
| 4 | Opus 5 | Claude Code | max | 30% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-07-24 工具:未报告 · 预算:未报告 误差:± 3.2 percentage points; official HTML footer labels standard error;类型:standard_error;±3.2 补充指标:reported_tokens_total 7300000000 tokens;reported_cost_total 6993 USD 成绩位置:All domains, v0.1, Ranking row 4: Opus 5 / Claude Code |
| 5 | GPT-5.6 Sol | Codex | max | 22.4% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-07-09 工具:未报告 · 预算:未报告 误差:± 2.9 percentage points; official HTML footer labels standard error;类型:standard_error;±2.9 补充指标:reported_tokens_total 8400000000 tokens;reported_cost_total 4222 USD 成绩位置:All domains, v0.1, Ranking row 5: GPT-5.6 Sol / Codex |
| 6 | Fable 5 | Claude Code | max | 21.4% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-06-09 工具:未报告 · 预算:未报告 误差:± 2.8 percentage points; official HTML footer labels standard error;类型:standard_error;±2.8 补充指标:reported_tokens_total 6400000000 tokens;reported_cost_total 14176 USD 成绩位置:All domains, v0.1, Ranking row 6: Fable 5 / Claude Code |
| 7 | DeepSeek V4.1 Flash | Codex | max | 15.7% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-09-10 工具:未报告 · 预算:未报告 误差:± 2.5 percentage points; official HTML footer labels standard error;类型:standard_error;±2.5 补充指标:reported_tokens_total 14900000000 tokens;reported_cost_total 386 USD 成绩位置:All domains, v0.1, Ranking row 7: DeepSeek V4.1 Flash / Codex |
| 8 | Grok 4.7 | Grok Build | xhigh | 14.3% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-09-21 工具:未报告 · 预算:未报告 误差:± 2.4 percentage points; official HTML footer labels standard error;类型:standard_error;±2.4 补充指标:reported_tokens_total 4200000000 tokens;reported_cost_total 3071 USD 成绩位置:All domains, v0.1, Ranking row 8: Grok 4.7 / Grok Build |
| 9 | Gemini 3.8 Flash | mini-SWE-agent | high | 12.4% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-09-02 工具:未报告 · 预算:未报告 误差:± 2.3 percentage points; official HTML footer labels standard error;类型:standard_error;±2.3 补充指标:reported_tokens_total 10500000000 tokens;reported_cost_total 1117 USD 成绩位置:All domains, v0.1, Ranking row 9: Gemini 3.8 Flash / mini-SWE-agent |
| 10 | Opus 4.8 | Claude Code | max | 10.5% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-05-28 工具:未报告 · 预算:未报告 误差:± 2.1 percentage points; official HTML footer labels standard error;类型:standard_error;±2.1 补充指标:reported_tokens_total 6800000000 tokens;reported_cost_total 5838 USD 成绩位置:All domains, v0.1, Ranking row 10: Opus 4.8 / Claude Code |
| 11 | GPT-5.6 Terra | Codex | max | 8.6% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-07-09 工具:未报告 · 预算:未报告 误差:± 1.9 percentage points; official HTML footer labels standard error;类型:standard_error;±1.9 补充指标:reported_tokens_total 7600000000 tokens;reported_cost_total 1984 USD 成绩位置:All domains, v0.1, Ranking row 11: GPT-5.6 Terra / Codex |
| 12 | GLM 5.3 | Claude Code | max | 8.1% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-08-14 工具:未报告 · 预算:未报告 误差:± 1.9 percentage points; official HTML footer labels standard error;类型:standard_error;±1.9 补充指标:reported_tokens_total 8500000000 tokens;reported_cost_total 2733 USD 成绩位置:All domains, v0.1, Ranking row 12: GLM 5.3 / Claude Code |
| 13 | Grok 4.6 | Grok Build | xhigh | 7.1% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-08-12 工具:未报告 · 预算:未报告 误差:± 1.8 percentage points; official HTML footer labels standard error;类型:standard_error;±1.8 补充指标:reported_tokens_total 3700000000 tokens;reported_cost_total 3344 USD 成绩位置:All domains, v0.1, Ranking row 14: Grok 4.6 / Grok Build |
| 13 | Kimi K3 | Claude Code | max | 7.1% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-07-16 工具:未报告 · 预算:未报告 误差:± 1.8 percentage points; official HTML footer labels standard error;类型:standard_error;±1.8 补充指标:reported_tokens_total 3200000000 tokens;reported_cost_total 1524 USD 成绩位置:All domains, v0.1, Ranking row 13: Kimi K3 / Claude Code |
| 15 | Gemini 3.7 Flash | mini-SWE-agent | high | 5.7% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-08-13 工具:未报告 · 预算:未报告 误差:± 1.6 percentage points; official HTML footer labels standard error;类型:standard_error;±1.6 补充指标:reported_tokens_total 12000000000 tokens;reported_cost_total 1297 USD 成绩位置:All domains, v0.1, Ranking row 15: Gemini 3.7 Flash / mini-SWE-agent |
| 16 | DeepSeek V4 Pro | Codex | max | 3.8% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-08-13 工具:未报告 · 预算:未报告 误差:± 1.3 percentage points; official HTML footer labels standard error;类型:standard_error;±1.3 补充指标:reported_tokens_total 11200000000 tokens;reported_cost_total 1120 USD 成绩位置:All domains, v0.1, Ranking row 16: DeepSeek V4 Pro / Codex |
| 17 | GPT-5.6 Luna | Codex | max | 3.3% | 配置、误差与来源配置说明:模型发布日期(不是成绩提交日期):2026-07-09 工具:未报告 · 预算:未报告 误差:± 1.2 percentage points; official HTML footer labels standard error;类型:standard_error;±1.2 补充指标:reported_tokens_total 14200000000 tokens;reported_cost_total 383 USD 成绩位置:All domains, v0.1, Ranking row 17: GPT-5.6 Luna / Codex |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示;每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
阅读边界
- 当前官方榜单 17 个配置,替代本地旧 14 行快照。
- 成本和 tokens 是已发生消耗,不等于授权上限或固定预算。
来源日期与读取日期分别保留。误差按原文类型呈现;未注明类型的误差不解释为置信区间。