ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/Terminal-Bench 2.0
本页目录
通用终端基准 · 背景 · 背景基准

Terminal-Bench 2.0

通用终端 agent 基准，覆盖软件、系统、科学计算等真实工作。对应论文介绍的 Terminal-Bench 2.0 有 89 个任务，每题包含环境、说明、人工参考解与验证测试；它是理解 Terminal-Bench-Science 工程设计的背景材料。

返回目录与筛选本条目暂无迁入的成绩表。

基本情况与使用条件

提出机构
Stanford University；Laude Institute；Anthropic
时间
2026-01-17 论文首次预印本；非软件首次发布日
引用数
2 · OpenAlex · 2026-10-12[4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
是否有知名大模型厂商引用 / 采用
Anthropic 作者参与提出；独立采用待核验只确认作者机构参与；未核验厂商产品或报告是否自行采用。
原文链接
原论文 官方网站 原论文任务与耗时说明
数据集 / 项目链接
见原文与项目来源
涉及学科
软件工程、系统管理、科学计算、通用终端工作流
数据规模
89 题（2.0）本卡片对应论文 arXiv:2601.11868 所述 Terminal-Bench 2.0。它不是 Terminal-Bench-Science 的旧名称，也不是第七个科学专用基准。 2026 年已有 Terminal-Bench 2.1（StateM，arXiv 2608.15089 在 2.1 上报告结果）；2.1 与 2.0 的任务差异本页未核验。
是否允许 train · Agent 权重训练
训练政策未核实[1][2][3]公开任务、代码或数据许可不等于已确认允许将评测题用于训练 agent；本轮未找到明确的专门训练授权。
任务内模型拟合 / 训练
依具体终端任务；模型拟合、科学计算与程序实现可能是交付内容，但不得将隐藏verifier或参考解作为训练数据。
单个样本评测所需时间预估
单题端到端耗时未核实[1][2][3]尚无统一时长；依赖模型、agent、硬件、工具、网络、数据和评分协议；本项目未重跑，不将预算当实测耗时。

输入格式与样例

每题特定的容器环境、文件、工具与自然语言说明，执行器提供终端交互和运行记录。[3]

输入样例

格式示意，非原题与标准答案
说明性示例：在给定容器内修复一个构建失败的软件项目，并满足任务规定的测试。

输出格式与样例

任务规定的文件、程序、服务状态或其他环境产物，并由对应测试验证。[3]

输出样例

格式示意，非原题与标准答案
说明性示例：修复后的代码、文件或服务状态；由测试检查最终容器状态。

厂商引用 / 采用证据

  • Anthropic · 论文共同作者 affiliation：本地论文首页 Nicholas Carlini、Li Zhong 的机构标注 Anthropic；不据此推断厂商训练用途。 证据来源

评分、版本与阅读边界

评分：主要以任务测试的成功/失败衡量完成度；比较时固定数据集版本、agent、模型、工具、预算与运行次数。这里不搬录旧论文或动态榜单上的最佳模型分数。

版本：本卡片对应论文 arXiv:2601.11868 所述 Terminal-Bench 2.0。它不是 Terminal-Bench-Science 的旧名称，也不是第七个科学专用基准。 2026 年已有 Terminal-Bench 2.1（StateM，arXiv 2608.15089 在 2.1 上报告结果）；2.1 与 2.0 的任务差异本页未核验。

  • 通用终端成功率不是科学研究质量指标，也不能与 Terminal-Bench-Science 成功率直接比较。89 是论文中的 2.0 任务数量，不是其他发行版或派生基准的数量。
  • 本条依据原目录与公开/本地官方资料整理；未重跑基准，未测量实际完成时间。
  • 论文 Figure 5 描述多数试验少于20分钟、极端约2小时；这是特定历史模型/agent的分布，不作为所有任务通用范围。
  • 机构仅列本轮核实的部分首页作者机构，非完整作者机构表。

原文与依据

  1. 原论文今日在线读取。 · 本次在线读取：2026-10-12
  2. 官方网站沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
  3. 原论文任务与耗时说明本地 benchmark/technical-reports/terminal-bench-2601.11868.txt 首页机构、§2、Figure 5。此HTML本轮未在线读。 · 供稿 / 既有材料来源；本次未重新在线核验
  4. OpenAlex 引用统计Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces；https://doi.org/10.48550/arxiv.2601.11868；cited_by_count=2 · 本次在线读取：2026-10-12

汇总来源：web/data/benchmark-catalog.json#terminal-bench；benchmark/papers/Terminal-Bench_2601.11868.pdf；benchmark/technical-reports/terminal-bench-2601.11868.txt。本页未运行 benchmark；样例不是本次模型生成或实测结果。