ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/Agents’ Last Exam
本页目录
专业工作流 · 基准

Agents’ Last Exam

在真实操作系统环境完成长程专业任务，并依据最终文件评分。覆盖13个产业簇、55个子领域，科学任务是其一部分。

返回目录与筛选本条目暂无迁入的成绩表。

基本情况与使用条件

提出机构
UC Berkeley RDI；RDI Foundation
时间
2026-06-03 首发；v2 2026-06-11；v3 2026-10-09
引用数
0 · OpenAlex · 2026-10-12[6]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。原表供稿数值另行原样保留，其统计日期和数据库未提供。
是否有知名大模型厂商引用 / 采用
厂商采用待核实本次未确认厂商自有报告中的独立采用；论文评测某厂商模型不等于该厂商引用本基准。
原文链接
ALE 官方项目页 ALE 官方仓库 ALE arXiv论文与版本历史 ALE 数据许可
数据集 / 项目链接
ALE 官方项目页 ALE 官方仓库 ALE 数据许可
涉及学科
通用、工程、计算机、生物、地球科学
数据规模
约150个公开任务；收集池1,500+当前仓库称 around 150 public tasks，官网称1,500+已收集任务、300+专家；原表152为选集口径，尚未逐任务计数。
是否允许 train · Agent 权重训练
公开任务许可与评测隔离须区分[3][5][1]仓库数据为CC BY 4.0；已读许可未明确禁止训练。隐藏reference/评分材料的访问隔离不等于对全部公开任务的禁训政策。原表“否”不能据此推广。
任务内模型拟合 / 训练
专业任务可运行工具、编写代码；若具体任务要求拟合预测模型，应按任务卡执行。
单个样本评测所需时间预估
按任务与harness设置；未核验统一时长[1][3]尚无统一时长；原表30分钟至数小时、8小时以上为供稿估计；本次未核验实际分布。
供稿时间描述 · 待复核
约 30 分钟–数小时/任务；复杂长程任务可达 8 小时以上（官方不设统一固定时长）供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。

输入格式与样例

任务卡（task_prompt.md/JSON 元数据）+ staged 输入文件（CSV/XLSX/图片/GeoPackage 等）+ 软件环境说明；VM/容器中执行[1]

输入样例

来源中的实例 / 文件契约
供稿实例转录，尚未逐记录复核：读取 base\input\seq1524_d02.gpkg 的图层 seq1524_d02、task_prompt.md 和 runtime_env/requirements.txt；按 brief 计算每个 id_lcp 的 8 个审计字段，并保持输出 CRS=EPSG:2154。

输出格式与样例

在 output/ 写入可评分文件和轨迹；示例要求输出 eligible_units.gpkg、flagged_units.gpkg，图层名分别为 eligible_units、flagged_units。[1]

输出样例

来源中的实例 / 文件契约
供稿实例转录，尚未逐记录复核：该任务卡要求的真实结果文件为 base\output\eligible_units.gpkg（图层 eligible_units）和 flagged_units.gpkg，均保留原始几何/字段并附 8 个审计字段；reference/ground-truth 输出受 gated 限制，公开文件未给出可抄录的行数或标签数值。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

  • 原表152/1,000+/250+与当前官网约150/1,500+/300+属于不同公开口径，保留原文以便追踪版本。
  • GeoPackage实例及8个审计字段来自供稿，未逐任务读取；不编造受限参考文件的数值答案。

原文与依据

  1. 子玲供稿原表（完整15列）agents-last-exam.originalRow；Agentic Science.xlsx 第2行 · 供稿 / 既有材料来源；本次未重新在线核验
  2. ALE 官方项目页What makes ALE different / Tasks Collected / Co-led by · 本次在线读取：2026-10-12
  3. ALE 官方仓库README: introduction / How ALE works · 本次在线读取：2026-10-12
  4. ALE arXiv论文与版本历史Submission history · 本次在线读取：2026-10-12
  5. ALE 数据许可CC BY 4.0 / applies to tasks and selected_tasks · 本次在线读取：2026-10-12
  6. OpenAlex 引用统计Agents' Last Exam；https://doi.org/10.48550/arxiv.2606.05405；cited_by_count=0 · 本次在线读取：2026-10-12

汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。