ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/成绩对照矩阵/FrontierScience 成绩
本页目录

SCIENCE BENCHMARKS / RESULTS

FrontierScience 成绩

专家科学推理;Olympiad短答等价性,Research十点评分rubric至少7分算成功。

基准官方网站 ↗ · 成绩矩阵 · 基准介绍

每组仅在已取得精确数值的记录中排序,不跨组比较;模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。

官方图表/Olympiad

版本
official release 2025-12-16
赛道
Olympiad
数据集
gold
任务数
100
主指标
Accuracy
统计口径
mean-of-20

未报告

同一来源内比较;运行条件差异仍须结合每行配置解释。

无浏览;GPT-5 high judge;Research≥7/10为正确;CI为图表ci95字段。

8 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序;缺分不排名。

FrontierScience · 官方图表/Olympiad;仅主指标有数值的记录排名,并列采用 1、1、3。
配置与证据
1GPT-5.2未报告xhigh77.1%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [75.25843944655627, 78.94156055344375]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 75.2584394466%;ci95-high 78.9415605534%

成绩位置:Chart 1 data.values model=GPT-5.2

2Gemini 3 Pro未报告high76.1%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [74.23090079664026, 77.96909920335973]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 74.2309007966%;ci95-high 77.9690992034%

成绩位置:Chart 1 data.values model=Gemini 3 Pro

3Claude Opus 4.5未报告high71.35%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [69.3684712613742, 73.33152873862582]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 69.3684712614%;ci95-high 73.3315287386%

成绩位置:Chart 1 data.values model=Claude Opus 4.5

4Grok 4未报告high66.2%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [64.12686101575413, 68.27313898424588]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 64.1268610158%;ci95-high 68.2731389842%

成绩位置:Chart 1 data.values model=Grok 4

5OpenAI o3未报告high62.95%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [60.833427998389844, 65.06657200161014]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 60.8334279984%;ci95-high 65.0665720016%

成绩位置:Chart 1 data.values model=OpenAI o3

6OpenAI o4-mini未报告high61.65%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [59.51896639585389, 63.781033604146124]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 59.5189663959%;ci95-high 63.7810336041%

成绩位置:Chart 1 data.values model=OpenAI o4-mini

7OpenAI o1未报告high42.5%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [40.33344628499545, 44.66655371500455]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 40.333446285%;ci95-high 44.666553715%

成绩位置:Chart 1 data.values model=OpenAI o1

8GPT-4o未报告未报告12.3%
配置、误差与来源

配置说明:精确值来自官方HTML;无浏览,未报告命名agent。

工具:No browsing · 预算:20 independent trials per problem

误差:95% CI [10.860560467404067, 13.739439532595934]; source ci95_low_pct/ci95_high_pct;类型:confidence_interval_95

补充指标:ci95-low 10.8605604674%;ci95-high 13.7394395326%

成绩位置:Chart 1 data.values model=GPT-4o

查看本组前 10 条成绩

辅助展示;每条柱对应一项运行配置。数值和证据以上方表格为准。

本组来源

阅读边界

  • 官网、原论文和InternAgent论文的报告组严格分开。
  • 官方gold set为Olympiad100题、Research60题;重复次数20/30不是样本题数。
  • 官网交互图有8模型(包含正文漏列o1/Grok4);完整记录data.values与95%区间。
  • 第三方Table5的InternAgent-1.5行没有明确基座模型,不从其他benchmark的基座推断。
  • 补充论文v1独立10模型组(Fig6)及6个学科组(Fig7);原官网快照与InternAgent分组保留。
  • 论文20/30次独立试验平均正确率;每次Research回答≥7/10为成功。供稿多数票/平均rubric≥7说法已纠正。

来源日期与读取日期分别保留。误差按原文类型呈现;未注明类型的误差不解释为置信区间。