本页目录
FrontierScience
物理、化学与生物的专家原创题，区分Olympiad短答案与Research开放式研究子任务。
基本情况与使用条件
- 提出机构
- OpenAI
- 时间
- 2025-12-16 官方首发；供稿论文日期2026-01-29
- 引用数
- 1 · OpenAlex · 2026-10-12[4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。原表供稿数值另行原样保留，其统计日期和数据库未提供。
- 是否有知名大模型厂商引用 / 采用
- OpenAI提出并发布提出机构关系已核验；本栏不把Gemini/Claude被测身份视为Google/Anthropic采用。
- 数据集 / 项目链接
- OpenAI 官方数据集
- 涉及学科
- 物理、化学、生物
- 数据规模
- 160道公开gold题；完整评测700+100 Olympiad + 60 Research；官方发布页称完整评测超过700题，不能将160视为全部题池。
- 是否允许 train · Agent 权重训练
- 评测集不得进入训练语料[3]官方数据卡明确要求benchmark data不进入训练语料，并提供canary；Apache许可不取消这一评测隔离要求。
- 任务内模型拟合 / 训练
- 题目求解不是独立的预测模型训练任务；不应把公开gold答案当作训练集。
- 单个样本评测所需时间预估
- 未核验统一代理耗时[1]尚无统一时长；原表Olympiad分钟至1h与Research专家3–5h不构成同一代理耗时测量；专家解题工时和模型runtime应分开。
- 供稿时间描述 · 待复核
- Olympiad 通常分钟至 1 小时；Research 专家预计至少 3–5 小时/题（论文明确）供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。
输入格式与样例
JSON文本题：problem、answer、subject、task_group_id；推理时不提供answer。[3]
输入样例
来源中的实例 / 文件契约公开数据首行是介电体内能题：给定U(T,P)=CT+f(P)，在Curie定律条件下求内能；subject为physics。输出格式与样例
Olympiad为短答案/表达式；Research为文字解答，由rubric评分。[3][2]
输出样例
来源中的实例 / 文件契约介电体题的数据集answer为U=CT；原字段尾部带有引号字符。Research成功阈值为rubric至少7/10分。厂商引用 / 采用证据
- OpenAI · proposer：官方发布页介绍该基准并报告自身模型评测。 证据来源
评分、版本与阅读边界
- 供稿时间2026-01-29不是官方首发；年度筛选采用2025。
- Research题评价受约束的研究子问题，不能直接解释为自主实验或端到端科学发现。
原文与依据
- 子玲供稿原表（完整15列）frontierscience.originalRow；Agentic Science.xlsx 第4行 · 供稿 / 既有材料来源；本次未重新在线核验
- OpenAI FrontierScience 官方发布2025-12-16 / What FrontierScience measures / How we grade · 本次在线读取：2026-10-12
- OpenAI 官方数据集test 160 rows / 第一行介电体题 / Dataset card canary · 本次在线读取：2026-10-12
- OpenAlex 引用统计FrontierScience: Evaluating AI's Ability to Perform Expert-Level Scientific Tasks；https://doi.org/10.48550/arxiv.2601.21165；cited_by_count=1 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。