本页目录
Humanity’s Last Exam（HLE）
专家编写的跨学科多模态闭卷问答基准，以选择题与短答案检验高难学术知识和推理；成绩不直接代表端到端科研执行能力。
返回目录与筛选本条目暂无迁入的成绩表。
基本情况与使用条件
- 提出机构
- Center for AI Safety；Scale AI
- 时间
- 2025-01-24（论文首次提交）
- 引用数
- 45 · OpenAlex · 2026-10-12[5]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。该库将HLE归并为Nature期刊记录（10.1038/s41586-025-09962-4）。
- 是否有知名大模型厂商引用 / 采用
- OpenAI 官方采用已核实厂商自身发布的评测；该证据不等于全部厂商的使用清单。
- 数据集 / 项目链接
- CAIS 官方数据卡
- 涉及学科
- 数学、自然科学、人文、多学科
- 数据规模
- 2,500 道公开题；另有私有保留集按所读论文当前版本及官方数据卡；私有保留集规模未核实。
- 是否允许 train · Agent 权重训练
- 正式测试题应隔离[1][3]官方保留私有集检测过拟合；数据卡要求不公开分享、重传或分发，并使用canary提示将benchmark从未来训练语料中过滤。MIT标签不等于可将正式测试题训练后仍报告无污染评测。
- 任务内模型拟合 / 训练
- 任务本身是问答，不涉及训练下游科学模型。
- 单个样本评测所需时间预估
- 总评测耗时待核验[1]尚无统一时长；需固定模型、是否允许工具、推理token预算和并发；不将人工审题时间当模型运行时间。
输入格式与样例
文本问题；约14%题目含图像；选择题或精确短答[1]
输入样例
格式示意，非原题与标准答案某一高难学术问题及可选配图，要求给出可判定的短答案。输出格式与样例
短答案/选项，并可报告解释与置信度[1]
输出样例
格式示意，非原题与标准答案Exact Answer: <答案>；Confidence: <置信度>（格式示意，无真实答案）。厂商引用 / 采用证据
- OpenAI · 模型发布评测：GPT-5官方发布页列出 Humanity’s Last Exam (Full Set)，并区分工具设置。 证据来源
评分、版本与阅读边界
- HLE-Biomedicine 保留为学科子集备注；不能把子集分数和全量HLE直接混用。
- 指定汇总将HLE-Biomedicine关联到STELLA；本次未读取其筛选规则、题量和具体版本，均待核验。
- 是否允许浏览/代码工具必须随结果报告。
原文与依据
- HLE 官方论文§3 Dataset；§4 Evaluation；当前正文为2500题 · 本次在线读取：2026-10-12
- HLE 论文版本日期Submission history：v1 2025-01-24 · 本次在线读取：2026-10-12
- CAIS 官方数据卡Dataset card：2500题；分发提醒；canary与未来训练语料过滤要求；MIT标签 · 本次在线读取：2026-10-12
- OpenAI GPT-5 发布页Humanity’s Last Exam (Full Set) · 本次在线读取：2026-10-12
- OpenAlex 引用统计A benchmark of expert-level academic questions to assess AI capabilities；https://doi.org/10.1038/s41586-025-09962-4；cited_by_count=45 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/科学智能体相关的benchmark.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。