ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/ChemBench
本页目录
化学知识与推理 · 基准

ChemBench

用化学与材料问答评估知识、推理和领域判断，支持选择题与开放式回答。

返回目录与筛选本条目暂无迁入的成绩表。

基本情况与使用条件

提出机构
Friedrich Schiller University Jena；HIPOLE Jena；CSIC；EPFL；University of Cambridge；University of Bayreuth；Intel Labs
时间
2024-04-01 arXiv首发；供稿期刊发表2025-05-20
引用数
84 · OpenAlex · 2026-10-12[7]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。采用Nature Chemistry期刊记录，不与arXiv记录的16次相加。原表供稿数值另行原样保留，其统计日期和数据库未提供。
是否有知名大模型厂商引用 / 采用
厂商采用待核实本次未确认厂商自有报告中的独立采用；论文评测某厂商模型不等于该厂商引用本基准。
原文链接
ChemBench 官方数据集 ChemBench 官方仓库 ChemBench arXiv首发 ChemBench 论文全文 Nature Chemistry期刊版本（供稿链接）
数据集 / 项目链接
ChemBench 官方数据集 ChemBench 官方仓库
涉及学科
化学、材料
数据规模
2,700+题；供稿论文口径2,788官方数据卡确认2,700+题、9个领域。供稿正文2,788、本地导出2,785与Mini 236保留，尚未核对同一版本的精确计数。
是否允许 train · Agent 权重训练
仅用于评测，不得训练或微调[2]官方数据卡明确限定evaluation-only并要求不得训练/微调，记录中还含训练排除canary。
任务内模型拟合 / 训练
不是提供监督拟合train split的预测建模任务。
单个样本评测所需时间预估
未核验统一单题耗时[1]尚无统一时长；原表选择题<2分钟、开放题2–10分钟仅为估计；本次未执行推理或工具测速。
供稿时间描述 · 待复核
选择题通常 <2 分钟；需要化学推理/工具的开放题约 2–10 分钟供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。

输入格式与样例

JSON/Parquet：examples.input与target或target_scores、领域标签及评分指标。[2]

输入样例

来源中的实例 / 文件契约
已读公开数据实例询问弱碱溶液的触感；选项为Dry、Gritty、Slippery、Sticky。

输出格式与样例

模型返回选项/文字答案；评分器对照target或target_scores。[2][1]

输出样例

来源中的实例 / 文件契约
该公开记录将Slippery的target_score设为1，其他选项为0。原表苯胺反应实例完整保留，尚未逐记录复核。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

  • 年度筛选以2024年首发为准；2025年期刊发表时间保留于dateLabel。
  • Intel Labs等是作者单位，不能据此声称某大模型厂商在独立模型报告采用本基准。
  • 本次核验了主要单位，未将完整长作者列表全部转录。

原文与依据

  1. 子玲供稿原表（完整15列）chembench.originalRow；Agentic Science.xlsx 第10行 · 供稿 / 既有材料来源；本次未重新在线核验
  2. ChemBench 官方数据集Evaluation-only notice / Dataset Statistics / examples · 本次在线读取：2026-10-12
  3. ChemBench 官方仓库README / Citation · 本次在线读取：2026-10-12
  4. ChemBench arXiv首发Submission history · 本次在线读取：2026-10-12
  5. ChemBench 论文全文Author affiliations / corpus design · 本次在线读取：2026-10-12
  6. Nature Chemistry期刊版本（供稿链接）本次Nature页面读取失败；发表日沿用供稿并标注 · 供稿 / 既有材料来源；本次未重新在线核验
  7. OpenAlex 引用统计A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists；https://doi.org/10.1038/s41557-025-01815-x；cited_by_count=84 · 本次在线读取：2026-10-12

汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。