BioMysteryBench

给 agent 匿名化的真实生物数据，要求通过分析识别可客观验证的生物学属性，例如样本来源、物种或实验扰动。方法可以自由选择，答案侧尽量锚定实验或元数据事实；现行 v11 完整集有 90 题，公开预览集有 5 题。

返回目录与筛选该基准的成绩与评分协议 →

基本情况与使用条件

提出机构: Anthropic
时间: 2026-04-29 官方公告；2026-07-06 v11
引用数: 待核验未取得可准确匹配的OpenAlex论文计数；不将未匹配解释为0。未取得带统计日期的可核验引用数；不按搜索印象填写。
是否有知名大模型厂商引用 / 采用: Anthropic 提出并评测 Claude提出并用于评估，不代表允许训练。
原文链接: Anthropic 官方介绍完整数据与访问条件 5 题预览数据官方预览使用条件与示例官方修订记录快照
数据集 / 项目链接: 完整数据与访问条件 5 题预览数据官方预览使用条件与示例
涉及学科: 生物信息、结构生物学、测序、表达、变异与调控
数据规模: v11 共 90 题（初版 99 题）；公开预览 5 题2026-04-29 公告对应初始 99 题；2026-07 v11 为 90 题，preview 的 5 题组成也已更新。preview 是展示子集，不是独立基准；必须连同 rubric 版本一起固定。
是否允许 train · Agent 权重训练: 仅评估；禁止训练/微调/RL/蒸馏[1][2][3][4][5]官方 preview README 访问条件明确：problem statements、answer rubrics、task formulation 不得用于训练、微调、强化或蒸馏任何机器学习模型；允许推理时构造评估提示并注明来源发布结果。
任务内模型拟合 / 训练: 依题目进行生物数据分析或参数估计；未取得任务内新建预测模型训练的统一规则，不据此扩大其仅评测许可。
单个样本评测所需时间预估: 单题端到端耗时未核实[1][2][3][4][5]尚无统一时长；依赖模型、agent、硬件、工具、网络、数据和评分协议；本项目未重跑，不将预算当实测耗时。

输入格式与样例

问题与匿名化数据文件；环境可提供常用工具，并按规则访问标准生物数据库或安装分析工具。answer_rubric 含参考答案，应放在评测端而不是 solver 输入中。[5]

输入样例

来源中的实例 / 文件契约

预览 hb020：给定匿名晶体结构数据，识别所属物种，按双名法回答。

输出格式与样例

最终生物学答案与可审查的求解轨迹。不同分析路线均可得分，但必须同时满足正确性与无违规追溯数据源的条件。[5]

输出样例

来源中的实例 / 文件契约

一个物种双名及求解证据；参考答案留在 evaluator，不能随 solver 输入提供。

厂商引用 / 采用证据

Anthropic · 基准提出者与模型评测发布方：官方研究公告介绍自建基准并报告 Claude 的生物信息分析评估。证据来源

评分、版本与阅读边界

评分：v11 的规则明确采用全有或全无：答案正确且未作弊才得 1，否则得 0。禁止主动以 GEO/SRA/ENA/BioProject accession 反查原始数据集、源论文或研究元数据；常规基因注释、参考基因组下载与 BLAST 等仍被允许。

版本：2026-04-29 公告对应初始 99 题；2026-07 v11 为 90 题，preview 的 5 题组成也已更新。preview 是展示子集，不是独立基准；必须连同 rubric 版本一起固定。

human_solvable=no 只表示基准专家在给定条件下没有解出，不证明该题人类原则上不可解。修订记录确实移除了不可行或欠定的题目，因此不能把早期宣传中的人类对比当作不变事实。完整数据需要接受使用条件；本次仅核查公开资料与本地预览资产。
本条依据原目录与公开/本地官方资料整理；未重跑基准，未测量实际完成时间。

原文与依据

Anthropic 官方介绍今日在线读取。 · 本次在线读取：2026-10-12
完整数据与访问条件沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
5 题预览数据沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
官方预览使用条件与示例本地 preview_README.md 顶部 evaluation-only 条件与 preview_problems.csv 的 hb020。网页本轮未在线读。 · 供稿 / 既有材料来源；本次未重新在线核验
官方修订记录快照v11，90题；本地已读，非今日在线验证。 · 供稿 / 既有材料来源；本次未重新在线核验

汇总来源：web/data/benchmark-catalog.json#biomysterybench；benchmark/new-reports/_materials/bmb_preview_files/preview_README.md；benchmark/new-reports/_materials/bmb_preview_files/preview_CHANGELOG.md；benchmark/new-reports/_materials/bmb_preview_files/preview_problems.csv；benchmark/new-reports/_parts/BioMysteryBench调研报告.md；benchmark/new-reports/Agentic-Science-Benchmark调研报告-第二批.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。