本页目录
SCIENCE BENCHMARKS / RESULTS
BioMysteryBench 成绩
真实匿名生物数据分析；公告按专家可解性分组，五次运行平均准确率。
每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。
公告v8／human-solvable
- 版本
- v8 (2026-04-28)
- 赛道
- Human-solvable
- 数据集
- human-solvable
- 任务数
- 76
- 主指标
- Accuracy
- 统计口径
- mean-of-5
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
每题5次；图注误差为题内bootstrap，未取得误差端点。容器含基本生信工具，可pip/conda安装及访问NCBI/Ensembl。
5 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | Claude Mythos Preview | 未报告 | 未报告 | 82.6% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure1 PNG Score (%) row Claude Mythos Preview |
| 2 | Claude Opus 4.7 | 未报告 | 未报告 | 78.9% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure1 PNG Score (%) row Claude Opus 4.7 |
| 3 | Claude Opus 4.6 | 未报告 | 未报告 | 77.4% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure1 PNG Score (%) row Claude Opus 4.6 |
| 4 | Claude Sonnet 4.6 | 未报告 | 未报告 | 71.8% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure1 PNG Score (%) row Claude Sonnet 4.6 |
| 5 | Claude Haiku 4.5 | 未报告 | 未报告 | 36.8% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure1 PNG Score (%) row Claude Haiku 4.5 |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
公告v8／human-difficult
- 版本
- v8 (2026-04-28)
- 赛道
- Human-difficult
- 数据集
- human-difficult
- 任务数
- 23
- 主指标
- Accuracy
- 统计口径
- mean-of-5
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
每题5次；图注误差为题内bootstrap，未取得误差端点。容器含基本生信工具，可pip/conda安装及访问NCBI/Ensembl。
5 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 1 | Claude Mythos Preview | 未报告 | 未报告 | 29.6% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。正文30%为粗精度表述，图表为29.6%。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure2 PNG Score (%) row Claude Mythos Preview |
| 2 | Claude Opus 4.7 | 未报告 | 未报告 | 27% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure2 PNG Score (%) row Claude Opus 4.7 |
| 3 | Claude Opus 4.6 | 未报告 | 未报告 | 23.5% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure2 PNG Score (%) row Claude Opus 4.6 |
| 4 | Claude Sonnet 4.6 | 未报告 | 未报告 | 19.1% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure2 PNG Score (%) row Claude Sonnet 4.6 |
| 5 | Claude Haiku 4.5 | 未报告 | 未报告 | 5.2% | 配置、误差与来源配置说明：精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。 工具：Bioinformatics tools; pip; conda; NCBI; Ensembl · 预算：5 trials per problem 误差：误差未报告 成绩位置：Figure2 PNG Score (%) row Claude Haiku 4.5 |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
当前v11／all
- 版本
- v11 (2026-07-06)
- 赛道
- all
- 数据集
- all
- 任务数
- 90
- 主指标
- Accuracy
- 统计口径
- 未报告
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
官方变更记录确认题数；未取得v11模型成绩。
1 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| — | 基座未公开 | 未报告 | 未报告 | — 未报告 | 配置、误差与来源配置说明：缺失：v11未报告可核对成绩，旧版99题成绩不可沿用。 工具：未报告 · 预算：未报告 误差：误差未报告 成绩位置：v11 changelog |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
当前v11／solvable
- 版本
- v11 (2026-07-06)
- 赛道
- solvable
- 数据集
- solvable
- 任务数
- 73
- 主指标
- Accuracy
- 统计口径
- 未报告
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
官方变更记录确认题数；未取得v11模型成绩。
1 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| — | 基座未公开 | 未报告 | 未报告 | — 未报告 | 配置、误差与来源配置说明：缺失：v11未报告可核对成绩，旧版99题成绩不可沿用。 工具：未报告 · 预算：未报告 误差：误差未报告 成绩位置：v11 changelog |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
当前v11／hard
- 版本
- v11 (2026-07-06)
- 赛道
- hard
- 数据集
- hard
- 任务数
- 17
- 主指标
- Accuracy
- 统计口径
- 未报告
未报告
同一来源内比较；运行条件差异仍须结合每行配置解释。
官方变更记录确认题数；未取得v11模型成绩。
1 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| — | 基座未公开 | 未报告 | 未报告 | — 未报告 | 配置、误差与来源配置说明：缺失：v11未报告可核对成绩，旧版99题成绩不可沿用。 工具：未报告 · 预算：未报告 误差：误差未报告 成绩位置：v11 changelog |
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
阅读边界
- 公告为v8 99题（76可解、23困难），v11改为90题（73可解、17困难）；不将旧成绩迁移到新题集。
- 五个模型×两split精确成绩来自官方PNG的Firecrawl机器转录；尚未人工视觉复核。
- Opus4.6的77.4/23.5与正文一致；Mythos困难集图表29.6%，正文30%为粗精度表述。
来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。