本页目录
SCIENCE BENCHMARKS / RESULTS
LAB-Bench 成绩
生物研究技能评测；供稿选出的TableQA/FigQA/Cloning三类别，保留模型与人类基线。
每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。
原论文 · TableQA
- 版本
- arXiv2407.10362v3
- 赛道
- TableQA
- 数据集
- full public+private (model); human sampled coverage
- 任务数
- 305
- 主指标
- Accuracy
- 统计口径
- model mean-of3; human expert reference as reported
正确答案/全部评测题；原表0–1，显示乘100。
同一来源内比较；运行条件差异仍须结合每行配置解释。
模型0-shot CoT，允许拒答但无工具；人类可使用工具，TableQA题目覆盖82%。准确率分母包括拒答，不能与precision混用。
3 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 参考 | 人类专家基线 | Human experts | 未报告 | 84% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。；人类基线；不是语言模型；可用工具。TableQA人类题目覆盖82%，其余两类100%。 工具：Tools permitted; expert-human reference · 预算：未报告 误差：误差未报告 成绩位置：Appendix B Table2 row=TableQA; column=Human; original ratio=0.84
|
| 1 | claude-3-5-sonnet-20240620 · claude-3-5-sonnet-20240620 | 未报告 | 未报告 | 83% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。 工具：No tools · 预算：3 runs; uniform wall-clock/token budget not specified 误差：误差未报告 成绩位置：Appendix B Table2 row=TableQA; column=claude-3-5-sonnet-20240620; original ratio=0.83
|
| 2 | gpt-4o | 未报告 | 未报告 | 71% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。 工具：No tools · 预算：3 runs; uniform wall-clock/token budget not specified 误差：误差未报告 成绩位置：Appendix B Table2 row=TableQA; column=gpt-4o; original ratio=0.71
|
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
- LAB-Bench 原论文 v3 ↗ 基准论文
原论文 · FigQA
- 版本
- arXiv2407.10362v3
- 赛道
- FigQA
- 数据集
- full public+private (model); human sampled coverage
- 任务数
- 226
- 主指标
- Accuracy
- 统计口径
- model mean-of3; human expert reference as reported
正确答案/全部评测题；原表0–1，显示乘100。
同一来源内比较；运行条件差异仍须结合每行配置解释。
模型0-shot CoT，允许拒答但无工具；人类可使用工具，TableQA题目覆盖82%。准确率分母包括拒答，不能与precision混用。
3 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 参考 | 人类专家基线 | Human experts | 未报告 | 77% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。；人类基线；不是语言模型；可用工具。TableQA人类题目覆盖82%，其余两类100%。 工具：Tools permitted; expert-human reference · 预算：未报告 误差：误差未报告 成绩位置：Appendix B Table2 row=FigQA; column=Human; original ratio=0.77
|
| 1 | claude-3-5-sonnet-20240620 · claude-3-5-sonnet-20240620 | 未报告 | 未报告 | 46% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。 工具：No tools · 预算：3 runs; uniform wall-clock/token budget not specified 误差：误差未报告 成绩位置：Appendix B Table2 row=FigQA; column=claude-3-5-sonnet-20240620; original ratio=0.46
|
| 2 | gpt-4o | 未报告 | 未报告 | 29% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。 工具：No tools · 预算：3 runs; uniform wall-clock/token budget not specified 误差：误差未报告 成绩位置：Appendix B Table2 row=FigQA; column=gpt-4o; original ratio=0.29
|
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
- LAB-Bench 原论文 v3 ↗ 基准论文
原论文 · CloningScenarios
- 版本
- arXiv2407.10362v3
- 赛道
- CloningScenarios
- 数据集
- full public+private (model); human sampled coverage
- 任务数
- 41
- 主指标
- Accuracy
- 统计口径
- model mean-of3; human expert reference as reported
正确答案/全部评测题；原表0–1，显示乘100。
同一来源内比较；运行条件差异仍须结合每行配置解释。
模型0-shot CoT，允许拒答但无工具；人类可使用工具，TableQA题目覆盖82%。准确率分母包括拒答，不能与precision混用。
3 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。
| 配置与证据 | |||||
|---|---|---|---|---|---|
| 参考 | 人类专家基线 | Human experts | 未报告 | 60% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。；人类基线；不是语言模型；可用工具。TableQA人类题目覆盖82%，其余两类100%。 工具：Tools permitted; expert-human reference · 预算：未报告 误差：误差未报告 成绩位置：Appendix B Table2 row=CloningScenarios; column=Human; original ratio=0.60
|
| 1 | claude-3-5-sonnet-20240620 · claude-3-5-sonnet-20240620 | 未报告 | 未报告 | 28% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。 工具：No tools · 预算：3 runs; uniform wall-clock/token budget not specified 误差：误差未报告 成绩位置：Appendix B Table2 row=CloningScenarios; column=claude-3-5-sonnet-20240620; original ratio=0.28
|
| 1 | gpt-4o | 未报告 | 未报告 | 28% | 配置、误差与来源配置说明：供稿research_bench p15 chart2；原论文Table2核验。 工具：No tools · 预算：3 runs; uniform wall-clock/token budget not specified 误差：误差未报告 成绩位置：Appendix B Table2 row=CloningScenarios; column=gpt-4o; original ratio=0.28
|
没有符合搜索条件的成绩。
查看本组前 10 条成绩
辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。
本组来源
- LAB-Bench 原论文 v3 ↗ 基准论文
阅读边界
- 目前仅收供稿明确展示并已核原表的3类别×3对象，不冒充完整LAB总榜。
- 模型无工具，3次运行均值；人类可用工具。人类部分题型仅覆盖子集。
- TableQA共有305题，Table1的人类题目覆盖82%；FigQA/Cloning分别100%。
来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。