本页目录
LAB-Bench
用文献、数据库、图表、实验协议、序列和克隆场景测量生物科研助手的基础能力。
基本情况与使用条件
- 提出机构
- FutureHouse
- 时间
- 2024-07-14 首发；v3 2024-07-17
- 引用数
- 18 · OpenAlex · 2026-10-12[4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。原表供稿数值另行原样保留，其统计日期和数据库未提供。
- 是否有知名大模型厂商引用 / 采用
- 厂商采用待核实本次未确认厂商自有报告中的独立采用；论文评测某厂商模型不等于该厂商引用本基准。
- 数据集 / 项目链接
- LAB-Bench 官方仓库
- 涉及学科
- 生物、医学
- 数据规模
- 2,457道题；8大类、30子任务2,457为供稿引用原论文口径；官方README确认8大类、30子任务，公开约80%，私有约20%。各类题数保留于originalRow.I。
- 是否允许 train · Agent 权重训练
- 评测数据应从模型训练中排除[2]README要求模型构建者借助canary过滤该数据，并保留20%私有题监测训练污染；公开80%与CC BY-SA许可不能推导为可训练评测题。
- 任务内模型拟合 / 训练
- 主要是答题与检索，不是提供监督训练集的预测建模任务。
- 单个样本评测所需时间预估
- 单题耗时未统一核验[1]尚无统一时长；原表对生物学家>10分钟的难度描述不应转换成代理固定runtime；未执行测速。
- 供稿时间描述 · 待复核
- 简单题通常 <10 分钟；论文特别指出较难题可能需要受训分子生物学家 >10 分钟供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。
输入格式与样例
AgentInput包含question、choices，以及FigQA/TableQA需要的figures。[2][1]
输入样例
格式示意，非原题与标准答案接口示意：question为一道生物研究多选题，choices提供选项，图表题另含PIL图像列表；原表FigQA/DbQA实例保留于originalRow，尚未逐记录验证。输出格式与样例
单字符选项字母。[2]
输出样例
格式示意，非原题与标准答案官方harness演示返回A；这是演示占位，不能视为某一道FigQA或DbQA的标准答案。厂商引用 / 采用证据
尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。
评分、版本与阅读边界
- 原表“部分允许train”改为评测隔离；训练版权许可与污染政策分别处理。
- 仅返回单字母是官方harness协议；其分数不直接覆盖真实实验执行。
原文与依据
- 子玲供稿原表（完整15列）lab-bench.originalRow；Agentic Science.xlsx 第6行 · 供稿 / 既有材料来源；本次未重新在线核验
- LAB-Bench 官方仓库README: Description / Defining an agent · 本次在线读取：2026-10-12
- LAB-Bench 首发与论文Submission history / abstract · 本次在线读取：2026-10-12
- OpenAlex 引用统计LAB-Bench: Measuring Capabilities of Language Models for Biology Research；https://doi.org/10.48550/arxiv.2407.10362；cited_by_count=18 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。