ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/BioML-bench
本页目录
生物医学机器学习 · 基准

BioML-bench

把蛋白工程、药物发现、单细胞和成像数据封装为可执行机器学习任务，评估预测质量与交付可靠性。

返回目录与筛选该基准的成绩与评分协议 →

基本情况与使用条件

提出机构
Shift Bioscience；University of Cambridge；ScienceMachine；University of Toronto；Vector Institute
时间
2025-09-04 bioRxiv首发；v2 2025-09-07
引用数
6 · OpenAlex · 2026-10-12[5]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。原表供稿数值另行原样保留，其统计日期和数据库未提供。
是否有知名大模型厂商引用 / 采用
厂商采用待核实本次未确认厂商自有报告中的独立采用；论文评测某厂商模型不等于该厂商引用本基准。
原文链接
BioML-bench 官方仓库 BioML-bench 官方论文v2全文 BioML-bench 官方作者单位与版本历史
数据集 / 项目链接
BioML-bench 官方仓库
涉及学科
生物、医学、化学、计算机
数据规模
24个任务（供稿v0.1a口径）供稿PPT按PolarisHub 9、Kaggle 4、ProteinGym 6、OpenProblems 5分类。官方论文确认四领域与任务来源；24的精确表格计数尚待Table 3核对。
是否允许 train · Agent 权重训练
代理权重训练政策待核实[2][1]README确认代理从数据出发构建ML方案；MIT代码许可不能替代评测数据和污染政策。私有answers用于评分的供稿说明尚待代码逐文件复核。
任务内模型拟合 / 训练
任务内训练预测模型是核心流程；使用公开训练集，不能使用私有测试标签。
单个样本评测所需时间预估
其他任务CPU预算8小时；成像GPU预算16小时[3]官方预算 / 配置上限；论文§3.4：成像任务单张NVIDIA L4、16 vCPU、64GB RAM，wall-clock上限16h；其余任务使用同规格CPU-only机器，上限8h。每个agent–task组合4次独立重复；8/16h为每次运行上限，非实际平均完成耗时。
供稿时间描述 · 待复核
CPU 任务 8 小时；需要 GPU 的成像任务 16 小时（论文评测上限）供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。

输入格式与样例

Docker task capsule：任务描述 + train.* + test_features.* + sample_submission.*；代理在容器内读数据、建模并提交预测[1]

输入样例

来源中的实例 / 文件契约
供稿实例转录，尚未逐记录复核：train.csv 列为 Drug（SMILES）和 Y，test_features.csv 列为 id、Drug，任务是由 Drug SMILES 预测 Caco-2 effective permeability；公开 task YAML 为 caco2-wang。

输出格式与样例

submission.csv 或 submission.h5ad 等预测文件；按任务指标自动评分（如 MAE、AUROC、Spearman）[1]

输出样例

来源中的实例 / 文件契约
供稿实例转录，尚未逐记录复核：真实公开模板为 sample_submission.csv，列为 id,Y，初始化首行是 0,0.0；评分目标为 mean_absolute_error，answers.csv 中的测试标签属于 private 文件。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

  • 作者单位与首发日已由官方Author Information核验；正文Received September 1是收稿日，不能作公开首发。
  • sample_submission首行0,0.0是模板占位，不是Caco-2测试集正确标签。
  • 24任务计数来自供稿；官方论文网页的表格未在正文抽取中展开，尚未逐行复算。
  • 论文§3.4确认8/16小时预算；论文没有报告可直接代替预算的统一单任务完成时间。

原文与依据

  1. 子玲供稿原表（完整15列）bioml-bench.originalRow；Agentic Science.xlsx 第3行 · 供稿 / 既有材料来源；本次未重新在线核验
  2. BioML-bench 官方仓库README: v0.1-alpha / Key Features / Basic Usage · 本次在线读取：2026-10-12
  3. BioML-bench 官方论文v2全文§3.1 task capsules；§3.4 Evaluation Protocol and Compute Budget · 本次在线读取：2026-10-12
  4. BioML-bench 官方作者单位与版本历史Author Information；Article Versions：v1 September 4, 2025；v2 September 7, 2025 · 本次在线读取：2026-10-12
  5. OpenAlex 引用统计BioML-bench: Evaluation of AI Agents for End-to-End Biomedical ML；https://doi.org/10.1101/2025.09.01.673319；cited_by_count=6 · 本次在线读取：2026-10-12

汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。