本页目录
VirBench
以自然语言多条件查询检验 agent 从 NCBI Virus 检索病毒序列并返回正确数量的能力，重点是元数据过滤、分页与确定性数据访问。
返回目录与筛选本条目暂无迁入的成绩表。
基本情况与使用条件
- 提出机构
- Hasso Plattner Institute / University of Potsdam；Broad Institute of MIT and Harvard；FutureHouse；NCBI / NIH；Anthropic
- 时间
- 2026-06-04（论文首次提交）
- 引用数
- 0 · OpenAlex · 2026-10-12[4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
- 是否有知名大模型厂商引用 / 采用
- Anthropic 参与提出共同提出项目，不能据此推断其他模型厂商采用。
- 数据集 / 项目链接
- VirBench 官方仓库
- 涉及学科
- 病毒基因组学、生物信息学、数据库检索
- 数据规模
- 120 个查询，覆盖40种病原体专家人工核验NCBI网页端结果；查询含1–9个同时生效的约束。
- 是否允许 train · Agent 权重训练
- 完整测试集未公开，以避免训练污染[2]官方仓库明确不公开完整benchmark数据，以防题目/答案泄漏至大模型训练语料并破坏评测。不能把工具开源视为测试集可用于权重训练。
- 任务内模型拟合 / 训练
- 任务内只进行查询、过滤与计数；无需训练预测模型。
- 单个样本评测所需时间预估
- 完整任务耗时待核验[1]尚无统一时长；论文agent loop最多25轮；本地Python每次调用120秒超时。24小时是检索工具压力测试窗口，并非单题agent预算；未从图形估读数值。
输入格式与样例
结构化自然语言查询：TaxID/登录号，加宿主、地区、时间、长度等过滤条件[1]
输入样例
格式示意，非原题与标准答案检索某病毒、某宿主和地区范围内，满足发布日期与序列长度限制的NCBI序列。输出格式与样例
满足全部条件的最终序列数；检索工具可同时生成序列与元数据文件[1]
输出样例
格式示意，非原题与标准答案匹配序列数：<根据实际检索得到的整数>（不提供编造计数）。厂商引用 / 采用证据
- Anthropic · 参与开发并官方介绍：官方研究页以“we developed”介绍VirBench；合作论文作者包括Anthropic成员。 证据来源
评分、版本与阅读边界
- 与旅行视频重建项目VIR-Bench名称近似，本站指病毒序列检索项目。
- gget virus是配套确定性访问工具，不是另一个独立benchmark。
- 真实原题未复刻；输入输出仅为形式示意。
原文与依据
- VirBench 官方论文标题与作者单位；VirBench construction；agent evaluation；Methods · 本次在线读取：2026-10-12
- VirBench 官方仓库README：完整benchmark不公开及污染说明 · 本次在线读取：2026-10-12
- Anthropic 官方研究介绍What happens when agents try anyway；120查询、40病原体 · 本次在线读取：2026-10-12
- OpenAlex 引用统计Deterministic access to global viral sequence data enables robust agentic scientific discovery；https://doi.org/10.48550/arxiv.2606.06749；cited_by_count=0 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/科学智能体相关的benchmark.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。