Aviary

FutureHouse的语言agent交互环境框架，支持行为克隆、专家迭代和多步科学工具使用。它是可扩展环境集合，不能当成一份固定题库。

返回目录与筛选本条目暂无迁入的成绩表。

基本情况与使用条件

提出机构: FutureHouse；University of Rochester；Francis Crick Institute
时间: 2024-12-30（论文首次提交）
引用数: 10 · OpenAlex · 2026-10-12 [4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
是否有知名大模型厂商引用 / 采用: 大模型厂商采用待核验提出方是FutureHouse；论文评测Claude与Llama不等于Anthropic或Meta官方采用。
原文链接: Aviary 官方论文 Aviary 论文日期 FutureHouse Aviary官方仓库
数据集 / 项目链接: FutureHouse Aviary官方仓库
涉及学科: 科学文献问答、分子克隆、蛋白稳定性、通用问答、数学
数据规模: 论文实现5种环境，其中3种科学环境GSM8K、HotpotQA、PaperQA、Molecular Cloning、Protein Stability；不同环境有独立数据规模和划分，不合计成统一测试题量。
是否允许 train · Agent 权重训练: 明确支持agent训练；保留独立测试[1][3]论文实现行为克隆与专家迭代，使用环境各自训练/评测/测试划分；仓库为Apache-2.0。底层论文文本、工具与数据仍需遵守各自条款，不可把正式测试轨迹混入训练。
任务内模型拟合 / 训练: 可调用科学工具或预测器执行任务；环境反馈优化外层agent与任务内拟合需要分别报告。
单个样本评测所需时间预估: 随环境和推理方案变化[1]尚无统一时长；没有统一wall-clock预算。论文SeqQA单轨迹约7–10次LLM调用；多数投票增加轨迹数，不能将调用数折算为无条件分钟数。

输入格式与样例

环境初始观察、自然语言任务、工具接口；可附文献、DNA构件或蛋白数据[1]

输入样例

格式示意，非原题与标准答案

根据给定蛋白与质粒信息，规划在酵母中表达的GFP融合克隆方案。

输出格式与样例

工具调用轨迹及环境指定答案/构件方案/蛋白突变候选；环境返回观测与奖励[1]

输出样例

格式示意，非原题与标准答案

克隆方案与相应工具执行结果，或文献问题的最终选项；输出形式随环境变化。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

kind=environment；LitQA2、SeqQA等应在对应具体benchmark协议下报告。

原文与依据

Aviary 官方论文§3.3 Training Methods；§4 Environments；§6 Discussion · 本次在线读取：2026-10-12
Aviary 论文日期Submission history：2024-12-30 · 本次在线读取：2026-10-12
FutureHouse Aviary官方仓库README；Apache-2.0 license · 本次在线读取：2026-10-12
OpenAlex 引用统计Aviary: training language agents on challenging scientific tasks；https://doi.org/10.48550/arxiv.2412.21154；cited_by_count=10 · 本次在线读取：2026-10-12

汇总来源：survey/子玲/科学智能体相关的benchmark.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。