本页目录
SciAgentGym / SciAgentBench
SciAgentGym提供1,780个科学工具与闭环执行环境；配套SciAgentBench以分级多步任务检验科学工具编排、错误恢复和长程推理。
返回目录与筛选本条目暂无迁入的成绩表。
基本情况与使用条件
- 提出机构
- Fudan University / Fudan NLP Group
- 时间
- 2026-02-13（论文首次提交；已读v2）
- 引用数
- 0 · OpenAlex · 2026-10-12[3]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
- 是否有知名大模型厂商引用 / 采用
- 厂商采用待核验论文评测某厂商模型，不等于厂商引用或采用。
- 数据集 / 项目链接
- 见原文与项目来源
- 涉及学科
- 物理、化学、材料科学、生命科学
- 数据规模
- 259 个任务、1,134 个子问题；1,780 个工具L1 54、L2 126、L3 79；工具数是环境接口数量，不是测试任务数。
- 是否允许 train · Agent 权重训练
- Gym支持合成训练；Bench测试题政策待核验[1]SciAgentGym是可执行工具环境，SciForge在该环境中合成并验证轨迹用于agent SFT，主模型使用11,074条轨迹；SciAgentBench是259个正式评测任务。环境支持合成训练，不代表这些测试题可用于权重训练；正式Bench禁训政策、逐题去重和数据许可待核验。
- 任务内模型拟合 / 训练
- 任务内调用Gym工具、执行数值计算属于求解活动；SciForge合成轨迹后更新agent权重属于外层训练；SciAgentBench测试题与答案应另行管理并披露训练重合。
- 单个样本评测所需时间预估
- 单任务batch超时上限20分钟[1]官方预算 / 配置上限；Appendix E.2：每任务batch job 1200秒，可重试最多3次；每请求300秒、shell命令60秒、工具执行30秒，工具交互最多50轮。20分钟是单次上限，重试可能增加总时间。
输入格式与样例
科学问题与子问题、可选图片/结构数据、领域工具接口和隔离文件系统[1]
输入样例
格式示意，非原题与标准答案分析薄膜干涉问题，结合推导与数值/可视化工具完成各子问题。输出格式与样例
各子问题答案和工具调用轨迹；报告整题成功率SR及路径效率SPL[1]
输出样例
格式示意，非原题与标准答案按顺序返回各子问题答案；只有全部子问题正确才算整题成功。厂商引用 / 采用证据
尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。
评分、版本与阅读边界
- Gym是工具执行环境，Bench是259任务评测套件，SciForge是利用Gym依赖图合成训练轨迹的方法；三者功能不同，正式Bench测试题禁训政策待核验。
- 与ScienceAgentBench名称相近但为不同项目；后者是论文驱动Python数据分析任务。
- 输入输出为形式示意，不传播未核实的标准答案。
原文与依据
- SciAgentGym 官方论文v2§3–6；Table 2；Appendix E.1/E.2 · 本次在线读取：2026-10-12
- SciAgentGym 版本历史v1 2026-02-13；v2 2026-05-30 · 本次在线读取：2026-10-12
- OpenAlex 引用统计SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents；https://doi.org/10.48550/arxiv.2602.12984；cited_by_count=0 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/科学智能体相关的benchmark.md；/tmp/benchmark-site-review/20260902.txt（只读提取，slides 13–15）。本页未运行 benchmark；样例不是本次模型生成或实测结果。