ASAGENT SCIENCE · BENCHMARKS
科学评测手册 · 2026.10
科学评测资源/SWE-bench Science
本页目录
科学软件工程 · 基准

SWE-bench Science

考查 coding agent 在真实科研软件仓库中完成工程任务时，能否保持单位、坐标、数值不变量、文件格式等科学约束。官方发布含 119 个任务，覆盖 20 个科学领域；它关注科学软件的正确修改，与从零进行科学发现的范围不同。

返回目录与筛选该基准的成绩与评分协议 →

基本情况与使用条件

提出机构
Shanghai Innovation Institute（上海创智学院）；Fudan University（复旦大学）
时间
2026-08-20 首次预印本
引用数
0 · OpenAlex · 2026-10-12[6]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
是否有知名大模型厂商引用 / 采用
厂商采用情况未核实论文/榜单评测某厂商模型，不等于该厂商已在其报告或产品中采用本基准。
原文链接
原论文 官方仓库 官方数据入口 官网与榜单 官方发布 manifest 与 README 论文首页机构摘录
数据集 / 项目链接
官方仓库 官方数据入口 官网与榜单 官方发布 manifest 与 README
涉及学科
科学软件工程、20 个科学领域
数据规模
119 题（默认 96 + 需授权 23）论文 arXiv v2 更新于 2026-09-01。本地 official_swebs_snapshot/ 与 official_swebs_repo_main/ 是同一基准的不同材料快照，不作为两个基准或用户自建基准重复收录。
是否允许 train · Agent 权重训练
训练政策未核实[1][2][3][4][5]公开任务、代码或数据许可不等于已确认允许将评测题用于训练 agent；本轮未找到明确的专门训练授权。
任务内模型拟合 / 训练
以科研软件代码修改为任务；是否需要模型拟合由具体仓库与任务说明决定，不作统一允许推断。
单个样本评测所需时间预估
单题端到端耗时未核实[1][2][3][4][5]尚无统一时长；依赖模型、agent、硬件、工具、网络、数据和评分协议；本项目未重跑，不将预算当实测耗时。

输入格式与样例

任务说明、固定源码基线、公开测试数据和依赖环境。任务 manifest 指定环境与 verifier 的不可变镜像引用，runner 在运行时选择并安装 agent harness。[5]

输入样例

来源中的实例 / 文件契约
task_001：Repair an inconsistent transition-state rotor workflow；仓库 Auto-Mech/autochem 与固定 base_commit。

输出格式与样例

候选代码补丁 model.patch，以及 runner 保存的运行配置和结果文件；verifier 在干净基线上应用补丁，必要时重新编译后测试。[5]

输出样例

来源中的实例 / 文件契约
model.patch，以及 runner 保存的执行配置、测试与评分结果。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

评分：按任务程序化测试判断是否解决，论文报告 pass@1 等指标。必须记录实际任务选择；官方默认选取 96 个无需 restricted-license opt-in 的任务，其余 23 个需要显式选择，不能用默认子集结果冒充全 119 题结果。

版本：论文 arXiv v2 更新于 2026-09-01。本地 official_swebs_snapshot/ 与 official_swebs_repo_main/ 是同一基准的不同材料快照，不作为两个基准或用户自建基准重复收录。

  • 解决科研代码任务不等于独立完成科研。通过隐藏测试仍受测试覆盖范围约束；不同授权子集、基线版本和模型预算会改变分母与结果。本次没有拉取镜像或检查隐藏测试。
  • 本条依据原目录与公开/本地官方资料整理；未重跑基准，未测量实际完成时间。
  • 提出机构取自本地原论文第1页作者单位；OpenMOSS是项目组织标识，未将其当作机构。

原文与依据

  1. 原论文今日在线读取。 · 本次在线读取：2026-10-12
  2. 官方仓库沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
  3. 官方数据入口沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
  4. 官网与榜单今日在线读取。 · 本次在线读取：2026-10-12
  5. 官方发布 manifest 与 README本地 benchmark/official_swebs_snapshot/manifests/tasks.jsonl 第1行及 README；119题、96/23授权分组。此仓库本轮未在线读。 · 供稿 / 既有材料来源；本次未重新在线核验
  6. OpenAlex 引用统计SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?；https://doi.org/10.48550/arxiv.2608.19799；cited_by_count=0 · 本次在线读取：2026-10-12
  7. 论文首页机构摘录本地原论文第1页，5位作者共同署名单位1,2；本次读取本地PDF · 供稿 / 既有材料来源；本次未重新在线核验

汇总来源：web/data/benchmark-catalog.json#swe-bench-science；benchmark/papers/SWE-bench-Science_2608.19799.pdf；benchmark/official_swebs_snapshot/README.md；benchmark/official_swebs_snapshot/manifests/release_provenance.json；benchmark/official_swebs_snapshot/manifests/tasks.jsonl；benchmark/official_swebs_repo_main/README.md；benchmark/kimi code/agentic-science-benchmarks.md；benchmark/Claude opus5/agentic-science-benchmarks.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。