ResearchClawBench

让 agent 从整理好的真实科研工作区出发，自主分析原始数据、实现方法并产出带图表的研究报告，再与隐藏的目标论文提供的证据比较。论文主基准有 40 个任务、10 个学科，覆盖目标优化和诊断分析两类研究目标。

返回目录与筛选该基准的成绩与评分协议 →

基本情况与使用条件

提出机构: Shanghai Artificial Intelligence Laboratory
时间: 2026-05-28 首次预印本；2026-07-03 v5
引用数: 0 · OpenAlex · 2026-10-12 [6]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
是否有知名大模型厂商引用 / 采用: 厂商采用情况未核实论文/榜单评测某厂商模型，不等于该厂商已在其报告或产品中采用本基准。
原文链接: 原论文官方仓库官方数据官网与榜单本地原论文与官方协议证据
数据集 / 项目链接: 官方仓库官方数据官网与榜单
涉及学科: 天文、化学、地球科学、能源、信息科学、生命科学、材料、数学、神经科学、物理
数据规模: 40 题（论文主集）；HF 镜像另有 17 题社区任务论文主集是 40 题（10 个学科各 4 题），比较论文数字时以此为分母。本地 HF 镜像快照的 viewer 共 57 题 = 40 题官方主集 + 17 题社区任务（README 文字写的是 16 题，快照时点不同；2026-03-27 公告称其中 10 题来自 ResearchClawBench-Self）。旧报告中"诊断分析 22/57、指标优化 35/57"的分母就是这 57 题，不是论文主集。动态榜单只作为链接，未复制排名。
是否允许 train · Agent 权重训练: 训练政策未核实[1][2][3][4][5]公开任务、代码或数据许可不等于已确认允许将评测题用于训练 agent；本轮未找到明确的专门训练授权。
任务内模型拟合 / 训练: 部分研究目标可涉及模型开发、拟合与实验；以各任务工作区说明为准，不能使用隐藏目标论文或rubric充当训练答案。
单个样本评测所需时间预估: 单题端到端耗时未核实[1][2][3][4][5]尚无统一时长；依赖模型、agent、硬件、工具、网络、数据和评分协议；本项目未重跑，不将预算当实测耗时。

输入格式与样例

标准化工作区中的 INSTRUCTIONS.md、data/、related_work/ 等研究材料。评分侧另持有目标论文提取的加权 rubric、关键技术点和目标图像。[5]

输入样例

来源中的实例 / 文件契约

论文 Table 1 / Astronomy_000：原始观测后验样本与相关文献，用黑洞超辐射约束超轻玻色子参数。

输出格式与样例

report/report.md、生成的图表、代码与计算输出；评估运行还记录元数据、agent 轨迹、分项理由和总分。[5]

输出样例

来源中的实例 / 文件契约

研究报告及约束曲线、代码和计算证据；目标论文及其评分 rubric 不作为 solver 输入。

厂商引用 / 采用证据

尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。

评分、版本与阅读边界

评分：RADS（Reference-Anchored Discovery Score）用多模态模型裁判按加权 rubric 比较科学证据：约 50 分表示接近参考研究水平，更高分表示参考之上的证据潜力。数字/优化与机制/解释采用不同评分尺度；分数超过 50 不等于已经得到经独立验证的新发现。

版本：论文主集是 40 题（10 个学科各 4 题），比较论文数字时以此为分母。本地 HF 镜像快照的 viewer 共 57 题 = 40 题官方主集 + 17 题社区任务（README 文字写的是 16 题，快照时点不同；2026-03-27 公告称其中 10 题来自 ResearchClawBench-Self）。旧报告中"诊断分析 22/57、指标优化 35/57"的分母就是这 57 题，不是论文主集。动态榜单只作为链接，未复制排名。

依赖模型裁判与目标论文质量，报告中的可信度不能完全由文字评分证明。论文主集、社区扩展、单次、best-of-k 和重复均值必须分开；宣称创新还需要额外科学核验。
本条依据原目录与公开/本地官方资料整理；未重跑基准，未测量实际完成时间。

原文与依据

原论文今日在线读取。 · 本次在线读取：2026-10-12
官方仓库沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
官方数据沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
官网与榜单沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
本地原论文与官方协议证据机构另见本地 researchclawbench_arxiv.txt 首页；任务示例 Table 1；RADS、40题主集。仅本地读取。 · 供稿 / 既有材料来源；本次未重新在线核验
OpenAlex 引用统计ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research；https://doi.org/10.48550/arxiv.2606.07591；cited_by_count=0 · 本次在线读取：2026-10-12

汇总来源：web/data/benchmark-catalog.json#researchclawbench；benchmark/papers/ResearchClawBench_2606.07591.pdf；benchmark/researchclawbench_materials/researchclawbench_arxiv.txt；benchmark/researchclawbench_materials/README.official.md；benchmark/researchclawbench_materials/score.official.py；benchmark/researchclawbench_materials/evaluation_instructions_tmpl.py；benchmark/researchclawbench_materials/hf_readme.md；benchmark/Claude opus5/agentic-science-benchmarks.md；benchmark/kimi code/agentic-science-benchmarks.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。