本页目录
SGI-Bench
以科学探究流程为框架，评测深度研究、想法生成、干/湿实验及实验推理。覆盖 10 个学科和 1,000 余个专家整理样本；价值在于把科学能力分解成可诊断的维度，而不是只给一个知识问答总分。
基本情况与使用条件
- 提出机构
- Shanghai Artificial Intelligence Laboratory
- 时间
- 2025-12-18 首次预印本
- 引用数
- 0 · OpenAlex · 2026-10-12[6]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
- 是否有知名大模型厂商引用 / 采用
- 厂商采用情况未核实论文/榜单评测某厂商模型，不等于该厂商已在其报告或产品中采用本基准。
- 涉及学科
- 跨学科科学探究、10 个学科、75 个研究方向
- 数据规模
- 1,000+ 专家整理样本本地论文为 arXiv:2512.16969v1（2025-12-18）。评测框架、能力基准和 TTRL 方法属于同一项目中的不同组成，不分别计为三个 benchmark。
- 任务内模型拟合 / 训练
- 干实验任务可能要求模型训练或数值拟合，湿实验部分主要交付流程；依各子任务约束，不推导Agent权重训练许可。
输入格式与样例
随任务类别变化的研究问题、背景/文献、计算要求、协议要求或实验图像。SGIEvalAgent 提供问题选择、指标定制、推理评估和报告生成的评测工作流。[5]
输入样例
格式示意，非原题与标准答案说明性示例：针对一个科研问题和背景文献，生成结构化研究构想；其他子任务可输入实验图像或代码要求。输出格式与样例
短答案及推理步骤、结构化想法、可运行代码、实验操作序列或图像推理答案，具体取决于子任务。[5]
输出样例
格式示意，非原题与标准答案说明性示例：包含假设、方法与验证设计的想法；干实验交代码，湿实验交操作序列，实验推理交答案。厂商引用 / 采用证据
尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。
评分、版本与阅读边界
评分：采用多指标而非统一代码测试：深度研究看精确答案与步骤正确性；想法看新颖性、细节和可实施性；干实验区分能运行与结果正确；湿实验看动作顺序及参数；实验推理含选择正确性等指标。论文的 PassAll@k 定义与常见 Pass@k 不同，复用时应核对具体实现。
版本：本地论文为 arXiv:2512.16969v1（2025-12-18）。评测框架、能力基准和 TTRL 方法属于同一项目中的不同组成，不分别计为三个 benchmark。
- wet experiment 部分主要评估流程/协议，不代表真实湿实验已经执行。模型裁判与参考流程会引入偏差。论文另含 TTRL/GRPO 的测试时参数优化研究，该部分涉及训练，应与本项目关注的纯工作流 harness 分开。
- 本条依据原目录与公开/本地官方资料整理；未重跑基准，未测量实际完成时间。
原文与依据
- 原论文今日在线读取。 · 本次在线读取：2026-10-12
- 官方仓库沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
- 官方数据合集沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
- 项目页沿用原目录公开入口；本轮未在线核验。 · 供稿 / 既有材料来源；本次未重新在线核验
- 原论文文本证据首页机构、§2 任务/指标、Appendix A；仅本地读取。 · 供稿 / 既有材料来源；本次未重新在线核验
- OpenAlex 引用统计Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows；https://doi.org/10.48550/arxiv.2512.16969；cited_by_count=0 · 本次在线读取：2026-10-12
汇总来源：web/data/benchmark-catalog.json#sgi-bench；benchmark/papers/SGI-Bench_2512.16969.pdf；benchmark/Claude opus5/agentic-science-benchmarks.md；benchmark/kimi code/agentic-science-benchmarks.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。