本页目录
SciCode
把科学家的实际研究计算拆为多个函数与集成主问题，通过数值和领域测试检验生成代码。
基本情况与使用条件
- 提出机构
- University of Illinois Urbana-Champaign；Argonne National Laboratory；Carnegie Mellon University；Massachusetts Institute of Technology；Harvard University；University of Chicago；Princeton University
- 时间
- 2024-07-18 arXiv首发
- 引用数
- 3 · OpenAlex · 2026-10-12[6]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。原表供稿数值另行原样保留，其统计日期和数据库未提供。
- 是否有知名大模型厂商引用 / 采用
- 厂商采用待核实本次未确认厂商自有报告中的独立采用；论文评测某厂商模型不等于该厂商引用本基准。
- 数据集 / 项目链接
- SciCode 官方项目页 SciCode 官方Haldane实例
- 涉及学科
- 数学、物理、化学、生物、材料、计算机
- 数据规模
- 80 主问题 / 338 子问题；测试集 65 / 288官方页称16个子领域；338为给定分解的子问题，不等同338个独立完整研究任务。机构列表为已核对的部分作者单位。 官方划分为15个开发主问题/50子问题和65个测试主问题/288子问题；规模筛选按65个测试主问题。
- 是否允许 train · Agent 权重训练
- 独立评测使用；禁训政策未明示核验[5][2]刻意减少与公开数据重叠是构造方法，不等同正式禁训许可。本次未读到明确允许或禁止代理权重训练的条款；保持评测集隔离。
- 任务内模型拟合 / 训练
- 科学计算任务以程序求解与测试为主；是否拟合模型取决于具体题目。
- 单个样本评测所需时间预估
- 未核验统一单题运行时间[1]尚无统一时长；原表subproblem数分钟/主问题15–60分钟为估计；模型生成延迟、子问题数量与执行测试耗时不同，不能当作论文实测值。
- 供稿时间描述 · 待复核
- 单个 subproblem 通常数分钟；完整主问题需组合多个函数和测试，约 15–60 分钟供稿原始时间描述，仅作为待复核的估算线索。含人类专家耗时、求解预算或子程序时长时不代表agent端到端耗时。
输入格式与样例
科学问题说明、函数签名、前序子问题代码，可选科学背景与测试案例。[3]
输入样例
来源中的实例 / 文件契约官方实例要求扫描Haldane模型的m/t2与相位参数，输入delta、a、t1、t2与N，生成计算Chern数的代码。输出格式与样例
可执行Python函数与集成程序，通过数值/科学测试。[3]
输出样例
来源中的实例 / 文件契约官方Haldane实例规定返回形状(N,N)的Chern数矩阵，以及长度N的m_values、phi_values；此处不臆造某组参数下的数值。厂商引用 / 采用证据
尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。
评分、版本与阅读边界
- 展示实例改用本次已读取的官方Haldane例题；原表Ewald实例与四个参考值完整保留于originalRow，未本次逐记录复核。
- SciCode与SciCode-Verified是不同版本/协议，不能混用分数。
- 完整题库80/338与正式测试65/288是不同口径；不能把开发题混入测试分母。
原文与依据
- 子玲供稿原表（完整15列）scicode.originalRow；Agentic Science.xlsx 第9行 · 供稿 / 既有材料来源；本次未重新在线核验
- SciCode 官方项目页Author affiliations / Introduction / Benchmark Statistics · 本次在线读取：2026-10-12
- SciCode 官方Haldane实例Main Problem and Dependencies / Outputs · 本次在线读取：2026-10-12
- SciCode 首发与论文Submission history · 本次在线读取：2026-10-12
- SciCode 论文全文benchmark design / contamination discussion · 本次在线读取：2026-10-12
- OpenAlex 引用统计SciCode: A Research Coding Benchmark Curated by Scientists；https://doi.org/10.48550/arxiv.2407.13168；cited_by_count=3 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/Agentic Science.xlsx。本页未运行 benchmark；样例不是本次模型生成或实测结果。