本页目录
SciCode-Verified
对SciCode测试任务进行领域专家审计后发布的修订版，修复题意、参考数值、随机性和测试容差等缺陷；必须保留数据版本与评分协议。
返回目录与筛选本条目暂无迁入的成绩表。
基本情况与使用条件
- 提出机构
- University of Science and Technology of China / Hefei National Laboratory；Harbin Engineering University；Institute of Theoretical Physics, Chinese Academy of Sciences
- 时间
- 2026-08-05（论文首次提交；数据v2）
- 引用数
- 0 · OpenAlex · 2026-10-12[4]OpenAlex所收录引用数，统计于2026-10-12；不代表所有数据库的总引用数。0仅表示该库当前计数为0，不能证明无人引用。
- 是否有知名大模型厂商引用 / 采用
- 厂商采用待核验论文评测某厂商模型，不等于厂商引用或采用。
- 数据集 / 项目链接
- SciCode-Verified 官方仓库
- 涉及学科
- 科学编程、物理、数学、数值计算
- 数据规模
- 当前v2：64个主问题、287个评分子问题官方repo与论文正文使用64/287；arXiv摘要仍写65主问题、263缺陷，与正文及v2的262缺陷不同，须固定release与任务manifest。
- 是否允许 train · Agent 权重训练
- 测试集权重训练政策待核验[3][1]该发布是对SciCode测试集的修正，未确认明确的测试集权重训练许可或禁训条款。Apache-2.0代码许可不等于测试题、修订账本或参考答案可用于权重训练，也不保证训练后评测不受污染；训练重合应披露，并另设未见测试。
- 任务内模型拟合 / 训练
- 生成代码、运行数值计算与调试属于任务内求解，和使用测试参考解训练模型不同。
- 单个样本评测所需时间预估
- 完整评测耗时待核验[1]尚无统一时长；需固定模型、推理预算、with/no-background、pass@1及依赖环境；论文未提供可直接复用的统一全套wall-clock预算。
输入格式与样例
修订后的科学问题、函数接口、子问题与可选专家背景；累计使用前序解答[3][1]
输入样例
格式示意，非原题与标准答案实现科学数值函数，并遵守明确的符号、索引和边界条件；是否给背景作为独立设置。输出格式与样例
可执行Python函数；按子问题测试并汇总主问题全通过率[3][1]
输出样例
格式示意，非原题与标准答案生成函数实现，由固定依赖环境执行测试；同一主问题全部计分子问题通过才判成功。厂商引用 / 采用证据
尚未取得足以确认厂商引用 / 采用的公开证据。基准作者测试了某厂商模型，不足以证明该厂商引用或采用此基准。
评分、版本与阅读边界
- 与SciCode原版分列。当前repo v2修订测试集；分数不可直接与原版数据或不同任务manifest混用。
- 论文配对重评固定with-background、pass@1、同一harness与双环境OR评分，只改变benchmark数据；原版列是相同64问题上的重跑。
- no-background是不同设置，不能与with-background成绩混算。
- 发现的摘要/正文统计差异已保留，未自行推断缺失或排除的问题编号。
原文与依据
- SciCode-Verified 官方论文正文Table 1；Table 3；§3.1；64主问题、287评分子问题 · 本次在线读取：2026-10-12
- SciCode-Verified arXiv摘要与日期2026-08-05；摘要65主问题/263缺陷，和正文统计有差异 · 本次在线读取：2026-10-12
- SciCode-Verified 官方仓库README：versioned v2；63/64修改；287子问题；Evaluation protocol · 本次在线读取：2026-10-12
- OpenAlex 引用统计SciCode-Verified: How Benchmark Defects Underestimated the Scientific-Coding Ability of Language Models；https://doi.org/10.48550/arxiv.2608.04975；cited_by_count=0 · 本次在线读取：2026-10-12
汇总来源：survey/子玲/科学智能体相关的benchmark.md。本页未运行 benchmark；样例不是本次模型生成或实测结果。