本页目录

SCIENCE BENCHMARKS / RESULTS

SciCode 成绩

科学代码生成，区分主问题/子问题以及是否提供科学背景。

基准官方网站 ↗ · 成绩矩阵 · 基准介绍

比较组（版本 / 赛道 / 口径）搜索模型或配置

每组仅在已取得精确数值的记录中排序，不跨组比较；模型与 Agent / 运行方法、推理强度和预算共同构成运行配置。未报告的设置保持标注。

标准无背景 · Main problem

版本: arXiv2407.13168v1
赛道: Main problem
数据集: test
任务数: 65
主指标: Pass@1
统计口径: Pass@1 as reported

执行测试通过率；主问题须所有子问题与集成程序均正确。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Table2；zero-shot；使用模型生成的前序子题解；背景条件固定。未报告统一时间或算力预算。

10 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。

SciCode · 标准无背景 · Main problem；仅主指标有数值的记录排名，并列采用 1、1、3。
					配置与证据
1	Claude3.5-Sonnet	未报告	未报告	4.6%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Claude3.5-Sonnet; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
2	Deepseek-Coder-v2	未报告	未报告	3.1%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Deepseek-Coder-v2; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	Claude3-Opus	未报告	未报告	1.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Claude3-Opus; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	Claude3-Sonnet	未报告	未报告	1.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Claude3-Sonnet; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	Gemini 1.5 Pro	未报告	未报告	1.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Gemini 1.5 Pro; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	GPT-4-Turbo · gpt-4-turbo-2024-04-09	未报告	未报告	1.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=GPT-4-Turbo; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	GPT-4o	未报告	未报告	1.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=GPT-4o; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	Qwen2-72B-Instruct	未报告	未报告	1.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Qwen2-72B-Instruct; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
9	Llama-3-70B-Chat	未报告	未报告	0%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。；Table2名称Chat，§3.1/Table3名称Instruct；保留原行名称，不推断快照。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Llama-3-70B-Chat; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
9	Mixtral-8x22B-Instruct	未报告	未报告	0%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Mixtral-8x22B-Instruct; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

查看本组前 10 条成绩

辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。

柱形顺序

本组来源

SciCode 原论文 v1 ↗ 基准论文
位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

标准无背景 · Subproblem

版本: arXiv2407.13168v1
赛道: Subproblem
数据集: test
任务数: 288
主指标: Pass@1
统计口径: Pass@1 as reported

执行测试通过率；主问题须所有子问题与集成程序均正确。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Table2；zero-shot；使用模型生成的前序子题解；背景条件固定。未报告统一时间或算力预算。

10 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。

SciCode · 标准无背景 · Subproblem；仅主指标有数值的记录排名，并列采用 1、1、3。
					配置与证据
1	Claude3.5-Sonnet	未报告	未报告	26%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Claude3.5-Sonnet; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
2	GPT-4o	未报告	未报告	25%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=GPT-4o; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	GPT-4-Turbo · gpt-4-turbo-2024-04-09	未报告	未报告	22.9%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=GPT-4-Turbo; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
4	Gemini 1.5 Pro	未报告	未报告	21.9%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Gemini 1.5 Pro; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
5	Claude3-Opus	未报告	未报告	21.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Claude3-Opus; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
6	Deepseek-Coder-v2	未报告	未报告	21.2%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Deepseek-Coder-v2; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
7	Claude3-Sonnet	未报告	未报告	17%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Claude3-Sonnet; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
7	Qwen2-72B-Instruct	未报告	未报告	17%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Qwen2-72B-Instruct; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
9	Mixtral-8x22B-Instruct	未报告	未报告	16.3%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Mixtral-8x22B-Instruct; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
10	Llama-3-70B-Chat	未报告	未报告	14.6%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。；Table2名称Chat，§3.1/Table3名称Instruct；保留原行名称，不推断快照。工具：未报告 · 预算：未报告误差：误差未报告成绩位置：Table2; model=Llama-3-70B-Chat; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

查看本组前 10 条成绩

辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。

柱形顺序

本组来源

SciCode 原论文 v1 ↗ 基准论文
位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

提供科学背景 · Main problem

版本: arXiv2407.13168v1
赛道: Main problem
数据集: test
任务数: 65
主指标: Pass@1
统计口径: Pass@1 as reported

执行测试通过率；主问题须所有子问题与集成程序均正确。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Table3；zero-shot；使用模型生成的前序子题解；背景条件固定。未报告统一时间或算力预算。

10 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。

SciCode · 提供科学背景 · Main problem；仅主指标有数值的记录排名，并列采用 1、1、3。
					配置与证据
1	Claude3.5-Sonnet	未报告	未报告	12.3%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 7.7 percentage points 成绩位置：Table3; model=Claude3.5-Sonnet; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
2	GPT-4-Turbo-2024-04-09 · gpt-4-turbo-2024-04-09	未报告	未报告	9.2%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 7.7 percentage points 成绩位置：Table3; model=GPT-4-Turbo-2024-04-09; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
2	GPT-4o	未报告	未报告	9.2%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 7.7 percentage points 成绩位置：Table3; model=GPT-4o; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
4	Gemini 1.5 Pro	未报告	未报告	7.7%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 6.2 percentage points 成绩位置：Table3; model=Gemini 1.5 Pro; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
5	Claude3-Opus	未报告	未报告	4.7%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。；原表4.7/Δ3.0与Table2的1.5存在算术不一致；主分数仍按Table3 4.7。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 3 percentage points 成绩位置：Table3; model=Claude3-Opus; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
5	Claude3-Sonnet	未报告	未报告	4.7%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。；原表4.7/Δ3.0与Table2的1.5存在算术不一致；主分数仍按Table3 4.7。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 3 percentage points 成绩位置：Table3; model=Claude3-Sonnet; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
7	Deepseek-Coder-v2	未报告	未报告	4.6%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 1.5 percentage points 成绩位置：Table3; model=Deepseek-Coder-v2; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
7	Qwen2-72B-Instruct	未报告	未报告	4.6%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 3.1 percentage points 成绩位置：Table3; model=Qwen2-72B-Instruct; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
9	Mixtral-8x22B-Instruct	未报告	未报告	3.1%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 3.1 percentage points 成绩位置：Table3; model=Mixtral-8x22B-Instruct; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
10	Llama-3-70B-Instruct	未报告	未报告	1.5%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。；Table2名称Chat，§3.1/Table3名称Instruct；保留原行名称，不推断快照。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 1.5 percentage points 成绩位置：Table3; model=Llama-3-70B-Instruct; column=Main problem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

查看本组前 10 条成绩

辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。

柱形顺序

本组来源

SciCode 原论文 v1 ↗ 基准论文
位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

提供科学背景 · Subproblem

版本: arXiv2407.13168v1
赛道: Subproblem
数据集: test
任务数: 288
主指标: Pass@1
统计口径: Pass@1 as reported

执行测试通过率；主问题须所有子问题与集成程序均正确。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Table3；zero-shot；使用模型生成的前序子题解；背景条件固定。未报告统一时间或算力预算。

10 条成绩记录 · 仅在已取得精确数值的记录中按主指标排序；缺分不排名。

SciCode · 提供科学背景 · Subproblem；仅主指标有数值的记录排名，并列采用 1、1、3。
					配置与证据
1	Claude3.5-Sonnet	未报告	未报告	35.4%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 9.4 percentage points 成绩位置：Table3; model=Claude3.5-Sonnet; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
1	GPT-4o	未报告	未报告	35.4%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 10.4 percentage points 成绩位置：Table3; model=GPT-4o; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
3	GPT-4-Turbo-2024-04-09 · gpt-4-turbo-2024-04-09	未报告	未报告	33.7%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 10.8 percentage points 成绩位置：Table3; model=GPT-4-Turbo-2024-04-09; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
4	Gemini 1.5 Pro	未报告	未报告	30.6%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 8.7 percentage points 成绩位置：Table3; model=Gemini 1.5 Pro; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
5	Deepseek-Coder-v2	未报告	未报告	27.1%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 5.9 percentage points 成绩位置：Table3; model=Deepseek-Coder-v2; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
6	Claude3-Opus	未报告	未报告	26.7%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 5.2 percentage points 成绩位置：Table3; model=Claude3-Opus; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
7	Claude3-Sonnet	未报告	未报告	25.7%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 8.7 percentage points 成绩位置：Table3; model=Claude3-Sonnet; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
8	Qwen2-72B-Instruct	未报告	未报告	22.2%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 5.2 percentage points 成绩位置：Table3; model=Qwen2-72B-Instruct; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
9	Llama-3-70B-Instruct	未报告	未报告	20.8%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。；Table2名称Chat，§3.1/Table3名称Instruct；保留原行名称，不推断快照。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 6.3 percentage points 成绩位置：Table3; model=Llama-3-70B-Instruct; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据
9	Mixtral-8x22B-Instruct	未报告	未报告	20.8%	配置、误差与来源配置说明：供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。工具：未报告 · 预算：未报告误差：误差未报告补充指标：reported-delta-percentage-points 4.5 percentage points 成绩位置：Table3; model=Mixtral-8x22B-Instruct; column=Subproblem Pass@1 SciCode 原论文 v1 ↗ 基准论文位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

查看本组前 10 条成绩

辅助展示；每条柱对应一项运行配置。数值和证据以上方表格为准。

柱形顺序

本组来源

SciCode 原论文 v1 ↗ 基准论文
位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

阅读边界

标准条件与带背景条件分别分组；均携带模型生成的前序子问题解。
原论文Table2/3直接读；Δ只作原文附指标，不拿来恢复主成绩。
未明确的API快照、时间/算力预算保持null。

来源日期与读取日期分别保留。误差按原文类型呈现；未注明类型的误差不解释为置信区间。