BioML-benchBioMysteryBenchFrontierScienceLAB-BenchMLE-benchPaperBenchResearchClawBenchSciCodeScienceAgentBenchSGI-BenchSWE-bench ScienceTerminal-Bench-Science

表格按已报告的运行配置区分。点击列标题排序；多条报告逐条保留，不取最高分或平均值，缺分显示「— 未报告」。

每列分别选择比较组；每行保留已报告的运行配置，无跨基准总分或总名次。
	Leaderboard percentile · % 失败记零 · Leaderboard percentile	Accuracy · % 公告v8／human-solvable	Accuracy · % 官方图表／Olympiad	Accuracy · % 原论文 · TableQA	Any medal · % 原论文 · 24h · Any medal	Replication score · % 原论文 · BasicAgent · 12h	RADS · 分官网 Pass@1 · 完整 40 题	Pass@1 · % 标准无背景 · Main problem	HAL Accuracy · % HAL／单次运行	SGI-Score · score/100 原论文／All five dimensions	Pass@1 · % 官方榜单 · 全量 119 题	Resolution rate · % 官方 v0.1 · 全部学科 · 70 题
Agents-A1Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	15.13%	— 未报告
BigBang-v1Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	15.13%	— 未报告
Claude Haiku 4.5Agent: 未报告 Effort: 未报告完整配置工具：Bioinformatics tools; pip; conda; NCBI; Ensembl 预算：5 trials per problem 精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。	— 未报告	36.8%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude Haiku 4.5 (October 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	18.63%	— 未报告	— 未报告	— 未报告
Claude Haiku 4.5 High (October 2025)Agent: SAB Self-Debug Effort: high 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	23.53%	— 未报告	— 未报告	— 未报告
Claude Mythos PreviewAgent: 未报告 Effort: 未报告完整配置工具：Bioinformatics tools; pip; conda; NCBI; Ensembl 预算：5 trials per problem 精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。	— 未报告	82.6%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude Opus 4.1 (August 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	27.45%	— 未报告	— 未报告	— 未报告
Claude Opus 4.1 High (August 2025)Agent: SAB Self-Debug Effort: high 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	26.47%	— 未报告	— 未报告	— 未报告
Claude Opus 4.5Agent: 未报告 Effort: high 完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	71.35%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude Opus 4.6Agent: 未报告 Effort: 未报告完整配置工具：Bioinformatics tools; pip; conda; NCBI; Ensembl 预算：5 trials per problem 精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。	— 未报告	77.4%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude Opus 4.7Agent: 未报告 Effort: 未报告完整配置工具：Bioinformatics tools; pip; conda; NCBI; Ensembl 预算：5 trials per problem 精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。	— 未报告	78.9%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude Sonnet 4Agent: Biomni · 0.0.5 Effort: 未报告完整配置工具：未报告预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB 供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。	34.45%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude Sonnet 4.5 (September 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	29.41%	— 未报告	— 未报告	— 未报告
Claude Sonnet 4.5 High (September 2025)Agent: SAB Self-Debug Effort: high 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30.39%	— 未报告	— 未报告	— 未报告
Claude Sonnet 4.6Agent: 未报告 Effort: 未报告完整配置工具：Bioinformatics tools; pip; conda; NCBI; Ensembl 预算：5 trials per problem 精确值来自官方PNG的Firecrawl数值转录（机器转录，未人工视觉复核）；未公开命名的内部评测脚手架；努力等级/时间预算未报告。	— 未报告	71.8%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
claude-3-5-sonnet-20240620claude-3-5-sonnet-20240620Agent: AIDE Effort: 未报告完整配置工具：未报告预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM 供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。	— 未报告	— 未报告	— 未报告	— 未报告	7.6%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
claude-3-5-sonnet-20240620claude-3-5-sonnet-20240620Agent: 未报告 Effort: 未报告完整配置工具：No tools 预算：3 runs; uniform wall-clock/token budget not specified 供稿research_bench p15 chart2；原论文Table2核验。	— 未报告	— 未报告	— 未报告	83%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
claude-3.5-sonnetclaude-3-5-sonnet-20241022Agent: BasicAgent Effort: 未报告完整配置工具：bash,Python,web browser,paginated file reader; internet enabled 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	21%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude-3.7 Sonnet (February 2025)Agent: HAL Generalist Agent Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	10.78%	— 未报告	— 未报告	— 未报告
Claude-3.7 Sonnet (February 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	22.55%	— 未报告	— 未报告	— 未报告
Claude-3.7 Sonnet High (February 2025)Agent: HAL Generalist Agent Effort: high 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	17.65%	— 未报告	— 未报告	— 未报告
Claude-3.7 Sonnet High (February 2025)Agent: SAB Self-Debug Effort: high 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30.39%	— 未报告	— 未报告	— 未报告
Claude-Opus-4.1Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30.42 score/100	— 未报告	— 未报告
Claude-Opus-4.6Agent: Claude Code Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：Claude Code；模型选择器：claude-opus-4-6；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	21.5 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Claude-Opus-5Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	47.9%	— 未报告
Claude-Sonnet-4.5Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	32.16 score/100	— 未报告	— 未报告
Claude3-OpusAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	1.5%	— 未报告	— 未报告	— 未报告	— 未报告
Claude3-SonnetAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	1.5%	— 未报告	— 未报告	— 未报告	— 未报告
Claude3.5-SonnetAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	4.6%	— 未报告	— 未报告	— 未报告	— 未报告
DeepSeek R1 (January 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	23.53%	— 未报告	— 未报告	— 未报告
DeepSeek V3 (March 2025)Agent: HAL Generalist Agent Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	0.98%	— 未报告	— 未报告	— 未报告
DeepSeek V3 (March 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	15.69%	— 未报告	— 未报告	— 未报告
DeepSeek V4 ProAgent: Codex Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-08-13	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	3.8%
DeepSeek V4.1 FlashAgent: Codex Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-09-10	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	15.7%
Deepseek-Coder-v2Agent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	3.1%	— 未报告	— 未报告	— 未报告	— 未报告
DeepSeek-R1Agent: BasicAgent Effort: 未报告完整配置工具：bash,Python,web browser,paginated file reader; internet enabled 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	6%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
DeepSeek-R1Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告原表未报告该值（—），不能补零或自行计算总分。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
DeepSeek-V3.2Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告原表未报告该值（—），不能补零或自行计算总分。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
DeepSeek-V4-flashAgent: Claude Code Effort: high 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	19.33%	— 未报告
DeepSeek-V4-flashAgent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	23.53%	— 未报告
DeepSeek-V4-ProAgent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	39.5%	— 未报告
DeepSeek-V4-Pro-PreviewAgent: Qiushi Engine Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：Qiushi Engine；模型选择器：deepseek-v4-pro-preview；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	38.6 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Fable 5Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-06-09	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	21.4%
Fable 5.1Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-09-01	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	40%
Gemini 1.5 ProAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	1.5%	— 未报告	— 未报告	— 未报告	— 未报告
Gemini 2.0 Flash (February 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	12.75%	— 未报告	— 未报告	— 未报告
Gemini 3 ProAgent: 未报告 Effort: high 完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	76.1%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Gemini 3.7 FlashAgent: mini-SWE-agent Effort: high 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-08-13	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	5.7%
Gemini 3.8 FlashAgent: mini-SWE-agent Effort: high 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-09-02	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	12.4%
gemini-2.0-flashgemini-2.0-flashAgent: BasicAgent Effort: 未报告完整配置工具：bash,Python,web browser,paginated file reader; internet enabled 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	3.2%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Gemini-2.5-FlashAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	24.75 score/100	— 未报告	— 未报告
Gemini-2.5-ProAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	28.17 score/100	— 未报告	— 未报告
Gemini-3-ProAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	33.83 score/100	— 未报告	— 未报告
GLM 5.3Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-08-14	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	8.1%
GLM-5.1Agent: ResearchHarness Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：ResearchHarness (GLM-5.1)；模型选择器：GLM-5.1；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	18.2 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GLM-5.2Agent: Codex Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	31.93%	— 未报告
GPT-4-Turbogpt-4-turbo-2024-04-09Agent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	1.5%	— 未报告	— 未报告	— 未报告	— 未报告
GPT-4.1Agent: AIDE · 6.3.3 Effort: 未报告完整配置工具：未报告预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB 供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。	28.5%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-4.1Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	31.45 score/100	— 未报告	— 未报告
GPT-4.1Agent: MLAgentBench Effort: 未报告完整配置工具：未报告预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB 供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。	21.43%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-4.1 (April 2025)Agent: HAL Generalist Agent Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	6.86%	— 未报告	— 未报告	— 未报告
GPT-4.1 (April 2025)Agent: SAB Self-Debug Effort: 未报告完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	24.51%	— 未报告	— 未报告	— 未报告
GPT-4oAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	26.87 score/100	— 未报告	— 未报告
GPT-4oAgent: 未报告 Effort: 未报告完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	12.3%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-4oAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	1.5%	— 未报告	— 未报告	— 未报告	— 未报告
gpt-4ogpt-4o-2024-08-06Agent: BasicAgent Effort: 未报告完整配置工具：bash,Python,web browser,paginated file reader; internet enabled 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	4.1%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
gpt-4oAgent: 未报告 Effort: 未报告完整配置工具：No tools 预算：3 runs; uniform wall-clock/token budget not specified 供稿research_bench p15 chart2；原论文Table2核验。	— 未报告	— 未报告	— 未报告	71%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
gpt-4o-2024-08-06gpt-4o-2024-08-06Agent: AIDE Effort: 未报告完整配置工具：未报告预算：36 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM 供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。	— 未报告	— 未报告	— 未报告	— 未报告	8.7%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
gpt-4o-2024-08-06gpt-4o-2024-08-06Agent: MLAB Effort: 未报告完整配置工具：未报告预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM 供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。	— 未报告	— 未报告	— 未报告	— 未报告	0.8%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
gpt-4o-2024-08-06gpt-4o-2024-08-06Agent: OpenHands Effort: 未报告完整配置工具：未报告预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM 供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。	— 未报告	— 未报告	— 未报告	— 未报告	4.4%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30.84 score/100	— 未报告	— 未报告
GPT-5 Medium (August 2025)Agent: SAB Self-Debug Effort: medium 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30.39%	— 未报告	— 未报告	— 未报告
GPT-5.1Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	29.31 score/100	— 未报告	— 未报告
GPT-5.2Agent: 未报告 Effort: xhigh 完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	77.1%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.2-ProAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	31.09 score/100	— 未报告	— 未报告
GPT-5.4Agent: ARIS Codex Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：ARIS Codex；模型选择器：gpt-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	13.6 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.4Agent: Codex CLI Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：Codex CLI；模型选择器：gpt-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	18.4 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.4Agent: EvoScientist · 0.0.4 Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：EvoScientist (0.0.4)；模型选择器：gpt-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	15.5 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.4Agent: EvoScientist · 0.1.1 Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：EvoScientist (0.1.1)；模型选择器：gpt-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	18.8 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.4Agent: Nanobot Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：Nanobot；模型选择器：gpt-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	12.8 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.4Agent: OpenClaw Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：OpenClaw；模型选择器：gpt-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	16.6 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.4Agent: ResearchClaw Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：ResearchClaw；模型选择器：gpt-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	16.3 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.4Agent: ResearchHarness Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：ResearchHarness (GPT-5.4)；模型选择器：GPT-5.4；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	15.3 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.5Agent: EvoLab Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：EvoLab；模型选择器：gpt-5.5；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	32.7 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.5Agent: InnoClaw · 2.0 Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：InnoClaw (2.0)；模型选择器：gpt-5.5；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	34.9 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.5Agent: InnoClaw Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：InnoClaw；模型选择器：gpt-5.5；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	28.8 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.5Agent: ResearchHarness Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：ResearchHarness (GPT-5.5)；模型选择器：GPT-5.5；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	17 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.6 LunaAgent: Codex Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-07-09	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	3.3%
GPT-5.6 SolAgent: Codex Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-07-09	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	22.4%
GPT-5.6 TerraAgent: Codex Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-07-09	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	8.6%
GPT-5.6-SolAgent: AutoSciRub Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：AutoSciRub；模型选择器：gpt-5.6-sol；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	33.2 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-5.6-solAgent: Codex Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	40.34%	— 未报告
GPT-5.6-Sol + grd-king + grd-jin混合/替代配置Agent: Ligase Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：Ligase；模型选择器：gpt-5.6-sol + grd-king + grd-jin；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。；官网model列标为 GPT-5.6-Sol；selector同时列出gpt-5.6-sol、grd-king、grd-jin，属于混合模型系统成绩。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	34.8 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
GPT-6 AstraAgent: Codex Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-09-03	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	68.1%
GPT-6 AstraAgent: Codex Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	50.42%	— 未报告
Grok 4Agent: 未报告 Effort: high 完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	66.2%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Grok 4.6Agent: Grok Build Effort: xhigh 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-08-12	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	7.1%
Grok 4.7Agent: Grok Build Effort: xhigh 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-09-21	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	14.3%
Grok-3Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告原表未报告该值（—），不能补零或自行计算总分。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Grok-4Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	28.68 score/100	— 未报告	— 未报告
Intern-S1Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	28.1 score/100	— 未报告	— 未报告
Intern-S1-miniAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	18.67 score/100	— 未报告	— 未报告
Intern-S2-Preview-397BAgent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	21.01%	— 未报告
Kimi K3Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-07-16	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	7.1%
Kimi-k2Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告原表未报告该值（—），不能补零或自行计算总分。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Kimi-K3Agent: Kimi Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	35.29%	— 未报告
Llama-3-70B-ChatAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。；Table2名称Chat，§3.1/Table3名称Instruct；保留原行名称，不推断快照。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	0%	— 未报告	— 未报告	— 未报告	— 未报告
llama-3.1-405b-instructAgent: AIDE Effort: 未报告完整配置工具：未报告预算：3 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM 供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。	— 未报告	— 未报告	— 未报告	— 未报告	3%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Llama-4-ScoutAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	21.08 score/100	— 未报告	— 未报告
Mixtral-8x22B-InstructAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	0%	— 未报告	— 未报告	— 未报告	— 未报告
Nex N2Agent: Codex Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	24.37%	— 未报告
Nex-N2-miniAgent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	15.13%	— 未报告
o1-higho1-2024-12-17Agent: BasicAgent Effort: high 完整配置工具：bash,Python,web browser,paginated file reader; internet enabled 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	13.2%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
o1-previewAgent: AIDE Effort: 未报告完整配置工具：未报告预算：16 seeds/competition; each24h,1 A10(24GB),36vCPU,440GB RAM 供稿：Blueprint p7 / research_bench p19；原论文Table2核验。；MLAB=ResearchAgent；OpenHands=CodeActAgent；论文对原脚手架有修改。	— 未报告	— 未报告	— 未报告	— 未报告	16.9%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
o3Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30.68 score/100	— 未报告	— 未报告
o3 Medium (April 2025)Agent: HAL Generalist Agent Effort: medium 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	9.8%	— 未报告	— 未报告	— 未报告
o3 Medium (April 2025)Agent: SAB Self-Debug Effort: medium 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	33.33%	— 未报告	— 未报告	— 未报告
o3-mini-higho3-mini-2025-01-31Agent: BasicAgent Effort: high 完整配置工具：bash,Python,web browser,paginated file reader; internet enabled 预算：3 runs/paper;12h/run;1 A10; $1000 task-service credits 供稿research_bench p25；完整数值及模型快照核于§5.2/Table4–5。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	2.6%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
o4-miniAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30.14 score/100	— 未报告	— 未报告
o4-mini High (April 2025)Agent: HAL Generalist Agent Effort: high 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	21.57%	— 未报告	— 未报告	— 未报告
o4-mini High (April 2025)Agent: SAB Self-Debug Effort: high 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	27.45%	— 未报告	— 未报告	— 未报告
o4-mini Low (April 2025)Agent: HAL Generalist Agent Effort: low 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	19.61%	— 未报告	— 未报告	— 未报告
o4-mini Low (April 2025)Agent: SAB Self-Debug Effort: low 完整配置工具：未报告预算：未报告 Verified by HAL; Runs=1; cost未按缓存折扣，官方警告部分成本/token重复2×。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	27.45%	— 未报告	— 未报告	— 未报告
OpenAI o1Agent: 未报告 Effort: high 完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	42.5%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
OpenAI o3Agent: 未报告 Effort: high 完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	62.95%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
OpenAI o4-miniAgent: 未报告 Effort: high 完整配置工具：No browsing 预算：20 independent trials per problem 精确值来自官方HTML；无浏览，未报告命名agent。	— 未报告	— 未报告	61.65%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Opus 4.8Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-05-28	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	10.5%
Opus 5Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-07-24	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	30%
Opus 5.5Agent: Claude Code Effort: max 完整配置工具：未报告预算：未报告模型发布日期（不是成绩提交日期）：2026-09-22	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	63.3%
Qwen2-72B-InstructAgent: 未报告 Effort: 未报告完整配置工具：未报告预算：未报告供稿Blueprint p33 / research p33；标准条件直接核原Table2，带背景核Table3。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	1.5%	— 未报告	— 未报告	— 未报告	— 未报告
Qwen3-235B-A22BAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告原表未报告该值（—），不能补零或自行计算总分。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Qwen3-8B混合/替代配置Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告 * 原表使用同系列不同多模态版本，非同一个纯文本模型全程成绩。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	19.15 score/100	— 未报告	— 未报告
Qwen3-Max混合/替代配置Agent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告 * 原表使用同系列不同多模态版本，非同一个纯文本模型全程成绩。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	31.97 score/100	— 未报告	— 未报告
Qwen3-VL-235B-A22BAgent: Direct zero-shot prompting Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	28.32 score/100	— 未报告	— 未报告
Qwen3.5-397BAgent: Codex Effort: 未报告完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	14.29%	— 未报告
Qwen3.5-397B-A17BAgent: ResearchHarness Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：ResearchHarness (Qwen3.5-397B-A17B)；模型选择器：Qwen3.5-397B-A17B；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	14.2 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Qwen3.5-9BAgent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	7.56%	— 未报告
Qwen3.6-35B-A3BAgent: Claude Code Effort: max 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	16.81%	— 未报告
Qwen3.6-PlusAgent: ResearchHarness Effort: 未报告完整配置工具：未报告预算：未报告原始配置名：ResearchHarness (Qwen3.6-Plus)；模型选择器：Qwen3.6-Plus；有效任务40/40；成本/时长为已评分任务平均实际消耗；具体缺失题见分组。	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	18 分	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
Qwen3.8-27BAgent: Claude Code Effort: xhigh 完整配置工具：未报告预算：未报告未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	29.41%	— 未报告
Dummy（随机 / 零预测）Agent: Dummy Effort: 未报告完整配置工具：未报告预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB 供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。；非LLM基线：按任务生成随机或零预测。	2.5%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
人类专家基线Agent: Human experts Effort: 未报告完整配置工具：Tools permitted; expert-human reference 预算：未报告供稿research_bench p15 chart2；原论文Table2核验。；人类基线；不是语言模型；可用工具。TableQA人类题目覆盖82%，其余两类100%。	— 未报告	— 未报告	— 未报告	84%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告
基座未公开Agent: STELLA Effort: 未报告完整配置工具：未报告预算：4 replicates/task; imaging16h + L4/16vCPU/64GB; other tasks8h CPU/16vCPU/64GB 供稿：The_Autonomous_Lab_Blueprint.pptx p11 Table2截图；原论文Table2直接核验。；原文仅写OpenRouter default，未明确模型名称/快照，不补猜。	20.61%	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告	— 未报告

比较口径与来源

BioML-bench · 失败记零 · Leaderboard percentile

打开分榜及完整来源 →

版本: bioRxiv2025.09.01.673319v2
赛道: all domains
数据集: penalized
任务数: 24
主指标: Leaderboard percentile
统计口径: 4 independent replicates per agent-task; aggregate as Table2

原指标为百分位，越高越好；不是准确率。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Table2；imaging:1 NVIDIA L4,16vCPU,64GB,16h；其他CPU同规格8h。后端按agent保留。±类型未明确。

BioML-bench 原论文 v2 ↗ 基准论文
位置：§§3.3–3.4、Table2（PDF pp4–5）发布日期：2025-09-07读取日期：2026-10-12备注：供稿Blueprint p11；原文Table2核验全部45个指标值。Table2未明确±类型，不将Figure2的SEM定义外推到表。本地证据

BioMysteryBench · 公告v8／human-solvable

打开分榜及完整来源 →

版本: v8 (2026-04-28)
赛道: Human-solvable
数据集: human-solvable
任务数: 76
主指标: Accuracy
统计口径: mean-of-5

未报告

同一来源内比较；运行条件差异仍须结合每行配置解释。

每题5次；图注误差为题内bootstrap，未取得误差端点。容器含基本生信工具，可pip/conda安装及访问NCBI/Ensembl。

Evaluating Claude’s bioinformatics research capabilities with BioMysteryBench ↗ 官方博客
位置：Human baselining; Figs1/2; Mythos analysis paragraph发布日期：2026-04-29读取日期：2026-10-10备注：主图是PNG资产；精确图表成绩由直接读取两张官方PNG取得，正文Mythos30%为粗精度叙述。本地证据
BioMysteryBench official changelog ↗ 官方博客
位置：v11 (2026-07-06); v8 (2026-04-28)发布日期：2026-07-06读取日期：2026-10-10备注：官方版本证据；v11完整集需授权，使用公开预览变更记录核对。本地证据
BioMysteryBench official Figure 1 PNG ↗ 官方博客
位置：PNG Score (%) table extracted by Firecrawl发布日期：2026-04-29读取日期：2026-10-10备注：直接官方image/png经Firecrawl转录的数值表；保存statusCode200、原URL和scrapeId。机器转录，未人工视觉复核；不由柱高估算。本地证据

FrontierScience · 官方图表／Olympiad

打开分榜及完整来源 →

版本: official release 2025-12-16
赛道: Olympiad
数据集: gold
任务数: 100
主指标: Accuracy
统计口径: mean-of-20

未报告

同一来源内比较；运行条件差异仍须结合每行配置解释。

无浏览；GPT-5 high judge；Research≥7/10为正确；CI为图表ci95字段。

FrontierScience: Evaluating AI’s ability to perform expert-level scientific tasks ↗ 官方博客
位置：Benchmark; model comparison chart; reasoning-effort chart发布日期：2025-12-16读取日期：2026-10-10备注：精确数值取原始HTML内VegaChart data.values，非正文四舍五入值。本地证据
FrontierScience official VegaChart embedded values ↗ 官方榜单
位置：vegaLiteSpec.data.values; 4 charts发布日期：2025-12-16读取日期：2026-10-10备注：完整保存accuracy_pct及ci95_low_pct/ci95_high_pct原始浮点数字。本地证据
FrontierScience benchmark paper ↗ 基准论文
位置：§3.1; Figure6; rubric grading发布日期：2026-01-29读取日期：2026-10-10备注：用于确认20/30独立运行、无浏览、GPT5 high judge、研究阈值7/10；不把论文新增模型成绩混入官网表。本地证据

LAB-Bench · 原论文 · TableQA

打开分榜及完整来源 →

版本: arXiv2407.10362v3
赛道: TableQA
数据集: full public+private (model); human sampled coverage
任务数: 305
主指标: Accuracy
统计口径: model mean-of3; human expert reference as reported

正确答案/全部评测题；原表0–1，显示乘100。

同一来源内比较；运行条件差异仍须结合每行配置解释。

模型0-shot CoT，允许拒答但无工具；人类可使用工具，TableQA题目覆盖82%。准确率分母包括拒答，不能与precision混用。

LAB-Bench 原论文 v3 ↗ 基准论文
位置：Appendix B Table2；§2.3 / Appendix D–E发布日期：2024-07-17读取日期：2026-10-12备注：模型完整public+private集，3次平均；人类评测有可用工具与部分题型覆盖差异，不能作同条件纯模型比较。本地证据

MLE-bench · 原论文 · 24h · Any medal

打开分榜及完整来源 →

版本: arXiv2410.07095v6
赛道: standard hardware
数据集: all75
任务数: 75
主指标: Any medal
统计口径: mean over seeds; seed count varies by configuration

未报告

同一来源内比较；运行条件差异仍须结合每行配置解释。

每次24h/1 A10 24GB/36vCPU/440GB RAM；16/36/3 seeds按行标示。禁止查看在线解法；submission validator不返回分数。

MLE-bench 原论文 v6 / ICLR2025 ↗ 基准论文
位置：§§3–3.2、Table2，Introduction pass@8（PDF pp2,5–7）发布日期：2025-02-26读取日期：2026-10-12备注：原始首次提交2024-10-09；本组采用2025-02-26 v6。；Table2: o1 AIDE16 seeds、GPT4o AIDE36 seeds、其余3；mean±SEM。本地证据

PaperBench · 原论文 · BasicAgent · 12h

打开分榜及完整来源 →

版本: arXiv2504.01848v3
赛道: BasicAgent
数据集: 20 papers
任务数: 20
主指标: Replication score
统计口径: mean-of3 per paper; weighted rubric aggregation

分层rubric的加权满足度；不是完全复现论文的比例。

同一来源内比较；运行条件差异仍须结合每行配置解释。

12h上限；Ubuntu24.04/1 A10；互联网与工具可用；HF/OpenAI服务提供$1000 credits，非模型API总成本上限。Judge=o3-mini-high。

PaperBench 原论文 v3 ↗ 基准论文
位置：§§5.1–5.3、Tables4–5（PDF pp7–8）发布日期：2025-04-07读取日期：2026-10-12备注：BasicAgent Table4全部6模型；Iterative Table5三模型12h与o1的36h分别分组。；供稿research p25只选3模型；本次补齐同原表，不查询最新榜。本地证据

ResearchClawBench · 官网 Pass@1 · 完整 40 题

打开分榜及完整来源 →

版本: official snapshot 2026-10-10
赛道: single-run RADS / failures rerun where possible
数据集: all-40
任务数: 40
主指标: RADS
统计口径: 每题单次已评分结果的算术均值；显示一位小数

0–100；50对应原论文水平，超过50表示reference-surpassing evidence，不自动等于已验证新发现。

同一来源内比较；运行条件差异仍须结合每行配置解释。

仅包含40题均有有效分的配置（19个）；不同agent/模型及社区提交按官方表并列，未公开统一预算。

此处 Pass@1 是官方单次RADS视图名称，不是任务成功率。

ResearchClawBench 官方 Pass@1 榜单 ↗ 官方榜单
位置：By Domain summary; default Pass@1 view; 36 agent/model configurations读取日期：2026-10-10备注：页面时钟不是成绩更新时间。官网 Pass@1 可能重跑失败任务，均分时排除无有效分的任务。本地证据
ResearchClawBench 官网 Pass@1 原始任务分 ↗ 官方榜单
位置：agents / scores[agent][task]；36配置，33–40个有效任务读取日期：2026-10-10备注：本地证据保留原始task score、模型、run_id；公开首页的overall及domain按app.js averageEntry重算并四舍五入到一位小数。本地证据

SciCode · 标准无背景 · Main problem

打开分榜及完整来源 →

版本: arXiv2407.13168v1
赛道: Main problem
数据集: test
任务数: 65
主指标: Pass@1
统计口径: Pass@1 as reported

执行测试通过率；主问题须所有子问题与集成程序均正确。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Table2；zero-shot；使用模型生成的前序子题解；背景条件固定。未报告统一时间或算力预算。

SciCode 原论文 v1 ↗ 基准论文
位置：§§2.4/3.1–3.3、Tables2–3（PDF pp6–8）发布日期：2024-07-18读取日期：2026-10-12备注：Table2与Table3均直接转录，未使用score−Δ生成标准成绩。；原表Table2的Llama名称为Chat，§3.1/Table3为Instruct，保留表内名称和说明，不假定精确快照相同。；Table3 Claude3 Opus/Sonnet main=4.7、Δ=3.0与Table2 baseline1.5并不算术一致，不自行修改。本地证据

ScienceAgentBench · HAL／单次运行

打开分榜及完整来源 →

版本: HAL snapshot 2026-10-10
赛道: All
数据集: 未报告
任务数: 102
主指标: HAL Accuracy
统计口径: single-run

未报告

同一来源内比较；运行条件差异仍须结合每行配置解释。

全部Runs=1；知识开关/数据revision未明确；部分成本/token存在2×重复计数。

HAL ScienceAgentBench leaderboard ↗ 第三方榜单
位置：ScienceAgentBench Leaderboard (23 rows); Known issue October 5, 2026读取日期：2026-10-10备注：HAL 是独立维护榜单；不能与论文 best-of-3 合榜。部分成本/token 精确重复2×，影响行未明确。本地证据

SGI-Bench · 原论文／All five dimensions

打开分榜及完整来源 →

版本: arXiv:2512.16969v1
赛道: All five dimensions
数据集: 未报告
任务数: 1263
主指标: SGI-Score
统计口径: reported mean of five metrics

原文五项指标等权均值；保留报告值，不自行计算

同一来源内比较；运行条件差异仍须结合每行配置解释。

temperature=0（可配置模型），零样本task-specific prompt；token预算未明确。

Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows ↗ 基准论文
位置：§2.4; §4.1; Table5; §2.2.3发布日期：2025-12-18读取日期：2026-10-10备注：本地原论文文本提取。Table5星号在官网中仅用注释保留；原论文缺失值保留。本地证据

SWE-bench Science · 官方榜单 · 全量 119 题

打开分榜及完整来源 →

版本: official leaderboard 2026-10-09
赛道: standard
数据集: all-119
任务数: 119
主指标: Pass@1
统计口径: 119 个任务的 task-level mean；每题须通过全部适用 private tests 才算成功。

每个任务全部适用私有测试通过的比例。

同一来源内比较；运行条件差异仍须结合每行配置解释。

不是默认下载 selection 的 96 题。Public/Private 是任务内测试均分的跨任务均值，不是 Pass@1。Issue/Expert/Engineering 子项分别为 52/49/18 题 Pass@1。

SWE-bench Science 官方榜单 ↗ 官方榜单
位置：Model results (17 configurations), Hard70 (10 configurations)；页面注明 Updated Oct 9, 2026读取日期：2026-10-10本地证据

Terminal-Bench-Science · 官方 v0.1 · 全部学科 · 70 题

打开分榜及完整来源 →

版本: v0.1 / fixed release v0.1.0
赛道: all domains
数据集: all
任务数: 70
主指标: Resolution rate
统计口径: 官方榜单 Resolution rate（保留显示的一位小数）

官方榜单的任务解决率；误差条为标准误。

同一来源内比较；运行条件差异仍须结合每行配置解释。

Harbor 运行；官方示例使用 Modal。榜单未在已读来源公开每配置的重复次数与统一 token/时间预算。不同 model–agent 配置按官方同一表并列，不能归因为纯模型能力。

Terminal-Bench-Science 官方榜单 ↗ 官方榜单
位置：All domains → v0.1 → Ranking，17 行；HTML footer 定义 ± 为 standard error读取日期：2026-10-10本地证据
Terminal-Bench-Science v0.1 运行协议与固定发布 ↗ 官方博客
位置：Run Terminal-Bench-Science；v0.1 70 tasks；GitHub v0.1.0 发布说明读取日期：2026-10-10备注：固定发布：https://github.com/harbor-framework/terminal-bench-science/releases/tag/v0.1.0；commit f81afac4f11048e77a15dfc8fb1dbfb897fea0ce；version DOI 10.5281/zenodo.22110254。本地证据