AI 模型 Benchmark 怎么看：版本、工具、推理设置与成本
用公开评测示例说明测试版本、Harness、权限和推理设置如何影响分数，并给出仓库回归集的记录方法。
本页内容
Agent 评测通常测量模型、工具与执行环境组成的系统。比较两个分数前，需要核对任务集版本、Harness、权限和推理配置；条件不一致时，分数仍有参考价值，但不能直接当作模型能力差值。
比较评测结果前的六项核对
同名评测可能采用不同任务集、工具和执行预算。下列条件决定两个分数是否具有可比性。
- Benchmark 名字一样还不够，必须确认具体版本。
- 确认模型通过什么 Agent Harness / Scaffold 运行。
- 尽量对齐 reasoning effort、采样参数和 Token Budget。
- 确认是否允许 Tool、浏览器、代码执行、Vision。
- 把厂商自报分数和独立第三方评测分开。
- 看“完成一个正确任务的成本”，不要只看 Token 单价。
本节来源：Artificial Analysis — Intelligence Index v4.3、DeepSeek API — Change Log、Google DeepMind — Gemini 3.8 Flash model card、Anthropic — Claude Fable 5.1
Benchmark 换版本以后，同一个百分比已经不是同一回事
Gemini 3.8 Flash 是最直观的例子：Google Model Card 同时写了 Terminal-Bench 2.1 = 89.4%，Terminal-Bench 4.0 = 19.1%。两项成绩对应不同版本任务集，不能据此判断模型退步。
因此 DeepSeek V4 Pro 的 Terminal Bench 2.1 = 87.9，不能直接和 GPT-6 Astra 的 Terminal-Bench 4.0 = 57.9 比。两个百分比对应不同题目和设置，差值不代表模型能力差距。
| 例子 | 成绩 | 为什么不能直接比 |
|---|---|---|
| Gemini 3.8 Flash — Terminal-Bench 2.1 | 89.4% | 版本/任务集不同 |
| Gemini 3.8 Flash — Terminal-Bench 4.0 | 19.1% | 版本/任务集不同 |
| DeepSeek V4 Pro — Terminal Bench 2.1 | 87.9 | 不是 v4.0 |
| GPT-6 Astra — Terminal-Bench 4.0 | 57.9% | 不是 2.1 |
本节来源：Google DeepMind — Gemini 3.8 Flash model card、DeepSeek — V4 Pro GA release、OpenAI — GPT-6 Astra
Agent Benchmark 里，Harness 本身就是性能的一部分
DeepSeek 明确写过，V4 Pro 的公开 Code Agent 测试使用 DeepSeek Harness Minimal Mode。Coding Harness 会决定模型怎么读取文件、怎么调用 Shell、怎么编辑、怎么接收 Tool Result、什么时候需要权限确认。执行环境改变后，同一模型的成绩也可能变化。
模型评测与 Agent 产品评测应分开记录。工具超时、错误消息缺失或不必要的审批，都可能影响任务结果，不能全归因于模型。
reasoning effort 和生产保护机制也会改变跑分
DeepSeek 多项公开 Agent 测试使用 max 推理强度；OpenAI 给 Astra 提供 low 到 max 多档 reasoning effort；Anthropic 则明确说明 Fable 5.1 的生产 Safeguards 会阻止或路由部分网络安全、生物任务，从而影响相关 Benchmark。
记录具体推理配置与回退机制。不同厂商的同名 effort 档位不代表相同计算量，比较时可另外控制费用或时间预算。
本节来源：DeepSeek — V4 Pro GA release、OpenAI API — GPT-6 Astra model、Anthropic — Claude Fable 5.1
Token 单价不等于完成任务的真实成本
一个输出 Token 贵十倍的模型，如果一次就做对，而便宜模型循环、重试、最后还要人来修，那么贵模型的“单任务成本”反而可能更低。反过来，如果失败非常容易自动检测和重试，便宜模型在大规模任务里就可能更划算。
Artificial Analysis 现在越来越强调 Cost per Task。你自己的测试也应该把 Token 费用、总耗时、人工介入次数一起记录。
本节来源：Artificial Analysis — Intelligence Index v4.3、Artificial Analysis — DeepSeek V4 Pro 0813
为 DSH 建立初始回归集
可以从已完成工作中选 20 个任务作为初始回归集，固定 Workspace 快照和 Preset。这个数量只是起点，不保证结果稳定；关键任务应重复执行，并逐步扩大样本。
记录最终正确率、Tool Call 次数、命令失败次数、人工批准次数、完成时间、输入/输出 Token，以及第一次出错后能不能自己恢复。以后 Provider 静默升级模型别名，或者像 DeepSeek 一样把旧模型名路由到新后端时，再重新跑一遍。
- 5 个仓库阅读 / 定位问题任务
- 5 个带测试的受控代码修改任务
- 5 个需要 Tool，并人为注入一次失败让模型恢复的任务
- 5 个使用真实项目文档的长上下文任务
按任务类型统计验收率、总费用和人工检查工时，保留失败任务。若采用多模型路由，首轮失败与交接费用也需要计入。
本节来源：DeepSeek API — Models & Pricing、OpenAI API — GPT-6 Astra model、Anthropic — Claude Fable 5.1、Google DeepMind — Gemini 3.8 Flash model card
Artificial Analysis — Intelligence Index v4.3、DeepSeek API — Change Log、Google DeepMind — Gemini 3.8 Flash model card、Anthropic — Claude Fable 5.1、DeepSeek — V4 Pro GA release、OpenAI — GPT-6 Astra、OpenAI API — GPT-6 Astra model、Artificial Analysis — DeepSeek V4 Pro 0813、DeepSeek API — Models & Pricing