Coding AI Benchmark 测试模板：记录任务、结果与成本
提供可复现练习、公平测试规则、评分标准与 CSV 记录表；不提供未经执行的 DeepSeek、GPT、Claude 或 Gemini 排名。
本页内容
下面不包含模型实测分数。请先生成练习或选择自己的任务，记录实际运行结果后再比较。素材自检结果只说明练习本身可以运行。
先跑一个可复现的小型修复练习
下载脚本，在一个新的本地目录中运行。它只创建 dsh-cart-task 文件夹，包含缺陷代码、10 个测试、双语任务说明和空白运行记录。不联网、不调用模型、不安装依赖，也不会覆盖已有文件夹。
node create-cart-task.mjs
cd dsh-cart-task
node --test cart.test.mjs此练习需要电脑上已有 Node.js；这只是练习脚本的前置条件，不表示 DSH Desktop 安装需要你额外装 Node.js。先阅读下载脚本，再运行。
- 先保存基线结果：预期 6 项通过、4 项失败。首次失败是故意设置的任务缺陷，不是安装失败。
- 在 DSH 选择生成的文件夹与一个可用模型，开新会话，将 TASK.md 中的任务交给它。只允许修改 cart.mjs，不得更改测试。
- 任务完成后，由你重新运行测试，检查实际文件差异。验收要求是 10 项通过且没有改测试；模型说“通过”不代替测试输出。
- 任务结束后填写 run-record.json。真实模型 ID、DSH 版本、耗时与费用缺失时保留 null，不填成 0。换模型时重新生成干净目录。
2026-09-30 在 Linux / Node.js v22.16.0 中，基线为 6 通过、4 失败；单行参考修复后 10 项全部通过；重复创建被拒绝。没有运行 DSH 或付费模型，也未测模型费用与速度。
查看素材验证记录（包含参考修复） →这道小题只帮助你走通“任务—工具—测试—记录”流程。它公开且过于简单，不能代表整体编程能力，更不能据此给模型排名。比较时不要把参考修复给模型。
先固定变量，再比较模型
同一仓库基线
每次从同一个 commit 或同一份干净练习目录开始，不继承另一个模型的补丁。
同一执行环境
固定 DSH 版本、Mode / Preset、工作区、工具、权限、系统与 Node.js 版本。
同一任务与提示词
保持输入文件、提示词和验收标准相同，先定标准再开始。
每次新建会话
避免沿用旧模型记录、会话上下文或上一轮结论。
固定资源上限
提前规定时间、重试、网络和工具权限，不在某个模型卡住后单独放宽。
记录所有结果
失败、超时、人工接管也纳入记录。重复次数和样本局限要公开。
用有代表性的任务集，不只用一个小题
| 任务类型 | 验收重点 |
|---|---|
| Bug 修复 | 可复现失败与客观测试 |
| 定向重构 | 行为不变、回归测试通过 |
| 补充测试 | 已知行为与缺失覆盖 |
| 多文件修改 | 小功能、有限修改范围 |
| 多模态任务 | 明确截图输入与验收标准 |
3 个任务 × 3 次重复 × 2 个模型是 18 次运行，仅可作为起点。应事先设定预算；不要根据一次成功外推整体能力。
统一任务提示词
仓库基线：<BASE_COMMIT>
任务：<TASK>
1. 先检查仓库与相关测试。
2. 只修改必要文件，不改变未授权的公开 API。
3. 不得删除、跳过或弱化测试。
4. 运行验收测试；无法运行时准确说明原因。
5. 报告修改文件、测试结果、已知风险与是否验收。
验收标准：<ACCEPTANCE_TESTS>100 分评分与硬性验收分开
先满足指定测试通过、未改禁改文件等硬性条件，再对质量评分。总分不能覆盖安全或正确性失败。
| 维度 | 分值 | 标准 |
|---|---|---|
| 功能正确性 | 40 | 规定测试与验收条件通过。 |
| 回归安全 | 20 | 相关已有测试仍然通过。 |
| 范围控制 | 15 | 只修改必要文件和行为。 |
| 工具效率 | 10 | 工具调用有目的，不反复无效循环。 |
| 代码质量 | 10 | 修改可维护，并符合仓库习惯。 |
| 最终报告准确性 | 5 | 总结与实际补丁、测试和限制一致。 |
| 总分 | 100 | 不替代硬性验收 |
成功任务成本：保留失败与人工成本
人工检查成本 = 检查分钟 ÷ 60 × 人工时薪
总成本 = API 费用 + 基础设施成本 + 人工检查成本
成功任务成本 = 同一模型全部运行总成本 ÷ 验收通过次数
通过率 = 验收通过次数 ÷ 总运行次数验收通过次数为 0 时，成功任务成本未定义；费用缺失时不能算成 0，也不能只保留成功运行的费用。计算器估算与服务商实际账单分开记录。
下载运行记录 CSV 模板
记录模型 ID、Provider、DSH 版本、Mode、reasoning setting、基线 commit、验收、评分、时间、工具调用、重试、Token 与费用。下面的空白行是示意，不是实测。
下载 Coding AI Benchmark CSV 模板 ↓
| Model ID | Accepted | Score | Time | API $ | Review min |
|---|---|---|---|---|---|
| DeepSeek — exact ID | — | — / 100 | — | — | — |
| GPT — exact ID | — | — / 100 | — | — | — |
| Claude — exact ID | — | — / 100 | — | — | — |
| Gemini — exact ID | — | — / 100 | — | — | — |
结论只适用于记录的条件
先看验收通过率，再比较达到同等质量的任务成本和耗时。公开样本数、失败原因、重试和人工接管。不同任务可能适合不同配置，不宣布未经支持的“总冠军”。
常见问题
模板里为什么没有模型成绩？
本站没有在本页发布 DSH 模型对比实测。空白格表示未记录，不是 0 分。练习素材验证不等于模型测试。
每个模型跑几次？
预算允许时可从每任务 3–5 次开始，但这不是统计上充分的样本。结果接近或波动较大时，应扩大任务与重复次数。
能比较不同 Harness 吗？
可以，但结果属于完整系统，不是单纯模型比较。需要同时记录各自版本、工具与权限差异。
模型一次都没通过，成功任务成本是多少？
未定义，不是 0。分母为 0，需要如实记录没有通过的任务。
API 费用没有记录怎么办？
保留 null 或“未记录”，不能把估算值放进实测费用，也不能据此比较成本。
方法参考与来源
以下来源用于理解版本、测试环境与验收方法，不是本站实测成绩的来源。请查看各项目当时的版本与规则，勿混合不同条件下的分数。