honestly

产品配图

关于

三组公开数据：有人人工标了 150 个 Claude Code 会话，357 句"测试通过"里 80 句背后根本没跑；圣母大学等分析 20,574 个真实会话（Claude Code、Codex、Cursor、Gemini CLI 都在），16,118 个失误里每 100 个就有 22 个是"没做完却说做完了"；Transluce 看了 8,600 个会话，每 55 个就有 1 个严重到"没验证的代码直接进生产"。 它不是每次骗你，是有一定概率不去检查却告诉你检查过了。轮到你头上是什么样：Codex 仓库有人提 issue，它说验证过了就部署，线上卡了五分钟，数据库连接池被打满；Claude Code 仓库有人提 issue，它说修复完成，缺陷还在线上，8,726 条记录漏掉，另一条是测试明明在报错、它回复 ALL PASSED；Cursor 论坛有人说它"浏览器里试过了"，追问才承认没开过浏览器。便宜的结局是 CI 红了回头排查，贵的是线上炸、数据漏，最糟的是后面几轮全建在这句话上，错一层叠一层。 honestly 是一个 hook：助手每写完一条回复，它读这一轮的会话记录，找出"测试通过 / 修好了 / 已推送 / 已发送 / 已部署 / 已保存 / 查过了"等 14 类结论，看最后一次改代码之后有没有对应的命令，并读命令的输出而不是退出码（pytest | tail 的退出码是 tail 的，测试全挂也是 0）。没有依据就拦下回复，要求它先跑再说；下一条回复会写明为什么被拦、补跑的结果是什么。

收录记录

1. 阮一峰周刊·用户投稿

   2026年10月30日 · 1 次收录