arthi-arumugam-git /
你好，自荐一个开源命令行工具。 whatbroke 用来对比 AI Agent 在两次运行之间的行为变化。换了模型、改了提示词、升级了框架之后，Agent 的回复看起来往往还是正常的，但底层行为可能已经变了：某个工具调用悄悄消失、参数发生漂移、成本和延迟上涨。文本 diff 看不出这些, , Agent 可以嘴上说"订阅已取消"，实际却没有调用 cancelsubscription。 用法：把两次运行各记录成一份 JSONL trace…
你好，自荐一个开源命令行工具。 whatbroke 用来对比 AI Agent 在两次运行之间的行为变化。换了模型、改了提示词、升级了框架之后，Agent 的回复看起来往往还是正常的，但底层行为可能已经变了：某个工具调用悄悄消失、参数发生漂移、成本和延迟上涨。文本 diff 看不出这些, , Agent 可以嘴上说"订阅已取消"，实际却没有调用 cancelsubscription。 用法：把两次运行各记录成一份 JSONL trace（提供零改动的抓取代理、Node SDK、Python 记录器三种方式，也可以导入现有的 OpenTelemetry / Langfuse / LangSmith trace），然后 whatbroke diff before.jsonl after.jsonl，它会报告消失的工具调用、参数变化、调用顺序变化、成本和延迟回归。有破坏性变化时退出码为 1，可以直接放进 CI。
Discuss this product