forevercrab321-svg /
一套 MIT 开源的 AI Agent 可靠性测试，共 6 个维度 18 项（真实性、执行、稳定性、工具使用、上下文、错误恢复）。把 agent 的真实对话记录交给它，用你自己选的模型（OpenAI、Anthropic、DeepSeek、Ollama 本地模型等）在本机评分，得到每个维度的结果和整体等级。 亮点 样本里看不出来的测试项，报告写 NOT TESTED，不算通过；证据覆盖不到可评测项的三分之二时，干脆不给等级。deno ta…
一套 MIT 开源的 AI Agent 可靠性测试，共 6 个维度 18 项（真实性、执行、稳定性、工具使用、上下文、错误恢复）。把 agent 的真实对话记录交给它，用你自己选的模型（OpenAI、Anthropic、DeepSeek、Ollama 本地模型等）在本机评分，得到每个维度的结果和整体等级。 亮点 样本里看不出来的测试项，报告写 NOT TESTED，不算通过；证据覆盖不到可评测项的三分之二时，干脆不给等级。deno task demo 不需要密钥和网络，就能离线复现这种「拒绝打分」。作者自己的 agent 也被它拒绝打过分，那份报告原样放在仓库的 examples 目录里。
Discuss this product