caoshurong /
evalint
所有评测框架都在帮你跑 LLM 测试用例，却没有一个会问：这些用例本身出得好不好？ 于是你得到一个排行榜：claude-sonnet 0.729、gpt-4o 0.729。两个数字、三位小数，但你没法知道这个差距有没有意义、240 道题里有多少道其实什么都测不出来，以及哪几道的标准答案本身就是错的。 evalint 读你已经有的结果文件（CSV / JSONL / promptfoo / OpenAI evals 都能直接读），回答这三…
Product images
About
所有评测框架都在帮你跑 LLM 测试用例，却没有一个会问：这些用例本身出得好不好？ 于是你得到一个排行榜：claude-sonnet 0.729、gpt-4o 0.729。两个数字、三位小数，但你没法知道这个差距有没有意义、240 道题里有多少道其实什么都测不出来，以及哪几道的标准答案本身就是错的。 evalint 读你已经有的结果文件（CSV / JSONL / promptfoo / OpenAI evals 都能直接读），回答这三件事。 一、这个排行榜可信吗 它算 KR-20 信度，以及由此得出的「能分辨的最小分差」。示例数据里这个值是 0.026，所以上面那两个模型被判定为并列，而不是排出第一第二。 二、你有多少题在白烧钱 所有模型都答对的题，在数学上不可能改变排名——但每跑一次就要花一次 API 调用，永远花下去。示例的 240 道题里，58 道完全影响不了结果，151 道就能复现一模一样的排名，每次跑省 37% 的调用。 三、哪些题的标准答案是错的 如果一道题越差的模型反而越容易答对，那不存在「这题很难」的解释——只可能是答案写错了，而差模型恰好烂到能跟错答案对上。 图里每个点是一道题，虚线以下就是这种反向题。那 10 道红点是我故意埋进去的错题，一道不多一道不少全被找出来。 最费劲的部分其实是「学会不下结论」。 只有 5 个模型时，真正的坏题相关系数是 −0.60，而纯属运气的正常题能到 −0.71，两个分布完全重叠——任何阈值都分不开。一个据此报「发现 21 道坏题」的工具，会让人白白去查 13 道好题。所以现在每个指控都跑一次置换检验；只有 3 个模型时它直接说「证不了」，而不是编个自信的数字。一个总是误报的检查工具，第二次谎报之后就会被卸载，然后什么都查不到了。 零运行时依赖，不用 numpy 也不用 pandas，Python 3.9+，Linux / Windows / macOS 都测过。 bash pip install evalint evalint results.csv
Discovery history
- HelloGitHub·用户投稿
- 阮一峰周刊·用户投稿
Discuss this product