clinicalfaultbench

关于

ClinicalFaultBench 是一个面向临床 AI 智能体的失效审计基准,MIT 开源。 现在几乎所有医疗 AI 评测都在"理想输入"下算成功率。但这个方向有个被绕开的问题:真实医院的检验单会缺项、单位会错、报告是几天前的、系统会截断返回结果。agent 在这些情况下怎么崩,没人系统测过。 于是这个项目做的事很简单——往 agent 的环境里注入"看起来合理但错"的临床故障,然后量它怎么失败: 七类故障:关键化验缺失 / 单位错误(mg/dL 与 SI 制错位)/ 矛盾记录 / 陈旧数据(时间戳前移)/ 结果截断 / 跨患者污染 / 时间线漂移,每类两档严重度 五项指标:注入前后配对错误率、错误传播率、患者安全违规率、不确定性校准、自纠率 三类任务:入院摘要审查 / 医嘱冲突审查 / 出院准备 有意思的发现 最有价值的一条是负结果:结果截断让两个模型分别掉 0.389 / 0.365,而"截 30%"与"截 70%"的伤害逐位相等——缺多少不重要,有没有意识到缺了才重要。模型从不确认数据是否完整。 另一条:禁忌冲突检测已经饱和(检出率约 100%,效应约 0),如实写进报告了。 更值得分享的教训 这个项目第一版出了七条结论,其中五条后来被证明是判分器 bug 造成的伪影,而且每条都错得毫无报错。最阴的一个:参考区间只按 LOINC 码查、没看单位,同一码不同单位量纲差 40 倍,导致 100% 的 fL 制 RDW 被判成异常,一路污染了答案键。 现在这七个坑全部固化成 23 个回归测试。 特点 主实验用纯合成 Synthea 患者(Apache-2.0),仓库里零受限数据,克隆下来不花钱就能跑完纯规则部分(不需要任何 API key) 中文文档为主 代码结构对"数据不出院"的场景留了接口:代码进医院跑,只回传聚合指标

收录记录

1. 阮一峰周刊·用户投稿

   2026年10月29日 · 1 次收录