跳到正文
Computing Life · Share · 鸭哥调研

模型答错事实题,先分清是没存进去,还是这次没取出来

Google Research 在 ICML 2026 发表论文 Empty Shelves or Lost Keys?,用 WikiProfile 的 2150 条维基事实在 13 个模型上测试约 450 万条回复,测得前沿模型对这批事实的编码率达 95–98%,但闭卷直接提问失败率仍有 26–34%,开启思考后残余失败率收窄到 11–12%。

推荐理由:Google Research 用 2150 条维基事实在 13 个模型上区分事实是没存进去还是这次没取出来,测得编码率 95–98% 而闭卷失败率仍有 26–34%。

读原文 ↗导出 Markdown