模型答错事实题,先分清是没存进去,还是这次没取出来
Google Research 在 ICML 2026 发了一篇论文,用 2150 条维基百科事实测了 13 个模型,想搞清楚模型答错题到底是因为压根没学过,还是学过但这次没想起来。他们设计了两把尺子:一把松的,让模型接着维基百科原文往下写,测它有没有存进去,前沿模型能拿到 95–98% 的编码率;一把严的,闭卷、换着说法正问反问,四道题全对才算过,结...
推荐理由:这篇论文把模型的事实错误拆成存储失败和检索失败,诊断思路清晰,数据也扎实,对做模型评估和系统优化的人有直接参考价值。但测试只用了维基百科一个来源,而且是 Google 自家论文,结论能不能泛化到其他知识类型还得打个问号,所以重要性给到 78,放在 featured 里。