斯坦福复测发现44%的大模型研究结论失效

11月4日，The Decoder 报道，斯坦福研究者 Owen Queen 和 James Zou 使用20个模型，复测了50项被广泛引用的大语言模型研究结论，发现44%已失效，34%显著减弱。在22项可估算失效时间的结论中，平均有效期仅15.7个月；有关模型无法完成哪些任务的结论失效最快，而部分迎合行为与偏好仍持续存在或增强。研究还发现，同一发布窗口内的模型差异依然很大。研究者建议，将结论限定于具体模型和时间，记录版本与日期，并公开提示词及分析代码，以便后续复测。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。