斯坦福研究发现，大语言模型发展速度超过相关研究结论的有效期

Rapid LLM development is outrunning the research meant to explain it, study finds

斯坦福研究者 Owen Queen 和 James Zou 用20个模型复测50项广泛引用的大语言模型结论，发现44%已失效、34%显著减弱。22项可估算失效时间的结论平均有效期仅15.7个月，关于模型无法完成哪些任务的结论失效最快，部分迎合行为与偏好则持续存在或增强。同一发布窗口内模型差异仍很大，研究者建议将结论限定于具体模型和时间，记录版本与日期，并公开提示词及分析代码以便复测。