Scott Aaronson:大语言模型不需要内置自指,智能是训练时顺带冒出来的
LLMs and Self-Referentiality
Scott Aaronson 在博客中提出,LLM 的成功并不需要显式构建自指能力,模型谈论自身只是预训练带来的副产品。他认为 Hofstadter 在《哥德尔、埃舍尔、巴赫》中把智能秘密归于自指和怪圈的观点未获验证,真正被印证的是预测、压缩与 Kolmogorov 复杂度这条思路。他同时指出,意识与主观体验仍是未解之谜,自指或许与之相关。
推荐理由:Aaronson 指出大语言模型的自指能力是预训练副产品,而非刻意内置,这为理解 Hofstadter 怪圈理论与当前 AI 成功路径的落差提供了背景。