先扔飞镖再画靶心:大模型生成顺序如何颠覆我们对意图的直觉
My Throw Decides My Aim
作者用一句歌词“我的投掷决定了我的瞄准”来解释大模型的一个反直觉特性:文本是一个 token 接一个 token 生成的,方向是在生成过程中逐渐浮现的,而不是先有一个完整想法再表达。Anthropic 的研究显示,Claude 写诗时会提前规划韵脚,但事后给出的解释只是另一段生成的延续,并不是内部状态的忠实记录。
推荐理由:作者借一句歌词解释大模型逐 token 生成、方向在过程中浮现的特性,并引用 Anthropic 研究说明模型写诗会提前规划韵脚,而事后解释只是另一段生成。