先扔飞镖再画靶心:大模型生成顺序如何颠覆我们对意图的直觉
My Throw Decides My Aim
作者用一句歌词“我的投掷决定了我的瞄准”来解释大模型的一个反直觉特性:文本是一个 token 接一个 token 生成的,方向是在生成过程中逐渐浮现的,而不是先有一个完整想法再表达。Anthropic 的研究显示,Claude 写诗时会提前规划韵脚,但事后给出的解释只是另一段生成的延续,并不是内部状态的忠实记录。文章提醒,模型给出的自信解释本身就是一次...
推荐理由:一篇有信息量的个人随笔,用“投掷决定瞄准”把大模型逐token生成、方向逐渐浮现的特性讲透了。引用了Anthropic的韵脚规划研究,并清楚区分了模型行为和模型自我解释,信息密度不错。