TokenTown:把 Transformer 推理过程变成一座立体城市,在浏览器里一步步跑给你看
TokenTown: A visual way to understand how LLMs work
这是一个在浏览器里实时运行的交互式演示,把语言模型的推理过程画成了一座等距城市。每个 token 会先在码头被切分,在铸造厂转成向量,打上位置标记,然后沿着注意力广场、残差桥、前馈工厂等区域跑完每一层,最后在词汇体育场算出概率并采样出下一个词。界面里的向量条和 softmax 光束都是真实计算的,只是维度缩到了 12 维、词汇量也只有几百个。
推荐理由:这个浏览器演示把语言模型每层推理映射成等距城市,token 从码头切分到词汇体育场采样逐站走完,向量条与 softmax 光束均为真实计算,维度缩到 12 维。