# TokenTown：把 Transformer 推理过程变成一座立体城市，在浏览器里一步步跑给你看

> 原标题：TokenTown: A visual way to understand how LLMs work

- 来源：Hacker News 首页
- 发布时间：2026-07-29T13:05:17.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/47409
- 原文：https://laurentiugabriel.github.io/token-town/

## 摘要

这是一个在浏览器里实时运行的交互式演示，把语言模型的推理过程画成了一座等距城市。每个 token 会先在码头被切分，在铸造厂转成向量，打上位置标记，然后沿着注意力广场、残差桥、前馈工厂等区域跑完每一层，最后在词汇体育场算出概率并采样出下一个词。界面里的向量条和 softmax 光束都是真实计算的，只是维度缩到了 12 维、词汇量也只有几百个。

## 推荐理由

这个浏览器演示把语言模型每层推理映射成等距城市，token 从码头切分到词汇体育场采样逐站走完，向量条与 softmax 光束均为真实计算，维度缩到 12 维。

## 锐评

把 12 维向量和 softmax 画成城市漫游，这个演示的教学价值比大多数 transformer 图解都高，因为每一步都是真算出来的。维度砍到 12、词表几百个，正好够看清每个环节在干什么，又不会让人晕。我唯一想吐槽的是这类项目通常火三天就没人维护，作者要是能把代码拆成可复用的组件，价值能翻好几倍。
