跳到正文
Hacker News 首页

TokenTown:把 Transformer 推理过程变成一座立体城市,在浏览器里一步步跑给你看

TokenTown: A visual way to understand how LLMs work

这是一个在浏览器里实时运行的交互式演示,把语言模型的推理过程画成了一座等距城市。每个 token 会先在码头被切分,在铸造厂转成向量,打上位置标记,然后沿着注意力广场、残差桥、前馈工厂等区域跑完每一层,最后在词汇体育场算出概率并采样出下一个词。界面里的向量条和 softmax 光束都是真实计算的,只是维度缩到了 12 维、词汇量也只有几百个。模型权重是...

推荐理由:一个把 transformer 推理映射成城市漫游的交互演示,浏览器里跑真实向量和 softmax,教学和沟通价值很高,但本质是教育项目,不是产品更新或研究突破,所以重要性给 78、放 featured 合理。

读原文 ↗导出 Markdown