一个把 GPT-2 拆开揉碎、让你一步步看 Transformer 内部怎么算的可交互网页

Transformers Explained Visually

Polo Club 做了一个教学用的交互页面，拿 GPT-2（小号版）当教具，把嵌入、注意力、MLP 和输出概率拆成可点击的步骤。你可以自己输入提示词，调温度和 top-k/top-p 采样，看每个 token 的 Q/K/V 矩阵和注意力权重是怎么算出来的。模型有 1.24 亿参数、12 层、词表 50257 个 token、嵌入维度 768。它跑的...

推荐理由：Polo Club 这个交互页面把 GPT-2 拆得很细，可调参数和采样步骤都做成了可视化，想搞懂 Transformer 内部怎么跑的人确实用得上。分数就定在这里，因为它是个教具，不是行业新闻，而且拿 GPT-2 当演示模型也不算新鲜事。