热点事件历史事件
一个把 GPT-2 拆开揉碎、让你一步步看 Transformer 内部怎么算的可交互网页
1 篇报道1 个报道来源8 天前更新
先了解这件事
事实说明
Polo Club 做了一个教学用的交互页面，拿 GPT-2（小号版）当教具，把嵌入、注意力、MLP 和输出概率拆成可点击的步骤。你可以自己输入提示词，调温度和 top-k/top-p 采样，看每个 token 的 Q/K/V 矩阵和注意力权重是怎么算出来的。模型有 1.24 亿参数、12 层、词表 50257 个 token、嵌入维度 768。它跑的...
报道时间线
沿着报道，了解事件的不同侧面。
9月22日
- Hacker News 首页精选一个把 GPT-2 拆开揉碎、让你一步步看 Transformer 内部怎么算的可交互网页
Polo Club 做了一个教学用的交互页面，拿 GPT-2（小号版）当教具，把嵌入、注意力、MLP 和输出概率拆成可点击的步骤。你可以自己输入提示词，调温度和 top-k/top-p 采样，看每个 token 的 Q/K/V 矩阵和注意力权重是怎么算出来的。模型有 1.24 亿参数、12 层、词表 50257 个 token、嵌入维度 768。它跑的...