跳到正文
Hacker News 首页

一个交互式网页,用可视化的方式拆解大语言模型是怎么造出来的

Show HN: How LLMs Work – Interactive visual guide based on Karpathy's lecture

作者把 Andrej Karpathy 的技术讲座做成了一个可以点着看的网页教程,从爬互联网数据开始,一路讲到模型怎么生成文字。里面给了几个具体数字:训练用了 15 万亿个 token,模型参数 4050 亿,原始文本数据 44TB,词表大小 10 万个。

推荐理由:作者把 Andrej Karpathy 的技术讲座做成可点击的网页教程,从爬取互联网数据一路讲到模型生成文字,并给出 15 万亿 token、4050 亿参数等量级数字,让读者对 LLM 训练全流程与规模有具体认知。

读原文 ↗导出 Markdown