# Reddit 网友用纯 C++17 手搓了一个 83 万参数的 Transformer，不用 PyTorch 也不用 BLAS，单核 CPU 训练 76 分钟

> 原标题：I built a transformer in C++17 from scratch — no PyTorch, no BLAS, no dependencies. Trains on CPU. 0.83M params, full analytical backprop, 76 min to val loss 1.64.

- 来源：r/LocalLLaMA
- 发布时间：2026-05-02T18:11:34.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/12986
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t1x9jv/i_built_a_transformer_in_c17_from_scratch_no/

## 摘要

一个叫 Suspicious_Gap1121 的 Reddit 用户放出了 Quadtrix.cpp，一个用 C++17 从零写的 GPT 风格模型，总共 83 万参数。模型结构是 4 层、4 个注意力头、宽度 200 维，一次能看 128 个字符的上下文。

## 推荐理由

Reddit 用户用 C++17 从零实现 83 万参数的 GPT 风格模型，手写全部反传，单核 CPU 训练 76 分钟，省去 PyTorch 和 BLAS 依赖。

## 锐评

83 万参数、单核 CPU 76 分钟，这个规模跑出来的东西没法用，但手写反传这件事本身挺有意思。平时用 PyTorch 一行 backward 就过去了，LayerNorm、attention、AdamW 的梯度到底怎么流，多数人其实没自己推过。这种项目就是拿来把框架藏起来的东西摊开看一遍，跟性能没关系。没放权重也没给生成效果，当教案看就行，别当模型看。
