一块 8 美元的 ESP32-S3 单片机,自己跑完了一个字符级 Transformer 的完整训练
An SLM trained on $8 ESP32-S3
这个项目把训练循环整个塞进了一颗 8 美元的 ESP32-S3 芯片里,不是只做推理,连反向传播都是用 C 语言手写的。代码库只提交了 6 次,没公布参数量、数据集大小和训练时长,所以别把它当实用工具看。它更像一个极限工程演示——在单片机上把模型训练跑通,这件事本身就够疯。
推荐理由:开发者把字符级 Transformer 的完整训练循环搬进 8 美元的 ESP32-S3,反向传播也用 C 手写,可作为在极低资源设备上实现端到端训练的工程参考。