跳到正文
Hacker News 首页

7块ESP32-S3串起来跑0.4B小模型,权重只存-1/0/1

ESP32S3 cluster running 1.58-bit (BitNet) Language model

一个开源项目用SPI菊花链把7块ESP32-S3开发板连成集群,跑一个0.4B参数的语言模型。模型用了1.58比特的三值量化(BitNet),权重只存-1、0、1三个值,内存占用极低。但正文没披露推理速度、功耗和实际延迟,所以别急着觉得它能替代GPU。能把大模型塞进几块钱的微控制器里,这个思路本身挺有意思。

读原文 ↗导出 Markdown