7块ESP32-S3串起来跑0.4B小模型,权重只存-1/0/1
ESP32S3 cluster running 1.58-bit (BitNet) Language model
一个开源项目用SPI菊花链把7块ESP32-S3开发板连成集群,跑一个0.4B参数的语言模型。模型用了1.58比特的三值量化(BitNet),权重只存-1、0、1三个值,内存占用极低。但正文没披露推理速度、功耗和实际延迟,所以别急着觉得它能替代GPU。能把大模型塞进几块钱的微控制器里,这个思路本身挺有意思。
ESP32S3 cluster running 1.58-bit (BitNet) Language model
一个开源项目用SPI菊花链把7块ESP32-S3开发板连成集群,跑一个0.4B参数的语言模型。模型用了1.58比特的三值量化(BitNet),权重只存-1、0、1三个值,内存占用极低。但正文没披露推理速度、功耗和实际延迟,所以别急着觉得它能替代GPU。能把大模型塞进几块钱的微控制器里,这个思路本身挺有意思。