跳到正文
热点事件持续更新

7块ESP32-S3串起来跑0.4B小模型,权重只存-1/0/1

1 篇报道1 个报道来源21 小时前更新

先了解这件事

事实说明

一个开源项目用SPI菊花链把7块ESP32-S3开发板连成集群,跑一个0.4B参数的语言模型。模型用了1.58比特的三值量化(BitNet),权重只存-1、0、1三个值,内存占用极低。但正文没披露推理速度、功耗和实际延迟,所以别急着觉得它能替代GPU。能把大模型塞进几块钱的微控制器里,这个思路本身挺有意思。

报道时间线

沿着报道,了解事件的不同侧面。

9月29日
  1. Hacker News 首页
    7块ESP32-S3串起来跑0.4B小模型,权重只存-1/0/1

    一个开源项目用SPI菊花链把7块ESP32-S3开发板连成集群,跑一个0.4B参数的语言模型。模型用了1.58比特的三值量化(BitNet),权重只存-1、0、1三个值,内存占用极低。但正文没披露推理速度、功耗和实际延迟,所以别急着觉得它能替代GPU。能把大模型塞进几块钱的微控制器里,这个思路本身挺有意思。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。