跳到正文
AI HOT 精选

Redis 作者用几千行 C 代码把 DeepSeek V4 Flash 塞进 MacBook,跑出 27 tok/s

Redis创始人用C语言引擎将大模型"装进"个人电脑

Antirez 开源了一个叫 ds4 的推理引擎,专门给 DeepSeek V4 Flash 用。代码只有几千行 C,能在 128GB 内存的 MacBook Pro 上跑 100 万 token 上下文的模型。他用了三招:对 MoE 专家做不对称 2-bit 量化来压缩模型体积;把 KV Cache 搬到高速 SSD 上,绕开内存不够的问题。

推荐理由:Antirez 开源的 ds4 用几千行 C 代码,在 128GB 内存的 MacBook Pro 上跑通 DeepSeek V4 Flash 的百万 token 上下文,其 MoE 专家 2-bit 量化与 KV Cache 落盘 SSD 的做法,为本地部署大模型提供了可迁移的工程思路。

读原文 ↗导出 Markdown