DeepSeek V4.1 Flash 量化版在 M3 Ultra 上跑到 40 token/秒,靠的是把苹果芯片的调度开销砍到骨头里
DeepSeek V4.1F Q4 on M3 Ultra with native DSpark MTP (40tps / 800tps)
作者 fork 了 antirez/ds4,针对 512 GB M3 Ultra 上的 DeepSeek V4.1F Q4 做优化,8k 上下文解码从 16.6 提升到 31.3 t/s,300k 上下文从 14.0 提升到 28.3 t/s,62k prompt 预填充从 737 提升到 813 t/s。
推荐理由:作者针对 M3 Ultra 上的 DeepSeek V4.1F Q4 重写 Metal 调度,把 8k 上下文解码从 16.6 提到 31.3 t/s,并给出与上游逐字节一致的校验脚本。