backburner 如何用 iPhone 协同 Mac 加速本地大模型
用 iPhone 给 Mac 加速大模型，看起来很疯，但又没那么疯
开源项目 backburner 让 iPhone 通过 USB-C 协同 Mac 运行本地大模型，分担长文本预填计算并托管溢出的历史 KV cache。文章基于代码解读其注意力切分、流水线和将历史键值页编译为 ANE 静态权重的方案，140k 上下文测试中预填吞吐从 58 提升至 68 tok/s。
用 iPhone 给 Mac 加速大模型，看起来很疯，但又没那么疯
开源项目 backburner 让 iPhone 通过 USB-C 协同 Mac 运行本地大模型，分担长文本预填计算并托管溢出的历史 KV cache。文章基于代码解读其注意力切分、流水线和将历史键值页编译为 ANE 静态权重的方案，140k 上下文测试中预填吞吐从 58 提升至 68 tok/s。