跳到正文
Hacker News 首页

Shoehorn:按你机器的实际内存来压缩模型,不浪费一兆显存

Show HN: Shoehorn – Quantize any model down to run on your machine

Shoehorn 是一个开源的模型量化工具,它不按固定的精度档位来压缩,而是先测你机器上到底有多少可用内存,扣掉运行推理本身要占的部分,剩下的空间再按张量逐层分配混合精度。官方给的例子是 519.2 MiB 的预算用了 519.2 MiB,只留了 13 KB 的余量,利用率超过 99.99%。

推荐理由:开源量化工具 Shoehorn 先测出机器可用内存,再按张量逐层分配混合精度,官方示例中 519.2 MiB 预算只留 13 KB 余量,展示了按硬件反推量化配置的做法。

读原文 ↗导出 Markdown