Shoehorn:按你机器的实际内存来压缩模型,不浪费一兆显存
Show HN: Shoehorn – Quantize any model down to run on your machine
Shoehorn 是一个开源的模型量化工具,它不按固定的精度档位来压缩,而是先测你机器上到底有多少可用内存,扣掉运行推理本身要占的部分,剩下的空间再按张量逐层分配混合精度。官方给的例子是 519.2 MiB 的预算用了 519.2 MiB,只留了 13 KB 的余量,利用率超过 99.99%。
推荐理由:开源量化工具 Shoehorn 先测出机器可用内存,再按张量逐层分配混合精度,官方示例中 519.2 MiB 预算只留 13 KB 余量,展示了按硬件反推量化配置的做法。