# Shoehorn：按你机器的实际内存来压缩模型，不浪费一兆显存

> 原标题：Show HN: Shoehorn – Quantize any model down to run on your machine

- 来源：Hacker News 首页
- 发布时间：2026-08-18T14:29:20.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/51432
- 原文：https://notactuallytreyanastasio.github.io/shoehorn/

## 摘要

Shoehorn 是一个开源的模型量化工具，它不按固定的精度档位来压缩，而是先测你机器上到底有多少可用内存，扣掉运行推理本身要占的部分，剩下的空间再按张量逐层分配混合精度。官方给的例子是 519.2 MiB 的预算用了 519.2 MiB，只留了 13 KB 的余量，利用率超过 99.99%。

## 推荐理由

开源量化工具 Shoehorn 先测出机器可用内存，再按张量逐层分配混合精度，官方示例中 519.2 MiB 预算只留 13 KB 余量，展示了按硬件反推量化配置的做法。

## 锐评

519.2 MiB 的预算用掉 519.2 MiB，只留 13 KB 余量，这个数我信，因为它是先量内存再分配精度，固定档位那套对显存就是浪费，多出来的几百兆本来能多放几层。

这是个人开发者的 Show HN 项目，没有论文也没有大规模验证，99.99% 只在官方那个例子里成立，换个模型换台机器未必复现。思路可以抄，数字先别当基准。
