# Hugging Face 的 transformers 现在能直接加载 GGUF 量化模型了，本地跑的速度接近 llama.cpp

> 原标题：transformers 支持直接加载 GGUF 量化模型，本地推理性能接近 llama.cpp

- 来源：AI HOT 精选
- 发布时间：2026-09-22T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/58133
- 原文：https://huggingface.co/blog/transformers-llama-cpp-quants

## 摘要

Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取 GGUF 检查点，用 from_pretrained 传入 gguf_file 即可在本地生成。

## 推荐理由

Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取检查点并用 from_pretrained 加载，本地推理性能接近 llama.cpp。

## 锐评

GGUF 进 transformers 是管道活，但管道活往往比能力活更影响日常。以前本地跑量化模型得绕开 transformers 用 llama.cpp 那套，现在 from_pretrained 传个 gguf_file 就行，最主流的量化格式接回了最顺手的 API。性能只说接近 llama.cpp 没给数字，我按接近理解，本地推理的瓶颈本来就在显存和内存带宽，不在框架那点开销。拿 transformers 写 agent 又想在笔记本上跑小模型的人，少维护一套推理栈。
