Hugging Face 的 transformers 现在能直接加载 GGUF 量化模型了,本地跑的速度接近 llama.cpp
transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp
Hugging Face 为 transformers 加入 GGUF 支持,用户可从 Hub 选取 GGUF 检查点,用 from_pretrained 传入 gguf_file 即可在本地生成。
推荐理由:Hugging Face 为 transformers 加入 GGUF 支持,用户可从 Hub 选取检查点并用 from_pretrained 加载,本地推理性能接近 llama.cpp。