Huawei releases MACaQ, its internal quantizer for local inference

华为发布内部量化工具 MACaQ，支持文本、图像、视频和音频模型的量化与本地推理，以 Apache License 2.0 开源。工具支持 llama.cpp、vLLM、Diffusers 和 PyTorch，可使用 32.5 GB 设备内存在 64 分钟内量化一个 122B 参数模型。