跳到正文
r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

I ported NVIDIA Parakeet (speech-to-text) to ggml: same output as NeMo, faster, GGUF-quantized, no Python

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。

推荐理由:开发者用 C++ 和 ggml 重写了英伟达 Parakeet 语音转文字模型,去掉 Python 与 PyTorch 依赖,f32 和 f16 精度下输出与原版 NeMo 逐字节一致,GPU 上大模型约 5 倍加速。

读原文 ↗导出 Markdown