ExLlamaV3 连续更新:DFlash 让编程吞吐量翻三倍,多款模型推理再提速
ExLlamaV3 Major Updates!
ExLlamaV3 最近几个版本更新挺猛。v0.0.31 引入 DFlash 后,编程任务的生成速度从每秒 59.21 个 token 直接拉到 177.67,翻了近三倍。v0.0.32 专门优化了五款模型,其中 Trinity-Nano 在 6000 Pro² 显卡上的速度提升了 72.4%。
推荐理由:ExLlamaV3 在 v0.0.31 引入 DFlash,把编程任务生成速度从每秒 59.21 个 token 提到 177.67,v0.0.32 又针对五款模型优化,Trinity-Nano 在 6000 Pro² 上提速 72.4%。