哈工大华为搞了个免训练加速框架,让扩散大模型推理快4.48倍还不掉精度
提速4.48倍!哈工大华为新框架让扩散大模型精度无损、推理起飞
哈工大深圳、华为和深圳河套学院提出一个叫 Dynamic-dLLM 的框架,不用重新训练就能给扩散大语言模型加速。在 LLaDA-8B-Instruct 上跑 GSM8k 数学题,吞吐量从每秒 8.32 个 token 提到 37.29 个 token,快了 4.48 倍,而且精度几乎没降。
推荐理由:哈工大深圳与华为提出免训练加速框架 Dynamic-dLLM,在 LLaDA-8B-Instruct 上把 GSM8k 吞吐量从每秒 8.32 个 token 提到 37.29 个,精度几乎不变。