跳到正文
AI HOT 精选

Unsloth 放出 Qwen3.6 MTP GGUF 模型,推理速度提升超 1.4 倍

UnslothAI发布Qwen3.6 MTP GGUF模型,实现推理速度大幅提升

Unsloth 创始人 Daniel Han 发了几个实验版 Qwen3.6 MTP GGUF 模型,用了一种叫“投机解码”的技术来加速推理。具体做法是让模型一次猜两个草稿 token(draft tokens=2),在速度和猜对率之间找了个平衡点。

推荐理由:Unsloth 创始人 Daniel Han 发布实验版 Qwen3.6 MTP GGUF 模型,用投机解码让模型一次猜两个草稿 token,在速度与猜对率之间取平衡,推理速度提升超 1.4 倍。

读原文 ↗导出 Markdown