# Orthrus-Qwen3-8B：冻住 Qwen3-8B 主干，加一个扩散注意力头，一次前向最多吐出 7.8 倍的 token，输出分布数学上可证明不变

> 原标题：Orthrus-Qwen3-8B : up to 7.8×tokens/forward on Qwen3-8B, frozen backbone, provably identical output distribution

- 来源：r/LocalLLaMA
- 发布时间：2026-05-15T19:07:16.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/21475
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1te5xpu/orthrusqwen38b_up_to_78tokensforward_on_qwen38b/

## 摘要

这个工作把 Qwen3-8B 的原始参数完全冻住，只额外训练一个扩散注意力头，让模型一次前向能生成多个 token，最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数，用了不到 10 亿 token 的数据，在 8 张 H200 上跑了 24 小时。

## 推荐理由

研究团队冻结 Qwen3-8B 主干，仅训练一个扩散注意力头，在 MATH-500 上把单次前向的 token 吞吐提到最高 7.8 倍，墙钟时间约快 6 倍，输出分布保持不变。

## 锐评

7.8 倍这个数先看条件，是单次前向吐多个 token 的吞吐，MATH-500 上墙钟只快 6 倍，差的那截就是扩散头自己的开销。让我在意的是只训 16% 参数、8 张 H200 跑 24 小时，这个成本小团队自己复现得起，冻结主干还保证输出分布不变，等于白捡一段推理加速。没论文没第三方复现，先当信号看，本地跑 8B 的可以等代码放出来。
