热点事件持续更新
单张3090跑Qwen 27B，每秒95个token，上下文拉到26万
1 篇报道1 个报道来源20 小时前更新
先了解这件事
事实说明
Reddit用户发帖说用一张RTX 3090跑Qwen 27B模型，生成了10万个token，吞吐量超过95 token/秒，上下文窗口开到262K。这个速度意味着本地跑长文本生成已经接近可用了——10万字级别的输出不用等太久。但帖子正文被Reddit屏蔽了，看不到具体用了什么量化、什么推理框架，也没法确认这是真实跑分还是某种优化后的极限测试。如果是真...
报道时间线
沿着报道，了解事件的不同侧面。
9月29日
- r/LocalLLaMA单张3090跑Qwen 27B，每秒95个token，上下文拉到26万
Reddit用户发帖说用一张RTX 3090跑Qwen 27B模型，生成了10万个token，吞吐量超过95 token/秒，上下文窗口开到262K。这个速度意味着本地跑长文本生成已经接近可用了——10万字级别的输出不用等太久。但帖子正文被Reddit屏蔽了，看不到具体用了什么量化、什么推理框架，也没法确认这是真实跑分还是某种优化后的极限测试。如果是真...
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。