热点事件观察中
llama.cpp 的提示查找投机解码重写后快了 42 倍
1 篇报道1 个报道来源3 天前更新
先了解这件事
事实说明
llama.cpp 里负责“提示查找投机解码”的模块被重写了，现在速度是原来的 42 倍。这个技术简单说就是让模型在生成重复或相似内容时，直接从上下文里抄答案草稿，省去一步步算的时间。不过目前帖子只给了一个标题和预览图，没写具体怎么优化的、测了哪些模型、跑在什么硬件上。我会先打个折，等完整的博客文章出来再看实际效果。
报道时间线
沿着报道，了解事件的不同侧面。
9月27日
- r/LocalLLaMAllama.cpp 的提示查找投机解码重写后快了 42 倍
llama.cpp 里负责“提示查找投机解码”的模块被重写了，现在速度是原来的 42 倍。这个技术简单说就是让模型在生成重复或相似内容时，直接从上下文里抄答案草稿，省去一步步算的时间。不过目前帖子只给了一个标题和预览图，没写具体怎么优化的、测了哪些模型、跑在什么硬件上。我会先打个折，等完整的博客文章出来再看实际效果。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。