# Jevstiller：把 Jev 分类接口蒸馏成本地小模型，并承诺 98% 的回答跟 Jev 一致

> 原标题：Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound

- 来源：Hacker News 首页
- 发布时间：2026-09-29T12:05:07.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/59710
- 原文：https://jevstiller.pages.dev/posts/the-guarantee/

## 摘要

Jevstiller 在 Jev 分类 API 前面放了一个本地小模型，把每次请求从约 300 毫秒压到 CPU 上约 15 毫秒。它训练的东西很简单：一个冻结的 bge-small 编码器，上面接一个多分类逻辑回归头，用 Jev 返回的完整概率分布来教，而不是只学最终标签。每攒够 2000 条新答案就重训一次，上线前先拿真实流量做影子测试。关键在路由...

## 推荐理由

一个模型蒸馏的实操案例，把 300 毫秒的 API 调用压到 CPU 上 15 毫秒，还给出了统计上的分歧保证，数字和工程细节都够硬。不过 Jev 的用户群比较小，这篇文章更像是给做推理优化的工程师看的参考，不是那种人人都会点进去的热门话题。

## 锐评

300 毫秒压到 15 毫秒，这个数字才是这条的全部价值。Jevstiller 的做法不新鲜：冻结 bge-small 编码器加一层逻辑回归，几百 KB，秒级训完。真正有意思的是它不学最终标签，而是学 Jev 返回的完整概率分布，所以能顺带回答"Jev 当时犹豫没犹豫"。

但 98% 这个承诺我会先打个折。它说的是"至少这个比例跟 Jev 一致"，不是准确率——本地模型和 Jev 一起错，也算一致。正文没披露影子测试的样本量和任务类型，这个保证的含金量取决于分母有多大。