跳到正文
Hacker News 首页

Jevstiller:把 Jev 分类接口蒸馏成本地小模型,并承诺 98% 的回答跟 Jev 一致

Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound

Jevstiller 发布一个位于 Jev 调用前的本地代理,用 bge-small 编码器加逻辑回归头学习 Jev 的答案分布,在 CPU 上约 15 ms 返回它确信的标签,其余请求转回 Jev。

推荐理由:Jevstiller 在 Jev 调用前加一层本地代理,用 bge-small 加逻辑回归头在 CPU 上约 15 毫秒返回确信标签,其余请求转回 Jev,并给出与 Jev 答案一致率的分歧上界。

读原文 ↗导出 Markdown