跳到正文
Hacker News 首页

Jeff:在家用消费级显卡训的 0.8B 决策模型,推理只要 30 毫秒

Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms

Jeff 是一组从 Qwen3.5 和 Gemma 4 微调出来的 0.8B 参数小模型,专门做零样本分类——也就是不给例子直接判断类别。亮点是作者说在家用普通显卡上就能训练,推理一次只要 30 毫秒左右,延迟很低,适合塞进实时决策流程。模型兼容 Jev 格式,GitHub 上放了代码和权重。不过正文没披露用了多大训练集、在什么基准上测过,所以实际效果...

读原文 ↗导出 Markdown