热点事件历史事件
给 LLM 套个 Jev 式外壳：强制单 token 输出，用 logprobs 做选择题，还能看图片
1 篇报道1 个报道来源4 天前更新
先了解这件事
事实说明
作者受 Jev 启发写了个 Python 封装，核心思路是让 LLM 只输出一个 token（比如 A/B/C），然后读它的 logprobs 来快速做选择题。这样避免了模型长篇大论，速度很快。作者还加了图片支持，用 Gemma 4 12B 在 RTX 3090 上跑摄像头画面，每秒能处理 1 帧，每帧同时问三个问题（有没有人、室内还是室外、亮度如何）...
报道时间线
沿着报道，了解事件的不同侧面。
9月26日
- Hacker News 首页给 LLM 套个 Jev 式外壳：强制单 token 输出，用 logprobs 做选择题，还能看图片
作者受 Jev 启发写了个 Python 封装，核心思路是让 LLM 只输出一个 token（比如 A/B/C），然后读它的 logprobs 来快速做选择题。这样避免了模型长篇大论，速度很快。作者还加了图片支持，用 Gemma 4 12B 在 RTX 3090 上跑摄像头画面，每秒能处理 1 帧，每帧同时问三个问题（有没有人、室内还是室外、亮度如何）...