给 LLM 套个 Jev 式外壳:强制单 token 输出,用 logprobs 做选择题,还能看图片
A single function Jev-like wrapper for LLMs, including vision models
作者受 Jev 启发写了个 Python 封装,核心思路是让 LLM 只输出一个 token(比如 A/B/C),然后读它的 logprobs 来快速做选择题。这样避免了模型长篇大论,速度很快。作者还加了图片支持,用 Gemma 4 12B 在 RTX 3090 上跑摄像头画面,每秒能处理 1 帧,每帧同时问三个问题(有没有人、室内还是室外、亮度如何)...