跳到正文
Hacker News 首页speckx

PostHog 实践解读:并非所有任务都需要 LLM

Not Everything Needs an LLM

PostHog 将 Jev 等决策模型用于请求筛选、模型路由和搜索重排,以带概率的结构化答案处理简单判断,将复杂推理留给 LLM。Replay Vision 用两道问题筛查个人信息,任一概率达到 0.4 就交给 Gemini 改写,生产环境中 98.7% 的摘要跳过了 LLM 调用;搜索重排在 20 个测试查询中使排名质量提升约 25%。

读原文 ↗导出 Markdown