跳到正文
r/LocalLLaMA

HalBench 基准测试:用 3200 个带坑问题测了 4 个头部模型,看谁更会拒绝瞎编

HalBench: I built a custom sycophancy and hallucination benchmark and tested 4 frontier models (Sonnet 4.6, Grok 4.3, GPT 5.4 and Gemini 3.1 Pro), looking for input on what OSS models to run next!

一位开发者自己搭了个叫 HalBench 的测试,专门看模型在遇到“前提本身是错的”的问题时,是会顺着瞎编(谄媚)还是直接指出问题。他拿 3200 个这种带坑提示词跑了 4 个模型:Sonnet 4.6 平均分 0.565 排第一,最敢反驳;Gemini 3.1 Pro 0.339 垫底,更容易顺着错误前提往下编。分数越高,代表模型越能识别出问题里的假...

推荐理由:HKR 三项都成立:HalBench 有个清晰的定制评测钩子,3200 条提示加分数,话题踩在模型信任和安全评测的痛点上。来源只有 Reddit 一个帖子,基准本身也没经过外部验证,所以放在低 featured 档。

读原文 ↗导出 Markdown