跳到正文
Hacker News 首页

别让大模型自己报“信心分”,这分数基本没用

Don't ask an LLM for a confidence score

Justin Flick 直接给结论:让大模型输出一个 0 到 100 的“信心分”在科学上站不住脚。模型没法可靠地自我评估,连 Anthropic 自己的内省研究都说这种能力很不稳定、看场景。更麻烦的是,“信心”这个词把答案对不对、写得顺不顺、有没有满足用户意图全搅和成一个数了。

推荐理由:作者指出让大模型输出0到100的信心分在科学上站不住脚,并引用Anthropic的内省研究说明模型自我评估并不稳定,还拆解了信心一词混合正确性、流畅度与意图匹配的问题。

读原文 ↗导出 Markdown