# 别让大模型自己报“信心分”，这分数基本没用

> 原标题：Don't ask an LLM for a confidence score

- 来源：Hacker News 首页
- 发布时间：2026-07-28T00:06:53.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/47132
- 原文：https://justinflick.com/2026/07/27/llm-confidence-scores.html

## 摘要

Justin Flick 直接给结论：让大模型输出一个 0 到 100 的“信心分”在科学上站不住脚。模型没法可靠地自我评估，连 Anthropic 自己的内省研究都说这种能力很不稳定、看场景。更麻烦的是，“信心”这个词把答案对不对、写得顺不顺、有没有满足用户意图全搅和成一个数了。

## 推荐理由

作者指出让大模型输出0到100的信心分在科学上站不住脚，并引用Anthropic的内省研究说明模型自我评估并不稳定，还拆解了信心一词混合正确性、流畅度与意图匹配的问题。

## 锐评

让模型自己报信心分，我早就不看了。它给 90 分和给 60 分，跟答案对不对基本没关系，倒是跟 prompt 里怎么问关系很大。作者把这事拆成正确性、流畅度、意图匹配三个维度，这个拆法挺对，一个数根本装不下三件事。Anthropic 自己的内省研究都说这能力不稳定，那还拿它做阈值判断就是自欺欺人。真要在 agent 里做置信度，还是得靠外部信号，比如检索命中、工具返回、多次采样一致性，别指望模型自己说。
