# 为什么用 LLM 生成置信度评分不可靠

> 原标题：Using LLM for confidence scoring is a bad idea

- 来源：Hacker News 首页
- 发布时间：2026-10-21T04:27:51.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/d6nl69iojiepcn3t053vvaxfa
- 原文：https://rumple.github.io/blog/2026/10/20/asking-llm-for-confidence.html

## 摘要

LLM 自报的置信度是逐个 token 生成的文本，文章指出，这些数字缺乏针对实际任务正确率的校准依据。可靠的置信度需要利用预测所依据的信息，并通过同类问题的实际结果持续检验，单纯符合历史平均正确率还不够。文章以客服智能体为例，提出记录检索命中、重复回答一致性和人工复核结果，按历史正确率建立评分规则并定期检查校准情况。