为什么用 LLM 生成置信度评分不可靠

Using LLM for confidence scoring is a bad idea

LLM 自报的置信度是逐个 token 生成的文本，文章指出，这些数字缺乏针对实际任务正确率的校准依据。可靠的置信度需要利用预测所依据的信息，并通过同类问题的实际结果持续检验，单纯符合历史平均正确率还不够。文章以客服智能体为例，提出记录检索命中、重复回答一致性和人工复核结果，按历史正确率建立评分规则并定期检查校准情况。