# Jev 的概率校准有多准确？实测发现输出分布过度集中

> 原标题：How accurately calibrated is Jev?

- 来源：Hacker News 首页
- 发布时间：2026-10-02T15:12:41.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/sadabwy9130zzryqrd9vt591a
- 原文：https://maximumeffort.substack.com/p/jev-is-poorly-calibrated

## 摘要

TypeSafe 的分类模型 Jev 在这项实测中输出的概率分布偏离理论分布，平均总变差距离为 0.518，仅略低于均匀猜测的 0.546。实验覆盖 10 类分布、每类 5 个提示词模板及每模板 20 种变化，共 1,000 个设置，全部实验成本低于 $4.00。Jev 通常能选对分布类型，却倾向于把概率集中在单个区间；后续数学测试还发现，它在多步算术和十的幂次追踪上存在困难。