How accurately calibrated is Jev?

TypeSafe 的分类模型 Jev 在这项实测中输出的概率分布偏离理论分布，平均总变差距离为 0.518，仅略低于均匀猜测的 0.546。实验覆盖 10 类分布、每类 5 个提示词模板及每模板 20 种变化，共 1,000 个设置，全部实验成本低于 $4.00。Jev 通常能选对分布类型，却倾向于把概率集中在单个区间；后续数学测试还发现，它在多步算术和十的幂次追踪上存在困难。