Jev 模型声称的概率校准,换一批数据就不灵了
Jev Can't Be Calibrated
Jev 是 TypeSafe 推出的一个分类模型,不用自己准备训练数据就能用,直接给非结构化输入打出带概率的标签。但作者指出,它标榜的“校准概率”站不住脚:模型在训练数据上校准过,不代表在你的生产数据上还能校准。不同公司的数据分布不一样,Jev 却会对相同输入吐出相同的概率,这本身就矛盾。更离谱的是,有人测出 Jev 认为抛一枚公平硬币正面朝上的概率是...
Jev Can't Be Calibrated
Jev 是 TypeSafe 推出的一个分类模型,不用自己准备训练数据就能用,直接给非结构化输入打出带概率的标签。但作者指出,它标榜的“校准概率”站不住脚:模型在训练数据上校准过,不代表在你的生产数据上还能校准。不同公司的数据分布不一样,Jev 却会对相同输入吐出相同的概率,这本身就矛盾。更离谱的是,有人测出 Jev 认为抛一枚公平硬币正面朝上的概率是...