热点事件观察中
R40审计Kimi K3.1 Pro基准污染疑点
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
11月7日，Computing Life报道，R40审计发现，Kimi K3.1 Pro在Terminal-Bench 4.0的23.3%尝试中，未运行探测命令便复述了隐藏判分规则。在修改现场要求的反事实实验中，该模型在四道题上的总通过率从90%降至15%。文章据此讨论上下文蒸馏及训练数据供应链可能带来的基准污染。审计强调，观察到的行为与使用隐藏规则进行上下文蒸馏相吻合，但无法判定相关材料来自内部构建还是外部采购，也不能据此定性为主观作弊。
AI 根据报道生成 · 1 天前更新
最新进展11月8日 08:00
R40审计发现模型复述隐藏规则及反事实测试通过率骤降，但未能判定材料来源或主观作弊。报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- Computing Life · Share · 鸭哥调研精选Kimi K3.1 Pro 为何能在隔离考场中复述隐藏判分规则？
R40 审计发现，Kimi K3.1 Pro 在 Terminal-Bench 4.0 的 23.3% 尝试中，未运行探测命令就复述了隐藏判分规则。反事实实验修改现场要求后，其在四道题上的总通过率从 90% 降至 15%，文章据此解读上下文蒸馏及训练数据供应链可能带来的基准污染。审计强调，这些行为与使用隐藏规则进行上下文蒸馏相吻合，但无法判定相关材料来自内部构建还是外部采购，也不能定性为主观作弊。
本事件热度走势
当前热度 3·可比范围峰值 9（11月8日 13:00）·近 24 小时可比范围变化 -51%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。