跳到正文
新智元 · 公众号

Claude Mythos 在 METR 长任务评测里拿到 50% 成功率,对应人类 16 小时的工作量

刚刚,Claude Mythos打爆AI评测天花板!超指数狂飙,2027奇点加速

METR 的 Time Horizons 测试里,Claude Mythos 预览版在人类需要 16 小时才能完成的任务上,成功率达到了 50%。不过整个测试集一共 228 个任务,只有 5 个任务的时间跨度超过 16 小时,所以这个成绩能说明它在长任务上有进步,但样本太少,还测不出它在更长时间尺度上的真实水平。

推荐理由:METR 的 Time Horizons 测试中,Claude Mythos 预览版在人类需 16 小时完成的任务上成功率达 50%,但 228 个任务里只有 5 个超过这一时长,长任务成绩的样本基础有限。

读原文 ↗导出 Markdown