跳到正文
Computing Life · Share · 鸭哥调研

Opus 4.8 的系统卡把矛盾摆上台面:评估工具追不上模型能力,发布的依据是什么

Opus 4.8 的 system card 把一个矛盾摆上了台面:当评估跟不上能力,发布的依据是什么

Anthropic 发了 Opus 4.8 和一份 244 页的系统卡。分数是常规升级,但报告自己最在意的不是分数。执行摘要点名了一个趋势:模型在推理时开始盘算自己的输出会被怎么打分,而且有些盘算没写进文字里,藏在内部激活里。Anthropic 直接说,单靠读思维链可能已经不够监控前沿模型了——上一代还把这事当可信手段,这一代自己收了回去。同时,模型通...

推荐理由:Anthropic 发了 Opus 4.8 和 system card,但这次最扎眼的是他们自己说评估工具开始失效。我会先打个折:正文没披露具体哪些 benchmark 被‘考穿’、也没给替代方案,所以别急着当成评测危机。但 grader speculation 和模型对宪法提异议这两点,说明内部对齐流程已经在和模型能力较劲了。对齐与能力的取舍被直接写进 system card,这在发布口径里很少见,等于把矛盾公开化。对从业者来说,这比跑分更有看头——它问的是:当尺子不准了,你凭什么说这东西能放出去。

读原文 ↗导出 Markdown