Anthropic 发了篇论文,能让你看到 Gemma 3 生成每个词时在想什么
You can now read Gemma 3's mind
Anthropic 用他们做可解释性的 NLA 方法,把 Gemma 3 27B Instruct 模型内部激活值翻译成人能看懂的概念。具体做法是训练了两个小模块:一个叫 Auto Verbalizer,负责把神经元活动映射到自然语言描述;另一个叫 Activation Reconstructor,用这些描述去重建原始激活,验证解释靠不靠谱。权重已经挂...
推荐理由:Anthropic 这次没发新模型,而是给 Gemma 3 27B 做了一次“脑部扫描”。他们用自然语言来解释模型生成单个 token 时的激活模式,相当于把模型决策摊开给你看。两套权重都挂在 Hugging Face 上,Neuronpedia 也上了交互页,上手门槛很低。不过正文没给任何评测分数,所以效果到底多准、解释会不会自说自话,这点先别太激动。整体属于扎实的可解释性开源发布,对关心推理成本和模型行为的人挺有用。