跳到正文
r/LocalLLaMA

Anthropic 发了篇论文,能让你看到 Gemma 3 生成每个词时在想什么

You can now read Gemma 3's mind

Anthropic 用他们做可解释性的 NLA 方法,把 Gemma 3 27B Instruct 模型内部激活值翻译成人能看懂的概念。具体做法是训练了两个小模块:一个叫 Auto Verbalizer,负责把神经元活动映射到自然语言描述;另一个叫 Activation Reconstructor,用这些描述去重建原始激活,验证解释靠不靠谱。

推荐理由:Anthropic 用 NLA 方法把 Gemma 3 27B 的激活值翻译成自然语言,并训练两个模块互相验证解释是否可靠,为理解模型逐词生成时的内部状态提供了一条可复现路径。

读原文 ↗导出 Markdown