# Anthropic 发了篇论文，能让你看到 Gemma 3 生成每个词时在想什么

> 原标题：You can now read Gemma 3's mind

- 来源：r/LocalLLaMA
- 发布时间：2026-05-08T01:44:22.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/15644
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t6u1os/you_can_now_read_gemma_3s_mind/

## 摘要

Anthropic 用他们做可解释性的 NLA 方法，把 Gemma 3 27B Instruct 模型内部激活值翻译成人能看懂的概念。具体做法是训练了两个小模块：一个叫 Auto Verbalizer，负责把神经元活动映射到自然语言描述；另一个叫 Activation Reconstructor，用这些描述去重建原始激活，验证解释靠不靠谱。

## 推荐理由

Anthropic 用 NLA 方法把 Gemma 3 27B 的激活值翻译成自然语言，并训练两个模块互相验证解释是否可靠，为理解模型逐词生成时的内部状态提供了一条可复现路径。

## 锐评

两个小模块就能把激活翻译成人话，还能反向重建验证，这个思路比单纯看 attention 图靠谱。但重建得准不代表解释得对，模型内部可能压根没有人类概念那套结构，翻译出来的东西读着通顺，未必是它真在想什么。反正权重挂在 Hugging Face 上，Neuronpedia 也有交互页，自己跑一遍比看论文快。我关心的是能不能拿它定位幻觉，光看概念解释对调 prompt 帮助有限。
