[AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment
Goodfire 的 Nick Cammarata 提出工作假说,认为万亿参数级模型中的大多数神经元可被理解,许多经典多义性与叠加案例可通过进一步的智能体分析解释。他此前在 OpenAI 的自动可解释性研究中仅发现约 2% 的神经元可被理解,如今认为不少著名案例曾被误读。Neel Nanda 仍预期存在表征叠加,其他研究者质疑弱激活覆盖与解释评估标准,相关论文尚未发布。