跳到正文
r/LocalLLaMA

有人把计算器塞进了 Transformer 权重里

My calculator is a transformer

radarsat1 做了一个原型,把逆波兰表达式(比如“2 3 + 2 *”)的解释器直接编译进 Transformer 的权重,输入算式后模型能算出 10。做法是把残差流当寄存器用,注意力权重由编译器算好,非线性的 MLP 逻辑还是靠训练。原型体积 1.1 GB,重点不是实用计算器,而是证明了注意力权重可以完全通过计算得出,不用训练。

推荐理由:radarsat1 把逆波兰表达式解释器编译进 Transformer 权重,注意力权重由编译器算出而非训练,为推理逻辑与训练参数的分离提供了一种可迁移做法。

读原文 ↗导出 Markdown