跳到正文
Hacker News 首页

无限参数大模型:把用户现场给的信息直接写进模型权重里

Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

arXiv 论文提出 Infinite-Parameter LLM,用紧凑超网络把运行时数据转成共享基网络的低秩调制,使前馈权重由实时数据生成而非存于固定参数库。作者对生成器隐变量维持贝叶斯信念并在线更新,使有效权重随会话演进重新推导,存储占用固定而可编译权重实际无限。论文称把运行时知识放在权重中可摊薄计算、释放上下文窗口、跨轮次保留,并给出针对上下文学习与检索的评测协议。

推荐理由:论文提出用紧凑超网络把运行时数据转成共享基网络的低秩调制,并在线更新生成器隐变量,让前馈权重随会话演进重新推导,为模型从实时交互中学习提供了一条不依赖提示词的路径。

读原文 ↗导出 Markdown