跳到正文
The DecoderJonathan Kemper

Nvidia 研究者称超大 AI 上下文窗口是死路一条

Nvidia researchers argue huge AI context windows are a dead end

Nvidia 研究团队认为,模型一次性吞下整本小说这类超大上下文窗口往往是过度且昂贵的做法,在多项测试中,定期摘要加定向查找的效果与之相当。GPT-4 于 2023 年 3 月发布时上下文为 8,192 tokens,如今 GPT 5.6 Sol 可处理约一百万 tokens,约为前者的 120 倍。

读原文 ↗导出 Markdown