跳到正文
Computing Life · Share · 鸭哥调研

近处保真、远处有损:三种长上下文方法背后的同一个直觉

YaRN、DeepSeek V4 和 DeepSeek-OCR 这三套方案来自不同团队,分别在位置编码、注意力通路和输入表示三个层面解决了长上下文的瓶颈,但底层逻辑完全一致:把最高精度留给近处或焦点,对远处信息做有损压缩。

推荐理由:YaRN、DeepSeek V4 与 DeepSeek-OCR 分别从位置编码、注意力通路和输入表示切入长上下文,文章把三者归到近处保真、远处有损这一共同思路下。

读原文 ↗导出 Markdown