# 近处保真、远处有损：三种长上下文方法背后的同一个直觉

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-08-25T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/52857
- 原文：https://yage.ai/share/long-context-layering-yarn-v4-20260825.html

## 摘要

YaRN、DeepSeek V4 和 DeepSeek-OCR 这三套方案来自不同团队，分别在位置编码、注意力通路和输入表示三个层面解决了长上下文的瓶颈，但底层逻辑完全一致：把最高精度留给近处或焦点，对远处信息做有损压缩。

## 推荐理由

YaRN、DeepSeek V4 与 DeepSeek-OCR 分别从位置编码、注意力通路和输入表示切入长上下文，文章把三者归到近处保真、远处有损这一共同思路下。

## 锐评

近处保真、远处有损这个直觉不新，KV cache 的淘汰策略一直这么干，有意思的是它现在同时出现在位置编码、注意力通路和输入表示三个层面。做推理的看这篇能省不少试错，三个方案各自的显存和训练成本都摆出来了，对着自己的 context 长度挑就行。就是论证到一半断了，三个方案怎么归到同一个直觉上，最关键的推导没写完，现在只能当索引看。
