当大语言模型的输入长度超过预训练窗口时，困惑度往往会逐渐上升，严重时甚至突然失控。问题并不只是“模型没有读过这么长的文本”，还在于旋转位置编码（RoPE）生成了训练阶段未曾出现的位置相位组合。不同外推策略本质上都在解决同一个矛盾：既要把更远的位置纳入模型可处理的范围，又不能破坏原有的局部距离分辨率和注意力模式。
RoPE 为什么会在超长上下文中失效
RoPE将查询向量和键向量按位置旋转，使注意力内积自然包含相对位置信息。不同维度使用不同频率：高频维度擅长区分相邻位置，低频维度负责表达更长距离。数学公式可以计算任意位置，但模型只学习过有限窗口内的旋转状态。一旦位置远超训练长度，注意力层面对的是分布外相位，原先形成的匹配规律便可能被打乱。
这类失配会反映在困惑度曲线上。如果模型仍能利用前文，增加上下文通常不应造成预测质量剧烈恶化；如果困惑度在训练窗口边界附近突然抬升，则往往意味着位置编码外推失败。相关研究还指出，能较好维持预训练长度内注意力模式的RoPE扩展方法，通常具有更好的外推表现；注意力不确定性增大，则可能导致远距离检索错误。[1]
线性位置插值：稳定但会压缩分辨率
位置插值（Position Interpolation，PI）的思路最直观：假设模型原始窗口为L，需要扩展到sL，就把位置m映射为m/s。这样，超长序列中的旋转角度仍落在模型熟悉的范围内，避免直接访问从未训练过的位置。
它的优势是实现简单、行为相对可控，配合少量长上下文微调即可形成有效基线。但所有频率都被统一压缩后，相邻位置的角度差也会缩小。扩展倍数越大，高频维度提供的局部区分能力越容易受损，模型可能把相近位置看得过于相似。因此，PI通常能抑制窗口边界处的困惑度爆炸，却可能牺牲短距离语序、精细复制和局部检索能力。
NTK感知缩放：在远距离与局部细节之间折中
NTK感知类方法不再对所有频率进行完全相同的缩放，而是通过调整RoPE基频，让不同频率承担不同程度的扩展。其目标是更多地改变负责长距离表示的低频部分，同时尽量保留高频部分的局部分辨率。
这种策略通常比纯线性插值更适合较大的扩展比例，但它不是无条件有效。基频、扩展倍数、模型维度和目标长度之间存在耦合，参数不匹配时，困惑度曲线仍可能在某些长度区间反弹。动态缩放虽然可以根据当前序列长度调整参数，却也可能让同一段文本在不同批次长度下获得不同的位置表示，从而影响推理一致性。
YaRN：分频插值与注意力温度校正
YaRN进一步采用分段、分频率处理：部分维度接近外推，部分维度执行插值，中间频段平滑过渡，并对注意力分数进行尺度校正。与“一刀切”压缩相比，它更关注RoPE各频段在局部顺序和长距离关系中的不同作用。
从困惑度角度看，YaRN试图同时避免两种失败：一是远端相位越界导致预测崩溃，二是过度插值造成短程信息损失。论文报告显示，该方法能够以较少的训练令牌和训练步骤扩展LLaMA类模型的上下文，并具备超过微调长度继续外推的能力。这里应注意，论文中的效率和质量结论依赖具体模型、语料与评测设置，不能直接视为所有模型上的固定收益。来源链接
非均匀与渐进式缩放：追求更长窗口
LongRoPE等方法认为，不同RoPE维度以及不同位置区间的最佳缩放比例并不一致，因此通过搜索非均匀缩放参数，减少插值造成的信息损失。它还采用渐进式扩展，并针对短上下文重新调整位置编码，以缓解长窗口优化对原始能力的侵蚀。[3]
这说明“最大可输入长度”不等于“最大有效长度”。模型即使能够接收极长序列，也未必能稳定找到其中的信息。非均匀缩放可以改善不同频段之间的协调，却增加了搜索、校准和部署复杂度；渐进式训练能够提高稳定性，但也需要更高质量的长文档以及更大的训练资源。
位置鲁棒性不能只看平均困惑度
困惑度是必要指标，却不足以完整描述位置鲁棒性。滑动窗口困惑度可能偏重局部预测，只要附近文本足够充分，即使模型没有真正利用远端信息，分数也可能看起来不错。反过来，长文本主题变化、文档拼接方式和分词差异，也会影响不同长度之间的直接比较。
更可靠的评测应同时覆盖以下方面：
- 长度曲线：在原始窗口以内、窗口边界附近和多个外推长度上分别计算困惑度，观察是否存在突变。
- 位置平移：把相同关键信息放在开头、中部和末尾，检查结果是否对绝对位置过度敏感。
- 距离分层：分别测试局部依赖、中距离关联和超远距离检索，避免平均值掩盖薄弱区间。
- 短上下文回归：验证扩展后模型在原始窗口内是否退化，尤其关注代码、数字复制和严格语序任务。
- 内容控制：使用相同文档改变填充长度或关键信息位置，将位置因素与文本难度尽量分离。
工程选型时应关注什么
如果扩展比例较小、算力有限，线性插值可以作为易实现的起点，但应配合长序列微调和短上下文回归测试。若希望在较少训练下获得更大的扩展范围，可优先评估NTK感知方案或YaRN，并系统扫描缩放参数。面对数十万乃至更长的目标窗口，非均匀缩放、渐进训练和专门的长文本数据通常更值得投入。
此外，位置外推只能解决“如何表示远位置”的一部分问题。注意力计算成本、长文档质量、训练长度分布、缓存占用及模型是否真正学习长距离依赖，同样决定最终效果。仅修改配置中的最大位置数，通常无法可靠地获得超长上下文能力。
总结
RoPE外推策略会直接改变各频段的位置分辨率与注意力几何结构，因此也决定了困惑度随长度增长的形态。线性插值重在稳定映射，却可能压缩局部差异；NTK感知缩放强调频率折中；YaRN结合分频处理和注意力校正；非均匀、渐进式方案则面向更极端的长度扩展。真正稳健的方案不应只追求一个醒目的窗口数字，而应同时满足三项标准：超出训练长度后困惑度平滑、关键信息换位置后性能稳定、原始短上下文能力基本保留。
