专题 C · RoPE:模型怎样知道位置
⏱ 9 分钟 | 可选专题
🎯 一句话
注意力本身只会比较内容,不知道“猫在老鼠前面”还是后面。RoPE(旋转位置编码)把位置信息变成向量的旋转角度,让模型在比较 token 时自然感知相对距离和方向。
为什么不用“直接加位置编号”
早期做法是给每个位置一张位置名片,再和 token 向量相加。它能告诉模型“这是第 8 个位置”,但模型还要自己费劲推导“第 8 个和第 3 个相隔 5”。
RoPE 把位置直接混入注意力所用的 Q、K 向量。于是当两个 token 比较相关度时,结果天然会随相对位置变化。对语言这种“相邻、隔很远、顺序倒过来意义不同”的数据很合适。
长上下文为什么仍然难
RoPE 让模型有位置感,并不等于模型自动擅长无限长文本。它在训练时见过的长度有限;超出很多时,需要专门的长上下文训练或缩放策略,效果也要靠真实任务验证。
别混淆两句话:窗口“能装下”多少 token,是容量;模型“能稳定用好”多少内容,是能力。这两件事不等价。
处理长文时,先分清三件事:位置范围能否支持、哪些原文仍可访问、回答所需证据是否齐全。想用同一任务比较策略,再展开下面的选读。
选读:同一份长合同,扩窗口、滑窗和检索各解决什么?
位置机制的基本对照见 ML14 的位置编码段。这里保留上面的 RoPE 图,只讨论怎样安排长文输入;相对位置形式本身不保证超出训练长度后仍能答对。
虚构任务:旧合同主文写“交付后 30 天内可退货”,很远的附件另写“定制件除外”;问题是“这件定制品能否按主文退货,请列出依据”。本例标注的合格回答应同时核对主文和该合同版本的附件,指出例外;只找到“30 天”还不够。这是教学材料,没有运行模型。
| 策略 | 改变什么、可能漏什么 | 至少检查什么 |
|---|---|---|
| 位置扩展 | 使用匹配的长上下文模型或位置缩放/适配方案,改变位置表示的适用范围。整份合同可作为输入,不主动删掉附件,但模型未必会用好远处证据。 | 不同长度、证据位置下的双证据答对率;原短任务是否退化;峰值 KV 与首 token 延迟。 |
| 窗口注意力 | 限制每层直接访问的范围。若关键条款在窗口外,就少了直接连接;多层间接传递不等于完整保留。仅截取末尾输入更会直接丢掉前文。 | 主文和附件间隔增大时是否仍答对;实际可见范围;窗口层的缓存是否按实现停止增长。 |
| 检索增强 | 从完整档案选出主文与附件,连同版本、条款号放入本次上下文;改变进入模型的证据集合。检索可能只召回主文或拿错版本。 | 所需两处证据是否一起召回;引用能否支持例外结论;检索加生成的总延迟。 |
| 内容压缩 | 把原文缩成摘录或摘要,腾出输入预算;可能删掉“除外”、对象范围或版本条件。压缩后的文字不能默认等价于原件。 | 例外与条件保留率、可回查原文的位置、压缩加回答的总成本。 |
位置扩展看一个算式即可:Position Interpolation(PI)把送入 RoPE 的位置坐标按 p′ = p / s 缩放,其中 s = 新窗口 / 原窗口。教学假设 s=2,则坐标 2 和 6 变成 1 和 3,位置差从 4 变成 2;token 没有因此被删除或合并。PI 原论文在 RoPE 的 LLaMA 模型上配合扩展长度微调,并分别评测语言建模、检索和摘要;不能把论文结果推成任意 checkpoint 改一个数就获得同等能力。
RoPE scaling 是一类调整方案的统称,PI 是其中一个具体方法;不同方法可能调整不同频率及参数。先固定模型/Tokenizer 版本,核查模型配置支持的位置方案、最大长度、注意力掩码和推理实现。以 Transformers v4.57.1 为例,其 RoPE 工具分别处理 linear、dynamic、YaRN 等参数;Mistral 配置也把 max_position_embeddings 和 sliding_window 分开。配置字段或默认值不是任意已训练模型的质量保证,不能把窗口大小当作整个上下文都能直接访问。
再核对资源:在相同层数、KV 头数、精度且保留完整前缀的常规缓存下,长度增大会增加 KV 存储和每步读取前缀的工作;位置缩放不会自动消掉这些成本。缓存复用、容量公式和 GQA/MQA 已在 KV Cache 主章解释。滑窗模型的相应层只有在实现确实按窗口管理缓存时才有对应上界;混合全局层仍须另算。卸载或量化可以改变缓存预算与延迟,不能补回缺失条款,也不直接证明理解变好。
可执行的教学方案:先给合同集合标出“主文+附件”的必要证据,按目标 Tokenizer 计算提示、资料和输出预算。能在已验证窗口内完整放入时,用整文方案作基线;需要缩短输入时,先检索并保留原件回查,压缩后专查例外词和版本;尝试长窗口或滑窗时,在同一题集上移动证据位置、拉大间隔,再分别记双证据完整率、答案/引用正确率、峰值缓存和端到端延迟。检索、压缩与评测的细节沿用 RAG 入口、上下文拼装检查和 评估段。这些是待执行的选择步骤,没有个人实战或模型性能数据。
核查依据:RoFormer §3.2;Position Interpolation §2.3、§3;Transformers v4.57.1 RoPE 实现;同版 Mistral 配置;同版缓存策略;RAG 原论文。
✅ 检查点
- 注意力需要额外的位置线索,才能分清顺序和距离。
- RoPE 用旋转把位置带进 Q、K 的比较。
- 长窗口不保证长文本理解可靠。
点开核对
RoPE 让相对位置变成向量旋转差,因此注意力比较内容时也能感到距离和方向。它解决位置感,不承诺无限记忆。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| AI 基础设施 08 · FlashAttention | 「长上下文为什么仍然难」的工程那一半:n×n 的注意力矩阵写不回显存,怎么靠分块绕开 |
| AI 基础设施 16 · KV Cache | 另一半:上下文越长,缓存越大 —— 那一章讲它到底有多大,以及 GQA / MQA / MLA 怎么砍 |
本节回顾
不用背旋转矩阵或频率公式。你能说清“RoPE 解决相对位置感”即可。
⚡ 走神救援
RoPE 让不同位置的向量转不同角度,所以模型比较两个 token 时能感到相对距离。它给的是位置感,不是无限记忆。