🏠 总目录📚 本教程 02f · 选读:RoPE ← →

大模型全景导论 / 02f

向量转过的角度,怎样带上位置差?

跟随二维相对旋转示意,再分清窗口容量、位置方案、训练分布和KV缓存边界。

📑 本页目录(点开跳转)

专题 C · RoPE:模型怎样知道位置

⏱ 9 分钟 | 可选专题


🎯 一句话

注意力本身只会比较内容,不知道“猫在老鼠前面”还是后面。RoPE(旋转位置编码)把位置信息变成向量的旋转角度,让模型在比较 token 时自然感知相对距离和方向。

位置 3:转一个角度位置 8:转得更多比较夹角就能感到相隔多远同一类向量,在不同位置转不同角度
这只是二维示意;真实模型在许多二维平面里同时旋转。重点不是画圆,而是“差多少位置,就多多少相对旋转”。

为什么不用“直接加位置编号”

维度位置(第几个 token)→低维(上面)变化快,高维(下面)变化慢每个位置拿到一串独一无二的「条纹指纹」不同频率的正弦/余弦叠在一起,像二进制计数器的各个位⭐ 为什么需要它:无位置、无掩码自注意力具有排列等变性:输入重排,输出相应重排所以位置编码提供顺序线索;因果掩码也引入顺序约束,不能仅凭排列等变就断言任何模型都分不清「猫追老鼠」和「老鼠追猫」
这就是上面说的「给每个位置一张位置名片」——不同频率的正弦叠在一起,每个位置拿到一串独一无二的「条纹指纹」。⭐ 为什么需要它:无位置、无掩码自注意力是排列等变的:输入重排,输出相应重排,并非输出数组不变。位置编码提供顺序线索;因果掩码也引入顺序约束,不能仅凭排列等变就断言任何模型都分不清「猫追老鼠」和「老鼠追猫」。

早期做法是给每个位置一张位置名片,再和 token 向量相加。它能告诉模型“这是第 8 个位置”,但模型还要自己费劲推导“第 8 个和第 3 个相隔 5”。

RoPE 把位置直接混入注意力所用的 Q、K 向量。于是当两个 token 比较相关度时,结果天然会随相对位置变化。对语言这种“相邻、隔很远、顺序倒过来意义不同”的数据很合适。

长上下文为什么仍然难

RoPE 让模型有位置感,并不等于模型自动擅长无限长文本。它在训练时见过的长度有限;超出很多时,需要专门的长上下文训练或缩放策略,效果也要靠真实任务验证。

别混淆两句话:窗口“能装下”多少 token,是容量;模型“能稳定用好”多少内容,是能力。这两件事不等价。

处理长文时,先分清三件事:位置范围能否支持、哪些原文仍可访问、回答所需证据是否齐全。想用同一任务比较策略,再展开下面的选读。

选读:同一份长合同,扩窗口、滑窗和检索各解决什么?

位置机制的基本对照见 ML14 的位置编码段。这里保留上面的 RoPE 图,只讨论怎样安排长文输入;相对位置形式本身不保证超出训练长度后仍能答对。

虚构任务:旧合同主文写“交付后 30 天内可退货”,很远的附件另写“定制件除外”;问题是“这件定制品能否按主文退货,请列出依据”。本例标注的合格回答应同时核对主文和该合同版本的附件,指出例外;只找到“30 天”还不够。这是教学材料,没有运行模型。

同一问题的四种处理;可以组合,需分别验证
策略改变什么、可能漏什么至少检查什么
位置扩展使用匹配的长上下文模型或位置缩放/适配方案,改变位置表示的适用范围。整份合同可作为输入,不主动删掉附件,但模型未必会用好远处证据。不同长度、证据位置下的双证据答对率;原短任务是否退化;峰值 KV 与首 token 延迟。
窗口注意力限制每层直接访问的范围。若关键条款在窗口外,就少了直接连接;多层间接传递不等于完整保留。仅截取末尾输入更会直接丢掉前文。主文和附件间隔增大时是否仍答对;实际可见范围;窗口层的缓存是否按实现停止增长。
检索增强从完整档案选出主文与附件,连同版本、条款号放入本次上下文;改变进入模型的证据集合。检索可能只召回主文或拿错版本。所需两处证据是否一起召回;引用能否支持例外结论;检索加生成的总延迟。
内容压缩把原文缩成摘录或摘要,腾出输入预算;可能删掉“除外”、对象范围或版本条件。压缩后的文字不能默认等价于原件。例外与条件保留率、可回查原文的位置、压缩加回答的总成本。

位置扩展看一个算式即可:Position Interpolation(PI)把送入 RoPE 的位置坐标按 p′ = p / s 缩放,其中 s = 新窗口 / 原窗口。教学假设 s=2,则坐标 2 和 6 变成 1 和 3,位置差从 4 变成 2;token 没有因此被删除或合并。PI 原论文在 RoPE 的 LLaMA 模型上配合扩展长度微调,并分别评测语言建模、检索和摘要;不能把论文结果推成任意 checkpoint 改一个数就获得同等能力。

RoPE scaling 是一类调整方案的统称,PI 是其中一个具体方法;不同方法可能调整不同频率及参数。先固定模型/Tokenizer 版本,核查模型配置支持的位置方案、最大长度、注意力掩码和推理实现。以 Transformers v4.57.1 为例,其 RoPE 工具分别处理 linear、dynamic、YaRN 等参数;Mistral 配置也把 max_position_embeddings 和 sliding_window 分开。配置字段或默认值不是任意已训练模型的质量保证,不能把窗口大小当作整个上下文都能直接访问。

再核对资源:在相同层数、KV 头数、精度且保留完整前缀的常规缓存下,长度增大会增加 KV 存储和每步读取前缀的工作;位置缩放不会自动消掉这些成本。缓存复用、容量公式和 GQA/MQA 已在 KV Cache 主章解释。滑窗模型的相应层只有在实现确实按窗口管理缓存时才有对应上界;混合全局层仍须另算。卸载或量化可以改变缓存预算与延迟,不能补回缺失条款,也不直接证明理解变好。

可执行的教学方案:先给合同集合标出“主文+附件”的必要证据,按目标 Tokenizer 计算提示、资料和输出预算。能在已验证窗口内完整放入时,用整文方案作基线;需要缩短输入时,先检索并保留原件回查,压缩后专查例外词和版本;尝试长窗口或滑窗时,在同一题集上移动证据位置、拉大间隔,再分别记双证据完整率、答案/引用正确率、峰值缓存和端到端延迟。检索、压缩与评测的细节沿用 RAG 入口、上下文拼装检查和 评估段。这些是待执行的选择步骤,没有个人实战或模型性能数据。

核查依据:RoFormer §3.2;Position Interpolation §2.3、§3;Transformers v4.57.1 RoPE 实现;同版 Mistral 配置;同版缓存策略;RAG 原论文。

✅ 检查点

  • 注意力需要额外的位置线索,才能分清顺序和距离。
  • RoPE 用旋转把位置带进 Q、K 的比较。
  • 长窗口不保证长文本理解可靠。
点开核对

RoPE 让相对位置变成向量旋转差,因此注意力比较内容时也能感到距离和方向。它解决位置感,不承诺无限记忆。

🔗 想再深一层,去哪一套

去哪 为什么
AI 基础设施 08 · FlashAttention 「长上下文为什么仍然难」的工程那一半:n×n 的注意力矩阵写不回显存,怎么靠分块绕开
AI 基础设施 16 · KV Cache 另一半:上下文越长,缓存越大 —— 那一章讲它到底有多大,以及 GQA / MQA / MLA 怎么砍

本节回顾

不用背旋转矩阵或频率公式。你能说清“RoPE 解决相对位置感”即可。

⚡ 走神救援

RoPE 让不同位置的向量转不同角度,所以模型比较两个 token 时能感到相对距离。它给的是位置感,不是无限记忆。

👉 02d-MoE混合专家.md

原始资料:Attention Is All You Need · RoFormer / RoPE(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度