02 · 模型怎样处理一句话
原理路线的入口。先把 token 看成文字切出的小块;如果想先弄清切分与编号,可跳到 03 Tokenizer。
🎯 一句话
先抓住 Transformer 层里的两类计算:注意力聚合其他位置的信息,前馈层加工每个位置的表示。 还有归一化与残差连接。可访问哪些位置由掩码决定;因果语言模型不能读取未来 token,不能一概说每个向量包含整句话。
先看注意力解决什么问题
读“猫没抓到老鼠,因为它跑得太快”时,“它”到底指谁?在允许读整句的双向注意力里,当前位置可以同时利用前面的“没抓到”和后面的“跑得太快”。上、下两图都按这种可见范围画。
换成 Decoder-only 的因果注意力,“它”所在位置看不到后面的“跑得太快”;到句末位置,才可以聚合这些前文线索。模型即使训练时拿到整句,因果掩码也不会放开这条边界。
注意力做的正是这件事:当前 token 对句中所有可见 token 打分,把更相关的信息拿得更多。 这里的“注意力”不是人类意识,而是一种可学习的加权取信息方法。
Q、K、V:不是三个神秘新概念
同一个 token 向量会被三套不同的线性变换投影成 Q、K、V。可以暂时这样理解:
| 名字 | 人话角色 | 在“它”这个例子里的问题 |
|---|---|---|
| Q(Query) | 当前 token 想找什么 | “我是代词,我可能指谁?” |
| K(Key) | 每个 token 可以被怎样匹配 | “我是名词、动作还是线索?” |
| V(Value) | 真正被取走的内容 | “如果你关注我,我能提供什么信息?” |
“它”的 Q 会分别和所有可见 token 的 K 打分。打分大,说明这次更值得关注;Softmax 再把一组分数变成总和为 1 的权重。最后不是直接复制“老鼠”,而是按权重把所有 token 的 V 混合起来,所以“它”的新向量会同时带上“老鼠”“逃跑”“太快”等线索。
想知道公式在说什么?
不计掩码时写作 softmax(QKᵀ / √d) V,d 是每个头的 Key 维度;因果注意力还要在 softmax 前屏蔽未来位置。QKᵀ 是“当前 token 和每个候选 token 的匹配分数”;除以 √d 是避免维度大时分数过于极端;Softmax 把分数变成比例;最后乘 V 就是按比例取信息。公式没有额外魔法,正是上面四步的压缩写法。
一层里另外两个零件
- FFN(前馈网络):注意力结束后,每个 token 单独再想一想。它不负责 token 之间交流,却是参数量的大头。
- 残差连接:把旧信息直接加回新信息。这提供了较直接的信息与梯度通路,有助于训练深层网络;并不保证原意不变或训练必然稳定。
- 归一化:把数字尺度控制在合理范围,防止训练时某些层的数值失控。现代模型会把它放在更早的位置,专题 A 会讲。
把块的输出接回一句话:以自回归 Decoder-only 语言模型续写“猫追老鼠”为例,先按 03 的切分与嵌入步骤把 token 编号换成向量,结合位置机制,经过多层因果 Transformer 块和按实现安排的最终归一化,得到各位置的隐藏状态。这些向量还不是词表概率;词表线性输出头(LM head)再把它们投影成每个词表 token 的分数 logits。续写时用最后位置的 logits 得到下一 token 分布,再由 解码规则选出 token、接回输入。输出头负责打分,softmax 负责归一化,采样或取最大值才负责选择。
看一次维度,并分清结构与训练方式
采用行向量约定:设序列长为 n、隐藏宽度为 d_model、词表大小为 m(不是上文注意力的 V)。块堆叠与最终归一化后的隐藏状态为 H:n × d_model;无偏置示例中的词表头为 W_vocab:d_model × m,所以 Z = H W_vocab:n × m。若“猫追老鼠”在教学示意中切成 3 个 token,取 d_model=4、m=5,便是 3×4 → 3×5;最后一行的 5 个分数对应 5 个词表候选,softmax 后才成为概率,而非把 4 个隐藏维度当作 4 个候选词。
这条链要按模型具体化:GPT-2 的官方实现用绝对位置嵌入、块后的最终 LayerNorm 和与输入嵌入共享权重的词表头;RoPE 则把位置作用在注意力的 Q/K 中。位置注入、归一化次序及是否共享输入/输出权重都不是所有模型统一的规则。三类结构的最小区别是:Encoder-only 通常让输入位置双向互看,再按任务接输出头;原始 Encoder–Decoder 的解码器除因果自注意力外,还用 cross-attention 读取编码器输出;这里的 Decoder-only 示例用因果自注意力续写,不需要另一个编码器,详见 02c 的结构区别。
上述续写不是训练过程的逐步抽签:teacher forcing 用真实前缀,让各位置在因果掩码下并行预测右移一位的真实目标,再计算训练损失;推理时才把实际选出的 token 接回去。输出头在两者中都提供 logits,本身不等于采样器。
依据:Attention Is All You Need §3.4;GPT2LMHeadModel 文档;Transformers v4.57.1 GPT-2 实现。此处为维度教学例,未运行模型。
多头不是“多个人格”
一次注意力只是一种看关系的角度。多头注意力相当于同时开几条小通道:有的更容易学到指代,有的可能更关注句法或远距离线索。人不会给每个头分配任务;它们从数据里自己学出来。
多头的价值不是“多算几遍取平均”,而是让模型能在同一层里同时保留几种关系。随后它们的结果会拼回去再混合。某一个头不必永远负责一种清晰的人类概念;真正有用的语义往往分散在许多头和许多层里。
多头要在总宽度固定的口径下比较,不能只数头数。想看计算瓶颈和近似方法的代价,再展开;主线仍可直接接检查点。
选读:头数变多,算得更多还是更少?
先限定普通 MHA 的整段自注意力前向:batch 为 1,序列长 n,模型总宽度 d,头数 h,每头宽度 d/h,且 K/V 也有 h 个头。输入 n×d 先投影为 Q/K/V,拆成 h 个小头;每头做匹配、softmax、加权 V,再拼接并乘输出投影。这里不把 GQA/MQA、单 token 增量 decode 或整个 Transformer 块混在同一张账里。
| 过程 | 形状与主乘加规模 | n=4、d=8 |
|---|---|---|
| Q/K/V 投影 | 三组 d×d 投影,共 3nd² | 768 MAC |
| 所有头的 QKᵀ | h × n² × (d/h) = n²d | 128 MAC |
| 所有头的 P·V | 每头 P 为 n×n,总计 n²d | 128 MAC |
| 拼接后输出投影 | n×d 乘 d×d,共 nd² | 256 MAC |
本例主矩阵乘法合计 4nd² + 2n²d = 1,280 MAC。h 从 2 改成 4,每头从 4 维变成 2 维,上述主乘法总数相同;不能据此认为增加头数必然加速或完全没有额外代价。softmax、掩码等还有约 O(hn²) 的工作,实际内核利用率也会变。朴素地保存一份各头分数或概率矩阵需 hn² 个元素:本例是 32 对 64 个;若每元素 2 字节,分别为 64 对 128 字节。这里不含其他激活、反向图和工作区,不能当成模型总显存。
长度 n 增长时,投影项随 n 线性增长,成对注意力项随 n² 增长;哪项先成为瓶颈还取决于 d、带宽与实现。缩放点积的推导已有ML 附录C:在分量独立、零均值、单位方差等教学假设下,d/h 项点积的方差随头宽度增长,除以其平方根控制尺度;这不是对任意已训练 Q/K 分布的无条件方差定理。
“降复杂度”要说明改变了什么:
- 窗口/稀疏:只保留部分连接。例如固定窗口宽 w 的局部注意力可把配对项压到
O(nwd);代价是单层不能直接读取被省掉的远处位置。Longformer 还加全局连接,成本须把全局位置数算进去。多层传递或全局节点可扩展路径,但不等于任意信息无损保留。 - 低秩:例如 Linformer 把 K/V 的序列维从 n 投影到较小的 k,再让查询与这些压缩表示交互。固定 k 时,相关配对计算不再保留完整 n×n;代价是表示近似与压缩误差,所需 k 及质量要验证。这不是 LoRA 的低秩参数更新,也不能未经因果性核查就套进逐词生成。
- 线性注意力:例如核特征映射后利用乘法结合顺序,先汇总 K/V,再与 Q 作用;固定特征宽度时可让相关计算随 n 线性增长。代价取决于所选核、特征维度和汇总状态,不自动等于原来的 softmax 注意力,精细检索质量须另测。
- FlashAttention:保留所选完整注意力的数学目标,靠分块、在线归一化和重算减少显存往返;浮点舍入可不同。它不是把 dense 成对计算改成线性近似。详见已有 IO 主章。
一个位置要找很早的订单号时,纯局部窗口可能没有那条直接连接;低秩或核汇总保留了什么,则取决于压缩/特征机制。这是信息路径示意,不是三种方法的质量排行榜。换注意力机制通常需要对应训练或适配与同题评测,不能拿现成 checkpoint 随意替换后假定等价。
依据:Attention Is All You Need §3.2、§4;Longformer;Linformer §4;Linear Transformers;FlashAttention。以上是形状与算术教学例,未测模型速度、显存峰值或答案质量。
✅ 检查点
- 注意力回答的是“我现在该从谁那里拿信息”。
- FFN 回答的是“拿到后,我这个 token 自己该怎样加工”。
- 一层 Transformer = 交流一次 + 加工一次 + 保留原信息。
点开核对
注意力横向地从其他 token 取信息;FFN 纵向地加工当前 token;残差把旧信息直接保留下来,三者一起让层能叠得很深。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| ML 基础 14 · 通往 Transformer | 这一页把注意力讲成「该从谁那里拿信息」;那一章把它写成矩阵乘法和 Softmax,从 RNN 一步步推过来 |
| ML 基础 附录C · 手撕代码速查 | ⭐ 想动手:第 2、3 题用纯 numpy 写缩放点积注意力和多头注意力,一段一段能跑 |
| AI 基础设施 08 · FlashAttention | 序列一长,那个 n×n 的中间矩阵就写不回显存 —— 工程上是怎么绕开的 |
本节回顾
你已经掌握了理解后续章节必需的骨架。Q/K/V 的矩阵乘法、Softmax、头维度属于第二遍再学的内容。
⚡ 走神救援
每个 token 聚合允许访问的位置的信息,再更新自己的向量。下一站补文字表示;想研究为什么不能偷看未来,选读 02c。