🏠 总目录📚 本教程 02 · 模型怎样处理一句话 ← →

大模型全景导论 / 02 · 跟踪信息流

模型怎样把上下文,变成下一词的分数?

沿着一个位置的向量往前走:注意力从可见位置取信息,前馈层加工当前表示;经过多层处理,输出头再给词表打分。

你能分清“与其他位置交流”和“加工本位置”,并核对多头、输出维度与计算代价的边界。

从位置表示到词表分数的简化路径因果语言模型中,注意力读取当前及之前的可见位置,前馈层逐位置加工;多层处理后,输出头把表示映射到词表分数。归一化、残差和多头细节见完整正文。一个位置的输入表示由文字块的编号开始注意力 + 前馈层汇合可见位置 · 加工本位置这里概括多层处理输出头 → 词表分数不是已经选定的下一个词因果约束:不读取未来位置完整层内路径与维度,见下方原图
面向因果语言模型的简图;省略归一化、残差与多头展开。分数之后如何采样,另见解码专题。
📑 本页目录(点开跳转)

02 · 模型怎样处理一句话

原理路线的入口。先把 token 看成文字切出的小块;如果想先弄清切分与编号,可跳到 03 Tokenizer。


🎯 一句话

先抓住 Transformer 层里的两类计算:注意力聚合其他位置的信息,前馈层加工每个位置的表示。 还有归一化与残差连接。可访问哪些位置由掩码决定;因果语言模型不能读取未来 token,不能一概说每个向量包含整句话。

每个 token 的向量注意力和相关 token 交流残差连接保留原来的自己FFN每个 token 自己加工更懂上下文的新向量原信息绕过来相加
箭头就是信息真正走的路径。注意力负责“交流”,FFN 负责“加工”,残差让信息能安全地往深层走。

先看注意力解决什么问题

猫猫追追老鼠老鼠,,它它跑跑查询被看的词(Key)「它」把注意力分给了「猫」和「老鼠」—— 指代消解不是规则写出来的,是学出来的
这是允许看整句的双向注意力示意,颜色越深=权重越高,权重仅作示意,不来自实测。看「它」那一行:模型把注意力分给了「猫」和「老鼠」。⭐ 这种指代关系没有人写规则告诉它,是从数据里学出来的 —— 这就是注意力的价值。

读“猫没抓到老鼠,因为它跑得太快”时,“它”到底指谁?在允许读整句的双向注意力里,当前位置可以同时利用前面的“没抓到”和后面的“跑得太快”。上、下两图都按这种可见范围画。

换成 Decoder-only 的因果注意力,“它”所在位置看不到后面的“跑得太快”;到句末位置,才可以聚合这些前文线索。模型即使训练时拿到整句,因果掩码也不会放开这条边界。

注意力做的正是这件事:当前 token 对句中所有可见 token 打分,把更相关的信息拿得更多。 这里的“注意力”不是人类意识,而是一种可学习的加权取信息方法。

双向注意力处理“它”时:可给前后文线索分配权重猫老鼠它跑得太快
双向注意力中,粗线示意更高权重;“它”可以利用后文。因果掩码下,“它”指向“跑得太快”的边会被屏蔽。

Q、K、V:不是三个神秘新概念

输入向量 xQ 查询我在找什么×WK 键我能提供什么×WV 值我实际的内容×WQ·Kᵀ → 谁该看谁加权求和 V → 输出同一个输入,乘三个不同的矩阵,得到三个不同角色⭐ 一个查字典的类比:Q 是你要查的词,K 是词条标题,V 是词条内容Q·Kᵀ 算出「和每个词条有多匹配」,再按匹配度把 V 混起来 —— 这就是注意力
同一个输入乘三个不同矩阵,得到三个不同角色。⭐ 一个查字典的类比:Q 是你要查的词,K 是词条标题,V 是词条内容 —— Q·Kᵀ 算出和每个词条有多匹配,再按匹配度把 V 混起来。

同一个 token 向量会被三套不同的线性变换投影成 Q、K、V。可以暂时这样理解:

名字 人话角色 在“它”这个例子里的问题
Q(Query) 当前 token 想找什么 “我是代词,我可能指谁?”
K(Key) 每个 token 可以被怎样匹配 “我是名词、动作还是线索?”
V(Value) 真正被取走的内容 “如果你关注我,我能提供什么信息?”

“它”的 Q 会分别和所有可见 token 的 K 打分。打分大,说明这次更值得关注;Softmax 再把一组分数变成总和为 1 的权重。最后不是直接复制“老鼠”,而是按权重把所有 token 的 V 混合起来,所以“它”的新向量会同时带上“老鼠”“逃跑”“太快”等线索。

想知道公式在说什么?

不计掩码时写作 softmax(QKᵀ / √d) V,d 是每个头的 Key 维度;因果注意力还要在 softmax 前屏蔽未来位置。QKᵀ 是“当前 token 和每个候选 token 的匹配分数”;除以 √d 是避免维度大时分数过于极端;Softmax 把分数变成比例;最后乘 V 就是按比例取信息。公式没有额外魔法,正是上面四步的压缩写法。

一层里另外两个零件

LayerNorm多头自注意力每个位置聚合可见位置LayerNorm前馈网络 FFN逐位置独立变换残差残差输入输出(喂给下一个完全一样的块)「看别人」位置之间交换信息「想自己」每个位置各算各的⭐ 一个块只做两件事堆几十个,就是大模型
一个块只做两件事:「看别人」(注意力,位置之间交换信息)和「想自己」(FFN,每个位置各算各的)。⭐ 两条蓝色残差旁路是深层能训起来的关键 —— 把这个块堆几十个,就是大模型。
  • FFN(前馈网络):注意力结束后,每个 token 单独再想一想。它不负责 token 之间交流,却是参数量的大头。
  • 残差连接:把旧信息直接加回新信息。这提供了较直接的信息与梯度通路,有助于训练深层网络;并不保证原意不变或训练必然稳定。
  • 归一化:把数字尺度控制在合理范围,防止训练时某些层的数值失控。现代模型会把它放在更早的位置,专题 A 会讲。

把块的输出接回一句话:以自回归 Decoder-only 语言模型续写“猫追老鼠”为例,先按 03 的切分与嵌入步骤把 token 编号换成向量,结合位置机制,经过多层因果 Transformer 块和按实现安排的最终归一化,得到各位置的隐藏状态。这些向量还不是词表概率;词表线性输出头(LM head)再把它们投影成每个词表 token 的分数 logits。续写时用最后位置的 logits 得到下一 token 分布,再由 解码规则选出 token、接回输入。输出头负责打分,softmax 负责归一化,采样或取最大值才负责选择。

看一次维度,并分清结构与训练方式

采用行向量约定:设序列长为 n、隐藏宽度为 d_model、词表大小为 m(不是上文注意力的 V)。块堆叠与最终归一化后的隐藏状态为 H:n × d_model;无偏置示例中的词表头为 W_vocab:d_model × m,所以 Z = H W_vocab:n × m。若“猫追老鼠”在教学示意中切成 3 个 token,取 d_model=4、m=5,便是 3×4 → 3×5;最后一行的 5 个分数对应 5 个词表候选,softmax 后才成为概率,而非把 4 个隐藏维度当作 4 个候选词。

这条链要按模型具体化:GPT-2 的官方实现用绝对位置嵌入、块后的最终 LayerNorm 和与输入嵌入共享权重的词表头;RoPE 则把位置作用在注意力的 Q/K 中。位置注入、归一化次序及是否共享输入/输出权重都不是所有模型统一的规则。三类结构的最小区别是:Encoder-only 通常让输入位置双向互看,再按任务接输出头;原始 Encoder–Decoder 的解码器除因果自注意力外,还用 cross-attention 读取编码器输出;这里的 Decoder-only 示例用因果自注意力续写,不需要另一个编码器,详见 02c 的结构区别。

上述续写不是训练过程的逐步抽签:teacher forcing 用真实前缀,让各位置在因果掩码下并行预测右移一位的真实目标,再计算训练损失;推理时才把实际选出的 token 接回去。输出头在两者中都提供 logits,本身不等于采样器。

依据:Attention Is All You Need §3.4;GPT2LMHeadModel 文档;Transformers v4.57.1 GPT-2 实现。此处为维度教学例,未运行模型。

多头不是“多个人格”

一次注意力只是一种看关系的角度。多头注意力相当于同时开几条小通道:有的更容易学到指代,有的可能更关注句法或远距离线索。人不会给每个头分配任务;它们从数据里自己学出来。

多头的价值不是“多算几遍取平均”,而是让模型能在同一层里同时保留几种关系。随后它们的结果会拼回去再混合。某一个头不必永远负责一种清晰的人类概念;真正有用的语义往往分散在许多头和许多层里。

多头要在总宽度固定的口径下比较,不能只数头数。想看计算瓶颈和近似方法的代价,再展开;主线仍可直接接检查点。

选读:头数变多,算得更多还是更少?

先限定普通 MHA 的整段自注意力前向:batch 为 1,序列长 n,模型总宽度 d,头数 h,每头宽度 d/h,且 K/V 也有 h 个头。输入 n×d 先投影为 Q/K/V,拆成 h 个小头;每头做匹配、softmax、加权 V,再拼接并乘输出投影。这里不把 GQA/MQA、单 token 增量 decode 或整个 Transformer 块混在同一张账里。

一次乘加记为 1 MAC;仅计主矩阵乘法
过程形状与主乘加规模n=4、d=8
Q/K/V 投影三组 d×d 投影,共 3nd²768 MAC
所有头的 QKᵀh × n² × (d/h) = n²d128 MAC
所有头的 P·V每头 P 为 n×n,总计 n²d128 MAC
拼接后输出投影n×d 乘 d×d,共 nd²256 MAC

本例主矩阵乘法合计 4nd² + 2n²d = 1,280 MAC。h 从 2 改成 4,每头从 4 维变成 2 维,上述主乘法总数相同;不能据此认为增加头数必然加速或完全没有额外代价。softmax、掩码等还有约 O(hn²) 的工作,实际内核利用率也会变。朴素地保存一份各头分数或概率矩阵需 hn² 个元素:本例是 32 对 64 个;若每元素 2 字节,分别为 64 对 128 字节。这里不含其他激活、反向图和工作区,不能当成模型总显存。

长度 n 增长时,投影项随 n 线性增长,成对注意力项随 n² 增长;哪项先成为瓶颈还取决于 d、带宽与实现。缩放点积的推导已有ML 附录C:在分量独立、零均值、单位方差等教学假设下,d/h 项点积的方差随头宽度增长,除以其平方根控制尺度;这不是对任意已训练 Q/K 分布的无条件方差定理。

“降复杂度”要说明改变了什么:

  • 窗口/稀疏:只保留部分连接。例如固定窗口宽 w 的局部注意力可把配对项压到 O(nwd);代价是单层不能直接读取被省掉的远处位置。Longformer 还加全局连接,成本须把全局位置数算进去。多层传递或全局节点可扩展路径,但不等于任意信息无损保留。
  • 低秩:例如 Linformer 把 K/V 的序列维从 n 投影到较小的 k,再让查询与这些压缩表示交互。固定 k 时,相关配对计算不再保留完整 n×n;代价是表示近似与压缩误差,所需 k 及质量要验证。这不是 LoRA 的低秩参数更新,也不能未经因果性核查就套进逐词生成。
  • 线性注意力:例如核特征映射后利用乘法结合顺序,先汇总 K/V,再与 Q 作用;固定特征宽度时可让相关计算随 n 线性增长。代价取决于所选核、特征维度和汇总状态,不自动等于原来的 softmax 注意力,精细检索质量须另测。
  • FlashAttention:保留所选完整注意力的数学目标,靠分块、在线归一化和重算减少显存往返;浮点舍入可不同。它不是把 dense 成对计算改成线性近似。详见已有 IO 主章。

一个位置要找很早的订单号时,纯局部窗口可能没有那条直接连接;低秩或核汇总保留了什么,则取决于压缩/特征机制。这是信息路径示意,不是三种方法的质量排行榜。换注意力机制通常需要对应训练或适配与同题评测,不能拿现成 checkpoint 随意替换后假定等价。

依据:Attention Is All You Need §3.2、§4;Longformer;Linformer §4;Linear Transformers;FlashAttention。以上是形状与算术教学例,未测模型速度、显存峰值或答案质量。

✅ 检查点

  • 注意力回答的是“我现在该从谁那里拿信息”。
  • FFN 回答的是“拿到后,我这个 token 自己该怎样加工”。
  • 一层 Transformer = 交流一次 + 加工一次 + 保留原信息。
点开核对

注意力横向地从其他 token 取信息;FFN 纵向地加工当前 token;残差把旧信息直接保留下来,三者一起让层能叠得很深。

🔗 想再深一层,去哪一套

去哪 为什么
ML 基础 14 · 通往 Transformer 这一页把注意力讲成「该从谁那里拿信息」;那一章把它写成矩阵乘法和 Softmax,从 RNN 一步步推过来
ML 基础 附录C · 手撕代码速查 ⭐ 想动手:第 2、3 题用纯 numpy 写缩放点积注意力和多头注意力,一段一段能跑
AI 基础设施 08 · FlashAttention 序列一长,那个 n×n 的中间矩阵就写不回显存 —— 工程上是怎么绕开的

本节回顾

你已经掌握了理解后续章节必需的骨架。Q/K/V 的矩阵乘法、Softmax、头维度属于第二遍再学的内容。

⚡ 走神救援

每个 token 聚合允许访问的位置的信息,再更新自己的向量。下一站补文字表示;想研究为什么不能偷看未来,选读 02c。

👉 03-Tokenizer与上下文.md | 选读:02c-为什么都是Decoder-only.md

原始资料:Attention Is All You Need(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度