跳到主要内容
🏠 总目录📚 本教程 14 · 通往 Transformer ← →
📑 本页目录(点开跳转)

14 / 先看直觉,再看细节

先看它向谁取信息,
再把熟悉的零件拼起来。

每个位置怎样取回需要的信息?

注意力按相关程度混合不同位置的信息;这页负责把它和前面学过的概念连起来。

区分QK相关性与V聚合,判断因果掩码、位置选择和ViT数据条件的作用。

先抓住一个具体结果

权重决定取回多少

若两个位置的注意力权重是 0.8、0.2,内容分别为 10、0,混合结果就是 8。权重来自当前查询与各个键的匹配,不是人工给定的重要性排名。

缩放点积注意力(未写掩码)

$$\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$

14 · 通往 Transformer

⏱ 24 分钟 | ⭐ 本教程的收口章


🎯 一句话

这一章不重新讲 Transformer(全景导论主线 2 · 模型怎样看懂一句话已经讲透了), 而是把你这十三章学的所有零件,和 Transformer 里的每一个部件对上号—— 你会发现:它没有一个部件是全新的。


🧩 一、Transformer 的每个零件,你都学过

Transformer 的部件 你在哪学的 本质是什么
注意力的 QK 点积 第 3 章线性模型 / 推荐算法第 5 章 就是点积算相关度
除以 √d_k 第 9 章(数值稳定) 防止点积过大导致 softmax 饱和
注意力权重的 softmax 第 3 章逻辑回归 把分数变成和为 1 的权重
多头 第 12 章 CNN 的多个卷积核 并行多组,各抓一种模式
FFN 前馈层 第 7 章 MLP 线性 + 激活 + 线性
残差连接 第 12 章 ResNet 梯度高速公路(那个 +I)
LayerNorm 第 10 章正则化 稳定训练(不跨样本,所以 batch=1 也行)
位置编码 (新的) 因为注意力本身没有顺序概念,得额外告诉它
因果掩码 第 13 章序列建模 不许偷看未来
Dropout 第 10 章 正则
AdamW + Warmup + Cosine 第 9 章 优化配置
交叉熵损失 第 3 章 猜下一个 token = 一个 V 类分类问题

🔑 只有「位置编码」是 Transformer 独有的新东西。 其余全部是你已经学过的零件,只是组合方式变了。

💡 注意力的一句话直觉

图内可左右滑动;需要时可放大阅读。

沿箭头读:Q 与 K 决定相关性,softmax 把分数归一化,最后混合 V 中的信息。这里的 d 是键向量的维度;因果掩码和多头拼接未展开。Q:我要查什么K:位置的索引QKᵀ / √d:匹配并缩放softmax:转成权重每个查询对键位置的权重和为 1V:取回的内容权重 × V:加权求和Attention 的输出
沿箭头读:Q 与 K 决定相关性,softmax 把分数归一化,最后混合 V 中的信息。这里的 d 是键向量的维度;因果掩码和多头拼接未展开。

图内可左右滑动;需要时可放大阅读。

第 2 个位置能看见哪些位置? 四乘四因果注意力矩阵。行是查询位置i,列是键位置j。只有j小于等于i的格子可见,对角线保留;未来格用斜线和叉号标记。查询1只看键1;查询2看键1和2;查询3看键1到3;查询4看全部。第2行手设缩放分数0、ln3、2、负1,在softmax前把未来分数改为负无穷,得到权重0.25、0.75、0、0。V为4、8、100、负50时,第2个位置的输出为7,与后两个未来值无关。这是等长自注意力、无padding和dropout的示意,不是实测注意力。 第 2 个位置能看见哪些位置? 因果约束:只看自己与过去,j ≤ i 键位置 j → 1234 查询 1查询 2查询 3查询 4 ✓××× ✓✓×× ✓✓✓× ✓✓✓✓ ✓ 可见(含自己) / × 与斜线:未来 读第 2 行:先遮分数,再算权重 缩放分数:[0, ln(3), 2, −1] 加掩码后:[0, ln(3), −∞, −∞] −∞ 加在 softmax 之前,不是把分数填 0 沿键轴 softmax 权重:[0.25, 0.75, 0, 0] V = [4, 8, 100, −50] 输出 = 0.25×4 + 0.75×8 = 7 未来两项的权重为 0,不参与加权 等长自注意力 · 无 padding / dropout 分数、V 与权重均为手设示意,不是实测结果
行是查询,列是键:未来格在softmax前加−∞,对角线保留。第2行只从前两个V取信息,示意权重0.25/0.75/0/0给出输出7。无padding或dropout;分数与V均为手设示意。这段过程对应附录 C 第 2 题的 triu(1) 与 masked_fill 实现。

🔗 和你学过的东西对上号: 这和推荐算法的双塔召回完全同构—— 用户向量(Q)和物品向量(K)点积算相关度,取 top-k。 区别只是:召回取 top-k 硬选,注意力用 softmax 软选(且可微)。

📐 为什么要除以 √d_k(想看再点)

假设 q、k 的每个分量独立、均值 0 方差 1,那么 $q\cdot k = \sum_{i=1}^{d}q_ik_i$ 的方差是 d。

结果对照

d = 64→点积的标准差 ≈ 8
d = 512→点积的标准差 ≈ 22.6
softmax 的输入动辄几十
exp 之后差异被极度放大→几乎变成 one-hot
【梯度趋近于 0】,训不动 💀

除以 $\sqrt{d}$ 让方差回到 1,softmax 就工作在健康区间。

💡 这和第 9 章说的"数值稳定"是同一类问题—— 深度学习里大量的"除以某个数"都是在控制方差。

⭐ 公式看懂了,接着手写一遍:附录 C 第 2 题是这段推导的代码版(含因果掩码),第 3 题把它扩成多头。 那里会告诉你一个只有动手才会碰到的坑:除的是 $\sqrt{d_k}$(每个头的维度)不是 $\sqrt{d_{model}}$——单头时两者相同, 多头时差 $\sqrt{h}$ 倍,形状全对、不报错、还能训,但数值是错的。


🔄 二、四代架构的核心权衡

对比维度 MLP(第 7 章) CNN(第 12 章) RNN(第 13 章)
归纳偏置 较少图像专用结构约束,仍有架构与优化偏置 局部 + 平移 时序 + 马尔可夫
参数效率 差 好 好
并行 ✅ ✅ ❌ 串行
长距离 ✅ ❌ 感受野有限 ❌ 会遗忘
复杂度 O(n) O(n) O(n) 时间
数据需求 中 中 中

🖼️ ViT:把图像接到这些零件上

原始Vision Transformer图像分类模型不把每个像素当一个词,也不是先查词表。设图像高宽都能被patch边长 $P$ 整除,不加重叠或填充:切成 $N=HW/P^2$ 个patch,每个展平为 $P^2C$ 个数,再用所有patch共享的可学习线性投影送到宽度 $D$。以下是便于手算的结构例,不是论文训练配置或准确率测量。

一张32×32 RGB图,如何变成分类结果

① 切块并展平:8×8 patch → 4×4网格,共16块;每块8×8×3=192个数,得到 B×16×192。
② 共享投影:例设D=64,投影矩阵192×64(可带偏置)→ B×16×64;不同patch用同一组权重。kernel=stride=8的卷积也能实现这个投影。
③ 加CLS与位置:拼入1个可学习分类token,再加17×64的位置嵌入 → B×17×64;位置让模型区分patch在哪里。
④ 通过编码器:多头自注意力混合patch信息,逐token MLP变换特征,配合LayerNorm和残差;各层输入/输出仍为 B×17×64。
⑤ 读出类别:原始分类做法读取编码后的CLS向量,经归一化与分类头输出类别分数。其他实现可用平均池化,不必都有CLS。

patch大小是一项取舍:同一32×32图把边长从8改成4,patch由16变64;加CLS后序列长17→65。固定头数/宽度时,单头全注意力分数矩阵从 $17^2=289$ 变为 $65^2=4225$ 个元素,细粒度信息更多、交互开销也更大;这不是端到端耗时倍数的实测。CNN通过局部连接与权重共享编码图像先验,ViT较少这种约束,选谁还要看预训练、增强/正则、任务和预算。改变输入分辨率时,也要处理已有位置嵌入的尺寸。

💡 核心权衡:图像先验、训练配方与数据预算一起看

对照

CNN:局部连接与权重共享提供图像先验,有限数据时可能有帮助;不保证在每个小数据任务最优。

ViT:全局自注意力较早混合不同patch,较少手工规定局部关系;其表现也受预训练、数据增强、正则和优化影响。

原ViT论文里的数据规模比较,应连同实验条件读:

论文观察,不是通用的数据量分界线

原论文第4.3节:给定模型、预训练及微调设置下的观察
预训练数据论文中的观察不能推出什么
ImageNet(约1.3M)所比较的BiT ResNet在这一设置优于ViT;大ViT也未自动胜过较小ViT不能推出所有小数据任务都应从零训练CNN
ImageNet-21k(约14M)论文讨论ViT-Base与ViT-Large表现接近,以及与BiT模型区域的比较不是“ResNet与ViT一律持平”的14M阈值
JFT-300M(约303M)论文在更大规模预训练及相应微调中观察到ViT与更大模型的收益不能只凭样本数预言某个项目的胜者或成本

训练规模可以改变权衡,模型大小、预训练、增强/正则、优化器和微调设置也会改变结论。

🔑 更多数据和算力可能扩大通用架构的适用范围,但不是架构“必胜”的证明。复现比较时,要写清来源、模型、训练配方、指标与预算;这里没有重新运行论文实验。原作者仓库后续也提供不同增强/正则配置,不能把一张历史表当永久排名。

把条件带回自己的项目

少量领域图像 → 将预训练CNN和预训练ViT都列为候选;先试冻结或小幅微调,再用验证集比较。
预算有限 → 同时记录输入分辨率、patch数量、时延和内存;“参数更多”不等于“更合适”。
已有表格任务 → 不因ViT论文的大图像实验就排除树模型或其他合适基线。

🔗 数学原理第11章NFL提醒我们先明确任务与评估假设;它不直接证明某种架构在某个数据量处胜出。ViT分类头与视觉语言模型中把视觉特征接入语言模型的适配层也不是同一层,后者见全景导论多模态章。

📚 结构与实验条件的第一方依据

结构与数据规模观察来自 ViT原论文第3.1、3.2、4.3节;投影的卷积实现、token/gap读出见原作者models_vit.py,不同预训练配方见原作者仓库说明。本节保留分类模型的主线,不将所有视觉编码器、分类头或VLM适配层混为一谈。


🎓 三、位置编码:唯一的新东西

问题:注意力是「对所有位置加权求和」,没有位置编码且无破坏对称的 mask 时,输入换序会使输出按同样方式换序(置换等变)——它天生不知道谁在前谁在后。

要点

无位置线索时,纯自注意力不能区分同一词的前后位置关系;输出序列会随输入排列。

💡 一个更准确的说法:注意力是置换等变(permutation equivariant)的—— 你打乱输入顺序,输出也只是跟着打乱,信息完全没变。

解法:给模型注入位置信息:可以加到输入,也可以作用于Q/K或注意力分数。

方案 做法 优缺点
可学习位置嵌入 每个位置一个可训练向量(BERT) 简单;但学习到的512位置表不能直接索引更远位置;可扩展或插值,但效果需重新验证
正弦位置编码 用不同频率的 sin/cos(原始 Transformer) sin/cos可计算未见位置;超训练长度的任务质量仍需验证
RoPE 旋转位置编码 ⭐ 把位置编码成旋转,天然表达相对位置 位置旋转可用于更远索引,任务质量仍需验证。Q/K旋转机制详解 →
ALiBi 直接给注意力分数加一个随距离递减的偏置 距离偏置可定义到更长输入;收益需按训练设置和任务验证

💡 相对位置提供什么,外推还要验证什么

先分机制,再看任务结果

绝对位置描述“第几位”;相对位置描述两个位置的距离或关系。RoPE用位置相关旋转作用于Q/K,使匹配分数包含相对位移关系。

相对关系是有用的归纳偏置,但不推出所有任务都泛化更好;能给更远位置算出编码,也不等于模型已学会处理更长输入。

一个小边界例:位置(1,4)与(101,104)的距离都是3。若某种相对表示把距离裁剪到2,距离3与30还会共用同一标签;这让规则可复用,也丢掉了远距离的精确差别。它没有证明模型在长文本上仍能正确检索或推理。

选择时带上条件:已有预训练模型先保持其位置机制与索引约定;若要超出训练长度,明确训练/目标长度、位置编号、频率或缩放配置、截断与padding规则,再在目标任务的不同长度段比较质量和资源开销。需要插值、重设频率或再训练时,分别记录方案,不把“用了RoPE”当作扩窗验收。

位置机制提供顺序线索,效果要由具体设置验证。题目若要求“结合你的项目”,应补本人真实的任务、模型、长度、指标与失败记录;本节不提供虚构项目经历。

📚 可选深入:机制的一手出处

原Transformer第3.5节给出正弦/可学习位置比较;Shaw等的相对位置论文第3.2节说明裁剪距离;RoFormer原论文定义旋转机制。这些机制或论文设置中的观察都不是所有任务的外推质量保证。

🔗 位置方案与长度扩展可以对照全景导论主线 1 · 文字怎样进入模型中的上下文讨论;更长位置可计算,不等于百万长度任务已验证。


🧱 四、Transformer 之后:还在解同两个问题

流程图

Transformer 留下的两个大坑:
① O(n²) 复杂度→长序列吃不消
② 推理时 KV Cache 占显存→部署贵
方向 在解什么 代表
稀疏/线性注意力 ① 把 O(n²) 降下来 Longformer、Performer
状态空间模型 ①+② 兼得并行与线性复杂度 Mamba ⭐("类 RNN 的复活")
MoE 混合专家 参数量大但计算量不变 Mixtral、DeepSeek。🔗 全景导论 专题 D · MoE 讲为什么只替换 FFN 不替换注意力、Top-k 路由怎么选、显存要按总参数算而不是激活参数;路由的隐变量视角在数学原理第 13 章
KV Cache 压缩 ② 降低推理显存 MQA / GQA

💡 注意 Mamba 的意义:它本质上是 RNN 思想的回归—— RNN 输在并行,Mamba 用"可并行的扫描算法"补上了这个短板,同时保住了 O(n) 复杂度。 🔗 第 13 章讲的那两个硬伤,第二个正在被解决。


🗺️ 五、你现在的完整地图

图内可左右滑动;需要时可放大阅读。

第 2 章:机器学习三要素(模型 / 损失 / 优化) 所有内容都在这个框架里 第 3 章 线性模型 第 7 章 MLP 深度学习 第 8 章 反向传播(怎么训) 第 9 章 优化器(怎么迈步) 第 10 章 正则化(怎么防过拟合) 第 11 章 调试(不 work 怎么办)⭐ 第 12 章 CNN 图像 第 13 章 RNN 序列 Transformer 全景导论 第 4 章 树模型 常用表格基线 第 5 章 评估与过拟合 ⭐ —— 贯穿全部,最重要
十四章的依赖关系图。第 3 章的线性模型是分岔口:往上接第 7 章 MLP 通向深度学习(8–11 章是训练它的四件工具,再往下分出 CNN / RNN / Transformer 三条路),往下接第 4 章树模型通向表格数据。第 5 章评估与过拟合贯穿全部。

🎯 六、学完这十四章,你能做什么

能力 对应章节
判断该用树模型还是神经网络 第 2、4、7 章
搭一个能训起来的神经网络 第 7–10 章
模型不 work 时能自己诊断 ⭐ 第 11 章
不被虚假的高分骗到 ⭐ 第 5 章
读懂 CNN / RNN / Transformer 的论文结构图 第 12–14 章
回头看推荐算法/Kaggle/全景导论,知道每个结论的根因 全部

👉 接下来往哪走

你想要 去哪
动手把这些变成手感 第 17 章实战项目 + 三个挑战项目
搞清楚"为什么" 《机器学习的数学原理》 ⭐
深入一个完整领域 《推荐算法》
把手艺打磨到极致 《Kaggle 竞赛方法论》
前沿:大模型和智能体 《大模型全景导论》 → 《智能体工程教程》

✅ 检查点

共 8 题:6 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. Transformer 里唯一「新」的部件是什么?

看答案与解析

答案:B

位置编码。其余:QK点积=线性模型的点积、softmax=逻辑回归、多头=CNN 的多个卷积核、FFN=MLP、残差=ResNet、LayerNorm=正则化、因果掩码=序列建模、交叉熵=第 3 章。

单选2. 注意力和推荐系统的双塔召回是什么关系?

看答案与解析

答案:A

一次可微分的、软的查表操作(Q=要查什么,K=索引,V=内容)。和双塔召回完全同构——都是向量点积算相关度;区别是召回取 top-k 硬选,注意力用 softmax 软选且可微。

单选3. 为什么 QK 点积要除以 √d_k?

看答案与解析

答案:D

因为点积的方差是 d(d=512 时标准差 ≈22.6),softmax 输入过大会饱和成 one-hot,梯度趋近于 0 训不动。除以 √d 让方差回到 1。

判断4. ImageNet-21k 约 14M 张图,是 ViT 超过 ResNet 的通用数据量拐点。

看答案与解析

答案:错误

与任务匹配的归纳偏置可能提高数据效率,较少约束的模型也可能从更多数据中获益;二者都不是必然结果。比较ViT与ResNet要写清具体模型及预训练、数据与划分、增强/正则、优化与微调、评估指标和计算预算。本节论文表格是给定设置下的观察,ImageNet-21k约14M不是通用拐点,不能只按样本数预言赢家。

单选5. 少量领域图像的任务,怎样选型更合理?

看答案与解析

答案:D

数据和算力规模本身不能保证某种架构胜出;还要看任务、可用预训练与训练配方,并在共同的验证划分、指标和预算下比较。少量领域图像可把预训练CNN与ViT都列为候选,比较冻结或小幅微调的效果与成本;表格任务保留树模型等合适基线。冻结、微调或某种架构是否更优,要由本任务证据决定。

单选6. 为什么注意力需要位置编码?

看答案与解析

答案:A

因为注意力是置换等变的——打乱输入顺序,输出也只是跟着打乱,信息完全没变,"狗咬人"和"人咬狗"一样。

判断7. 位置编码能算出更长的位置,就说明长度外推的质量已经通过。

看答案与解析

答案:错误

绝对位置描述位次,相对表示描述位置关系;RoPE把位置旋转用于Q/K,使分数含相对位移。距离模式可复用,但裁剪等实现会丢失细节;训练长度、任务、索引与扩展配置都会影响结果。保持原预训练约定,按目标长度段验证质量和开销,不能把机制性质当普遍收益或个人项目证据。

单选8. Transformer 留下的两个大坑是什么?Mamba 主要在解哪个?

看答案与解析

答案:A

①O(n²) 复杂度 ②KV Cache 占显存。Mamba 主要解 ①(也帮 ②)——它是 RNN 思想的回归,用可并行的扫描算法补上 RNN 的并行短板,同时保住 O(n)。


本节回顾

注意力按相关程度混合不同位置的信息;这页负责把它和前面学过的概念连起来。

⚡ 走神救援

先记住这几件事

  • Q 与 K 计算匹配分数,缩放和 softmax 得到权重,再用权重混合 V。
  • 注意力让位置之间直接交换信息;位置编码补充序列的顺序。
  • 残差、归一化和前馈层共同组成完整模块,不是只靠一条 Attention 公式。
  • 自回归预测要遮住未来位置;理解单头后再看多头与整层结构。

下一节 👉 15-PyTorch实战手册.md

打卡记录保存在你的浏览器里,首页能看到总进度