📑 本页目录(点开跳转)
13 / 先看直觉,再看细节
读到下一个词时,
还带着前面的记忆。
同一个词,前文怎样改变它?
RNN 把上一步的隐藏状态与当前输入合在一起,形成新的状态。
跟踪时间状态与输出,区分双向上下文、最终状态和因果预测的可用信息。
先抓住一个具体结果
“好”和“不好”,差在前文
读到“好”时,如果状态保留了前面的“不”,模型才有机会区分两种意思。隐藏状态是压缩后的信息,不是完整保存原文。
简单 tanh RNN 的状态更新
13 · RNN 与序列建模
⏱ 26 分钟 | 🎁 可快速过,但要理解它「为什么被淘汰」
🎯 一句话
RNN 用一个不断更新的记忆状态来处理序列。 它的思路是对的,但串行和长距离遗忘两个硬伤让它输给了 Transformer——理解这两个硬伤,你才真正懂 Transformer 赢在哪。
🤔 零、先问:序列数据到底特殊在哪
结果对照
前面学过的模型为什么处理不了序列:
| 模型 | 为什么不行 |
|---|---|
| MLP | 固定位置展平的输入可区分词序,但需固定窗口并处理长度 |
| CNN | 可用多层或空洞卷积扩大感受野;能覆盖多远取决于结构 |
| 树模型 | 每个特征独立看,完全没有顺序概念 |
🔑 所以需要一个新机制:能吃变长输入、能记住之前看过什么。 RNN 就是这个问题的第一个像样的答案。
🔄 一、RNN:把上一步的输出喂回来
图内可左右滑动;需要时可放大阅读。
💡 人话:h 是一个「记忆本」,每读一个新词就更新一次。
同一套权重 W、U 在每个时间步复用——这是 RNN 版的「权重共享」(对比第 12 章 CNN)。
💡 权重共享带来两个好处(和 CNN 完全同构的道理):
操作步骤
🔨 五行看懂 RNN
# 🧩 骨架:`hidden` 来自你自己的代码,这一段只看写法
import numpy as np
h = np.zeros(hidden)
for x_t in sequence: # ⭐ 注意这个 for 循环
h = np.tanh(W @ h + U @ x_t + b) # 更新记忆
y_t = V @ h # 输出
⚠️ 就是这个
for循环毁了 RNN。记住它,第二节会回来。
💀 二、两个致命硬伤
硬伤 1:梯度消失 → 记不住长距离
关键信息
后果:「我在法国长大……所以我说流利的 __」——隔了 50 个词,RNN 已经忘了「法国」。
🔗 这和第 8 章的梯度消失是同一件事,但更严重: 深度网络是"层数"次连乘,RNN 是"序列长度"次连乘—— 而且乘的是同一个 W(权重共享的代价),所以要么一起消失,要么一起爆炸。
⚠️ 梯度爆炸在 RNN 里比在 CNN 里常见得多,标准解法是梯度裁剪:
# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
import torch
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) # ⭐ RNN 几乎必加
LSTM / GRU 的补救:加一条门控的记忆通道
关键信息
- LSTM 的核心是「细胞状态」C,它像一条传送带:
- 遗忘门 f:决定丢掉多少旧记忆
- 输入门 i:决定写入多少新信息
- 输出门 o:决定输出多少
- 关键的一行: Cₜ = f ⊙ Cₜ₋₁ + i ⊙ C̃ₜ
- ↑ 加法!不是反复相乘 ⭐
- → 当遗忘门 f ≈ 1 时,梯度沿 C 【几乎原样】传回去
- → 和 ResNet 残差连接同一个思想
📐 为什么"加法更新"能救梯度(想看再点)
普通 RNN:$\frac{\partial h_t}{\partial h_{t-1}} = \text{diag}(\tanh')W$ —— 按列向量前向约定,时间 Jacobian 连乘可能衰减、爆炸或保持,取决于权重与激活状态。
LSTM 的直接记忆路径(固定各门输出):$\frac{\partial C_t}{\partial C_{t-1}} = f_t$ —— 如果遗忘门 $f_t \approx 1$, 沿这条直接路径连乘的是各步 f;只有乘积接近1时才近似保留。每步略小于1,长序列仍可能衰减;门对状态的依赖还贡献其他路径。
🔗 这和 ResNet 的 ∂a^l/∂a^{l-1} = f'W + I 里那个 +I 是同一个技巧:
给梯度留一条可接近恒等的直接路径;LSTM仍会乘遗忘门,不能保证总梯度不衰减。
💡 记住这个模式,它在深度学习里出现了至少四次: LSTM 的细胞状态、ResNet 的残差、Transformer 的残差、Highway Network 的门控。
LSTM 靠门控更新记忆。若想知道同一个词怎样同时参考前后文,再展开下面的可选深入;跳过它不影响继续读GRU与串行限制。
🔎 可选深入:BiLSTM如何合并前后文
BiLSTM不是多加一道门,而是两路LSTM。下面先看一层、无投影的情况:正向按 $1\to T$ 读,反向按 $T\to1$ 读;两路各有自己的参数,各自在时间步间共享。反向读序列与训练时的反向传播是两件事。
$$\begin{aligned} (\overrightarrow h_t,\overrightarrow c_t)&=\mathrm{LSTM}_{\rightarrow}(x_t,\overrightarrow h_{t-1},\overrightarrow c_{t-1})\\ (\overleftarrow h_t,\overleftarrow c_t)&=\mathrm{LSTM}_{\leftarrow}(x_t,\overleftarrow h_{t+1},\overleftarrow c_{t+1})\\ z_t&=[\overrightarrow h_t;\overleftarrow h_t]\in\mathbb R^{2H} \end{aligned}$$
两路的边界状态分别放在0与 $T+1$;上式分号表示拼接同一原始位置的两个H维隐藏状态,不是把正向第1步与反向第1个处理步直接配对,也不是将 $h$ 与细胞状态 $c$ 拼成2H。PyTorch的双向输出采用这种拼接约定。
把“我 / 爱 / 北京”视为三个词,做离线命名实体标注。下表只说明一层网络的输入可见范围与读取顺序;标签O / O / B-LOC是给定的教学标注,不是模型预测。
| 原始位置 | 正向到此已读 | 反向到此已读(读取顺序) | 该位置交给标注头 |
|---|---|---|---|
| 1:我 | 我 | 北京 → 爱 → 我 | $[\overrightarrow h_1;\overleftarrow h_1]$,标签O |
| 2:爱 | 我 → 爱 | 北京 → 爱 | $[\overrightarrow h_2;\overleftarrow h_2]$,标签O |
| 3:北京 | 我 → 爱 → 北京 | 北京 | $[\overrightarrow h_3;\overleftarrow h_3]$,标签B-LOC |
例如给定每路H=2,在“爱”处两路状态为 $(0.2,-0.1)$ 与 $(0.4,0.3)$,拼接结果是 $(0.2,-0.1,0.4,0.3)$,宽度4=2H;这些数只演示拼接,没有运行LSTM。可访问前后文不代表记住了全部词或保证标注正确。
逐位置输出,不等于两路最终态。固定 num_layers=1, bidirectional=True, proj_size=0, batch_first=True,输入为 $(N,T,E)$,输出 output 为 $(N,T,2H)$;h_n 与 c_n 均为 $(2,N,H)$,方向轴依次正向、反向。batch_first不改变这两个状态的轴顺序。
对等长且无padding的这组三词,output[:, -1, :]拼的是 $[\overrightarrow h_3;\overleftarrow h_3]$;两路最终隐藏状态应取 $[\overrightarrow h_3;\overleftarrow h_1]$,对应拼接 h_n[0] 与 h_n[1]。反向在位置3才刚读到“北京”,到位置1才读完整句;所以不能把最后一个时间位置当成两路都已结束。多层、投影或变长padding输入须重新核对层/方向/长度索引,不能直接套这个简例。
离线双向编码与即时因果输出要分开。完整句子已经收到时,可以利用双向状态做序列标注;若要求在时刻t仅凭已到达的输入立即预测,整段反向状态还依赖尚未收到的词,不能直接用于该时刻。分块或等待后文会引入可见范围与延迟约定。另一方面,双向编码一个已经观测完的历史窗口再预测窗口之外,并不自动构成未来泄漏;仍要按真实可用时间切分数据与标签。
一手核对:PyTorch 2.14 LSTM定义双向输出、方向与最终态;Graves与Schmidhuber(2005)解释双向结构及在线输出的上下文等待条件。这里没有复现论文性能或运行模型实验。
GRU 是 LSTM 的简化版(两个门),参数少约 25%、更快,效果通常相当。
| LSTM | GRU | |
|---|---|---|
| 门的数量 | 3(遗忘/输入/输出) | 2(重置/更新) |
| 状态 | h 和 C 两条 | 只有 h |
| 参数量 | 多 ~33% | 少 |
| 效果 | 长序列上略好 | 中短序列相当,训练更快 ⭐ |
✅ LSTM/GRU 缓解了梯度消失,但没根治——几百步以上仍然吃力。
硬伤 2:串行,无法并行 ⭐ 这才是致命的
结果对照
一个具体的对比:
关键信息
🔑 这是 Transformer 取代 RNN 的根本原因。 不是因为 Transformer 更"聪明",而是因为它能并行,所以能训得更大、喂更多数据。 可扩展性(scalability)胜过了精巧的结构设计——这是深度学习史上反复出现的教训。
💡 同样的教训还出现在:CNN 打败手工特征、Transformer 打败 CNN 在视觉上(ViT)、 大模型的"scaling law"。一个能吃下更多算力的笨办法,往往赢过吃不下算力的聪明办法。
⚖️ 但 Transformer 也付出了代价
对照
固定隐藏维的 RNN:流式推理每步状态 O(1),总时间 O(T);完整 BPTT 训练通常需保存 O(T) 激活
标准全注意力的注意力部分:固定维度时计算 O(T²);朴素实现存 O(T²) 矩阵,优化内核可降低存储
💡 这就是为什么"长上下文"是大模型的核心难题—— 也是为什么 Mamba 这类"类 RNN"架构最近又被重新拾起。 RNN 输的是并行,赢的是复杂度。
🌉 三、通往注意力:Seq2Seq 的瓶颈
结果对照
💡 有多严重:实验显示 Seq2Seq 的翻译质量在句子超过 30 个词后急剧下降—— 因为那个固定向量装不下了。
注意力机制的诞生(2014-2015):
信息关系
💡 注意力的三个立刻可见的好处:
| 好处 | 说明 |
|---|---|
| 打破信息瓶颈 | 不再压成一个向量,所有位置的信息都还在 |
| 梯度捷径 ⭐ | 解码器到编码器任意位置只隔 1 步,不用穿过 T 个时间步 |
| 可解释 | 注意力权重能画成热力图,看到"翻译这个词时在看哪里" |
💡 然后 2017 年有人问了一个关键问题:
既然注意力这么好用,我们还需要 RNN 吗?
答案是那篇论文的标题:《Attention Is All You Need》—— 去掉 RNN,只留注意力,就是 Transformer。
🔗 完整的 Transformer 讲解在全景导论主线 2 · 模型怎样看懂一句话, 而下一章会把这条演化线补完。 现在你知道它是怎么来的了。
🗺️ 四、序列任务的四种形态
| 形态 | 典型任务 | 关键点 |
|---|---|---|
| 一对多 | 图像描述 | 一张图 → 一句话 |
| 多对一 | 文本分类、情感分析 | 只用最后一个 h |
| 多对多 | 机器翻译 | 长度可不同,需要 encoder-decoder |
| 同步多对多 | 词性标注、命名实体识别 | 输入输出一一对应 |
⚠️ 一个实践细节:多对一任务里,用最后一个 h 不一定最好—— 更常见的做法是对所有时间步的 h 做池化(mean/max),或者加一层注意力。 因为最后一个 h 天然偏向记住结尾的内容。
🔗 Kaggle 第 7 章命名实体识别讲的 CRF / GlobalPointer 就是最后一类的实战方案。
🤔 五、RNN 今天还有用吗
| 场景 | 用什么 |
|---|---|
| NLP 几乎所有任务 | Transformer(RNN 已基本退场) |
| 超长序列 + 极低延迟 + 小设备 | RNN/GRU 仍有一席之地(O(1) 内存,流式处理天然友好) |
| 时间序列预测 | 树模型常更强;LSTM 可作为对比基线 |
| 在线/流式场景(如实时推荐) | GRU 的增量更新很自然 |
| 状态空间模型(Mamba 等) | 新一代"类RNN"架构,试图兼得并行与线性复杂度 ⭐ |
💡 学 RNN 的价值不在于用它,而在于: ① 理解 Transformer 解决了什么问题 ② 理解「门控 + 加法更新」这个防梯度消失的通用思想 (LSTM 的 C、ResNet 的残差、Transformer 的残差,全是它) ③ 理解「并行性是架构设计的一等公民」这个教训
🔗 和站内其他章的关系
| 相关的地方 | 这里的对应 |
|---|---|
| 第 8 章梯度消失 | RNN 版更严重(连乘次数 = 序列长度,且乘同一个 W) |
| 第 12 章 CNN 的权重共享 | RNN 跨时间步共享,CNN 跨空间位置共享 |
| 第 12 章 ResNet 残差 | 和 LSTM 的加法式记忆更新是同一思想 |
| 推荐算法第 9 章 GRU4Rec | 就是本章的 GRU 用在序列推荐上 |
| 推荐算法第 9 章 SASRec 用 Transformer 取代 RNN | 本章讲的正是"为什么要取代" |
| 全景导论主线 2 的注意力 | 本章第三节讲的是它的起源 |
✅ 检查点
共 11 题:10 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 固定位置展平的 MLP,权重 [1, 2]。输入 [0, 1] 输出 2;换序成 [1, 0] 后输出多少?
看答案与解析
答案:D
固定位置展平的 MLP 对词序敏感:权重 [1,2] 对 [0,1] 输出 2,换序后输出 1。序列 CNN 的依赖范围取决于感受野;RNN 则通过共享状态递推处理序列。
单选2. RNN 的权重共享带来哪两个好处?
看答案与解析
答案:D
hₜ = tanh(W·hₜ₋₁ + U·xₜ + b),一个不断更新的记忆本。权重共享带来:①参数量和序列长度无关 ②学到的规律能跨位置迁移。
单选3. RNN 的梯度问题为什么比普通深度网络更严重?
看答案与解析
答案:A
因为连乘次数是序列长度(可达几百上千)而不是层数(几十),而且每次乘的是同一个 W——状态相关的 Jacobian 连乘可能衰减、爆炸或保持。爆炸用梯度裁剪 clip_grad_norm_(..., max_norm=1.0)。
单选4. RNN 梯度爆炸怎么处理?
看答案与解析
答案:B
因为连乘次数是序列长度(可达几百上千)而不是层数(几十),而且每次乘的是同一个 W——状态相关的 Jacobian 连乘可能衰减、爆炸或保持。爆炸用梯度裁剪 clip_grad_norm_(..., max_norm=1.0)。
单选5. LSTM 靠哪一行缓解梯度消失?
看答案与解析
答案:D
门控的细胞状态 C。关键行:Cₜ = f ⊙ Cₜ₋₁ + i ⊙ C̃ₜ,是加法不是反复相乘;固定门输出时直接路径的局部导数为f,长程还取决于各步乘积;这不是完整依赖的总导数。和 ResNet 的 +I 是同一技巧:给梯度留一条可接近恒等的直接路径;LSTM仍会乘遗忘门,不能保证总梯度不衰减。
判断6. 有了遗忘门那条直接路径,LSTM 就保证总梯度不会衰减。
看答案与解析
答案:错误
门控的细胞状态 C。关键行:Cₜ = f ⊙ Cₜ₋₁ + i ⊙ C̃ₜ,是加法不是反复相乘;固定门输出时直接路径的局部导数为f,长程还取决于各步乘积;这不是完整依赖的总导数。和 ResNet 的 +I 是同一技巧:给梯度留一条可接近恒等的直接路径;LSTM仍会乘遗忘门,不能保证总梯度不衰减。
单选7. RNN 的两个硬伤(梯度消失、串行)里,哪个更致命?
看答案与解析
答案:B
串行更致命。梯度消失还能靠 LSTM 缓解,但串行限制了可扩展性——时间依赖限制位置维并行,但批次与特征维仍能并行,实际吞吐需测量。
单选8. Transformer 相比 RNN 赢在哪、输在哪?
看答案与解析
答案:D
赢在并行(时间 O(T) 串行 → 一次矩阵乘法),输在复杂度(O(T²) 时间和内存 vs RNN 的 O(1) 内存)。这就是长上下文难、Mamba 被重拾的原因。
单选9. 注意力机制最初是为了解决什么问题?
看答案与解析
答案:D
解决 Seq2Seq 把整句压成一个固定向量的信息瓶颈(超过 30 词质量急剧下降)。三个好处:①打破瓶颈 ②梯度捷径(解码器到编码器任意位置只隔 1 步)③注意力权重可解释。
单选10. 多对一任务里,比「用最后一个 h」更好的做法是?
看答案与解析
答案:A
最后一个 h 天然偏向记住结尾内容。更好的做法是对所有时间步的 h 做 mean/max 池化,或加一层注意力。
单选11. 今天还有哪些场景 RNN 有优势?
看答案与解析
答案:C
超长序列+低延迟+小设备(O(1) 内存,流式友好)、在线增量更新场景;时间序列上树模型常更强,LSTM 只作基线。
本节回顾
RNN 把上一步的隐藏状态与当前输入合在一起,形成新的状态。
⚡ 走神救援
先记住这几件事
- RNN 在各时刻复用参数,把历史压进隐藏状态。
- LSTM、GRU 用门控制保留与更新,缓解长序列的信息和梯度问题。
- 注意批次、时间和特征维度;序列输出与最终状态不是同一个对象。
下一节 👉 14-通往Transformer.md