跳到主要内容
🏠 总目录📚 本教程 13 · RNN 与序列建模 ← →
📑 本页目录(点开跳转)

13 / 先看直觉,再看细节

读到下一个词时,
还带着前面的记忆。

同一个词,前文怎样改变它?

RNN 把上一步的隐藏状态与当前输入合在一起,形成新的状态。

跟踪时间状态与输出,区分双向上下文、最终状态和因果预测的可用信息。

先抓住一个具体结果

“好”和“不好”,差在前文

读到“好”时,如果状态保留了前面的“不”,模型才有机会区分两种意思。隐藏状态是压缩后的信息,不是完整保存原文。

简单 tanh RNN 的状态更新

$$h_t=\tanh(W_x x_t+W_h h_{t-1}+b)$$

13 · RNN 与序列建模

⏱ 26 分钟 | 🎁 可快速过,但要理解它「为什么被淘汰」


🎯 一句话

RNN 用一个不断更新的记忆状态来处理序列。 它的思路是对的,但串行和长距离遗忘两个硬伤让它输给了 Transformer——理解这两个硬伤,你才真正懂 Transformer 赢在哪。


🤔 零、先问:序列数据到底特殊在哪

结果对照

普通表格数据:每一行是独立的
[年龄 收入 学历]→买不买
序列数据:顺序【本身携带信息】
"这部电影不好看" vs "这部电影好看不"
同样的字,顺序一变,意思就变了 ⭐

前面学过的模型为什么处理不了序列:

模型 为什么不行
MLP 固定位置展平的输入可区分词序,但需固定窗口并处理长度
CNN 可用多层或空洞卷积扩大感受野;能覆盖多远取决于结构
树模型 每个特征独立看,完全没有顺序概念

🔑 所以需要一个新机制:能吃变长输入、能记住之前看过什么。 RNN 就是这个问题的第一个像样的答案。


🔄 一、RNN:把上一步的输出喂回来

图内可左右滑动;需要时可放大阅读。

h₀ h₁ h₂ h₃ x₁ [RNN] y₁ x₂ [RNN] y₂ x₃ [RNN] y₃ 核心公式: hₜ = tanh( W·hₜ₋₁ + U·xₜ + b) 上一步的记忆 当前输入
图上把时间轴展开画成了三个格子,实际上只有一套 W、U 被重复用了三次(这就是 RNN 版的「权重共享」)。⭐ 要盯的是中间那条横线:每一步的 h 既接了当前输入 xₜ,又接了上一步的 hₜ₋₁ —— 「记忆」就是这么传下去的。

💡 人话:h 是一个「记忆本」,每读一个新词就更新一次。 同一套权重 W、U 在每个时间步复用——这是 RNN 版的「权重共享」(对比第 12 章 CNN)。

💡 权重共享带来两个好处(和 CNN 完全同构的道理):

操作步骤

① 参数量【和序列长度无关】
处理 10 个词和 1000 个词,用的是同一套 W、U
② 学到的规律能【跨位置迁移】
在第 3 个词学到的模式,第 300 个词也能用

🔨 五行看懂 RNN

# 🧩 骨架:`hidden` 来自你自己的代码,这一段只看写法
import numpy as np
h = np.zeros(hidden)
for x_t in sequence:                       # ⭐ 注意这个 for 循环
    h = np.tanh(W @ h + U @ x_t + b)       # 更新记忆
    y_t = V @ h                            # 输出

⚠️ 就是这个 for 循环毁了 RNN。记住它,第二节会回来。


💀 二、两个致命硬伤

硬伤 1:梯度消失 → 记不住长距离

关键信息

反向传播要穿过 T 个时间步,每步乘一次 W 和 tanh 的导数
时间梯度由各步的 Jacobian 连乘决定(不能混淆转置与T次幂)
T=100 时,0.9¹⁰⁰ ≈ 0.000027 💀 若每步沿该方向约缩小0.9,100步后该路径梯度很小

后果:「我在法国长大……所以我说流利的 __」——隔了 50 个词,RNN 已经忘了「法国」。

🔗 这和第 8 章的梯度消失是同一件事,但更严重: 深度网络是"层数"次连乘,RNN 是"序列长度"次连乘—— 而且乘的是同一个 W(权重共享的代价),所以要么一起消失,要么一起爆炸。

⚠️ 梯度爆炸在 RNN 里比在 CNN 里常见得多,标准解法是梯度裁剪:

# 🧩 骨架:`model` 来自你自己的代码,这一段只看写法
import torch
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)   # ⭐ RNN 几乎必加

LSTM / GRU 的补救:加一条门控的记忆通道

关键信息

  • LSTM 的核心是「细胞状态」C,它像一条传送带:
  • 遗忘门 f:决定丢掉多少旧记忆
  • 输入门 i:决定写入多少新信息
  • 输出门 o:决定输出多少
  • 关键的一行: Cₜ = f ⊙ Cₜ₋₁ + i ⊙ C̃ₜ
  • ↑ 加法!不是反复相乘 ⭐
  • → 当遗忘门 f ≈ 1 时,梯度沿 C 【几乎原样】传回去
  • → 和 ResNet 残差连接同一个思想
📐 为什么"加法更新"能救梯度(想看再点)

普通 RNN:$\frac{\partial h_t}{\partial h_{t-1}} = \text{diag}(\tanh')W$ —— 按列向量前向约定,时间 Jacobian 连乘可能衰减、爆炸或保持,取决于权重与激活状态。

LSTM 的直接记忆路径(固定各门输出):$\frac{\partial C_t}{\partial C_{t-1}} = f_t$ —— 如果遗忘门 $f_t \approx 1$, 沿这条直接路径连乘的是各步 f;只有乘积接近1时才近似保留。每步略小于1,长序列仍可能衰减;门对状态的依赖还贡献其他路径。

🔗 这和 ResNet 的 ∂a^l/∂a^{l-1} = f'W + I 里那个 +I 是同一个技巧: 给梯度留一条可接近恒等的直接路径;LSTM仍会乘遗忘门,不能保证总梯度不衰减。

💡 记住这个模式,它在深度学习里出现了至少四次: LSTM 的细胞状态、ResNet 的残差、Transformer 的残差、Highway Network 的门控。

LSTM 靠门控更新记忆。若想知道同一个词怎样同时参考前后文,再展开下面的可选深入;跳过它不影响继续读GRU与串行限制。

🔎 可选深入:BiLSTM如何合并前后文

BiLSTM不是多加一道门,而是两路LSTM。下面先看一层、无投影的情况:正向按 $1\to T$ 读,反向按 $T\to1$ 读;两路各有自己的参数,各自在时间步间共享。反向读序列与训练时的反向传播是两件事。

$$\begin{aligned} (\overrightarrow h_t,\overrightarrow c_t)&=\mathrm{LSTM}_{\rightarrow}(x_t,\overrightarrow h_{t-1},\overrightarrow c_{t-1})\\ (\overleftarrow h_t,\overleftarrow c_t)&=\mathrm{LSTM}_{\leftarrow}(x_t,\overleftarrow h_{t+1},\overleftarrow c_{t+1})\\ z_t&=[\overrightarrow h_t;\overleftarrow h_t]\in\mathbb R^{2H} \end{aligned}$$

两路的边界状态分别放在0与 $T+1$;上式分号表示拼接同一原始位置的两个H维隐藏状态,不是把正向第1步与反向第1个处理步直接配对,也不是将 $h$ 与细胞状态 $c$ 拼成2H。PyTorch的双向输出采用这种拼接约定。

三词例子:同一个“爱”,两路读过的内容不同。

把“我 / 爱 / 北京”视为三个词,做离线命名实体标注。下表只说明一层网络的输入可见范围与读取顺序;标签O / O / B-LOC是给定的教学标注,不是模型预测。

原始位置正向到此已读反向到此已读(读取顺序)该位置交给标注头
1:我我北京 → 爱 → 我$[\overrightarrow h_1;\overleftarrow h_1]$,标签O
2:爱我 → 爱北京 → 爱$[\overrightarrow h_2;\overleftarrow h_2]$,标签O
3:北京我 → 爱 → 北京北京$[\overrightarrow h_3;\overleftarrow h_3]$,标签B-LOC

例如给定每路H=2,在“爱”处两路状态为 $(0.2,-0.1)$ 与 $(0.4,0.3)$,拼接结果是 $(0.2,-0.1,0.4,0.3)$,宽度4=2H;这些数只演示拼接,没有运行LSTM。可访问前后文不代表记住了全部词或保证标注正确。

逐位置输出,不等于两路最终态。固定 num_layers=1, bidirectional=True, proj_size=0, batch_first=True,输入为 $(N,T,E)$,输出 output 为 $(N,T,2H)$;h_n 与 c_n 均为 $(2,N,H)$,方向轴依次正向、反向。batch_first不改变这两个状态的轴顺序。

对等长且无padding的这组三词,output[:, -1, :]拼的是 $[\overrightarrow h_3;\overleftarrow h_3]$;两路最终隐藏状态应取 $[\overrightarrow h_3;\overleftarrow h_1]$,对应拼接 h_n[0] 与 h_n[1]。反向在位置3才刚读到“北京”,到位置1才读完整句;所以不能把最后一个时间位置当成两路都已结束。多层、投影或变长padding输入须重新核对层/方向/长度索引,不能直接套这个简例。

离线双向编码与即时因果输出要分开。完整句子已经收到时,可以利用双向状态做序列标注;若要求在时刻t仅凭已到达的输入立即预测,整段反向状态还依赖尚未收到的词,不能直接用于该时刻。分块或等待后文会引入可见范围与延迟约定。另一方面,双向编码一个已经观测完的历史窗口再预测窗口之外,并不自动构成未来泄漏;仍要按真实可用时间切分数据与标签。

一手核对:PyTorch 2.14 LSTM定义双向输出、方向与最终态;Graves与Schmidhuber(2005)解释双向结构及在线输出的上下文等待条件。这里没有复现论文性能或运行模型实验。

GRU 是 LSTM 的简化版(两个门),参数少约 25%、更快,效果通常相当。

LSTM GRU
门的数量 3(遗忘/输入/输出) 2(重置/更新)
状态 h 和 C 两条 只有 h
参数量 多 ~33% 少
效果 长序列上略好 中短序列相当,训练更快 ⭐

✅ LSTM/GRU 缓解了梯度消失,但没根治——几百步以上仍然吃力。

硬伤 2:串行,无法并行 ⭐ 这才是致命的

结果对照

还记得那个 for 循环吗?
RNN:必须算完 h₁ 才能算 h₂,算完 h₂ 才能算 h₃ ·
序列长度 = 计算步数,GPU 的并行能力完全浪费
Transformer:所有位置【同时】计算注意力
一次矩阵乘法搞定,GPU 吃满 ✅

一个具体的对比:

关键信息

长度为1000的序列:RNN的隐藏状态沿时间递推,步骤有依赖;全序列训练时自注意力可并行处理位置。实际速度还取决于宽度、批量、序列长度与硬件,不能据此给固定核数或倍速。

🔑 这是 Transformer 取代 RNN 的根本原因。 不是因为 Transformer 更"聪明",而是因为它能并行,所以能训得更大、喂更多数据。 可扩展性(scalability)胜过了精巧的结构设计——这是深度学习史上反复出现的教训。

💡 同样的教训还出现在:CNN 打败手工特征、Transformer 打败 CNN 在视觉上(ViT)、 大模型的"scaling law"。一个能吃下更多算力的笨办法,往往赢过吃不下算力的聪明办法。

⚖️ 但 Transformer 也付出了代价

对照

固定隐藏维的 RNN:流式推理每步状态 O(1),总时间 O(T);完整 BPTT 训练通常需保存 O(T) 激活

标准全注意力的注意力部分:固定维度时计算 O(T²);朴素实现存 O(T²) 矩阵,优化内核可降低存储

💡 这就是为什么"长上下文"是大模型的核心难题—— 也是为什么 Mamba 这类"类 RNN"架构最近又被重新拾起。 RNN 输的是并行,赢的是复杂度。


🌉 三、通往注意力:Seq2Seq 的瓶颈

结果对照

早期机器翻译(Seq2Seq):
[编码器 RNN] 读完整个中文句子→压成【一个固定长度的向量】
💀 瓶颈!
[解码器 RNN] 生成英文
❌ 不管句子多长,都压成同一个向量→长句信息严重丢失

💡 有多严重:实验显示 Seq2Seq 的翻译质量在句子超过 30 个词后急剧下降—— 因为那个固定向量装不下了。

注意力机制的诞生(2014-2015):

信息关系

解码器生成每个词时,不再只看那一个向量,
而是【回头看编码器的所有隐状态】,动态决定该关注哪几个
生成 "France" 时→重点关注输入里的「法国」那个位置
↑ 这就是注意力权重

💡 注意力的三个立刻可见的好处:

好处 说明
打破信息瓶颈 不再压成一个向量,所有位置的信息都还在
梯度捷径 ⭐ 解码器到编码器任意位置只隔 1 步,不用穿过 T 个时间步
可解释 注意力权重能画成热力图,看到"翻译这个词时在看哪里"

💡 然后 2017 年有人问了一个关键问题:

既然注意力这么好用,我们还需要 RNN 吗?

答案是那篇论文的标题:《Attention Is All You Need》—— 去掉 RNN,只留注意力,就是 Transformer。

🔗 完整的 Transformer 讲解在全景导论主线 2 · 模型怎样看懂一句话, 而下一章会把这条演化线补完。 现在你知道它是怎么来的了。


🗺️ 四、序列任务的四种形态

形态 典型任务 关键点
一对多 图像描述 一张图 → 一句话
多对一 文本分类、情感分析 只用最后一个 h
多对多 机器翻译 长度可不同,需要 encoder-decoder
同步多对多 词性标注、命名实体识别 输入输出一一对应

⚠️ 一个实践细节:多对一任务里,用最后一个 h 不一定最好—— 更常见的做法是对所有时间步的 h 做池化(mean/max),或者加一层注意力。 因为最后一个 h 天然偏向记住结尾的内容。

🔗 Kaggle 第 7 章命名实体识别讲的 CRF / GlobalPointer 就是最后一类的实战方案。


🤔 五、RNN 今天还有用吗

场景 用什么
NLP 几乎所有任务 Transformer(RNN 已基本退场)
超长序列 + 极低延迟 + 小设备 RNN/GRU 仍有一席之地(O(1) 内存,流式处理天然友好)
时间序列预测 树模型常更强;LSTM 可作为对比基线
在线/流式场景(如实时推荐) GRU 的增量更新很自然
状态空间模型(Mamba 等) 新一代"类RNN"架构,试图兼得并行与线性复杂度 ⭐

💡 学 RNN 的价值不在于用它,而在于: ① 理解 Transformer 解决了什么问题 ② 理解「门控 + 加法更新」这个防梯度消失的通用思想 (LSTM 的 C、ResNet 的残差、Transformer 的残差,全是它) ③ 理解「并行性是架构设计的一等公民」这个教训


🔗 和站内其他章的关系

相关的地方 这里的对应
第 8 章梯度消失 RNN 版更严重(连乘次数 = 序列长度,且乘同一个 W)
第 12 章 CNN 的权重共享 RNN 跨时间步共享,CNN 跨空间位置共享
第 12 章 ResNet 残差 和 LSTM 的加法式记忆更新是同一思想
推荐算法第 9 章 GRU4Rec 就是本章的 GRU 用在序列推荐上
推荐算法第 9 章 SASRec 用 Transformer 取代 RNN 本章讲的正是"为什么要取代"
全景导论主线 2 的注意力 本章第三节讲的是它的起源

✅ 检查点

共 11 题:10 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 固定位置展平的 MLP,权重 [1, 2]。输入 [0, 1] 输出 2;换序成 [1, 0] 后输出多少?

看答案与解析

答案:D

固定位置展平的 MLP 对词序敏感:权重 [1,2] 对 [0,1] 输出 2,换序后输出 1。序列 CNN 的依赖范围取决于感受野;RNN 则通过共享状态递推处理序列。

单选2. RNN 的权重共享带来哪两个好处?

看答案与解析

答案:D

hₜ = tanh(W·hₜ₋₁ + U·xₜ + b),一个不断更新的记忆本。权重共享带来:①参数量和序列长度无关 ②学到的规律能跨位置迁移。

单选3. RNN 的梯度问题为什么比普通深度网络更严重?

看答案与解析

答案:A

因为连乘次数是序列长度(可达几百上千)而不是层数(几十),而且每次乘的是同一个 W——状态相关的 Jacobian 连乘可能衰减、爆炸或保持。爆炸用梯度裁剪 clip_grad_norm_(..., max_norm=1.0)。

单选4. RNN 梯度爆炸怎么处理?

看答案与解析

答案:B

因为连乘次数是序列长度(可达几百上千)而不是层数(几十),而且每次乘的是同一个 W——状态相关的 Jacobian 连乘可能衰减、爆炸或保持。爆炸用梯度裁剪 clip_grad_norm_(..., max_norm=1.0)。

单选5. LSTM 靠哪一行缓解梯度消失?

看答案与解析

答案:D

门控的细胞状态 C。关键行:Cₜ = f ⊙ Cₜ₋₁ + i ⊙ C̃ₜ,是加法不是反复相乘;固定门输出时直接路径的局部导数为f,长程还取决于各步乘积;这不是完整依赖的总导数。和 ResNet 的 +I 是同一技巧:给梯度留一条可接近恒等的直接路径;LSTM仍会乘遗忘门,不能保证总梯度不衰减。

判断6. 有了遗忘门那条直接路径,LSTM 就保证总梯度不会衰减。

看答案与解析

答案:错误

门控的细胞状态 C。关键行:Cₜ = f ⊙ Cₜ₋₁ + i ⊙ C̃ₜ,是加法不是反复相乘;固定门输出时直接路径的局部导数为f,长程还取决于各步乘积;这不是完整依赖的总导数。和 ResNet 的 +I 是同一技巧:给梯度留一条可接近恒等的直接路径;LSTM仍会乘遗忘门,不能保证总梯度不衰减。

单选7. RNN 的两个硬伤(梯度消失、串行)里,哪个更致命?

看答案与解析

答案:B

串行更致命。梯度消失还能靠 LSTM 缓解,但串行限制了可扩展性——时间依赖限制位置维并行,但批次与特征维仍能并行,实际吞吐需测量。

单选8. Transformer 相比 RNN 赢在哪、输在哪?

看答案与解析

答案:D

赢在并行(时间 O(T) 串行 → 一次矩阵乘法),输在复杂度(O(T²) 时间和内存 vs RNN 的 O(1) 内存)。这就是长上下文难、Mamba 被重拾的原因。

单选9. 注意力机制最初是为了解决什么问题?

看答案与解析

答案:D

解决 Seq2Seq 把整句压成一个固定向量的信息瓶颈(超过 30 词质量急剧下降)。三个好处:①打破瓶颈 ②梯度捷径(解码器到编码器任意位置只隔 1 步)③注意力权重可解释。

单选10. 多对一任务里,比「用最后一个 h」更好的做法是?

看答案与解析

答案:A

最后一个 h 天然偏向记住结尾内容。更好的做法是对所有时间步的 h 做 mean/max 池化,或加一层注意力。

单选11. 今天还有哪些场景 RNN 有优势?

看答案与解析

答案:C

超长序列+低延迟+小设备(O(1) 内存,流式友好)、在线增量更新场景;时间序列上树模型常更强,LSTM 只作基线。


本节回顾

RNN 把上一步的隐藏状态与当前输入合在一起,形成新的状态。

⚡ 走神救援

先记住这几件事

  • RNN 在各时刻复用参数,把历史压进隐藏状态。
  • LSTM、GRU 用门控制保留与更新,缓解长序列的信息和梯度问题。
  • 注意批次、时间和特征维度;序列输出与最终状态不是同一个对象。

下一节 👉 14-通往Transformer.md

打卡记录保存在你的浏览器里,首页能看到总进度