专题 A · 现代模型为什么更容易训稳
⏱ 10 分钟 | 可选专题 | 建议完成主线后再看
🎯 一句话
早期 Transformer 的核心骨架没有变;现代 LLaMA 式模型主要是在修四类工程问题:深层不好训练、归一化有冗余、FFN 不够会筛选、位置距离不够灵活。 这一页先讲前两类。
旧结构与新结构,差别在哪
Pre-LN:让很深的模型还能学
训练深模型时,学习信号要从最后一层一路传回第一层。早期 Post-LN 把归一化放在残差相加之后,深到几十层、上百层时,信号更容易被反复缩放得不稳定。
Pre-LN 把归一化搬到注意力和 FFN 之前。可以把残差主干想成一条更直的高速路:新计算在支路上变化,原来的信息与训练信号仍能比较顺地走下去。它不是让模型更聪明,而是让大模型更容易被稳定训练。
RMSNorm:只做够用的整理
LayerNorm 会把一组数字“居中”并控制大小;RMSNorm 少做了居中那一步,只控制整体大小。它减少了均值相关的运算;效果仍要看具体模型与训练设置。
📐 RMSNorm 有参数吗?用两个数算一次
常见 LLM 对单个 token 的隐藏维计算,不把整句话的 token 混着求均值:
$y_i = \gamma_i x_i / \sqrt{\operatorname{mean}(x^2)+\epsilon}$
这里不减均值;$\epsilon$ 是防止分母太小的稳定项,$\gamma_i$ 是每个隐藏维可学习的缩放参数,常初始化为 1。所以 RMSNorm 也有可训练参数。
取 $x=[3,4]$、$\gamma=[1,1]$,为手算暂忽略极小的 $\epsilon$:平方均值是 $(9+16)/2=12.5$,分母 $\sqrt{12.5}\approx3.536$,得到 $y\approx[0.849,1.131]$。这一步把均方根整理到约 1,均值却没有变成 0;之后 $\gamma$ 还会随训练调整各维尺度。
✅ 检查点
- Pre-LN 解决的是:模型堆得很深后,训练信号不稳定。
- RMSNorm 解决的是:用更少的操作做足够的数值整理。
- 二者都没有改变“注意力 + FFN + 残差”的主骨架。
点开核对
Pre-LN 通过把归一化放到分支前,让深层训练信号更稳;RMSNorm 不减均值,用均方根整理尺度,再由可学习的 γ 调整各维。它们是训练工程优化,不是新模型种类。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| ML 基础 10 · 正则化全家桶 | 第六件武器就是 BatchNorm / LayerNorm:为什么 Transformer 用 LayerNorm、CNN 用 BatchNorm |
| ML 基础 09 · 优化器与学习率 | 「深了不好训」还有另一半答案在学习率上 —— 那一章讲 warmup 怎样帮助某些训练配置稳定起步 |
| AI 基础设施 21 · 训练稳定性与故障恢复 | ⭐ 训不稳在几百张卡上是什么样:loss 尖峰怎么认、怎么救 |
本节回顾
除非你要读模型源码或训练模型,不需要手算均值、方差或梯度。知道它们分别在解决什么问题就够了。
⚡ 走神救援
现代架构没有推翻 Transformer,只是把归一化挪到更利于训练的位置,并把它做得更轻。下一专题看 FFN 怎样更会挑信息。