🏠 总目录📚 本教程 02b · 选读:训练稳定 ← →

大模型全景导论 / 02b

归一化移到分支之前,信息路径改在哪里?

沿原新旧结构比较定位Pre-LN与RMSNorm的职责,保留梯度与尺度的限定。

📑 本页目录(点开跳转)

专题 A · 现代模型为什么更容易训稳

⏱ 10 分钟 | 可选专题 | 建议完成主线后再看


🎯 一句话

早期 Transformer 的核心骨架没有变;现代 LLaMA 式模型主要是在修四类工程问题:深层不好训练、归一化有冗余、FFN 不够会筛选、位置距离不够灵活。 这一页先讲前两类。

旧结构与新结构,差别在哪

早期:Post-LN现代:Pre-LN注意力 + 残差LayerNorm 在后FFN + 残差RMSNorm 在前注意力 + 残差RMSNorm 在前移动的是“归一化”所在位置;注意力、FFN、残差这条主骨架仍然相同。
看位置,不必背名字:现代模型先把分支整理好,再让它处理信息,主干更容易把梯度传回去。

Pre-LN:让很深的模型还能学

训练深模型时,学习信号要从最后一层一路传回第一层。早期 Post-LN 把归一化放在残差相加之后,深到几十层、上百层时,信号更容易被反复缩放得不稳定。

Pre-LN 把归一化搬到注意力和 FFN 之前。可以把残差主干想成一条更直的高速路:新计算在支路上变化,原来的信息与训练信号仍能比较顺地走下去。它不是让模型更聪明,而是让大模型更容易被稳定训练。

RMSNorm:只做够用的整理

LayerNorm 会把一组数字“居中”并控制大小;RMSNorm 少做了居中那一步,只控制整体大小。它减少了均值相关的运算;效果仍要看具体模型与训练设置。

📐 RMSNorm 有参数吗?用两个数算一次

常见 LLM 对单个 token 的隐藏维计算,不把整句话的 token 混着求均值:

$y_i = \gamma_i x_i / \sqrt{\operatorname{mean}(x^2)+\epsilon}$

这里不减均值;$\epsilon$ 是防止分母太小的稳定项,$\gamma_i$ 是每个隐藏维可学习的缩放参数,常初始化为 1。所以 RMSNorm 也有可训练参数。

取 $x=[3,4]$、$\gamma=[1,1]$,为手算暂忽略极小的 $\epsilon$:平方均值是 $(9+16)/2=12.5$,分母 $\sqrt{12.5}\approx3.536$,得到 $y\approx[0.849,1.131]$。这一步把均方根整理到约 1,均值却没有变成 0;之后 $\gamma$ 还会随训练调整各维尺度。

✅ 检查点

  • Pre-LN 解决的是:模型堆得很深后,训练信号不稳定。
  • RMSNorm 解决的是:用更少的操作做足够的数值整理。
  • 二者都没有改变“注意力 + FFN + 残差”的主骨架。
点开核对

Pre-LN 通过把归一化放到分支前,让深层训练信号更稳;RMSNorm 不减均值,用均方根整理尺度,再由可学习的 γ 调整各维。它们是训练工程优化,不是新模型种类。

🔗 想再深一层,去哪一套

去哪 为什么
ML 基础 10 · 正则化全家桶 第六件武器就是 BatchNorm / LayerNorm:为什么 Transformer 用 LayerNorm、CNN 用 BatchNorm
ML 基础 09 · 优化器与学习率 「深了不好训」还有另一半答案在学习率上 —— 那一章讲 warmup 怎样帮助某些训练配置稳定起步
AI 基础设施 21 · 训练稳定性与故障恢复 ⭐ 训不稳在几百张卡上是什么样:loss 尖峰怎么认、怎么救

本节回顾

除非你要读模型源码或训练模型,不需要手算均值、方差或梯度。知道它们分别在解决什么问题就够了。

⚡ 走神救援

现代架构没有推翻 Transformer,只是把归一化挪到更利于训练的位置,并把它做得更轻。下一专题看 FFN 怎样更会挑信息。

👉 02e-SwiGLU与RoPE.md

原始资料:On Layer Normalization (Pre-LN) · RMSNorm(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度