🏠 总目录📚 本教程 02 · MAP 与正则化真身 ← →

02 · 从问题进入原章节

先验怎样变成训练目标里的 L2 或 L1 惩罚?

似然与先验相乘得到后验;取负对数后,高斯先验对应 L2,拉普拉斯先验对应 L1。损失从求和改成平均时要重新看系数尺度。

读后可检查:能区分先验形状、惩罚形式和相对权重,不把优化器的 weight_decay 一概等同于 MAP。

📑 本页目录(点开跳转)

02 · MAP 与正则化的真身

⏱ 22 分钟(原预计,仅供参考,可分次读) | 先看硬币例子,再决定要不要看推导


🎯 一句话

给模型加 L2 惩罚,可以解释为:在指定的概率模型里,用高斯先验做 MAP 估计。

这是一种理解正则化的方式,不是否定“防过拟合”的作用。关键在于:先说明似然、先验和损失怎样计量,再谈它们的对应关系。

第一次读,先走这条线:


🧠 一、从 MLE 到 MAP:加入先验

上一章观察到 3 次正面、0 次反面。如果允许正面概率 $p$ 取到 1,MLE 会选 $p=1$。

这只是“在这 3 次观察下,似然最大的点”。它不证明这枚硬币永远不会出现反面。

MAP 多问一个问题:看数据之前,你对 $p$ 有什么假设?

把“偏向 0.5”写成一个明确的先验

这里选 Beta(2, 2) 先验。它是定义在 0 到 1 上的一条密度曲线,中心偏向 0.5;看到 3 次正面后,后验变成 Beta(5, 2),最高点在 0.8。

同一个硬币:Beta(2, 2) 先验 + 三次正面先验:6p(1−p)似然 × 4:4p³后验:30p⁴(1−p)00.50.81横轴:正面概率 p;后验最高点在 0.8,而不是 1似然只乘常数 4 以便同图比较;它不是参数的后验概率
看橙色后验的最高点:本例 MAP 为 0.8。

先把 Beta 当成“这类曲线的名字”即可。图中三条曲线都来自这个算例,不是随手画的示意峰;不能据此推断所有后验都比先验更窄。

选择方法 这个算例的结果
MLE:选似然最大的点 $p=1$
MAP:选后验密度最大的点 $p=0.8$

MAP 没有把观察丢掉:结果仍然偏向正面,只是没有因为 3 次观察就把点估计推到 1。换先验,结果也可能改变;0.8 不是唯一不依赖假设的答案。

贝叶斯定理把两者连起来

$D$ 表示数据,$\theta$ 表示要估计的参数。贝叶斯公式是:

$$p(\theta\mid D)=\frac{p(D\mid\theta)p(\theta)}{p(D)}$$

只看这四个位置:

计算 MAP 时,可以取对数再取负号。定义两笔“代价”:

$$L(\theta)=-\log p(D\mid\theta)$$

$$R(\theta)=-\log p(\theta)$$

于是要找的点是:

$$\hat\theta_{\mathrm{MAP}}=\arg\min_\theta\{L(\theta)+R(\theta)\}$$

正则项的连接就在这里:负对数先验 $R$ 会变成对权重的惩罚。 接下来只需要看:不同先验会变成什么形状的惩罚?


⭐ 二、L2 正则与高斯先验

假设权重服从零均值高斯分布

先验 $w\sim N(0,\tau^2 I)$ 表示:各个权重在先验中相互独立、都以 0 为中心,方差都是 $\tau^2$。$I$ 是单位矩阵。

横轴是权重 w,纵轴是先验密度。两条高斯曲线都以 0 为中心;较小的 τ² 更集中,较大的 τ² 更分散。曲线面积均归一化。先验密度权重 w0窄:权重更集中在 0 附近宽:约束更弱
窄先验更集中于 0,宽先验允许更大的权重范围。

横轴是权重,纵轴是先验密度。两条完整分布的面积都为 1;图中只截取中间一段。

看曲线的宽度: $\tau^2$ 小,先验更集中于小权重;$\tau^2$ 大,允许的权重范围更宽。宽先验仍然是一个先验,不等于毫无假设。

💡 先看结论和适用条件

本节用的是线性回归 + 独立同方差高斯噪声。噪声方差 $\sigma^2>0$、先验方差 $\tau^2>0$ 都先当作固定的已知量。

记 $Q(w)$ 为所有样本的残差平方和:

$$Q(w)=\sum_{i=1}^{n}(y_i-w^\top x_i)^2$$

在这些条件下,MAP 等价于最小化:

$$Q(w)+\lambda\|w\|_2^2$$

$$\boxed{\lambda=\frac{\sigma^2}{\tau^2}}$$

这是“平方和 + λ × 权重平方和”这套写法下的 λ。 它不是所有库里名叫 λ、alpha 或 weight_decay 的参数都能直接套用的换算式。

📐 展开三步推导:平方惩罚从哪里来

第一步:先验取负对数。 每个权重的高斯密度含有指数项 $\exp[-w_j^2/(2\tau^2)]$。独立意味着密度相乘,取对数后变成相加:

$$-\log p(w)=C+\frac{\|w\|_2^2}{2\tau^2}$$

$C$ 不随 $w$ 变化,不影响最优点。

第二步:加上似然的代价。 高斯噪声给出的负对数似然是 $Q(w)/(2\sigma^2)$ 加常数。因此 MAP 最小化:

$$\frac{Q(w)}{2\sigma^2}+\frac{\|w\|_2^2}{2\tau^2}$$

第三步:整体乘以正数 $2\sigma^2$。 最优点不变,就得到上面的平方和目标和 $\lambda=\sigma^2/\tau^2$。

这里没有同时估计 $\sigma^2$ 或 $\tau^2$;如果也要优化它们,就不能随意扔掉与它们有关的常数项。

同一份数据,改用“平均损失”会怎样?

若把平方和除以样本数 $n$,正则项也要一起除,才能保持同一个 MAP 问题:

$$\frac{Q(w)}{n}+\lambda_{\mathrm{mean}}\|w\|_2^2$$

$$\lambda_{\mathrm{mean}}=\frac{\sigma^2}{n\tau^2}$$

例如 $\sigma^2=4$、$\tau^2=2$、$n=100$:平方和写法的 λ 是 2;均方误差写法的 λ 是 0.02。两个数字不同,最优点相同。

若数据项和惩罚项还带有不同的 $1/2$ 因子,系数也要相应换算。先看目标函数原样怎么写,再比较数值大小。

哪些因素会改变相对惩罚?

下面只比较同一套平方和目标,且除表中那一项外,其余条件不变:

改变的量 λ 的变化 在这个模型中的含义
噪声方差 $\sigma^2$ 增大 增大 似然对权重的约束相对变弱
噪声方差 $\sigma^2$ 减小 减小 更信任当前观测
先验方差 $\tau^2$ 增大 减小 允许权重离 0 更远
先验方差 $\tau^2$ 减小 增大 更强地偏向小权重

当 $\tau^2$ 趋向无穷,惩罚系数趋向 0;目标趋近 MLE 的目标。无穷方差不是一个正规的高斯分布,这里只是在说目标函数的极限,最优解的收敛还需额外条件。

因此,不能仅凭“另一个数据集更吵”就断言它最佳的 λ 必须更大。样本量、特征尺度、先验和目标写法都可能一起改变,实际仍要做验证。


🔀 三、L1 正则与拉普拉斯先验

把每个权重的先验换成零中心的拉普拉斯分布,尺度为 $b>0$:

$$p(w_j)=\frac{1}{2b}\exp\left(-\frac{|w_j|}{b}\right)$$

这里指数里是绝对值,不是平方。独立先验取负对数后得到:

$$-\log p(w)=C+\frac{1}{b}\sum_j|w_j|$$

它就是 L1 惩罚。在本章同一高斯似然下,若仍写成 $Q(w)+\lambda_1\|w\|_1$,则 $\lambda_1=2\sigma^2/b$。

为什么 L1 的解可能恰好为 0?

高斯 N(0, 1)0w顶部平滑,斜率为 0拉普拉斯(b = 1)0w指数曲线在 0 处有尖角
密度尖峰不等于零点有正概率。

先纠正一个很容易误会的点:拉普拉斯分布是连续分布,在精确的 0 上也没有正的概率质量。 密度在零点最高,不等于“从先验抽样,会频繁抽到恰好为零”。

零系数来自另一件事:用带尖角的 L1 惩罚做优化时,最优点可能停在 0。

看一个只有一个权重的教学算例。没有惩罚时,目标希望 $w$ 靠近观测值 $z$;加入惩罚后最小化:

$$\frac12(w-z)^2+\lambda_1|w|$$

取 $\lambda_1=1$:

$z$ L1 的最优 $w$
0.6 0
−0.6 0
2 1

这里的 $\lambda_1$ 属于这条一维目标,不能直接照搬前面平方和目标中的系数。

📐 为什么一个区间的 z 都会对应到 0?

当 $w=0$,绝对值函数的次梯度是区间 $[-1,1]$。只要 $|z|\leq\lambda_1$,就能让整个目标在 0 满足最优条件。

因此解具有“软阈值”形式:小于阈值的部分直接变成 0;超过阈值的部分保留符号,再减去阈值。

若改成 L2 目标:

$$\frac12(w-z)^2+\frac{\lambda_2}{2}w^2$$

则:

$$w^*=\frac{z}{1+\lambda_2}$$

L2 会连续收缩,而不是把一整个非零 $z$ 区间压成 0。但若 $z=0$,L2 的解也恰好为 0。 “L2 永远没有零系数”同样不对。

几何上要看哪里?

L1 的菱形约束在坐标轴上有角;L2 的圆形约束没有角。角点让 L1 更容易选出有零分量的解,但不保证每次都稀疏。

📐 看同一个二次损失怎样接触两种约束

取损失为到点 $(2,0.6)$ 的欧氏距离平方。下面把损失等高线画成圆;一般二次损失的等高线也可能是椭圆。

从灰色的无约束最小点向外扩大蓝色等高线,第一次碰到橙色区域的位置就是解。

L2:单位圆约束无约束最小点 (2, 0.6)w₁w₂接触点约 (0.958, 0.287)本例两个权重都非零L1:单位菱形约束无约束最小点 (2, 0.6)w₁w₂接触点 (1, 0)第二个权重恰好为 0
首次接触可行区域的位置就是最优点。

在这个约束算例中,L1 解为 $(1,0)$,L2 解约为 $(0.958,0.287)$。图中的点确实位于各自的约束边界上,也位于首次接触的损失等高线上。

约束形式与惩罚形式在适当的凸优化条件下可以对应;约束半径并不直接等于惩罚系数 λ。


📋 四、哪些对应是严格的,哪些要加条件?

可以直接从目标函数读出的对应

在本节指定的似然下:

ElasticNet 对应的先验密度形式是:

$$p(w)\propto\exp[-a\|w\|_1-b\|w\|_2^2]$$

这里 $a,b\geq0$ 且至少一个为正。它是两种惩罚对应密度因子的乘积,不是“先掷硬币,再从高斯或拉普拉斯中选一个抽样”的混合分布。

weight_decay 要看优化器如何实现

普通、无动量的 SGD 中,对损失加 $\alpha\|w\|_2^2/2$,梯度就多出 $\alpha w$。这与同一步里按学习率缩小权重的更新等价。

AdamW 则把权重衰减从自适应梯度更新中解耦。 它通常不等同于“把同样的 L2 项加入损失,再交给 Adam”。所以仅看到 weight_decay=0.01,不能就宣布已经确定了一个方差为某值的高斯先验。原论文:Decoupled Weight Decay Regularization

早停和 Dropout 也不能一概写成 MAP

早停限制优化过程走到哪里,能产生隐式正则效果。它与优化方法、数据和停止时间有关,不能一般地替换成某个固定的独立高斯先验。

Dropout通过随机屏蔽部分单元参与训练。在特定模型和近似推断设定下,它有贝叶斯解释;不是所有使用 Dropout 的训练都在做精确贝叶斯推断。Gal 与 Ghahramani,2016

想看这些方法的实际作用,可以回到基础教程第 10 章:正则化全家桶。这里补充的是数学连接,不把所有正则化强行归为同一个先验。


🌡️ 五、数据量如何冲淡先验

回到同一个 Beta(2, 2) 先验。若观察到 $n$ 次正面、0 次反面,后验为 Beta($n+2$, 2),MAP 为 $(n+1)/(n+2)$:

观察结果 MLE MAP
3 次全正面 1 $4/5=0.8$
30 次全正面 1 $31/32=0.96875$
300 次全正面 1 $301/302\approx0.99669$

表里可以直接看到:先验不变,数据增多,两个点估计越来越接近。

原因是:独立样本的对数似然是一项项相加的;固定先验只贡献同一项。也可以把整体目标除以 $n$ 来看:

$$\frac{L(\theta)}{n}+\frac{R(\theta)}{n}$$

这里 $L$ 是总负对数似然,$R$ 是固定的负对数先验。相对于平均数据项,先验项带上了 $1/n$。

但不是无条件定律。 把“MAP 接近 MLE”推广到一般模型,还需要参数维数固定、模型可识别、先验不排除数据支持的区域等常见正则条件。

若模型随数据一起扩大、样本强相关、先验随 $n$ 改变,或始终固定“平均损失里的惩罚系数”,就不是刚才的比较。不能据此宣称“大模型时代正则化不重要”或“一定要把 dropout / weight decay 调小”。


🎓 六、再往前一步:保留整个后验

MLE 和 MAP 都只返回一个点;完整后验还描述这个点以外的参数有多受支持。

还是 Beta(2, 2) 先验加 3 次正面的例子:

看什么 得到什么
似然最高点 MLE:1
后验密度最高点 MAP:0.8
整条后验密度 Beta(5, 2)

0.8 是参数估计,不是“这个答案有 80% 把握”。 想问 $p$ 落在某个区间的概率,要对该区间的后验密度积分。

下一次抛硬币,预测正面的概率是多少?

若直接代入 MAP 点,得到 0.8。完整贝叶斯预测会把不同 $p$ 按后验加权平均:

$$P(\text{下次正面}\mid D)=E[p\mid D]=\frac57$$

约为 0.7143。后验最高点与后验平均值不是一回事,所以这两个预测不同。

📐 换成一般模型:后验预测的积分

对固定的新输入 $x^*$,先记每个参数下的预测为:

$$q_\theta(y^*)=p(y^*\mid x^*,\theta)$$

把后验记为 $\pi_D(\theta)=p(\theta\mid D)$。完整预测就是:

$$p(y^*\mid x^*,D)=\int q_\theta(y^*)\pi_D(\theta)\,d\theta$$

这是“用后验权重平均各参数下的预测”,不是把所有模型等权投票。

多得到什么,又付出什么?

多得到不确定性描述。 例如“点预测 5.2,预测区间 3 到 8”是区间报告的示意写法,不是本章算出的实验结果;实际报告还应注明区间概率和计算模型。

后验也不保证遇到分布外输入就自动变得不确定。模型和先验若设错,结果仍可能很自信地错。

可以比较候选模型。 边际似然会平均一个模型在其先验下的拟合表现,有时体现复杂度惩罚;结论依赖先验和候选模型,不是自动选对模型的保证。

代价是计算。 硬币这种共轭例子能直接算,一般模型的积分可能很难,需要 MCMC、变分推断等方法。有限运行和近似方法都需要诊断,不是多跑几次就自然可靠。

两种实用的不确定性估计,别混成同一回事

两者都应做校准和验证;只看模型间的方差,还不一定覆盖观测噪声等全部不确定性。


🔗 七、和站内其他章的关系


✅ 检查点

  1. MLE 与 MAP 在目标中差了什么?它来自哪里?
  2. 什么条件下 L2 对应高斯先验?平方和换成均方误差时 λ 怎么变?
  3. 只知道另一个数据集噪声更大,能断言它最佳 λ 更大吗?
  4. 为什么 L1 可能产生零系数?连续拉普拉斯先验会经常抽到精确的 0 吗?L2 能有零系数吗?
  5. 什么比较条件下,数据增加会减弱固定先验的相对影响?
  6. 完整贝叶斯比 MAP 多保留了什么?在本章硬币例子中,MAP 点和后验预测各是多少?计算与近似有何代价?
👀 答案与核对位置
  1. MAP 加入负对数先验 $R(\theta)$;贝叶斯定理把后验写成似然与先验的乘积。
  2. 本章固定高斯噪声与高斯先验时,平方和目标的 λ 为 $\sigma^2/\tau^2$。两项一起除以 $n$ 后,均方误差目标的系数变为 $\sigma^2/(n\tau^2)$。
  3. 不能。只有同一模型、同一目标和尺度、固定其余因素的比较,才能从比值推出该方向;最佳验证效果还依赖其他条件。
  4. 概率对应是“拉普拉斯负对数产生 L1 惩罚”;零解来自惩罚的尖角、软阈值及约束的角点。连续先验的单点概率仍为 0。L2 通常连续收缩,但在某些数据下也会恰好得到 0。
  5. 固定先验、固定维数等条件下,累计数据项变得更重要;具体渐近结论还需模型正则条件。若固定的是平均损失里的惩罚系数,就不是固定先验的同一比较。
  6. 保留 Beta(5, 2) 整条后验,而不只保留最高点 0.8。下一次正面的后验预测是 $5/7$。一般积分可能难算;MCMC、变分、MC Dropout 和集成各有假设与验证要求,普通集成不自动等于后验抽样。

本节回顾

先记住这四件事

下一节 👉 03-感知机.md

打卡记录保存在你的浏览器里,首页能看到总进度