02 · 从问题进入原章节
先验怎样变成训练目标里的 L2 或 L1 惩罚?
似然与先验相乘得到后验;取负对数后,高斯先验对应 L2,拉普拉斯先验对应 L1。损失从求和改成平均时要重新看系数尺度。
读后可检查:能区分先验形状、惩罚形式和相对权重,不把优化器的 weight_decay 一概等同于 MAP。
📑 本页目录(点开跳转)
02 · MAP 与正则化的真身
⏱ 22 分钟(原预计,仅供参考,可分次读) | 先看硬币例子,再决定要不要看推导
🎯 一句话
给模型加 L2 惩罚,可以解释为:在指定的概率模型里,用高斯先验做 MAP 估计。
这是一种理解正则化的方式,不是否定“防过拟合”的作用。关键在于:先说明似然、先验和损失怎样计量,再谈它们的对应关系。
第一次读,先走这条线:
🧠 一、从 MLE 到 MAP:加入先验
上一章观察到 3 次正面、0 次反面。如果允许正面概率 $p$ 取到 1,MLE 会选 $p=1$。
这只是“在这 3 次观察下,似然最大的点”。它不证明这枚硬币永远不会出现反面。
MAP 多问一个问题:看数据之前,你对 $p$ 有什么假设?
把“偏向 0.5”写成一个明确的先验
这里选 Beta(2, 2) 先验。它是定义在 0 到 1 上的一条密度曲线,中心偏向 0.5;看到 3 次正面后,后验变成 Beta(5, 2),最高点在 0.8。
先把 Beta 当成“这类曲线的名字”即可。图中三条曲线都来自这个算例,不是随手画的示意峰;不能据此推断所有后验都比先验更窄。
| 选择方法 | 这个算例的结果 |
|---|---|
| MLE:选似然最大的点 | $p=1$ |
| MAP:选后验密度最大的点 | $p=0.8$ |
MAP 没有把观察丢掉:结果仍然偏向正面,只是没有因为 3 次观察就把点估计推到 1。换先验,结果也可能改变;0.8 不是唯一不依赖假设的答案。
贝叶斯定理把两者连起来
$D$ 表示数据,$\theta$ 表示要估计的参数。贝叶斯公式是:
$$p(\theta\mid D)=\frac{p(D\mid\theta)p(\theta)}{p(D)}$$
只看这四个位置:
- $p(D\mid\theta)$:似然,数据支持这个参数到什么程度。
- $p(\theta)$:先验,看数据之前对参数的假设。
- $p(\theta\mid D)$:后验,结合两者后得到的分布。
- $p(D)$:归一化用的量;固定模型和数据时,它不随 $\theta$ 变化。
计算 MAP 时,可以取对数再取负号。定义两笔“代价”:
$$L(\theta)=-\log p(D\mid\theta)$$
$$R(\theta)=-\log p(\theta)$$
于是要找的点是:
$$\hat\theta_{\mathrm{MAP}}=\arg\min_\theta\{L(\theta)+R(\theta)\}$$
正则项的连接就在这里:负对数先验 $R$ 会变成对权重的惩罚。 接下来只需要看:不同先验会变成什么形状的惩罚?
⭐ 二、L2 正则与高斯先验
假设权重服从零均值高斯分布
先验 $w\sim N(0,\tau^2 I)$ 表示:各个权重在先验中相互独立、都以 0 为中心,方差都是 $\tau^2$。$I$ 是单位矩阵。
横轴是权重,纵轴是先验密度。两条完整分布的面积都为 1;图中只截取中间一段。
看曲线的宽度: $\tau^2$ 小,先验更集中于小权重;$\tau^2$ 大,允许的权重范围更宽。宽先验仍然是一个先验,不等于毫无假设。
💡 先看结论和适用条件
本节用的是线性回归 + 独立同方差高斯噪声。噪声方差 $\sigma^2>0$、先验方差 $\tau^2>0$ 都先当作固定的已知量。
记 $Q(w)$ 为所有样本的残差平方和:
$$Q(w)=\sum_{i=1}^{n}(y_i-w^\top x_i)^2$$
在这些条件下,MAP 等价于最小化:
$$Q(w)+\lambda\|w\|_2^2$$
$$\boxed{\lambda=\frac{\sigma^2}{\tau^2}}$$
这是“平方和 + λ × 权重平方和”这套写法下的 λ。 它不是所有库里名叫 λ、alpha 或 weight_decay 的参数都能直接套用的换算式。
📐 展开三步推导:平方惩罚从哪里来
第一步:先验取负对数。 每个权重的高斯密度含有指数项 $\exp[-w_j^2/(2\tau^2)]$。独立意味着密度相乘,取对数后变成相加:
$$-\log p(w)=C+\frac{\|w\|_2^2}{2\tau^2}$$
$C$ 不随 $w$ 变化,不影响最优点。
第二步:加上似然的代价。 高斯噪声给出的负对数似然是 $Q(w)/(2\sigma^2)$ 加常数。因此 MAP 最小化:
$$\frac{Q(w)}{2\sigma^2}+\frac{\|w\|_2^2}{2\tau^2}$$
第三步:整体乘以正数 $2\sigma^2$。 最优点不变,就得到上面的平方和目标和 $\lambda=\sigma^2/\tau^2$。
这里没有同时估计 $\sigma^2$ 或 $\tau^2$;如果也要优化它们,就不能随意扔掉与它们有关的常数项。
同一份数据,改用“平均损失”会怎样?
若把平方和除以样本数 $n$,正则项也要一起除,才能保持同一个 MAP 问题:
$$\frac{Q(w)}{n}+\lambda_{\mathrm{mean}}\|w\|_2^2$$
$$\lambda_{\mathrm{mean}}=\frac{\sigma^2}{n\tau^2}$$
例如 $\sigma^2=4$、$\tau^2=2$、$n=100$:平方和写法的 λ 是 2;均方误差写法的 λ 是 0.02。两个数字不同,最优点相同。
若数据项和惩罚项还带有不同的 $1/2$ 因子,系数也要相应换算。先看目标函数原样怎么写,再比较数值大小。
哪些因素会改变相对惩罚?
下面只比较同一套平方和目标,且除表中那一项外,其余条件不变:
| 改变的量 | λ 的变化 | 在这个模型中的含义 |
|---|---|---|
| 噪声方差 $\sigma^2$ 增大 | 增大 | 似然对权重的约束相对变弱 |
| 噪声方差 $\sigma^2$ 减小 | 减小 | 更信任当前观测 |
| 先验方差 $\tau^2$ 增大 | 减小 | 允许权重离 0 更远 |
| 先验方差 $\tau^2$ 减小 | 增大 | 更强地偏向小权重 |
当 $\tau^2$ 趋向无穷,惩罚系数趋向 0;目标趋近 MLE 的目标。无穷方差不是一个正规的高斯分布,这里只是在说目标函数的极限,最优解的收敛还需额外条件。
因此,不能仅凭“另一个数据集更吵”就断言它最佳的 λ 必须更大。样本量、特征尺度、先验和目标写法都可能一起改变,实际仍要做验证。
🔀 三、L1 正则与拉普拉斯先验
把每个权重的先验换成零中心的拉普拉斯分布,尺度为 $b>0$:
$$p(w_j)=\frac{1}{2b}\exp\left(-\frac{|w_j|}{b}\right)$$
这里指数里是绝对值,不是平方。独立先验取负对数后得到:
$$-\log p(w)=C+\frac{1}{b}\sum_j|w_j|$$
它就是 L1 惩罚。在本章同一高斯似然下,若仍写成 $Q(w)+\lambda_1\|w\|_1$,则 $\lambda_1=2\sigma^2/b$。
为什么 L1 的解可能恰好为 0?
先纠正一个很容易误会的点:拉普拉斯分布是连续分布,在精确的 0 上也没有正的概率质量。 密度在零点最高,不等于“从先验抽样,会频繁抽到恰好为零”。
零系数来自另一件事:用带尖角的 L1 惩罚做优化时,最优点可能停在 0。
看一个只有一个权重的教学算例。没有惩罚时,目标希望 $w$ 靠近观测值 $z$;加入惩罚后最小化:
$$\frac12(w-z)^2+\lambda_1|w|$$
取 $\lambda_1=1$:
| $z$ | L1 的最优 $w$ |
|---|---|
| 0.6 | 0 |
| −0.6 | 0 |
| 2 | 1 |
这里的 $\lambda_1$ 属于这条一维目标,不能直接照搬前面平方和目标中的系数。
📐 为什么一个区间的 z 都会对应到 0?
当 $w=0$,绝对值函数的次梯度是区间 $[-1,1]$。只要 $|z|\leq\lambda_1$,就能让整个目标在 0 满足最优条件。
因此解具有“软阈值”形式:小于阈值的部分直接变成 0;超过阈值的部分保留符号,再减去阈值。
若改成 L2 目标:
$$\frac12(w-z)^2+\frac{\lambda_2}{2}w^2$$
则:
$$w^*=\frac{z}{1+\lambda_2}$$
L2 会连续收缩,而不是把一整个非零 $z$ 区间压成 0。但若 $z=0$,L2 的解也恰好为 0。 “L2 永远没有零系数”同样不对。
几何上要看哪里?
L1 的菱形约束在坐标轴上有角;L2 的圆形约束没有角。角点让 L1 更容易选出有零分量的解,但不保证每次都稀疏。
📐 看同一个二次损失怎样接触两种约束
取损失为到点 $(2,0.6)$ 的欧氏距离平方。下面把损失等高线画成圆;一般二次损失的等高线也可能是椭圆。
从灰色的无约束最小点向外扩大蓝色等高线,第一次碰到橙色区域的位置就是解。
在这个约束算例中,L1 解为 $(1,0)$,L2 解约为 $(0.958,0.287)$。图中的点确实位于各自的约束边界上,也位于首次接触的损失等高线上。
约束形式与惩罚形式在适当的凸优化条件下可以对应;约束半径并不直接等于惩罚系数 λ。
📋 四、哪些对应是严格的,哪些要加条件?
可以直接从目标函数读出的对应
在本节指定的似然下:
- 最小二乘:高斯噪声的 MLE,不使用参数先验。
- 岭回归 / L2:独立零均值高斯先验的 MAP。
- Lasso / L1:独立零中心拉普拉斯先验的 MAP;稀疏指的是优化结果。
- ElasticNet:同时加入 L1 和 L2 惩罚。
ElasticNet 对应的先验密度形式是:
$$p(w)\propto\exp[-a\|w\|_1-b\|w\|_2^2]$$
这里 $a,b\geq0$ 且至少一个为正。它是两种惩罚对应密度因子的乘积,不是“先掷硬币,再从高斯或拉普拉斯中选一个抽样”的混合分布。
weight_decay 要看优化器如何实现
普通、无动量的 SGD 中,对损失加 $\alpha\|w\|_2^2/2$,梯度就多出 $\alpha w$。这与同一步里按学习率缩小权重的更新等价。
AdamW 则把权重衰减从自适应梯度更新中解耦。 它通常不等同于“把同样的 L2 项加入损失,再交给 Adam”。所以仅看到 weight_decay=0.01,不能就宣布已经确定了一个方差为某值的高斯先验。原论文:Decoupled Weight Decay Regularization
早停和 Dropout 也不能一概写成 MAP
早停限制优化过程走到哪里,能产生隐式正则效果。它与优化方法、数据和停止时间有关,不能一般地替换成某个固定的独立高斯先验。
Dropout通过随机屏蔽部分单元参与训练。在特定模型和近似推断设定下,它有贝叶斯解释;不是所有使用 Dropout 的训练都在做精确贝叶斯推断。Gal 与 Ghahramani,2016
想看这些方法的实际作用,可以回到基础教程第 10 章:正则化全家桶。这里补充的是数学连接,不把所有正则化强行归为同一个先验。
🌡️ 五、数据量如何冲淡先验
回到同一个 Beta(2, 2) 先验。若观察到 $n$ 次正面、0 次反面,后验为 Beta($n+2$, 2),MAP 为 $(n+1)/(n+2)$:
| 观察结果 | MLE | MAP |
|---|---|---|
| 3 次全正面 | 1 | $4/5=0.8$ |
| 30 次全正面 | 1 | $31/32=0.96875$ |
| 300 次全正面 | 1 | $301/302\approx0.99669$ |
表里可以直接看到:先验不变,数据增多,两个点估计越来越接近。
原因是:独立样本的对数似然是一项项相加的;固定先验只贡献同一项。也可以把整体目标除以 $n$ 来看:
$$\frac{L(\theta)}{n}+\frac{R(\theta)}{n}$$
这里 $L$ 是总负对数似然,$R$ 是固定的负对数先验。相对于平均数据项,先验项带上了 $1/n$。
但不是无条件定律。 把“MAP 接近 MLE”推广到一般模型,还需要参数维数固定、模型可识别、先验不排除数据支持的区域等常见正则条件。
若模型随数据一起扩大、样本强相关、先验随 $n$ 改变,或始终固定“平均损失里的惩罚系数”,就不是刚才的比较。不能据此宣称“大模型时代正则化不重要”或“一定要把 dropout / weight decay 调小”。
🎓 六、再往前一步:保留整个后验
MLE 和 MAP 都只返回一个点;完整后验还描述这个点以外的参数有多受支持。
还是 Beta(2, 2) 先验加 3 次正面的例子:
| 看什么 | 得到什么 |
|---|---|
| 似然最高点 | MLE:1 |
| 后验密度最高点 | MAP:0.8 |
| 整条后验密度 | Beta(5, 2) |
0.8 是参数估计,不是“这个答案有 80% 把握”。 想问 $p$ 落在某个区间的概率,要对该区间的后验密度积分。
下一次抛硬币,预测正面的概率是多少?
若直接代入 MAP 点,得到 0.8。完整贝叶斯预测会把不同 $p$ 按后验加权平均:
$$P(\text{下次正面}\mid D)=E[p\mid D]=\frac57$$
约为 0.7143。后验最高点与后验平均值不是一回事,所以这两个预测不同。
📐 换成一般模型:后验预测的积分
对固定的新输入 $x^*$,先记每个参数下的预测为:
$$q_\theta(y^*)=p(y^*\mid x^*,\theta)$$
把后验记为 $\pi_D(\theta)=p(\theta\mid D)$。完整预测就是:
$$p(y^*\mid x^*,D)=\int q_\theta(y^*)\pi_D(\theta)\,d\theta$$
这是“用后验权重平均各参数下的预测”,不是把所有模型等权投票。
多得到什么,又付出什么?
多得到不确定性描述。 例如“点预测 5.2,预测区间 3 到 8”是区间报告的示意写法,不是本章算出的实验结果;实际报告还应注明区间概率和计算模型。
后验也不保证遇到分布外输入就自动变得不确定。模型和先验若设错,结果仍可能很自信地错。
可以比较候选模型。 边际似然会平均一个模型在其先验下的拟合表现,有时体现复杂度惩罚;结论依赖先验和候选模型,不是自动选对模型的保证。
代价是计算。 硬币这种共轭例子能直接算,一般模型的积分可能很难,需要 MCMC、变分推断等方法。有限运行和近似方法都需要诊断,不是多跑几次就自然可靠。
两种实用的不确定性估计,别混成同一回事
- MC Dropout:预测时重复使用随机 Dropout 掩码,观察输出的分布。在相关近似设定下有贝叶斯解释;需要正确管理其他层的推理状态。
- 深度集成:训练多个模型,再组合预测。它能用于估计不确定性,但普通独立训练得到的模型,不自动等于从后验中抽出的样本。Deep Ensembles 原论文
两者都应做校准和验证;只看模型间的方差,还不一定覆盖观测噪声等全部不确定性。
🔗 七、和站内其他章的关系
- 看到 weight_decay:先查优化器和目标写法,回看本章对应条件。
- 用 L1 选择特征:关注零系数和稳定性;数学原因在软阈值与几何解释,不是连续先验在零点有概率质量。
- λ 太大可能欠拟合、太小可能过拟合:先对齐尺度和样本平均方式,再用验证结果选择,不能只凭先验比值猜数。
- 数据更多或噪声更大:分别核对数据量与噪声比较的固定条件。
- 推荐算法第 5 章的矩阵分解:对用户向量 $p$ 和物品向量 $q$ 加 $\lambda(\|p\|^2+\|q\|^2)$,可对应高斯先验;还要配合该目标的似然与归一化。
- 组合多个模型的预测:普通集成不等于贝叶斯模型平均,回看两种不确定性估计。
✅ 检查点
- MLE 与 MAP 在目标中差了什么?它来自哪里?
- 什么条件下 L2 对应高斯先验?平方和换成均方误差时 λ 怎么变?
- 只知道另一个数据集噪声更大,能断言它最佳 λ 更大吗?
- 为什么 L1 可能产生零系数?连续拉普拉斯先验会经常抽到精确的 0 吗?L2 能有零系数吗?
- 什么比较条件下,数据增加会减弱固定先验的相对影响?
- 完整贝叶斯比 MAP 多保留了什么?在本章硬币例子中,MAP 点和后验预测各是多少?计算与近似有何代价?
👀 答案与核对位置
- MAP 加入负对数先验 $R(\theta)$;贝叶斯定理把后验写成似然与先验的乘积。
- 本章固定高斯噪声与高斯先验时,平方和目标的 λ 为 $\sigma^2/\tau^2$。两项一起除以 $n$ 后,均方误差目标的系数变为 $\sigma^2/(n\tau^2)$。
- 不能。只有同一模型、同一目标和尺度、固定其余因素的比较,才能从比值推出该方向;最佳验证效果还依赖其他条件。
- 概率对应是“拉普拉斯负对数产生 L1 惩罚”;零解来自惩罚的尖角、软阈值及约束的角点。连续先验的单点概率仍为 0。L2 通常连续收缩,但在某些数据下也会恰好得到 0。
- 固定先验、固定维数等条件下,累计数据项变得更重要;具体渐近结论还需模型正则条件。若固定的是平均损失里的惩罚系数,就不是固定先验的同一比较。
- 保留 Beta(5, 2) 整条后验,而不只保留最高点 0.8。下一次正面的后验预测是 $5/7$。一般积分可能难算;MCMC、变分、MC Dropout 和集成各有假设与验证要求,普通集成不自动等于后验抽样。
本节回顾
先记住这四件事
- MAP 把似然与先验一起用于选择参数;它仍是点估计。
- L2、L1 可以从高斯、拉普拉斯先验得到,但系数依赖目标的写法。
- L1 的零解来自带尖角的优化,不是连续先验在零点有概率质量。
- 数据量、weight decay 和不确定性的结论,都要连同适用条件一起看。
下一节 👉 03-感知机.md