🏠 总目录📚 本教程 01 · 最大似然 ← →

01 · 从问题进入原章节

最小二乘的平方损失在什么噪声假设下出现?

先辨认连续数据的密度,再从高斯噪声的负对数似然走到平方损失;二分类交叉熵要换成伯努利假设。

读后可检查:能说出损失函数对应的分布假设,也能解释为何不能把密度当成精确点概率。

📑 本页目录(点开跳转)

01 · 最大似然:最小二乘的真身

⏱ 28 分钟 | 时间仅供参考,可以分几次读完。


🎯 一句话

最大似然(MLE)是在选参数:固定已经观察到的数据,比较哪些参数让这份观测的似然更大。

硬币结果是离散的,可以直接比较概率;身高、温度等连续量,要比较概率密度。它是选参数的原则,不是具体求解算法。

本章用一枚硬币、一次回归和一个分类例子,解释平方误差、交叉熵怎样从概率模型中得到。不是所有训练目标都必须来自 MLE。

先按需要选入口:


🧠 一、先建立直觉

你捡到一枚硬币,抛 10 次,8 次正面。我们假设各次投掷独立,且每次正面概率都是同一个 $p$。

先比较候选值,不急着求导。表里问的是:如果某个 $p$ 是真的,出现“10 次里恰好 8 次正面”的概率有多大?

假设 p 是 恰好 8 次正面的概率
0.5 约 4.4%
0.7 约 23.3%
0.8 约 30.2%
0.9 约 19.4%

0.8 在这些候选里最好。下面的公式还能确认:它也是整个 $[0,1]$ 范围的最优点,而不只是表里四选一。

想复算:45 从哪里来,为什么最大值在 0.8?

这里记录的是正面总次数。8 个正面可出现在 10 个位置中的任意 8 个,共 $\binom{10}{8}=45$ 种顺序。

$$L(p)=45p^8(1-p)^2$$

若记录的是某一条确定的正反面顺序,似然没有前面的 45。这个因子不随 $p$ 变化,所以两种记录得到同一个 MLE。

对 $0<p<1$ 求对数再求导:

$$\ell'(p)=\frac8p-\frac2{1-p}$$

令它为 0,得到 $8(1-p)=2p$,所以 $\hat p=0.8$。导数在 0.8 左侧为正、右侧为负;两个端点的似然都是 0,因此这是全局最大值。

这个结果是估计,不是“真相已经确定”。10 次观察仍可能来自正面概率为 0.7 的硬币;MLE 只是按当前模型与数据选择最优参数。

⚠️ 一个必须分清的概念

似然:数据固定,参数在变。记作 $L(\theta)=p(D\mid\theta)$;这里的 $\theta$ 是待比较的参数,例如硬币的 $p$。

后验:给定数据后,参数的概率分布。记作 $p(\theta\mid D)$;它还要结合先验,下一章再讲。

同一个 $p(D\mid\theta)$,固定参数、让数据变化时是数据的概率模型;称它为似然时,我们恰好反过来固定数据、比较参数。

似然通常没有按参数归一化,因此不能直接当成参数的概率分布。说“$p=0.8$ 时,这次计数的似然约为 30.2%”,不等于说“硬币参数为 0.8 的概率是 30.2%”。

连续数据:密度不是某个精确值的概率

在连续模型里,恰好取某一个精确数值的概率通常为 0;区间内的概率才由密度积分得到。

例如标准正态在 0 处的密度约为 0.399。它不是“取到 0 的概率为 39.9%”。密度甚至可以大于 1:均匀分布在 $[0,0.1]$ 上时,密度是 10,但整个区间的概率仍是 1。

连续量的 MLE 比较的是观测点处的联合密度,而不是把每个精确值的概率 0 乘起来。

两次正态误差相加,中心和波动怎样变?

先把一次测量理解成「中心 + 偏差」。这里把测量单位记为同一种单位。均值 $\mu$ 是中心,标准差 $\sigma$ 与测量同单位,方差 $\sigma^2$ 的单位是测量单位的平方。记号 $N(\mu,\sigma^2)$ 的第二项是方差,且 $\sigma>0$。

密度μ−σμμ+σ读数
均值两侧等距离的密度相同,左右偏差乘上同样的密度权重后相互抵消。依据:NIST 正态密度,曲线按公式绘制。

在正态密度 $f(x)=e^{-(x-\mu)^2/(2\sigma^2)}/(\sigma\sqrt{2\pi})$ 中,$x$ 是横轴上的可能读数,$e$ 是自然指数的底,$\pi$ 是圆周率。平方使 $+d$ 与 $-d$ 的指数相同,指数的负号使远离中心时密度变小。注意,图上某一点的高度仍是密度,区间概率要看面积。

现在加两次读数 $X,Y$。均值可以直接相加,因为期望 $E$ 对加法可分。为衡量总偏差,把每次读数先减去自己的均值,得到 $U=X-E[X]$、$V=Y-E[Y]$,再展开平方:

$$\operatorname{Var}(X+Y)=E[(U+V)^2]=E[U^2]+E[V^2]+2E[UV].$$

$E[U^2]$、$E[V^2]$ 各是方差。$E[UV]$ 是协方差 $\operatorname{Cov}(X,Y)$,它度量同向或反向波动。系数 2 来自展开时的 $UV+VU$。独立表示联合分布可拆成边缘分布的乘积,此时 $E[UV]=E[U]E[V]=0$。

联合高斯(Jointly Gaussian)意味着这些变量的任意线性组合都是正态(常数可视作退化例)。独立正态合在一起是联合高斯。两个变量各自是正态时,单凭各自的分布还不足以保证它们的和是正态。方差展开本身只需要二阶矩存在。依据:MIT 6.436J 第 14 讲。

检查点:协方差为负时,差值的方差怎么变?

差值的中心化偏差为 $U-V$。平方的交叉项是 $-2UV$,所以协方差为负会增大方差。以上面的两个边缘方差为例,协方差为 $-3$ 时,差值方差为 $4+9-2(-3)=19$。

把和与差各自标准化,什么时候得到 F 分布?

设 $X,Y$ 的均值都为 0,$S=X+Y$ 是和,$D=X-Y$ 是差。要比较它们偏离 0 的程度,先把各自的偏差换成「几个标准差」,再平方比较大小。

  1. 原始变量 $(X,Y)$ → 和 $S=X+Y$、差 $D=X-Y$
  2. 各用自己的标准差 → $Z_S=S/\sqrt{\operatorname{Var}(S)}$、$Z_D=D/\sqrt{\operatorname{Var}(D)}$
  3. 平方 → $Z_S^2$、$Z_D^2$
  4. 取比值 → $Z_S^2/Z_D^2$,要求分母非零
先统一尺度,再看两个标准化结果是否独立。依据:NIST F 分布定义和MIT 联合高斯的性质。

展开 $(X+Y)(X-Y)$ 时,两项 $XY$ 抵消。在这里均值为 0,因此协方差 $\operatorname{Cov}(S,D)=E[X^2]-E[Y^2]=\operatorname{Var}(X)-\operatorname{Var}(Y)$。若 $X,Y$ 是独立标准正态,两者各有方差 1、协方差 0,于是 $S,D$ 的方差都为 $1+1=2$,协方差为 $1-1=0$。由于 $S,D$ 也是联合高斯,零协方差在这个前提下推出独立。

一个标准正态变量的平方就是自由度为 1 的卡方变量(Chi-square,$\chi^2$)。F 分布是两个独立卡方变量各自除以自由度后的比值,分子和分母的自由度按这个顺序写。这里分子、分母都来自一个独立的标准正态平方,两个自由度各为 1,所以 $(S/\sqrt2)^2/(D/\sqrt2)^2\sim F(1,1)$。若这一次观察到 $X=2,Y=1$,则 $S=3,D=1$,比值为 $(3/\sqrt2)^2/(1/\sqrt2)^2=(9/2)/(1/2)=9$。

把 $a,b$ 分别记作 $X,Y$ 的方差,$c$ 记作协方差。由和差的平方展开,两个方差分别为 $a+b+2c$ 和 $a+b-2c$,协方差为 $a-b$。在联合高斯且两个方差都为正时,可以把这三项先算好再判断:

检查点:X、Y 独立,但方差一个是 1、另一个是 4,S 和 D 会独立吗?

即使 $X,Y$ 独立,$\operatorname{Cov}(S,D)=1-4=-3$ 仍为非零,因此 $S,D$ 不独立。独立是对具体变量对说的。

动手核验:复算和差的协方差,再用固定种子抽样

使用 Python 3 标准库,无额外依赖。矩阵 $C$ 的两行分别是和、差的系数。输入 $\Sigma$ 是 $X,Y$ 的协方差矩阵,结果 $C\Sigma C^\mathsf T$ 的两个对角元是理论方差,其余两个元是和差的协方差。抽样再单独检查两个和的均值和方差,以及独立标准正态例中比值不超过 1 的频率。

from math import sqrt
from random import Random
from statistics import mean, variance

# Each row gives the coefficients of X and Y.
C = ((1, 1), (1, -1))

def covariance_sum_difference(a, b, c):
    sigma = ((a, c), (c, b))
    return tuple(
        tuple(sum(left[i] * sigma[i][j] * right[j]
                  for i in range(2) for j in range(2))
              for right in C)
        for left in C
    )

assert covariance_sum_difference(4, 9, 0)[0][0] == 13
assert covariance_sum_difference(4, 9, 3)[0][0] == 19
assert covariance_sum_difference(1, 1, 0) == ((2, 0), (0, 2))
assert covariance_sum_difference(1, 1, 0.5) == ((3, 0), (0, 1))
assert covariance_sum_difference(1, 4, 1) == ((7, -3), (-3, 3))
assert (2 + 1) ** 2 / (2 - 1) ** 2 == 9

rng = Random(2026)
independent_sums, correlated_sums = [], []
below_one = 0
n = 30_000
for _ in range(n):
    z, w = rng.gauss(0, 1), rng.gauss(0, 1)
    x = 1 + 2 * z
    independent_sums.append(x + 2 + 3 * w)
    # Cov(X,Y) = 2 * 1.5 = 3; Var(Y) = 1.5² + (9 - 1.5²).
    correlated_sums.append(x + 2 + 1.5 * z + sqrt(9 - 1.5 ** 2) * w)
    below_one += (z + w) ** 2 <= (z - w) ** 2

for values, theory in ((independent_sums, 13), (correlated_sums, 19)):
    observed_mean, observed_var = mean(values), variance(values)
    assert abs(observed_mean - 3) < 0.1
    assert abs(observed_var - theory) < 0.5
    print(f"mean={observed_mean:.3f}, variance={observed_var:.3f}")
frequency = below_one / n
assert abs(frequency - 0.5) < 0.02
print(f"P(F <= 1), sample frequency={frequency:.3f}")

五组协方差参数用精确断言复算。模拟用固定种子与容差,结果只是样本核对。比较比值是否不超过 1,相当于比较两个平方的大小,也避开了除以接近 0 的数。独立同分布且无平局时,两边较大的机会各为一半,所以理论概率是 0.5。$F(1,1)$ 没有有限均值,此处用概率作核对。依据:NIST F 分布的均值条件。

回到最大似然:密度描述单次读数,独立性决定多次读数的联合密度能否拆开。下面才把这种联合密度用作参数的比较目标。


📐 二、数学形式

给定数据 $D=(x_1,\ldots,x_n)$ 和参数 $\theta$,先写出似然,再寻找它的最大点:

$$L(\theta)=p(D\mid\theta)$$

$$\hat\theta_{\mathrm{MLE}}=\arg\max_\theta L(\theta)$$

$\arg\max$ 返回使目标最大的参数,不是最大似然值本身。在这里,$p$ 统一表示离散概率或连续密度。

当样本在给定参数后独立时,联合似然可分解为:

$$L(\theta)=\prod_{i=1}^n p(x_i\mid\theta)$$

如果数据有依赖,不能直接使用这个独立连乘式;应写对应的联合模型,或按条件概率链式分解。

实践中通常最大化对数似然:

$$\ell(\theta)=\sum_{i=1}^n\log p(x_i\mid\theta)$$

$$\hat\theta=\arg\max_\theta\ell(\theta)$$

取对数有三个好处:

  1. 降低连乘下溢风险。很多小数相乘可能超出浮点数能表示的范围。
  2. 乘法变加法。求导和实现常常更方便。
  3. 保持最优参数。对数严格单调递增;似然为 0 时可把对数记作 $-\infty$。

先看一个能复现的数值例子

1000 个 0.5 相乘,在本机 Python 的双精度 float 中还不是 0;1100 个在这个例子中下溢为 0。不同浮点类型的范围不同。

import math
import sys

print("float 有效二进制位数:", sys.float_info.mant_dig)
for n in (1000, 1100):
    product = math.prod([0.5] * n)
    log_sum = n * math.log(0.5)
    print(n, product, round(log_sum, 3))

本机有效二进制位数为 53 时:

因子个数 直接连乘 对数之和
1000 9.332636185032189e−302 −693.147
1100 0.0 −762.462

看第二行:乘积已丢掉大小信息,对数之和仍能比较。要先对每项取对数再相加;先乘到 0 再取 log,救不回来。

若单项概率本身已经被算成 0,还需要直接计算稳定的对数概率或对数密度。Python 浮点说明

最大化对数似然,等价于最小化负对数似然。这给出了一类重要的损失函数;下面看两个具体模型。


⭐ 三、高光时刻:最小二乘 = 高斯噪声下的 MLE

先看结论:在独立、零均值、同方差的高斯噪声模型下,对回归参数做 MLE,得到最小二乘。

建模假设

把输入 $x_i$ 当作已知。模型预测为 $w^\top x_i$,实际输出与预测之间有噪声:

$$y_i=w^\top x_i+\varepsilon_i$$

横轴是输入 x,纵轴是输出 y。每个固定 x 上,噪声让 y 围绕 w·x 呈钟形分布;小曲线向右鼓出的宽度表示密度,不是另一条回归线。固定 x,观察 y 在预测值两侧的波动中心 y = w·xxy
横轴是输入 x,纵轴是输出 y。每个固定 x 上,噪声让 y 围绕 w·x 呈钟形分布;小曲线向右鼓出的宽度表示密度,不是另一条回归线。

给定一个 $x$,$y$ 围绕预测值波动,即 $y\mid x,w\sim\mathcal N(w^\top x,\sigma^2)$。图中的钟形是这个条件密度,不是又拟合出几条回归线。

📐 推导:把高斯密度拆成“常数 + 平方误差”

先缩写残差 $r_i=y_i-w^\top x_i$。用 $f_i$ 表示当前样本的条件密度 $p(y_i\mid x_i,w)$:

$$f_i=\frac1{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{r_i^2}{2\sigma^2}\right)$$

独立样本的对数似然为 $\log L(w)=\sum_i\log f_i$。展开后:

$$\log L(w)=C-\frac1{2\sigma^2}\sum_i r_i^2$$

其中 $C=-\frac n2\log(2\pi\sigma^2)$。固定 $\sigma$ 时,$C$ 和正系数 $1/(2\sigma^2)$ 都不随 $w$ 改变。

所以只需让残差平方和最小:

$$\hat w=\arg\min_w\sum_i(y_i-w^\top x_i)^2$$

这就是最小二乘。除以固定的样本数 $n$ 得到 MSE,也不改变最优参数。

若同时估计共同方差,在最小残差平方和为正时,联合 MLE 的 $w$ 仍是最小二乘解;若能完全拟合且允许方差趋于 0,似然可无界增大,不能直接声称存在一个有限的联合最大值。

💡 结论(不看推导也要记住这句)

高斯噪声假设可以推出平方误差,但用了平方误差,不能反过来证明真实噪声是高斯。

平方误差还可用于预测条件均值,只要相应二阶矩存在,不必先相信整个噪声分布是正态。Stanford CS229:最小二乘的概率解释

离群点为什么可能影响很大?残差从 2 增加到 20,平方损失从 4 增加到 400。它对总损失的贡献增长了 100 倍,优化时可能强烈影响拟合结果;不是“见到任何离群点都会崩”。

换成 L1 会怎样?同样两项残差的绝对值损失是 2 和 20,只增长 10 倍。固定尺度的拉普拉斯噪声可推出绝对值误差,但不能据此保证抵抗所有类型的离群点。

为什么还要检查模型?已知各样本高斯噪声方差不同时,似然对应的是按方差倒数加权的平方误差;误差相关时还需考虑协方差,不能照搬普通最小二乘的推导条件。

🔬 一个能亲眼看到的实验

下面制造斜率为 2 的数据,再把第 46 个点的输出改成 100。比较两种回归器估出的斜率;需要 NumPy 和 scikit-learn。

import numpy as np
from sklearn.linear_model import LinearRegression, HuberRegressor

rng = np.random.RandomState(0)
X = np.linspace(0, 10, 50).reshape(-1, 1)
y = 2 * X.ravel() + 1 + rng.randn(50) * 0.5      # 真实斜率 = 2
y[45] = 100                                       # ⭐ 加一个离群点

print("最小二乘斜率:", LinearRegression().fit(X, y).coef_[0])   # 会被拽歪
print("Huber 斜率:  ", HuberRegressor().fit(X, y).coef_[0])     # 基本不动

用这份固定随机种子的代码,本机 scikit-learn 1.7.2 得到:

方法 加离群点后斜率
最小二乘 约 2.7094
Huber 约 1.9232
造数据时的斜率 2

这次实验里,Huber 的估计更接近 2。它没有完全忽略离群点,也不能从这一个实验推出“Huber 总更好”。

本例默认 HuberRegressor 还会估计尺度,并带很小的 L2 正则项;这是两个估计器的演示,不是严格只改变一个损失项的对照实验。HuberRegressor 官方说明

若要比较改点前后,可把同一脚本中的赋值行 y[45] = 100 暂时注释,再运行一次。

高斯噪声假设解释了平方损失的来源。下一节从伯努利似然推导二分类交叉熵。


🎲 四、二分类交叉熵:来自伯努利似然

这里先讲二分类:标签 $y_i$ 只能是 0 或 1,模型给出的正类概率记为 $p_i$。

第一步:模型输出一个概率

在逻辑回归中,先计算分数 $z_i=w^\top x_i$,再用 sigmoid 把它映射到 0 与 1 之间:

$$p_i=\sigma(z_i)=\frac1{1+e^{-z_i}}$$

这里的 $\sigma(\cdot)$ 是函数名,不是上一节表示噪声大小的 $\sigma$。

第二步:取出实际标签对应的概率

假设 $y_i\mid x_i$ 服从参数为 $p_i$ 的伯努利分布:

$$p(y_i\mid x_i,w)=p_i^{y_i}(1-p_i)^{1-y_i}$$

例如模型预测正类概率为 0.8:正标签得到概率 0.8,负标签只能得到 0.2。同一个预测,遇到不同真实标签,评价会不同。

第三步:取负对数,再汇总

单样本二分类交叉熵为:

$$\ell_i=-y_i\log p_i-(1-y_i)\log(1-p_i)$$

独立样本的负对数似然就是 $\sum_i\ell_i$。单独优化这一项时,改成平均值也有同一个最优解;若另加正则项,求和改平均时要同步考虑两者的相对权重。

当 $p_i=0.8$ 时,正标签的损失约为 0.223,负标签约为 1.609。看第二个数:模型对错误标签越自信,负对数损失越大。

二分类交叉熵是伯努利负对数似然,不是 MLE 这个估计过程本身。多分类的对应模型是类别分布。

对预测概率用平方误差也可以得到 Brier 分数,只是那不是同一个似然目标。scikit-learn 的概率评分说明

“交叉熵”还与信息论有关。01b · KL 散度 会说明:固定目标分布时,交叉熵与 KL 相差一个不随模型改变的熵项。

经验分布的拟合目标,不等于已经知道真实分布。连续数据也不能把有限样本的点质量,直接代入“经验分布对连续密度的有限 KL”公式;下一节会区分离散恒等式与总体期望的解释。


📋 五、损失函数速查:每一个背后的分布假设

这张表列的是可采用的概率解释,不是“使用这个损失就证明了分布”。固定尺度等条件不可省略。

损失 对应模型 主要目标
平方误差 MSE 同方差高斯 回归均值
绝对值误差 L1 / MAE 固定尺度拉普拉斯 回归中位数
Huber 密度正比于 exp(−Huber) 减弱大残差影响
交叉熵 伯努利 / 类别分布 分类概率
泊松负对数似然 泊松 非负整数计数
负二项负对数似然 负二项 过离散计数
分位数损失 固定尺度非对称拉普拉斯 指定条件分位数

从损失构造密度还差一步:归一化。如果归一化常数随待估参数变化,就必须放回似然;不能只保留 $\exp(-\text{损失})$ 的形状。

先看输出,再看评估目标。计数可考虑泊松,但需核对给定输入后的均值、方差及额外零值。负二项常用于条件方差大于条件均值的情形;仅凭原始数据的总体方差较大,还不能完成这项诊断。

Huber 不是高斯与拉普拉斯的加权混合。它在中心附近为二次损失,尾部为线性损失;高杠杆点等情况仍可能影响回归。L1 和 Huber 都不是通用的异常数据修复器。

目标也可能决定选择。想预测均值可考虑 MSE,想预测 90 分位可考虑分位数损失;不必先把数据宣布成某一种分布。


⚠️ 六、MLE 之后还要做的三个检查

把下面三点理解为需要补做的检查,不是“三个问题一出现,MLE 就不可用”。

检查 1:少量观察是否支持这个结论?

抛 3 次全是正面,伯努利似然为 $p^3$。若允许 $0\le p\le1$,最大值在 $\hat p=1$。

边界估计不是“证明这枚硬币永远没有反面”。它只说明:这 3 次观察没有提供反例,当前估计准则又没有额外约束。

数据少、模型又灵活时尤其要检查过拟合。正则化、合适先验或更多数据可能有帮助,但不是自动保证。若参数空间只允许 $0<p<1$,这个例子甚至只有趋近边界的上确界,没有实际取到的最大值。

检查 2:点估计有多可靠?

单独一个 MLE 点估计不附带可靠程度,但最大似然方法并不排斥不确定性分析。

抛 10 次得 8 次正面,与抛 10000 次得 8000 次正面,点估计都是 0.8;它们的似然函数集中程度不同。

可另外计算置信区间,或在适用条件下使用似然比、渐近近似、bootstrap 等方法。样本很少或参数在边界时,要特别检查近似是否适用,不能只报一个漂亮的区间。

检查 3:模型假设与数据是否合适?

MLE 是在指定模型族中比较参数。如果求到了全局最大值,它也只保证当前似然最优,不保证模型族正确、泛化最好或参数就是真实机制。

例如重尾误差下使用高斯似然,仍可能得到有用的均值估计;但效率、稳健性或不确定性解释可能不合适。应看残差、留出数据和敏感性分析,不能简单说“假设错一点,答案必错”。

下一章能解决什么,不能自动解决什么

想改变小样本点估计?下一章用合适的先验演示 MAP。先验会改变估计,但不保证任何先验都更好。

想表达不确定性?查看后验分布的分散程度,或另外做频率学派的区间估计。MAP 自己仍然是一个点,不是后验分布的全部。

怀疑模型不合适?检查残差、假设和敏感性。加了先验,不会自动修好错误的似然模型。


🔗 七、和站内其他章的关系


✅ 检查点

  1. MLE 固定什么、比较什么?它能确定“真相”吗?
  2. 似然与后验有什么区别?连续数据中的密度又为何不是精确值的概率?
  3. 取对数有哪些好处?什么情况下能把联合似然写成独立乘积?
  4. 最小二乘的高斯 MLE 解释需要哪些条件?反过来能证明噪声正态吗?
  5. 大残差为什么可能强烈影响平方误差?L1 / Huber 能保证解决所有离群点吗?
  6. 为什么计数数据可考虑泊松模型,却不能仅看类型就决定损失?
  7. 三次全正面、只有一个估计值、模型设定不合适,分别还需要检查什么?
👀 答案
  1. 固定已观察数据,在指定模型族中比较参数的似然。它是在估计,不是给真实参数盖章。
  2. 似然随参数变化,通常不是归一化的参数分布;后验结合了先验。连续密度要在区间上积分才是概率,不能读成精确点的概率。
  3. 降低连乘下溢风险、把乘法变加法、保持最大点。独立乘积要求给定参数后的样本独立;数值上还应避免单项先下溢再取 log。
  4. 输入给定,噪声独立、零均值、共同正方差;固定方差时对回归参数优化得到最小二乘。使用平方误差不能反证真实噪声为正态。
  5. 残差扩大 10 倍,平方惩罚扩大 100 倍;L1 只扩大 10 倍。它们改变了影响方式,但没有保证抵抗一切离群点。
  6. 还需检查条件均值与方差、额外零值、业务目标和验证表现;MSE 也可以用于预测计数的条件均值。
  7. 边界估计不是确定性结论;点估计之外可另做不确定性分析;模型假设需要残差、留出数据与敏感性检查。MAP 或先验不能自动完成这些检查。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 01b · KL 散度:区分固定分布、经验平均与真实分布,理解交叉熵和 KL 的联系。

若只想先理解“正则化怎样对应先验”,可跳到 02 · MAP 与正则化,再回来补 KL。

打卡记录保存在你的浏览器里,首页能看到总进度