01 · 从问题进入原章节
最小二乘的平方损失在什么噪声假设下出现?
先辨认连续数据的密度,再从高斯噪声的负对数似然走到平方损失;二分类交叉熵要换成伯努利假设。
读后可检查:能说出损失函数对应的分布假设,也能解释为何不能把密度当成精确点概率。
📑 本页目录(点开跳转)
01 · 最大似然:最小二乘的真身
⏱ 28 分钟 | 时间仅供参考,可以分几次读完。
🎯 一句话
最大似然(MLE)是在选参数:固定已经观察到的数据,比较哪些参数让这份观测的似然更大。
硬币结果是离散的,可以直接比较概率;身高、温度等连续量,要比较概率密度。它是选参数的原则,不是具体求解算法。
本章用一枚硬币、一次回归和一个分类例子,解释平方误差、交叉熵怎样从概率模型中得到。不是所有训练目标都必须来自 MLE。
先按需要选入口:
🧠 一、先建立直觉
你捡到一枚硬币,抛 10 次,8 次正面。我们假设各次投掷独立,且每次正面概率都是同一个 $p$。
先比较候选值,不急着求导。表里问的是:如果某个 $p$ 是真的,出现“10 次里恰好 8 次正面”的概率有多大?
| 假设 p 是 | 恰好 8 次正面的概率 |
|---|---|
| 0.5 | 约 4.4% |
| 0.7 | 约 23.3% |
| 0.8 | 约 30.2% |
| 0.9 | 约 19.4% |
0.8 在这些候选里最好。下面的公式还能确认:它也是整个 $[0,1]$ 范围的最优点,而不只是表里四选一。
想复算:45 从哪里来,为什么最大值在 0.8?
这里记录的是正面总次数。8 个正面可出现在 10 个位置中的任意 8 个,共 $\binom{10}{8}=45$ 种顺序。
$$L(p)=45p^8(1-p)^2$$
若记录的是某一条确定的正反面顺序,似然没有前面的 45。这个因子不随 $p$ 变化,所以两种记录得到同一个 MLE。
对 $0<p<1$ 求对数再求导:
$$\ell'(p)=\frac8p-\frac2{1-p}$$
令它为 0,得到 $8(1-p)=2p$,所以 $\hat p=0.8$。导数在 0.8 左侧为正、右侧为负;两个端点的似然都是 0,因此这是全局最大值。
这个结果是估计,不是“真相已经确定”。10 次观察仍可能来自正面概率为 0.7 的硬币;MLE 只是按当前模型与数据选择最优参数。
⚠️ 一个必须分清的概念
似然:数据固定,参数在变。记作 $L(\theta)=p(D\mid\theta)$;这里的 $\theta$ 是待比较的参数,例如硬币的 $p$。
后验:给定数据后,参数的概率分布。记作 $p(\theta\mid D)$;它还要结合先验,下一章再讲。
同一个 $p(D\mid\theta)$,固定参数、让数据变化时是数据的概率模型;称它为似然时,我们恰好反过来固定数据、比较参数。
似然通常没有按参数归一化,因此不能直接当成参数的概率分布。说“$p=0.8$ 时,这次计数的似然约为 30.2%”,不等于说“硬币参数为 0.8 的概率是 30.2%”。
连续数据:密度不是某个精确值的概率
在连续模型里,恰好取某一个精确数值的概率通常为 0;区间内的概率才由密度积分得到。
例如标准正态在 0 处的密度约为 0.399。它不是“取到 0 的概率为 39.9%”。密度甚至可以大于 1:均匀分布在 $[0,0.1]$ 上时,密度是 10,但整个区间的概率仍是 1。
连续量的 MLE 比较的是观测点处的联合密度,而不是把每个精确值的概率 0 乘起来。
两次正态误差相加,中心和波动怎样变?
先把一次测量理解成「中心 + 偏差」。这里把测量单位记为同一种单位。均值 $\mu$ 是中心,标准差 $\sigma$ 与测量同单位,方差 $\sigma^2$ 的单位是测量单位的平方。记号 $N(\mu,\sigma^2)$ 的第二项是方差,且 $\sigma>0$。
在正态密度 $f(x)=e^{-(x-\mu)^2/(2\sigma^2)}/(\sigma\sqrt{2\pi})$ 中,$x$ 是横轴上的可能读数,$e$ 是自然指数的底,$\pi$ 是圆周率。平方使 $+d$ 与 $-d$ 的指数相同,指数的负号使远离中心时密度变小。注意,图上某一点的高度仍是密度,区间概率要看面积。
现在加两次读数 $X,Y$。均值可以直接相加,因为期望 $E$ 对加法可分。为衡量总偏差,把每次读数先减去自己的均值,得到 $U=X-E[X]$、$V=Y-E[Y]$,再展开平方:
$$\operatorname{Var}(X+Y)=E[(U+V)^2]=E[U^2]+E[V^2]+2E[UV].$$
$E[U^2]$、$E[V^2]$ 各是方差。$E[UV]$ 是协方差 $\operatorname{Cov}(X,Y)$,它度量同向或反向波动。系数 2 来自展开时的 $UV+VU$。独立表示联合分布可拆成边缘分布的乘积,此时 $E[UV]=E[U]E[V]=0$。
- 若 $X\sim N(1,4)$、$Y\sim N(2,9)$ 且独立,和的均值是 $1+2=3$,方差是 $4+9+2\times0=13$,所以和服从 $N(3,13)$。
- 若保持两边的分布,改用联合高斯且协方差为 3,和仍以 3 为中心,方差变成 $4+9+2\times3=19$,所以和服从 $N(3,19)$。
联合高斯(Jointly Gaussian)意味着这些变量的任意线性组合都是正态(常数可视作退化例)。独立正态合在一起是联合高斯。两个变量各自是正态时,单凭各自的分布还不足以保证它们的和是正态。方差展开本身只需要二阶矩存在。依据:MIT 6.436J 第 14 讲。
检查点:协方差为负时,差值的方差怎么变?
差值的中心化偏差为 $U-V$。平方的交叉项是 $-2UV$,所以协方差为负会增大方差。以上面的两个边缘方差为例,协方差为 $-3$ 时,差值方差为 $4+9-2(-3)=19$。
把和与差各自标准化,什么时候得到 F 分布?
设 $X,Y$ 的均值都为 0,$S=X+Y$ 是和,$D=X-Y$ 是差。要比较它们偏离 0 的程度,先把各自的偏差换成「几个标准差」,再平方比较大小。
- 原始变量 $(X,Y)$ → 和 $S=X+Y$、差 $D=X-Y$
- 各用自己的标准差 → $Z_S=S/\sqrt{\operatorname{Var}(S)}$、$Z_D=D/\sqrt{\operatorname{Var}(D)}$
- 平方 → $Z_S^2$、$Z_D^2$
- 取比值 → $Z_S^2/Z_D^2$,要求分母非零
展开 $(X+Y)(X-Y)$ 时,两项 $XY$ 抵消。在这里均值为 0,因此协方差 $\operatorname{Cov}(S,D)=E[X^2]-E[Y^2]=\operatorname{Var}(X)-\operatorname{Var}(Y)$。若 $X,Y$ 是独立标准正态,两者各有方差 1、协方差 0,于是 $S,D$ 的方差都为 $1+1=2$,协方差为 $1-1=0$。由于 $S,D$ 也是联合高斯,零协方差在这个前提下推出独立。
一个标准正态变量的平方就是自由度为 1 的卡方变量(Chi-square,$\chi^2$)。F 分布是两个独立卡方变量各自除以自由度后的比值,分子和分母的自由度按这个顺序写。这里分子、分母都来自一个独立的标准正态平方,两个自由度各为 1,所以 $(S/\sqrt2)^2/(D/\sqrt2)^2\sim F(1,1)$。若这一次观察到 $X=2,Y=1$,则 $S=3,D=1$,比值为 $(3/\sqrt2)^2/(1/\sqrt2)^2=(9/2)/(1/2)=9$。
把 $a,b$ 分别记作 $X,Y$ 的方差,$c$ 记作协方差。由和差的平方展开,两个方差分别为 $a+b+2c$ 和 $a+b-2c$,协方差为 $a-b$。在联合高斯且两个方差都为正时,可以把这三项先算好再判断:
- $a=b=1,c=0.5$:和与差的方差为 $2+1=3$、$2-1=1$,协方差为 0。分别除以 $\sqrt3$ 和 $1$,所得两个标准正态仍独立,平方比值仍是 $F(1,1)$。共用 $\sqrt2$ 会遗漏两者尺度的差异。
- $a=1,b=4,c=1$:方差为 $5+2=7$、$5-2=3$,协方差为 $1-4=-3$。分别标准化能让方差各变成 1,但会留下非零协方差 $-3/\sqrt{21}$,因此独立卡方比值的推法在这里失效。
检查点:X、Y 独立,但方差一个是 1、另一个是 4,S 和 D 会独立吗?
即使 $X,Y$ 独立,$\operatorname{Cov}(S,D)=1-4=-3$ 仍为非零,因此 $S,D$ 不独立。独立是对具体变量对说的。
动手核验:复算和差的协方差,再用固定种子抽样
使用 Python 3 标准库,无额外依赖。矩阵 $C$ 的两行分别是和、差的系数。输入 $\Sigma$ 是 $X,Y$ 的协方差矩阵,结果 $C\Sigma C^\mathsf T$ 的两个对角元是理论方差,其余两个元是和差的协方差。抽样再单独检查两个和的均值和方差,以及独立标准正态例中比值不超过 1 的频率。
from math import sqrt
from random import Random
from statistics import mean, variance
# Each row gives the coefficients of X and Y.
C = ((1, 1), (1, -1))
def covariance_sum_difference(a, b, c):
sigma = ((a, c), (c, b))
return tuple(
tuple(sum(left[i] * sigma[i][j] * right[j]
for i in range(2) for j in range(2))
for right in C)
for left in C
)
assert covariance_sum_difference(4, 9, 0)[0][0] == 13
assert covariance_sum_difference(4, 9, 3)[0][0] == 19
assert covariance_sum_difference(1, 1, 0) == ((2, 0), (0, 2))
assert covariance_sum_difference(1, 1, 0.5) == ((3, 0), (0, 1))
assert covariance_sum_difference(1, 4, 1) == ((7, -3), (-3, 3))
assert (2 + 1) ** 2 / (2 - 1) ** 2 == 9
rng = Random(2026)
independent_sums, correlated_sums = [], []
below_one = 0
n = 30_000
for _ in range(n):
z, w = rng.gauss(0, 1), rng.gauss(0, 1)
x = 1 + 2 * z
independent_sums.append(x + 2 + 3 * w)
# Cov(X,Y) = 2 * 1.5 = 3; Var(Y) = 1.5² + (9 - 1.5²).
correlated_sums.append(x + 2 + 1.5 * z + sqrt(9 - 1.5 ** 2) * w)
below_one += (z + w) ** 2 <= (z - w) ** 2
for values, theory in ((independent_sums, 13), (correlated_sums, 19)):
observed_mean, observed_var = mean(values), variance(values)
assert abs(observed_mean - 3) < 0.1
assert abs(observed_var - theory) < 0.5
print(f"mean={observed_mean:.3f}, variance={observed_var:.3f}")
frequency = below_one / n
assert abs(frequency - 0.5) < 0.02
print(f"P(F <= 1), sample frequency={frequency:.3f}")
五组协方差参数用精确断言复算。模拟用固定种子与容差,结果只是样本核对。比较比值是否不超过 1,相当于比较两个平方的大小,也避开了除以接近 0 的数。独立同分布且无平局时,两边较大的机会各为一半,所以理论概率是 0.5。$F(1,1)$ 没有有限均值,此处用概率作核对。依据:NIST F 分布的均值条件。
回到最大似然:密度描述单次读数,独立性决定多次读数的联合密度能否拆开。下面才把这种联合密度用作参数的比较目标。
📐 二、数学形式
给定数据 $D=(x_1,\ldots,x_n)$ 和参数 $\theta$,先写出似然,再寻找它的最大点:
$$L(\theta)=p(D\mid\theta)$$
$$\hat\theta_{\mathrm{MLE}}=\arg\max_\theta L(\theta)$$
$\arg\max$ 返回使目标最大的参数,不是最大似然值本身。在这里,$p$ 统一表示离散概率或连续密度。
当样本在给定参数后独立时,联合似然可分解为:
$$L(\theta)=\prod_{i=1}^n p(x_i\mid\theta)$$
如果数据有依赖,不能直接使用这个独立连乘式;应写对应的联合模型,或按条件概率链式分解。
实践中通常最大化对数似然:
$$\ell(\theta)=\sum_{i=1}^n\log p(x_i\mid\theta)$$
$$\hat\theta=\arg\max_\theta\ell(\theta)$$
取对数有三个好处:
- 降低连乘下溢风险。很多小数相乘可能超出浮点数能表示的范围。
- 乘法变加法。求导和实现常常更方便。
- 保持最优参数。对数严格单调递增;似然为 0 时可把对数记作 $-\infty$。
先看一个能复现的数值例子
1000 个 0.5 相乘,在本机 Python 的双精度 float 中还不是 0;1100 个在这个例子中下溢为 0。不同浮点类型的范围不同。
import math
import sys
print("float 有效二进制位数:", sys.float_info.mant_dig)
for n in (1000, 1100):
product = math.prod([0.5] * n)
log_sum = n * math.log(0.5)
print(n, product, round(log_sum, 3))
本机有效二进制位数为 53 时:
| 因子个数 | 直接连乘 | 对数之和 |
|---|---|---|
| 1000 | 9.332636185032189e−302 | −693.147 |
| 1100 | 0.0 | −762.462 |
看第二行:乘积已丢掉大小信息,对数之和仍能比较。要先对每项取对数再相加;先乘到 0 再取 log,救不回来。
若单项概率本身已经被算成 0,还需要直接计算稳定的对数概率或对数密度。Python 浮点说明
最大化对数似然,等价于最小化负对数似然。这给出了一类重要的损失函数;下面看两个具体模型。
⭐ 三、高光时刻:最小二乘 = 高斯噪声下的 MLE
先看结论:在独立、零均值、同方差的高斯噪声模型下,对回归参数做 MLE,得到最小二乘。
建模假设
把输入 $x_i$ 当作已知。模型预测为 $w^\top x_i$,实际输出与预测之间有噪声:
$$y_i=w^\top x_i+\varepsilon_i$$
- $y_i$:第 $i$ 个样本的真实输出。
- $w^\top x_i$:特征加权求和后的预测;需要截距时,可在特征中加入常数 1。
- $\varepsilon_i$:模型没解释掉的误差。假设它们独立,均服从 $\mathcal N(0,\sigma^2)$。
- $\sigma^2>0$:所有样本共用的噪声方差;下面先把它固定。
给定一个 $x$,$y$ 围绕预测值波动,即 $y\mid x,w\sim\mathcal N(w^\top x,\sigma^2)$。图中的钟形是这个条件密度,不是又拟合出几条回归线。
📐 推导:把高斯密度拆成“常数 + 平方误差”
先缩写残差 $r_i=y_i-w^\top x_i$。用 $f_i$ 表示当前样本的条件密度 $p(y_i\mid x_i,w)$:
$$f_i=\frac1{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{r_i^2}{2\sigma^2}\right)$$
独立样本的对数似然为 $\log L(w)=\sum_i\log f_i$。展开后:
$$\log L(w)=C-\frac1{2\sigma^2}\sum_i r_i^2$$
其中 $C=-\frac n2\log(2\pi\sigma^2)$。固定 $\sigma$ 时,$C$ 和正系数 $1/(2\sigma^2)$ 都不随 $w$ 改变。
所以只需让残差平方和最小:
$$\hat w=\arg\min_w\sum_i(y_i-w^\top x_i)^2$$
这就是最小二乘。除以固定的样本数 $n$ 得到 MSE,也不改变最优参数。
若同时估计共同方差,在最小残差平方和为正时,联合 MLE 的 $w$ 仍是最小二乘解;若能完全拟合且允许方差趋于 0,似然可无界增大,不能直接声称存在一个有限的联合最大值。
💡 结论(不看推导也要记住这句)
高斯噪声假设可以推出平方误差,但用了平方误差,不能反过来证明真实噪声是高斯。
平方误差还可用于预测条件均值,只要相应二阶矩存在,不必先相信整个噪声分布是正态。Stanford CS229:最小二乘的概率解释
离群点为什么可能影响很大?残差从 2 增加到 20,平方损失从 4 增加到 400。它对总损失的贡献增长了 100 倍,优化时可能强烈影响拟合结果;不是“见到任何离群点都会崩”。
换成 L1 会怎样?同样两项残差的绝对值损失是 2 和 20,只增长 10 倍。固定尺度的拉普拉斯噪声可推出绝对值误差,但不能据此保证抵抗所有类型的离群点。
为什么还要检查模型?已知各样本高斯噪声方差不同时,似然对应的是按方差倒数加权的平方误差;误差相关时还需考虑协方差,不能照搬普通最小二乘的推导条件。
🔬 一个能亲眼看到的实验
下面制造斜率为 2 的数据,再把第 46 个点的输出改成 100。比较两种回归器估出的斜率;需要 NumPy 和 scikit-learn。
import numpy as np
from sklearn.linear_model import LinearRegression, HuberRegressor
rng = np.random.RandomState(0)
X = np.linspace(0, 10, 50).reshape(-1, 1)
y = 2 * X.ravel() + 1 + rng.randn(50) * 0.5 # 真实斜率 = 2
y[45] = 100 # ⭐ 加一个离群点
print("最小二乘斜率:", LinearRegression().fit(X, y).coef_[0]) # 会被拽歪
print("Huber 斜率: ", HuberRegressor().fit(X, y).coef_[0]) # 基本不动
用这份固定随机种子的代码,本机 scikit-learn 1.7.2 得到:
| 方法 | 加离群点后斜率 |
|---|---|
| 最小二乘 | 约 2.7094 |
| Huber | 约 1.9232 |
| 造数据时的斜率 | 2 |
这次实验里,Huber 的估计更接近 2。它没有完全忽略离群点,也不能从这一个实验推出“Huber 总更好”。
本例默认 HuberRegressor 还会估计尺度,并带很小的 L2 正则项;这是两个估计器的演示,不是严格只改变一个损失项的对照实验。HuberRegressor 官方说明
若要比较改点前后,可把同一脚本中的赋值行 y[45] = 100 暂时注释,再运行一次。
高斯噪声假设解释了平方损失的来源。下一节从伯努利似然推导二分类交叉熵。
🎲 四、二分类交叉熵:来自伯努利似然
这里先讲二分类:标签 $y_i$ 只能是 0 或 1,模型给出的正类概率记为 $p_i$。
第一步:模型输出一个概率
在逻辑回归中,先计算分数 $z_i=w^\top x_i$,再用 sigmoid 把它映射到 0 与 1 之间:
$$p_i=\sigma(z_i)=\frac1{1+e^{-z_i}}$$
这里的 $\sigma(\cdot)$ 是函数名,不是上一节表示噪声大小的 $\sigma$。
第二步:取出实际标签对应的概率
假设 $y_i\mid x_i$ 服从参数为 $p_i$ 的伯努利分布:
$$p(y_i\mid x_i,w)=p_i^{y_i}(1-p_i)^{1-y_i}$$
- 实际是 1:这项变成 $p_i$。
- 实际是 0:这项变成 $1-p_i$。
例如模型预测正类概率为 0.8:正标签得到概率 0.8,负标签只能得到 0.2。同一个预测,遇到不同真实标签,评价会不同。
第三步:取负对数,再汇总
单样本二分类交叉熵为:
$$\ell_i=-y_i\log p_i-(1-y_i)\log(1-p_i)$$
独立样本的负对数似然就是 $\sum_i\ell_i$。单独优化这一项时,改成平均值也有同一个最优解;若另加正则项,求和改平均时要同步考虑两者的相对权重。
当 $p_i=0.8$ 时,正标签的损失约为 0.223,负标签约为 1.609。看第二个数:模型对错误标签越自信,负对数损失越大。
二分类交叉熵是伯努利负对数似然,不是 MLE 这个估计过程本身。多分类的对应模型是类别分布。
对预测概率用平方误差也可以得到 Brier 分数,只是那不是同一个似然目标。scikit-learn 的概率评分说明
“交叉熵”还与信息论有关。01b · KL 散度 会说明:固定目标分布时,交叉熵与 KL 相差一个不随模型改变的熵项。
经验分布的拟合目标,不等于已经知道真实分布。连续数据也不能把有限样本的点质量,直接代入“经验分布对连续密度的有限 KL”公式;下一节会区分离散恒等式与总体期望的解释。
📋 五、损失函数速查:每一个背后的分布假设
这张表列的是可采用的概率解释,不是“使用这个损失就证明了分布”。固定尺度等条件不可省略。
| 损失 | 对应模型 | 主要目标 |
|---|---|---|
| 平方误差 MSE | 同方差高斯 | 回归均值 |
| 绝对值误差 L1 / MAE | 固定尺度拉普拉斯 | 回归中位数 |
| Huber | 密度正比于 exp(−Huber) | 减弱大残差影响 |
| 交叉熵 | 伯努利 / 类别分布 | 分类概率 |
| 泊松负对数似然 | 泊松 | 非负整数计数 |
| 负二项负对数似然 | 负二项 | 过离散计数 |
| 分位数损失 | 固定尺度非对称拉普拉斯 | 指定条件分位数 |
从损失构造密度还差一步:归一化。如果归一化常数随待估参数变化,就必须放回似然;不能只保留 $\exp(-\text{损失})$ 的形状。
先看输出,再看评估目标。计数可考虑泊松,但需核对给定输入后的均值、方差及额外零值。负二项常用于条件方差大于条件均值的情形;仅凭原始数据的总体方差较大,还不能完成这项诊断。
Huber 不是高斯与拉普拉斯的加权混合。它在中心附近为二次损失,尾部为线性损失;高杠杆点等情况仍可能影响回归。L1 和 Huber 都不是通用的异常数据修复器。
目标也可能决定选择。想预测均值可考虑 MSE,想预测 90 分位可考虑分位数损失;不必先把数据宣布成某一种分布。
⚠️ 六、MLE 之后还要做的三个检查
把下面三点理解为需要补做的检查,不是“三个问题一出现,MLE 就不可用”。
检查 1:少量观察是否支持这个结论?
抛 3 次全是正面,伯努利似然为 $p^3$。若允许 $0\le p\le1$,最大值在 $\hat p=1$。
边界估计不是“证明这枚硬币永远没有反面”。它只说明:这 3 次观察没有提供反例,当前估计准则又没有额外约束。
数据少、模型又灵活时尤其要检查过拟合。正则化、合适先验或更多数据可能有帮助,但不是自动保证。若参数空间只允许 $0<p<1$,这个例子甚至只有趋近边界的上确界,没有实际取到的最大值。
检查 2:点估计有多可靠?
单独一个 MLE 点估计不附带可靠程度,但最大似然方法并不排斥不确定性分析。
抛 10 次得 8 次正面,与抛 10000 次得 8000 次正面,点估计都是 0.8;它们的似然函数集中程度不同。
可另外计算置信区间,或在适用条件下使用似然比、渐近近似、bootstrap 等方法。样本很少或参数在边界时,要特别检查近似是否适用,不能只报一个漂亮的区间。
检查 3:模型假设与数据是否合适?
MLE 是在指定模型族中比较参数。如果求到了全局最大值,它也只保证当前似然最优,不保证模型族正确、泛化最好或参数就是真实机制。
例如重尾误差下使用高斯似然,仍可能得到有用的均值估计;但效率、稳健性或不确定性解释可能不合适。应看残差、留出数据和敏感性分析,不能简单说“假设错一点,答案必错”。
下一章能解决什么,不能自动解决什么
想改变小样本点估计?下一章用合适的先验演示 MAP。先验会改变估计,但不保证任何先验都更好。
想表达不确定性?查看后验分布的分散程度,或另外做频率学派的区间估计。MAP 自己仍然是一个点,不是后验分布的全部。
怀疑模型不合适?检查残差、假设和敏感性。加了先验,不会自动修好错误的似然模型。
🔗 七、和站内其他章的关系
- 回归用 MSE、分类用交叉熵:这一章提供高斯、伯努利等概率解释;不是损失选择的唯一理由。
- 有离群值时考虑 L1 / Huber:大残差的惩罚方式改变了,还需验证实际效果。
- 基础教程第 3 章:伯努利负对数似然给出交叉熵;平方概率损失对应另一个目标。
- 基础教程第 15 章的 BCEWithLogitsLoss:从未过 sigmoid 的分数稳定计算伯努利负对数似然;调用损失函数本身还不等于完成 MLE 拟合。
- 推荐算法第 5 章 MF:平方误差项可作高斯噪声解释;完整目标若带正则,不能忽略正则项。
- 推荐算法 BPR:对物品的成对顺序建模,而不是直接拟合每个评分值。
✅ 检查点
- MLE 固定什么、比较什么?它能确定“真相”吗?
- 似然与后验有什么区别?连续数据中的密度又为何不是精确值的概率?
- 取对数有哪些好处?什么情况下能把联合似然写成独立乘积?
- 最小二乘的高斯 MLE 解释需要哪些条件?反过来能证明噪声正态吗?
- 大残差为什么可能强烈影响平方误差?L1 / Huber 能保证解决所有离群点吗?
- 为什么计数数据可考虑泊松模型,却不能仅看类型就决定损失?
- 三次全正面、只有一个估计值、模型设定不合适,分别还需要检查什么?
👀 答案
- 固定已观察数据,在指定模型族中比较参数的似然。它是在估计,不是给真实参数盖章。
- 似然随参数变化,通常不是归一化的参数分布;后验结合了先验。连续密度要在区间上积分才是概率,不能读成精确点的概率。
- 降低连乘下溢风险、把乘法变加法、保持最大点。独立乘积要求给定参数后的样本独立;数值上还应避免单项先下溢再取 log。
- 输入给定,噪声独立、零均值、共同正方差;固定方差时对回归参数优化得到最小二乘。使用平方误差不能反证真实噪声为正态。
- 残差扩大 10 倍,平方惩罚扩大 100 倍;L1 只扩大 10 倍。它们改变了影响方式,但没有保证抵抗一切离群点。
- 还需检查条件均值与方差、额外零值、业务目标和验证表现;MSE 也可以用于预测计数的条件均值。
- 边界估计不是确定性结论;点估计之外可另做不确定性分析;模型假设需要残差、留出数据与敏感性检查。MAP 或先验不能自动完成这些检查。
本节回顾
⚡ 走神救援
先记住这几件事
- 似然固定数据、比较参数;连续量比较密度,不是精确点的概率。
- 负对数似然给出一类损失,但不是所有目标都必须来自 MLE。
- 高斯假设可推出平方误差;平方误差不能证明噪声高斯。
- 点估计之外,还要检查不确定性、模型假设与泛化表现。
下一节 👉 01b · KL 散度:区分固定分布、经验平均与真实分布,理解交叉熵和 KL 的联系。
若只想先理解“正则化怎样对应先验”,可跳到 02 · MAP 与正则化,再回来补 KL。