🏠 总目录📚 本教程 13 · EM 与高斯混合 ← →

13 · 从问题进入原章节

类别未知时,怎样交替估计归属和模型参数?

GMM 用软归属表示不确定性;EM 交替更新责任和参数,似然不下降不等于得到全局最优。

读后可检查:能解释 E/M 两步、与 K-Means 的小方差联系及模型数选择的条件。

📑 本页目录(点开跳转)

13 · EM 与高斯混合:有隐变量时怎么学

⏱ 28 分钟 | 时间仅供参考,不限阅读时长;先看软分配,再按需看推导


🎯 一句话

EM 交替做两件事:按当前模型计算隐变量的分布,再用这个分布更新模型参数。 在聚类里,第一步不是强行给点贴标签,而是分配“各成分解释这个点的权重”。

E 步:固定参数,计算责任深色点:两种责任相差更大M 步:固定责任,更新中心同样的点、同样的权重,中心改变沿用权重先算责任,再按责任加权更新中心更新示例:固定等权重、共同球形协方差空心圆 = 更新前中心 · 实心圆 = 加权得到的新中心这是一次中心更新,不表示已经收敛;下一轮再用新参数计算责任。
左图算责任,右图沿用责任更新中心。 空心圆是旧中心,实心圆是新中心;本图固定占比和协方差。

这章只追一个问题:不知道点由哪个成分生成,怎样仍然估计各成分的中心和形状? K-Means 与它的联系放在第三节,并说明成立条件。

只想先用起来:看第二节的软分配、第三节的异常检测区别,再跳到选 K 的实验。想知道为什么迭代有效,再读理论保证。


🥚 一、鸡生蛋问题

如果手上已经有…… 就可以做什么
每个点对各成分的权重 按权重计算成分的中心和形状
各成分的中心、形状和占比 用贝叶斯定理更新这些权重

问题是:两边一开始都不知道。EM 从一组合法的初始参数出发,把两件事交替做下去。

  1. 初始化:设置中心、协方差和混合权重;权重和为 1,协方差不能退化。初始化不同,结果可能不同。
  2. E 步(Expectation):固定当前参数,计算隐变量的后验分布。对 GMM 来说,就是每个点对各成分的“责任”。
  3. M 步(Maximization):保留刚算好的责任,更新参数,使期望的完整数据对数似然增大或达到最大。
  4. 检查是否继续:达到设定的改善容差或迭代上限就停;否则回到 E 步。不要等待浮点数“完全不变”。

现在先记住:E 步分权重,M 步用权重。 它不是把猜出来的标签当成已知真相。

ALS、坐标下降也有轮流更新不同变量的结构。但 GAN 是两个目标的对抗训练,不能因为也轮流更新,就继承 EM 的似然单调性。


🎯 二、高斯混合模型(GMM)

假设每个样本有 $d$ 个特征,数据由 $K$ 个高斯成分混合生成。这里的“成分”是模型里的分布,不一定等于现实中的类别。

$$p(x) = \sum_{k=1}^{K}\pi_k\,\mathcal{N}(x\mid\mu_k,\Sigma_k)$$

这里 $p(x)$ 是连续数据的概率密度,不是“恰好取到这个点的概率”。

参数 含义 自由参数个数
$\pi_k$ 第 k 个成分的占比;非负,且 $\sum_k\pi_k=1$ K−1
$\mu_k$ 第 k 个成分的中心 K·d
$\Sigma_k$ 第 k 个成分的协方差,描述各方向的伸展与相关性 K·d(d+1)/2

表中的协方差计数针对每个成分独立的完整协方差(full)。正常的高斯密度要求协方差正定;diag 只保留对角项,spherical 让每个成分各方向方差相同,tied 则让成分共享协方差。

生成过程的直觉:

  1. 先按混合权重 $\pi$ 抽一个成分编号 $z$。
  2. 再从这个编号对应的高斯分布抽一个点 $x$。

你只看到了点,没有看到编号。没看到的 $z$ 就是本例的隐变量。

EM 求解 GMM

假设一个点对 A、B 的责任是 0.7 和 0.3。更新 A 时,这个点贡献 0.7 份权重;更新 B 时贡献 0.3 份。不是复制成两条完整样本,也不是随机决定本轮只投给谁。

📐 两步的公式(想看再点)

E 步:算责任。 $\gamma_{ik}$ 是在当前参数下,已知点 $x_i$ 后,成分编号为 $k$ 的后验概率。

$$\gamma_{ik} = \frac{\pi_k\,\mathcal{N}(x_i\mid\mu_k,\Sigma_k)}{\sum_j \pi_j\,\mathcal{N}(x_i\mid\mu_j,\Sigma_j)}$$

分子是“成分占比 × 该成分给这个点的密度”,分母把所有成分的分子加起来。因此每个点的责任加起来等于 1。推法就是第 2 章的贝叶斯定理。

M 步:按刚才的责任更新参数。 先把各点对成分 $k$ 的权重累加,得到有效样本量 $N_k$;它不必是整数。

$$N_k = \sum_i\gamma_{ik},\qquad \pi_k^{\mathrm{new}} = \frac{N_k}{n}$$

再求加权均值。下面的更新要求 $N_k>0$;如果成分拿不到有效权重,需要重新初始化或采用明确的退化处理。

$$\mu_k^{\mathrm{new}} = \frac{1}{N_k}\sum_i \gamma_{ik}x_i$$

最后,用新均值计算加权协方差。先把样本相对新中心的偏移记成 $\delta_{ik}=x_i-\mu_k^{\mathrm{new}}$,这样就不用在一行里重复写两个长括号。

$$\Sigma_k^{\mathrm{new}} = \frac{1}{N_k}\sum_i\gamma_{ik}\delta_{ik}\delta_{ik}^{\top}$$

这里的转置让两个偏移向量相乘得到矩阵;这仍是原来的加权协方差,尚未加正则项。

💡 注意 M 步的形式:就是普通的均值/协方差公式,只是每个样本带了个权重 γ。

E 步算“这个点由谁解释”;M 步把这些权重用于占比、中心和协方差的估计。责任是模型内部的条件概率,不是已经验证过的现实分类置信度。


⭐ 三、K-Means 与 GMM 的小方差联系

K-Means 的“找最近中心、重新求均值”,可以从受限 GMM 的小方差极限中理解。 不等于随便训练一个 GMM 就是在跑 K-Means。

要补上的条件 起什么作用
协方差固定为同一个 $\sigma^2 I$ 所有成分球形等大,比较密度转化成比较欧氏距离
混合权重固定且相等 不额外偏向占比更大的成分
让正方差 $\sigma^2$ 趋近 0 对有唯一最近中心的点,责任趋近一位为 1、其余为 0

硬分配后,非空簇的加权均值就是普通均值,得到 K-Means 的中心更新。同距并列要另定规则,空簇也要处理;不能真的把高斯方差设成 0。

📐 为什么 σ²→0 会让软分配变硬(想看再点)

责任的表达式里,高斯密度 $\propto \exp(-\|x-\mu_k\|^2/2\sigma^2)$。

若最近中心唯一,它与其他中心有严格的距离差。方差越小,其他成分的指数项相对于最近成分越小,归一化后最近成分的责任趋近 1。

注意是“比值”在变化:各个密度项本身不必趋于无穷大。若点恰好位于两个等权中心的正中间,两个责任仍然各为 0.5,不会自动选一个。

(这和基础教程第 15 章 里 softmax 温度趋于 0 的效果是同一回事。)

对比表

K-Means GMM
分配方式 硬(属于/不属于) 软(70% 属于 A,30% 属于 B)⭐
几何偏好 最小化簇内平方距离,偏好紧凑、尺度相近的团 full 的单个成分可有不同的椭圆等密度轮廓;并非任意形状
输出 标签、中心;也能计算到中心的距离 成分责任,以及完整的混合密度
计算代价 通常较轻,主要算距离 取决于维数和协方差类型;完整协方差通常更贵
参数量 $Kd$ 个中心坐标 full:$(K-1)+Kd+Kd(d+1)/2$
高维注意点 距离、特征缩放仍可能失去区分力 完整协方差参数多,需足够数据或限制形状

与基础教程第 6 章对照时,把“球形簇”理解为几何偏好,不是说 K-Means 的每个分区都是球。最近中心划分形成的是 Voronoi 区域;GMM 放开协方差限制后,能表达更多伸展方向。

💡 软分配的实用价值

只保留标签 A,会丢掉“51% 对 49%”与“99% 对 1%”的区别。 GMM 的责任可以帮助识别归属模糊的点,也可作为下游特征。但“更偏向 A”不等于“这个点在数据中很常见”。

异常检测要看密度,而不是寻找“所有责任都低”的点。 责任之和始终为 1。

用两个等权的一维高斯看区别:中心分别是 −1 和 1,标准差都是 1。

测试点 左成分责任 右成分责任 混合密度 $p(x)$
$x=0$,两中心之间 0.5 0.5 约 0.242
$x=10$,远离两个中心 约 $2.06\times10^{-9}$ 约 0.999999998 约 $5.14\times10^{-19}$

看第二行:归属几乎全投给右边,密度却极低。 右边只是“相较之下不那么远”,不是“离右边很近”。

在 scikit-learn 中,predict_proba(X) 给成分责任,score_samples(X) 给每个样本的对数密度。异常阈值需结合验证数据和特征尺度设定,不能拿责任当异常分数。见接口文档。


📈 四、EM 的理论保证

在精确 E 步,以及使同一个下界不下降的 M 步下,EM 的观测数据对数似然单调不减。 这不意味着参数必然收敛到局部最优。

$$\log L(\theta^{(t+1)}) \ge \log L(\theta^{(t)})$$

能推出什么 还需要什么条件或注意什么
每轮目标值不下降 E 步后验正确,M 步提高同一个下界;不能套给任意近似更新
目标值序列收敛到有限值 还要有有限上界;不受约束的 GMM 似然可能无上界
参数或驻点的收敛结论 需要额外正则条件;驻点不一定是局部最大值,更不等于全局最优

因此,“似然没有下降”“训练已停止”“找到了最优模型”是三件不同的事。 收敛条件的区分见 Wu(1983)。

📐 为什么单调不减(想看再点)

EM 可以理解成优化一个下界。把这个下界记为 $F(q,\theta)$,它由“期望的完整数据对数似然”和“熵”两部分组成:

$$\begin{aligned}F(q,\theta)&=\mathbb{E}_{q}[\log p(X,z\mid\theta)]\\&\quad+H(q)\\\log p(X\mid\theta)&\ge F(q,\theta)\end{aligned}$$

看最后一行:下界不会高于真实对数似然。 这就是 ELBO(证据下界);$\mathbb{E}_q$ 表示按隐变量分布 $q(z)$ 取期望。

这里 $H(q)$ 是熵;$q$ 是隐变量的候选分布,不是新观测到的标签。两步始终针对同一个观测数据似然,才有这条比较链。

横轴是参数,纵轴向上表示目标值更大。E 步构造在当前参数处贴住似然的下界,M 步提高该下界;虚线始终不高于实线。曲线为关系示意。目标值参数对数似然旧下界蓝虚线:更新后的下界当前参数M 步更新后参数
横轴是参数,纵轴向上表示目标值更大。E 步构造在当前参数处贴住似然的下界,M 步提高该下界;虚线始终不高于实线。曲线为关系示意。

读图时先找实线和虚线的接触点:E 步更换下界,M 步沿当前下界寻找更好的参数。 不要把 M 步理解成把整条曲线随意往上搬;图中只画一维参数的关系示意。

这个下界也连接到变分推断。不过 VAE 还引入了参数化的近似后验与梯度训练,不是原样执行这里的精确 EM。

实践含义:

问题 解法
不同起点落在不同解 多次初始化并比较同一数据上的拟合目标;n_init 可执行多次拟合,但不保证找到全局最优
初始化敏感 用 K-Means++ 初始化,或先跑 K-Means 再初始化 GMM
协方差退化(成分可向一个样本塌缩,似然失去上界) reg_covar 是常见数值处理;也可设计协方差约束或使用有适当先验的模型
K 怎么选 BIC / AIC(GMM 有似然,所以能用信息准则)⭐
高维时协方差参数太多 用 covariance_type="diag" 或 "spherical" 限制形状

为什么需要处理退化? 在常见的多成分、协方差不受约束的 GMM 中,一个成分可以贴到某个样本上并不断缩小方差;其他成分仍解释其他样本。这会使观测似然趋向无穷。

这是模型目标本身的奇点,不只是浮点误差,也不是所有成分都必然会塌缩。给协方差加对角项是常见办法,但不是唯一办法;改了约束、正则或先验后,也要重新分清正在优化的目标。见高斯混合指南。

🔨 用 BIC 比较候选 K

这段代码比较 1 到 10 个成分的模型,选择 BIC 最小的一个。 它先造三团数据,再只把团调散,观察选择是否变化。

BIC 同时考虑拟合效果和参数数量:拟合改善不够抵消复杂度惩罚时,较简单的模型会胜出。比较时要用同一份数据、相同的预处理和明确的模型假设,也要检查拟合是否收敛。

想看 BIC 是怎样计分的

$$\mathrm{BIC}=-2\log L(\hat\theta)+p\log n$$

$n$ 是样本数,$p$ 是自由参数个数,不是成分数;完整协方差的 $p$ 见上方对比表。对数似然越大,第一项越小;参数越多,第二项越大。

它是信息准则,不是测试集准确率。混合模型存在奇异性等细节,因此不要把这个分数解释为自动证明“真实 K”。

from sklearn.mixture import GaussianMixture
from sklearn.datasets import make_blobs
import numpy as np

# ⭐ 先造一份「真实 K = 3」的数据,才看得出 BIC 有没有把它挑回来
X, _ = make_blobs(n_samples=600, centers=3, cluster_std=0.8, random_state=0)

bics = []
for k in range(1, 11):
    gm = GaussianMixture(k, n_init=5, reg_covar=1e-4, random_state=0).fit(X)
    bics.append(gm.bic(X))

best_k = int(np.argmin(bics)) + 1
print("各 K 的 BIC:", [round(b) for b in bics])
print(f"BIC 最小的 K = {best_k}")

# ⚠️ 只把团调散一点(cluster_std 0.8 → 1.0),同一个种子就会给出 K = 2
X2, _ = make_blobs(n_samples=600, centers=3, cluster_std=1.0, random_state=0)
b2 = [GaussianMixture(k, n_init=5, reg_covar=1e-4, random_state=0).fit(X2).bic(X2)
      for k in range(1, 11)]
print(f"团更散一点时,BIC 选的是 K = {int(np.argmin(b2)) + 1}")

本机 scikit-learn 1.7.2、上述种子的实跑结果如下。表格省略中间展示,不影响代码实际比较全部 10 个候选。

团的标准差 K=1 K=2 K=3 K=4 K=5 K=10 最小 BIC 对应的 K
0.8 4542 4182 4139 4171 4204 4379 3
1.0 4695 4525 4537 4572 4607 4769 2

看第二行的 K=2 与 K=3: 在这次有限样本拟合中,增加一个成分得到的拟合收益不足以抵消 BIC 的参数惩罚。生成数据用了 3 个中心,但这个选择准则选了 2。

这不等于“两个高斯一重叠,真实成分数就不唯一”。有限数据不足以支持更复杂的候选,与模型在总体分布上是否可识别,是两类问题。

GMM 的似然让 BIC/AIC 比较很方便;K-Means 也可以用轮廓系数、稳定性分析或下游验证,不是只能凭主观肘部判断。具体数值可能随版本和拟合过程变化,最终应结合任务检查聚类是否有用。


🌍 五、EM 的其他用武之地

有隐变量,是考虑 EM 的线索,不是可直接套用的充分条件。 还需要写出概率模型,并能计算或妥善近似 E、M 两步。

应用 隐变量与需要注意的地方
缺失值建模 缺失值可当隐变量,但须说明数据分布、缺失机制,以及预测时哪些信息真的可得
HMM(语音、序列标注) 隐藏状态序列;Baum–Welch 用前向后向算法算所需后验量
主题模型(LDA) 主题归属等隐变量;后验通常难精确求,常用变分推断或采样
半监督学习 未标注样本的类别;需要明确的生成模型,错误假设也可能伤害学习
矩阵分解的概率版 某些模型把隐因子作为随机变量,可构造 EM 或近似推断;不等于所有矩阵分解都用 EM
混合专家(MoE) 概率混合专家可含专家选择变量;现代稀疏路由模型通常通过梯度训练,不自动属于 EM

和 VAE 的连接: 两者都能用 ELBO 理解。VAE 用编码器表示近似后验,通常联合进行随机梯度训练;“下界相似”不代表每一步继承精确 EM 的单调性。见 VAE 原始论文。

和 MoE 的连接: 都涉及“由谁解释或处理输入”的分工,但要判断是否为 EM,必须检查训练是否真的计算隐变量后验并优化对应的期望目标,不能只看“专家”这个名字。


🔗 六、和站内其他章的关系

相关的地方 这里的位置
基础教程第 6 章 K-Means 与等权、等大球形 GMM 的小方差极限有关;并列与空簇另作处理
K-Means 的“球形”直觉 平方距离带来的几何偏好,不是说所有分区真是球
K-Means 要多次初始化 与 EM 一样,起点会影响结果;重复尝试也不保证全局最优
第 1 章最大似然 EM 就是在最大化似然,只是有隐变量
第 2 章贝叶斯定理 E 步算的责任就是后验概率
《数据这一关》05 的缺失值填充 EM 可用于估计缺失数据模型,不等于所有填充都从后验抽样;预测时未知的目标 y 不能偷用来填特征
推荐算法的矩阵分解 具体概率模型可能用 EM;普通交替最小二乘不因此成为 EM
全景导论的 MoE 架构 对照“概率混合”与“可训练路由”的区别,避免混淆算法

✅ 检查点

  1. EM 解决什么类型的问题?两步各干什么?
  2. 「交替优化」这个思想还出现在哪些地方?
  3. GMM 的 E 步算的"责任"是什么意思?它和贝叶斯定理什么关系?
  4. K-Means 的小方差联系要加哪些条件?点到两个中心同距时会怎样?
  5. 软分配保留了什么信息?为什么一个点的归属接近 100%,仍可能是异常点?
  6. EM 的理论保证是什么?它不保证什么?
  7. 什么是协方差退化?reg_covar 在处理什么,是否只有这一种办法?
  8. BIC 在比较什么?它选出 2 而不是生成数据的 3,能推出“真实 K 不唯一”吗?
👀 答案
  1. 在概率模型中估计含隐变量的参数。E 步算隐变量后验分布,M 步固定这份分布,优化期望的完整数据对数似然。
  2. ALS 和坐标下降也交替更新;GAN 则是对抗目标。更新顺序相似不代表目标相同,更不代表都享有 EM 的保证。
  3. 当前参数下的成分后验概率。由先验占比乘成分密度,再对所有成分归一化得到;每个点的责任和为 1。
  4. 固定相同的球形协方差、固定等权重,让正方差趋近 0。唯一最近中心的责任趋近 1;两个等距中心不会自动打破平局。
  5. 责任能表达归属的模糊程度,也能作特征;但只比较各成分的相对解释力。异常检测需看混合密度,远离所有中心的点仍可几乎全归属某一成分。
  6. 在精确 E 步、M 步不降低同一下界的前提下,似然不降。似然值有限收敛还需有上界;参数收敛和驻点性质需额外条件,不保证局部或全局最优。
  7. 不受约束的混合模型中,成分可向样本塌缩,使似然失去上界。reg_covar 加协方差对角项;约束和适当先验也是处理方向。
  8. BIC 权衡同一数据上的拟合与参数数量,不保证恢复真实成分数。本例反映有限样本下的选择,不能推出总体模型不可识别;K-Means 也有轮廓系数等比较方法。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 14-实战与挑战项目.md

打卡记录保存在你的浏览器里,首页能看到总进度