13 · EM 与高斯混合：有隐变量时怎么学

⏱ 28 分钟 ｜ ⭐ K-Means 的真身

🎯 一句话

有些东西你想学，但关键信息看不见（比如"这个点属于哪一类"）。 EM 算法：先猜看不见的，再用猜的去更新参数，反复迭代。 而 K-Means 就是它的一个特例。

🥚 一、鸡生蛋问题

EM 的解法简单粗暴：

💡 人话：两个未知量，先固定一个求另一个，来回倒腾直到都不动了。

💡 这个"交替优化"的思想在机器学习里到处都是： 推荐算法的 ALS（交替最小二乘）、GAN 的对抗训练、坐标下降…… 只要目标函数对某一组变量单独优化容易，就可以试试交替。

🎯 二、高斯混合模型（GMM）

假设：数据由 K 个高斯分布混合生成。

$$p(x) = \sum_{k=1}^{K}\pi_k\,\mathcal{N}(x\mid\mu_k,\Sigma_k)$$

生成过程的直觉：

EM 求解 GMM

💡 人话：

E 步：每个点按"像谁"的程度，把自己的一票按比例分给各个簇（软分配）。 M 步：每个簇按收到的选票加权，重算自己的中心和形状。

⭐ 三、K-Means 是 GMM 的特例

对比表

🔗 基础教程第 6 章说 「K-Means 只能找球形簇」——根因在这： 它隐含假设了所有成分都是同样大小的球形高斯。 GMM 放开这个假设就能找椭圆簇。

💡 软分配的实用价值

📈 四、EM 的理论保证

每次迭代，对数似然单调不减。

$$\log L(\theta^{(t+1)}) \ge \log L(\theta^{(t)})$$

实践含义：

⚠️ 协方差退化是 GMM 特有的坑： 如果某个成分只包含一个点，它的协方差会趋于 0，似然趋于无穷—— 这是一个真实的数学奇点，不是数值误差。 必须加 reg_covar。

🔨 用 BIC 客观选 K

from sklearn.mixture import GaussianMixture
from sklearn.datasets import make_blobs
import numpy as np

# ⭐ 先造一份「真实 K = 3」的数据，才看得出 BIC 有没有把它挑回来
X, _ = make_blobs(n_samples=600, centers=3, cluster_std=0.8, random_state=0)

bics = []
for k in range(1, 11):
    gm = GaussianMixture(k, n_init=5, reg_covar=1e-4, random_state=0).fit(X)
    bics.append(gm.bic(X))

best_k = int(np.argmin(bics)) + 1
print("各 K 的 BIC:", [round(b) for b in bics])
print(f"BIC 最小的 K = {best_k}")

# ⚠️ 只把团调散一点（cluster_std 0.8 → 1.0），同一个种子就会给出 K = 2
X2, _ = make_blobs(n_samples=600, centers=3, cluster_std=1.0, random_state=0)
b2 = [GaussianMixture(k, n_init=5, reg_covar=1e-4, random_state=0).fit(X2).bic(X2)
      for k in range(1, 11)]
print(f"团更散一点时，BIC 选的是 K = {int(np.argmin(b2)) + 1}")

实跑输出：各 K 的 BIC 是 [4542, 4182, 4139, 4171, 4204, ...]， 最小值落在 K = 3；而把团调散之后，BIC 选的是 K = 2。

💡 GMM 相比 K-Means 的一个实用优势：因为它是概率模型， 可以用 BIC 客观地选 K，而 K-Means 只能靠肘部法则那种主观判断。

⚠️ 但「客观」不等于「一定选对」：上面第二次实验里真实是 3 团，BIC 给的是 2。 ⭐ 这不是 BIC 坏了 —— 两团重叠到一定程度时，用一个成分去盖住它们， 省下的参数惩罚比拟合上的损失更划算，此时「K 到底是几」在数据里本来就不再唯一。 所以 BIC 给的是「在这份数据上最划算的 K」，不是「生成它的那个 K」。

🌍 五、EM 的其他用武之地

EM 不只是聚类，凡是有"看不见的变量"的地方它都能用：

🔗 两个漂亮的连接： 1. 变分自编码器（VAE）里的"变分推断"，本质上是 EM 在无法精确计算 E 步时的近似版本——现代生成模型的一条根在这。 2. MoE 架构（现代大模型常用）的训练，思想上和 EM 同源—— 「决定用哪个专家」就是隐变量。

🔗 六、和站内其他章的关系

✅ 检查点

1. EM 解决什么类型的问题？两步各干什么？
2. 「交替优化」这个思想还出现在哪些地方？
3. GMM 的 E 步算的"责任"是什么意思？它和贝叶斯定理什么关系？
4. K-Means 是 GMM 加了哪三个限制？为什么 σ²→0 会让分配变硬？
5. 软分配相比硬分配保留了什么信息？有什么实用价值？
6. EM 的理论保证是什么？它不保证什么？
7. 什么是协方差退化？为什么必须加 reg_covar？
8. GMM 相比 K-Means 在"选 K"上有什么优势？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 14-实战与挑战项目.md