13 · 从问题进入原章节
类别未知时,怎样交替估计归属和模型参数?
GMM 用软归属表示不确定性;EM 交替更新责任和参数,似然不下降不等于得到全局最优。
读后可检查:能解释 E/M 两步、与 K-Means 的小方差联系及模型数选择的条件。
📑 本页目录(点开跳转)
13 · EM 与高斯混合:有隐变量时怎么学
⏱ 28 分钟 | 时间仅供参考,不限阅读时长;先看软分配,再按需看推导
🎯 一句话
EM 交替做两件事:按当前模型计算隐变量的分布,再用这个分布更新模型参数。 在聚类里,第一步不是强行给点贴标签,而是分配“各成分解释这个点的权重”。
这章只追一个问题:不知道点由哪个成分生成,怎样仍然估计各成分的中心和形状? K-Means 与它的联系放在第三节,并说明成立条件。
只想先用起来:看第二节的软分配、第三节的异常检测区别,再跳到选 K 的实验。想知道为什么迭代有效,再读理论保证。
🥚 一、鸡生蛋问题
| 如果手上已经有…… | 就可以做什么 |
|---|---|
| 每个点对各成分的权重 | 按权重计算成分的中心和形状 |
| 各成分的中心、形状和占比 | 用贝叶斯定理更新这些权重 |
问题是:两边一开始都不知道。EM 从一组合法的初始参数出发,把两件事交替做下去。
- 初始化:设置中心、协方差和混合权重;权重和为 1,协方差不能退化。初始化不同,结果可能不同。
- E 步(Expectation):固定当前参数,计算隐变量的后验分布。对 GMM 来说,就是每个点对各成分的“责任”。
- M 步(Maximization):保留刚算好的责任,更新参数,使期望的完整数据对数似然增大或达到最大。
- 检查是否继续:达到设定的改善容差或迭代上限就停;否则回到 E 步。不要等待浮点数“完全不变”。
现在先记住:E 步分权重,M 步用权重。 它不是把猜出来的标签当成已知真相。
ALS、坐标下降也有轮流更新不同变量的结构。但 GAN 是两个目标的对抗训练,不能因为也轮流更新,就继承 EM 的似然单调性。
🎯 二、高斯混合模型(GMM)
假设每个样本有 $d$ 个特征,数据由 $K$ 个高斯成分混合生成。这里的“成分”是模型里的分布,不一定等于现实中的类别。
$$p(x) = \sum_{k=1}^{K}\pi_k\,\mathcal{N}(x\mid\mu_k,\Sigma_k)$$
这里 $p(x)$ 是连续数据的概率密度,不是“恰好取到这个点的概率”。
| 参数 | 含义 | 自由参数个数 |
|---|---|---|
| $\pi_k$ | 第 k 个成分的占比;非负,且 $\sum_k\pi_k=1$ | K−1 |
| $\mu_k$ | 第 k 个成分的中心 | K·d |
| $\Sigma_k$ | 第 k 个成分的协方差,描述各方向的伸展与相关性 | K·d(d+1)/2 |
表中的协方差计数针对每个成分独立的完整协方差(full)。正常的高斯密度要求协方差正定;diag 只保留对角项,spherical 让每个成分各方向方差相同,tied 则让成分共享协方差。
生成过程的直觉:
- 先按混合权重 $\pi$ 抽一个成分编号 $z$。
- 再从这个编号对应的高斯分布抽一个点 $x$。
你只看到了点,没有看到编号。没看到的 $z$ 就是本例的隐变量。
EM 求解 GMM
假设一个点对 A、B 的责任是 0.7 和 0.3。更新 A 时,这个点贡献 0.7 份权重;更新 B 时贡献 0.3 份。不是复制成两条完整样本,也不是随机决定本轮只投给谁。
📐 两步的公式(想看再点)
E 步:算责任。 $\gamma_{ik}$ 是在当前参数下,已知点 $x_i$ 后,成分编号为 $k$ 的后验概率。
$$\gamma_{ik} = \frac{\pi_k\,\mathcal{N}(x_i\mid\mu_k,\Sigma_k)}{\sum_j \pi_j\,\mathcal{N}(x_i\mid\mu_j,\Sigma_j)}$$
分子是“成分占比 × 该成分给这个点的密度”,分母把所有成分的分子加起来。因此每个点的责任加起来等于 1。推法就是第 2 章的贝叶斯定理。
M 步:按刚才的责任更新参数。 先把各点对成分 $k$ 的权重累加,得到有效样本量 $N_k$;它不必是整数。
$$N_k = \sum_i\gamma_{ik},\qquad \pi_k^{\mathrm{new}} = \frac{N_k}{n}$$
再求加权均值。下面的更新要求 $N_k>0$;如果成分拿不到有效权重,需要重新初始化或采用明确的退化处理。
$$\mu_k^{\mathrm{new}} = \frac{1}{N_k}\sum_i \gamma_{ik}x_i$$
最后,用新均值计算加权协方差。先把样本相对新中心的偏移记成 $\delta_{ik}=x_i-\mu_k^{\mathrm{new}}$,这样就不用在一行里重复写两个长括号。
$$\Sigma_k^{\mathrm{new}} = \frac{1}{N_k}\sum_i\gamma_{ik}\delta_{ik}\delta_{ik}^{\top}$$
这里的转置让两个偏移向量相乘得到矩阵;这仍是原来的加权协方差,尚未加正则项。
💡 注意 M 步的形式:就是普通的均值/协方差公式,只是每个样本带了个权重 γ。
E 步算“这个点由谁解释”;M 步把这些权重用于占比、中心和协方差的估计。责任是模型内部的条件概率,不是已经验证过的现实分类置信度。
⭐ 三、K-Means 与 GMM 的小方差联系
K-Means 的“找最近中心、重新求均值”,可以从受限 GMM 的小方差极限中理解。 不等于随便训练一个 GMM 就是在跑 K-Means。
| 要补上的条件 | 起什么作用 |
|---|---|
| 协方差固定为同一个 $\sigma^2 I$ | 所有成分球形等大,比较密度转化成比较欧氏距离 |
| 混合权重固定且相等 | 不额外偏向占比更大的成分 |
| 让正方差 $\sigma^2$ 趋近 0 | 对有唯一最近中心的点,责任趋近一位为 1、其余为 0 |
硬分配后,非空簇的加权均值就是普通均值,得到 K-Means 的中心更新。同距并列要另定规则,空簇也要处理;不能真的把高斯方差设成 0。
📐 为什么 σ²→0 会让软分配变硬(想看再点)
责任的表达式里,高斯密度 $\propto \exp(-\|x-\mu_k\|^2/2\sigma^2)$。
若最近中心唯一,它与其他中心有严格的距离差。方差越小,其他成分的指数项相对于最近成分越小,归一化后最近成分的责任趋近 1。
注意是“比值”在变化:各个密度项本身不必趋于无穷大。若点恰好位于两个等权中心的正中间,两个责任仍然各为 0.5,不会自动选一个。
(这和基础教程第 15 章 里 softmax 温度趋于 0 的效果是同一回事。)
对比表
| K-Means | GMM | |
|---|---|---|
| 分配方式 | 硬(属于/不属于) | 软(70% 属于 A,30% 属于 B)⭐ |
| 几何偏好 | 最小化簇内平方距离,偏好紧凑、尺度相近的团 | full 的单个成分可有不同的椭圆等密度轮廓;并非任意形状 |
| 输出 | 标签、中心;也能计算到中心的距离 | 成分责任,以及完整的混合密度 |
| 计算代价 | 通常较轻,主要算距离 | 取决于维数和协方差类型;完整协方差通常更贵 |
| 参数量 | $Kd$ 个中心坐标 | full:$(K-1)+Kd+Kd(d+1)/2$ |
| 高维注意点 | 距离、特征缩放仍可能失去区分力 | 完整协方差参数多,需足够数据或限制形状 |
与基础教程第 6 章对照时,把“球形簇”理解为几何偏好,不是说 K-Means 的每个分区都是球。最近中心划分形成的是 Voronoi 区域;GMM 放开协方差限制后,能表达更多伸展方向。
💡 软分配的实用价值
只保留标签 A,会丢掉“51% 对 49%”与“99% 对 1%”的区别。 GMM 的责任可以帮助识别归属模糊的点,也可作为下游特征。但“更偏向 A”不等于“这个点在数据中很常见”。
异常检测要看密度,而不是寻找“所有责任都低”的点。 责任之和始终为 1。
用两个等权的一维高斯看区别:中心分别是 −1 和 1,标准差都是 1。
| 测试点 | 左成分责任 | 右成分责任 | 混合密度 $p(x)$ |
|---|---|---|---|
| $x=0$,两中心之间 | 0.5 | 0.5 | 约 0.242 |
| $x=10$,远离两个中心 | 约 $2.06\times10^{-9}$ | 约 0.999999998 | 约 $5.14\times10^{-19}$ |
看第二行:归属几乎全投给右边,密度却极低。 右边只是“相较之下不那么远”,不是“离右边很近”。
在 scikit-learn 中,predict_proba(X) 给成分责任,score_samples(X) 给每个样本的对数密度。异常阈值需结合验证数据和特征尺度设定,不能拿责任当异常分数。见接口文档。
📈 四、EM 的理论保证
在精确 E 步,以及使同一个下界不下降的 M 步下,EM 的观测数据对数似然单调不减。 这不意味着参数必然收敛到局部最优。
$$\log L(\theta^{(t+1)}) \ge \log L(\theta^{(t)})$$
| 能推出什么 | 还需要什么条件或注意什么 |
|---|---|
| 每轮目标值不下降 | E 步后验正确,M 步提高同一个下界;不能套给任意近似更新 |
| 目标值序列收敛到有限值 | 还要有有限上界;不受约束的 GMM 似然可能无上界 |
| 参数或驻点的收敛结论 | 需要额外正则条件;驻点不一定是局部最大值,更不等于全局最优 |
因此,“似然没有下降”“训练已停止”“找到了最优模型”是三件不同的事。 收敛条件的区分见 Wu(1983)。
📐 为什么单调不减(想看再点)
EM 可以理解成优化一个下界。把这个下界记为 $F(q,\theta)$,它由“期望的完整数据对数似然”和“熵”两部分组成:
$$\begin{aligned}F(q,\theta)&=\mathbb{E}_{q}[\log p(X,z\mid\theta)]\\&\quad+H(q)\\\log p(X\mid\theta)&\ge F(q,\theta)\end{aligned}$$
看最后一行:下界不会高于真实对数似然。 这就是 ELBO(证据下界);$\mathbb{E}_q$ 表示按隐变量分布 $q(z)$ 取期望。
- E 步:固定 θ,选 $q(z) = p(z|X,\theta)$ → 让下界【等于】对数似然(贴紧)
- M 步:固定 q,最大化或提高该下界。旧参数处下界已贴紧,新参数处真实似然又不低于下界,所以真实似然至少不降。
这里 $H(q)$ 是熵;$q$ 是隐变量的候选分布,不是新观测到的标签。两步始终针对同一个观测数据似然,才有这条比较链。
读图时先找实线和虚线的接触点:E 步更换下界,M 步沿当前下界寻找更好的参数。 不要把 M 步理解成把整条曲线随意往上搬;图中只画一维参数的关系示意。
这个下界也连接到变分推断。不过 VAE 还引入了参数化的近似后验与梯度训练,不是原样执行这里的精确 EM。
实践含义:
| 问题 | 解法 |
|---|---|
| 不同起点落在不同解 | 多次初始化并比较同一数据上的拟合目标;n_init 可执行多次拟合,但不保证找到全局最优 |
| 初始化敏感 | 用 K-Means++ 初始化,或先跑 K-Means 再初始化 GMM |
| 协方差退化(成分可向一个样本塌缩,似然失去上界) | reg_covar 是常见数值处理;也可设计协方差约束或使用有适当先验的模型 |
| K 怎么选 | BIC / AIC(GMM 有似然,所以能用信息准则)⭐ |
| 高维时协方差参数太多 | 用 covariance_type="diag" 或 "spherical" 限制形状 |
为什么需要处理退化? 在常见的多成分、协方差不受约束的 GMM 中,一个成分可以贴到某个样本上并不断缩小方差;其他成分仍解释其他样本。这会使观测似然趋向无穷。
这是模型目标本身的奇点,不只是浮点误差,也不是所有成分都必然会塌缩。给协方差加对角项是常见办法,但不是唯一办法;改了约束、正则或先验后,也要重新分清正在优化的目标。见高斯混合指南。
🔨 用 BIC 比较候选 K
这段代码比较 1 到 10 个成分的模型,选择 BIC 最小的一个。 它先造三团数据,再只把团调散,观察选择是否变化。
BIC 同时考虑拟合效果和参数数量:拟合改善不够抵消复杂度惩罚时,较简单的模型会胜出。比较时要用同一份数据、相同的预处理和明确的模型假设,也要检查拟合是否收敛。
想看 BIC 是怎样计分的
$$\mathrm{BIC}=-2\log L(\hat\theta)+p\log n$$
$n$ 是样本数,$p$ 是自由参数个数,不是成分数;完整协方差的 $p$ 见上方对比表。对数似然越大,第一项越小;参数越多,第二项越大。
它是信息准则,不是测试集准确率。混合模型存在奇异性等细节,因此不要把这个分数解释为自动证明“真实 K”。
from sklearn.mixture import GaussianMixture
from sklearn.datasets import make_blobs
import numpy as np
# ⭐ 先造一份「真实 K = 3」的数据,才看得出 BIC 有没有把它挑回来
X, _ = make_blobs(n_samples=600, centers=3, cluster_std=0.8, random_state=0)
bics = []
for k in range(1, 11):
gm = GaussianMixture(k, n_init=5, reg_covar=1e-4, random_state=0).fit(X)
bics.append(gm.bic(X))
best_k = int(np.argmin(bics)) + 1
print("各 K 的 BIC:", [round(b) for b in bics])
print(f"BIC 最小的 K = {best_k}")
# ⚠️ 只把团调散一点(cluster_std 0.8 → 1.0),同一个种子就会给出 K = 2
X2, _ = make_blobs(n_samples=600, centers=3, cluster_std=1.0, random_state=0)
b2 = [GaussianMixture(k, n_init=5, reg_covar=1e-4, random_state=0).fit(X2).bic(X2)
for k in range(1, 11)]
print(f"团更散一点时,BIC 选的是 K = {int(np.argmin(b2)) + 1}")
本机 scikit-learn 1.7.2、上述种子的实跑结果如下。表格省略中间展示,不影响代码实际比较全部 10 个候选。
| 团的标准差 | K=1 | K=2 | K=3 | K=4 | K=5 | K=10 | 最小 BIC 对应的 K |
|---|---|---|---|---|---|---|---|
| 0.8 | 4542 | 4182 | 4139 | 4171 | 4204 | 4379 | 3 |
| 1.0 | 4695 | 4525 | 4537 | 4572 | 4607 | 4769 | 2 |
看第二行的 K=2 与 K=3: 在这次有限样本拟合中,增加一个成分得到的拟合收益不足以抵消 BIC 的参数惩罚。生成数据用了 3 个中心,但这个选择准则选了 2。
这不等于“两个高斯一重叠,真实成分数就不唯一”。有限数据不足以支持更复杂的候选,与模型在总体分布上是否可识别,是两类问题。
GMM 的似然让 BIC/AIC 比较很方便;K-Means 也可以用轮廓系数、稳定性分析或下游验证,不是只能凭主观肘部判断。具体数值可能随版本和拟合过程变化,最终应结合任务检查聚类是否有用。
🌍 五、EM 的其他用武之地
有隐变量,是考虑 EM 的线索,不是可直接套用的充分条件。 还需要写出概率模型,并能计算或妥善近似 E、M 两步。
| 应用 | 隐变量与需要注意的地方 |
|---|---|
| 缺失值建模 | 缺失值可当隐变量,但须说明数据分布、缺失机制,以及预测时哪些信息真的可得 |
| HMM(语音、序列标注) | 隐藏状态序列;Baum–Welch 用前向后向算法算所需后验量 |
| 主题模型(LDA) | 主题归属等隐变量;后验通常难精确求,常用变分推断或采样 |
| 半监督学习 | 未标注样本的类别;需要明确的生成模型,错误假设也可能伤害学习 |
| 矩阵分解的概率版 | 某些模型把隐因子作为随机变量,可构造 EM 或近似推断;不等于所有矩阵分解都用 EM |
| 混合专家(MoE) | 概率混合专家可含专家选择变量;现代稀疏路由模型通常通过梯度训练,不自动属于 EM |
和 VAE 的连接: 两者都能用 ELBO 理解。VAE 用编码器表示近似后验,通常联合进行随机梯度训练;“下界相似”不代表每一步继承精确 EM 的单调性。见 VAE 原始论文。
和 MoE 的连接: 都涉及“由谁解释或处理输入”的分工,但要判断是否为 EM,必须检查训练是否真的计算隐变量后验并优化对应的期望目标,不能只看“专家”这个名字。
🔗 六、和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 基础教程第 6 章 K-Means | 与等权、等大球形 GMM 的小方差极限有关;并列与空簇另作处理 |
| K-Means 的“球形”直觉 | 平方距离带来的几何偏好,不是说所有分区真是球 |
| K-Means 要多次初始化 | 与 EM 一样,起点会影响结果;重复尝试也不保证全局最优 |
| 第 1 章最大似然 | EM 就是在最大化似然,只是有隐变量 |
| 第 2 章贝叶斯定理 | E 步算的责任就是后验概率 |
| 《数据这一关》05 的缺失值填充 | EM 可用于估计缺失数据模型,不等于所有填充都从后验抽样;预测时未知的目标 y 不能偷用来填特征 |
| 推荐算法的矩阵分解 | 具体概率模型可能用 EM;普通交替最小二乘不因此成为 EM |
| 全景导论的 MoE 架构 | 对照“概率混合”与“可训练路由”的区别,避免混淆算法 |
✅ 检查点
- EM 解决什么类型的问题?两步各干什么?
- 「交替优化」这个思想还出现在哪些地方?
- GMM 的 E 步算的"责任"是什么意思?它和贝叶斯定理什么关系?
- K-Means 的小方差联系要加哪些条件?点到两个中心同距时会怎样?
- 软分配保留了什么信息?为什么一个点的归属接近 100%,仍可能是异常点?
- EM 的理论保证是什么?它不保证什么?
- 什么是协方差退化?
reg_covar在处理什么,是否只有这一种办法? - BIC 在比较什么?它选出 2 而不是生成数据的 3,能推出“真实 K 不唯一”吗?
👀 答案
- 在概率模型中估计含隐变量的参数。E 步算隐变量后验分布,M 步固定这份分布,优化期望的完整数据对数似然。
- ALS 和坐标下降也交替更新;GAN 则是对抗目标。更新顺序相似不代表目标相同,更不代表都享有 EM 的保证。
- 当前参数下的成分后验概率。由先验占比乘成分密度,再对所有成分归一化得到;每个点的责任和为 1。
- 固定相同的球形协方差、固定等权重,让正方差趋近 0。唯一最近中心的责任趋近 1;两个等距中心不会自动打破平局。
- 责任能表达归属的模糊程度,也能作特征;但只比较各成分的相对解释力。异常检测需看混合密度,远离所有中心的点仍可几乎全归属某一成分。
- 在精确 E 步、M 步不降低同一下界的前提下,似然不降。似然值有限收敛还需有上界;参数收敛和驻点性质需额外条件,不保证局部或全局最优。
- 不受约束的混合模型中,成分可向样本塌缩,使似然失去上界。
reg_covar加协方差对角项;约束和适当先验也是处理方向。 - BIC 权衡同一数据上的拟合与参数数量,不保证恢复真实成分数。本例反映有限样本下的选择,不能推出总体模型不可识别;K-Means 也有轮廓系数等比较方法。
本节回顾
⚡ 走神救援
先记住这几件事
- EM 在估计隐变量分布与更新参数之间交替推进。
- GMM 的 E 步计算各成分责任,M 步按这些权重更新分布参数。
- 似然改善不保证全局最优;多次初始化并处理协方差退化,再比较模型。
下一节 👉 14-实战与挑战项目.md