📑 本页目录(点开跳转)
06 / 先看直觉,再看细节
图上分成几团,
不等于找到了真实类别。
图上分成几团,就算找到了结构吗?
聚类寻找相似样本;降维压缩表示。结果是否有用,还要用原始数据与任务验证。
区分聚类目标、方差投影与邻域可视化,知道图上分团不能单独证明真实类别。
先抓住一个具体结果
先换一种设置再下结论
同一份数据换 perplexity 或随机种子,t-SNE 的图形可能改变。比较多种设置,并回到原始特征检查;稳定的图形也不是类别真实存在的证明。
06 · 无监督:聚类与降维
⏱ 28 分钟 | 🧭 支线 · 按需:可以跳,但降维那半节很有用
🎯 一句话
没有标签的时候,你只能问两个问题:「哪些样本像?」(聚类)和 「能不能用更少的维度表示它?」(降维)。
⚠️ 先说一件最重要的事:无监督没有"正确答案"
因果链
🔑 这是无监督最大的陷阱:算法永远会给你一个结果, 但"算法跑出来了"和"这个分法有意义"是两码事。 轮廓系数只能告诉你"簇分得紧不紧",不能告诉你"这个分法有没有用"。
🎯 一、K-Means:最常用的聚类
流程图
五个必须知道的坑:
| 坑 | 说明 | 解法 |
|---|---|---|
| K 要自己定 | 算法不会告诉你该分几类 | 肘部法则、轮廓系数、业务意义 ⭐ |
| 特征尺度会影响距离 | 它用欧氏距离,数值变化大的特征可能主导 | 按单位和任务决定是否缩放,如用 StandardScaler |
| 偏好紧凑、近似球形的簇 | 长条形、环形的簇它分不好 | 换 DBSCAN / 谱聚类 |
| 初始化敏感 | 不同起点得到不同结果 | n_init=10(跑 10 次取最好)⭐ |
| 对离群点敏感 | 一个极端点能把整个中心拽跑 | 先清离群点,或用 K-Medoids |
K-Means 用平方欧氏距离衡量远近,偏好紧凑、近似球形的簇。簇的大小或密度差异很大时,分组容易失真。这个倾向来自它优化的目标。与高斯混合模型的联系需要额外条件,下面用同一组点算一遍。
⭐ 上面这四步用 numpy 写出来只要 12 行:🔗 附录 C 第 8 题。 值得专门去一趟,是因为它补了一个「照着四步写」一定会漏的分支:空簇。 某一轮没有任何点归到某个中心时,
X[lab==j].mean(0)对空数组求均值返回nan, 下一轮所有距离全变nan,算法静默地烂掉——不报错,只是结果不对。 那边还把「⑤n_init=10」这个坑写成了代码(跑 10 次取惯性最小的那次)。
怎么选 K:
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
for k in range(2, 8):
km = KMeans(n_clusters=k, n_init=10, random_state=0).fit(X_scaled)
print(f"K={k} 惯性={km.inertia_:.0f} "
f"轮廓系数={silhouette_score(X_scaled, km.labels_):.3f}")
# 惯性(inertia):簇内平方和,全局最优值随 K 非增;有限重启的实际解未必如此 → 看【拐点】不是看最小值 ⭐
# 轮廓系数:-1~1,越接近 1 越好;接近 0 说明簇之间黏在一起;负数说明分错了
运行前需先定义数值二维 X_scaled:由训练数据拟合缩放器后转换,验证/测试只 transform;若是纯探索也要记录所用尺度与数据范围。
⚠️ 肘部法则的真相:很多真实数据根本没有明显的肘部,曲线是平滑下降的。 这时候别硬找拐点——改用业务约束("运营团队最多能维护 5 个人群包"就是最好的 K)。
其他聚类算法:
| 算法 | 特点 | 什么时候用 |
|---|---|---|
| DBSCAN | 按密度聚类,不用指定 K,能识别噪声点,能找任意形状 ⭐ | 簇形状不规则、有明显噪声 |
| 层次聚类 | 产出树状图,能看到不同粒度的分组 | 想看层级结构,数据量小(O(n²)) |
| 高斯混合 GMM | 软分配(一个点可以 70% 属于 A、30% 属于 B) | 想估计归属的不确定性,且各成分可用高斯分布近似 |
🔧 DBSCAN 的两个参数怎么定(想用再点)
关键信息
from sklearn.neighbors import NearestNeighbors
import numpy as np, matplotlib.pyplot as plt
k = 2 * X_scaled.shape[1]
d, _ = NearestNeighbors(n_neighbors=k).fit(X_scaled).kneighbors(X_scaled)
plt.plot(np.sort(d[:, -1])) # ⭐ 看拐点
⚠️ DBSCAN 在高维上会失效——密度的概念在高维失去意义 (🔗 数学原理第 5 章 维度灾难)。 超过 10~20 维时先降维。
同一批读数,为什么要保留归属的不确定性?
假设一台传感器可能在 A、B 两种工况下工作,记录了相对参考温度的三个偏差:0、1、3 °C。读数没有工况标签。先人为设两个初始中心,A 为 0 °C,B 为 2 °C。恰好落在正中间的 1 °C,两边都差 1 °C,单凭最近中心就分不出哪边更可信。
硬分配(hard assignment)仍要给每个点选一个簇。软分配(soft assignment)允许记录这个点在两个簇中的归属概率。若用钟形的高斯分布描述每种工况下读数的波动,把两种分布按各自比例混合,就是高斯混合模型(Gaussian Mixture Model,GMM)。比例表示还没看读数时两种工况各有多常见。工况是模型假设,不能拿这些概率当成真实标签。
硬分配:K-Means 把读数整票投给最近中心
把每个点分别减去两个中心后平方。平方让左右两个方向的距离都为非负数,且距离较近的一边仍较小。这里三个读数到 A、B 的平方距离依次为 $(0^2,(-2)^2)=(0,4)$、$(1^2,(-1)^2)=(1,1)$、$(3^2,1^2)=(9,1)$,单位都是 (°C)²。本例规定平局时选 A,所以 A 得到 0、1,B 得到 3。
对已经分好的点,用本簇平均值更新中心。A 的新中心是 $(0+1)/2=0.5$ °C,B 是 $3/1=3$ °C。这完成了一轮分配和更新,下一轮会使用新中心重新分配。
E 步:把每个读数的一票分给两个成分
要估计归属,先用初始中心问「每种工况对这条读数的解释有多强」,再把两种解释的得分按同一总和缩放成比例。这个比例叫责任度(responsibility),即在当前模型下、观察到这个读数之后属于某个成分的概率。用中心来估计归属是期望步(E 步),用归属来重算中心是最大化步(M 步)。交替执行两步,就是期望最大化(Expectation-Maximization,EM)算法。
本例固定两种工况的比例各为 $1/2$,也固定同一个方差 $v=1$ (°C)²。方差是衡量波动大小的量,等于标准差的平方。对第 $i$ 条读数 $x_i$($i=1,2,3$),用下式求成分 $j$($j$ 为 A 或 B)的相对得分 $s_{ij}$ 和责任度 $r_{ij}$。$\mu_j$ 是该成分的当前中心,单位和读数一样,都是 °C。
$$s_{ij}=\exp\!\left(-\frac{(x_i-\mu_j)^2}{2v}\right),\qquad r_{ij}=\frac{s_{ij}}{s_{iA}+s_{iB}}.$$
读数离中心越远,负指数越小,得分就越低。$\exp(a)$ 是 $e^a$,底数 $e\approx2.718$。平方差和方差的单位相同,所以指数没有单位。两边方差相同,高斯密度的常数因子也相同。把密度各乘上相同的工况比例,再除以两个结果的和时,这些共同因子会约掉,所以只需计算上式的指数部分。两个责任度都在 0 到 1 之间,相加为 1。
| 读数 | A、B 的相对得分 | A 的责任度 | B 的责任度 |
|---|---|---|---|
| 0 °C | $e^0=1$、$e^{-4/2}\approx0.1353$ | $1/(1+0.1353)\approx0.8808$ | $0.1353/(1+0.1353)\approx0.1192$ |
| 1 °C | 均为 $e^{-1/2}\approx0.6065$ | $0.6065/(0.6065+0.6065)=0.5000$ | $0.6065/(0.6065+0.6065)=0.5000$ |
| 3 °C | $e^{-9/2}\approx0.0111$、$e^{-1/2}\approx0.6065$ | $0.0111/(0.0111+0.6065)\approx0.0180$ | $0.6065/(0.0111+0.6065)\approx0.9820$ |
GMM:A 88.08%,B 11.92%
GMM:A 50%,B 50%
GMM:A 1.80%,B 98.20%
M 步:每个成分用分到的票重算中心
半票应该只有一整票一半的拉力。因此每个读数先乘它在成分 $j$ 上的责任度,再除以该成分收到的总票数。固定 E 步的责任度和本例方差时,最大化加权的高斯对数密度等价于最小化加权平方距离。它在加权平均处最小,因为此处左右的加权偏差正好抵消。$\mu_j^{\mathrm{new}}$ 是成分 $j$ 更新后的中心,仍以 °C 计,求和都遍历三个读数。
$$\mu_j^{\mathrm{new}}=\frac{\sum_{i=1}^3r_{ij}x_i}{\sum_{i=1}^3r_{ij}}.$$
- A:$(0.8808\times0+0.5000\times1+0.0180\times3)/(0.8808+0.5000+0.0180)=0.5540/1.3988\approx0.396$ °C。
- B:$(0.1192\times0+0.5000\times1+0.9820\times3)/(0.1192+0.5000+0.9820)=3.4460/1.6012\approx2.152$ °C。
下一轮用新中心重新估计责任度。这里只更新均值,成分比例与方差仍固定。手算中心保留三位小数。程序保留未舍入的责任度,最后才将结果显示为四位小数。
用 Python 核对这一轮
这三个数是手设的演示数据,只用于展示一次拟合更新。没有随机步骤、特征缩放、调参或泛化评估。若把分群用于下游预测,先划分数据,再只用训练集拟合缩放器和聚类参数;在验证集上选择方案,冻结后再用测试集评估。
distances 保存每个读数到两个旧中心的平方距离,hard 存硬分配,soft 存每一行的责任度。更新时前者用本簇读数的普通平均,后者用 weights 取该成分的一列责任度并求加权平均。程序用标准库,可直接运行。
from math import exp
readings = [0, 1, 3]
centers = [0, 2]
variance = 1.0
hard = []
soft = []
for x in readings:
distances = [(x - center) ** 2 for center in centers]
group = 0 if distances[0] <= distances[1] else 1 # 平局选 A
hard.append(group)
scores = [exp(-d / (2 * variance)) for d in distances]
total = sum(scores)
shares = [score / total for score in scores]
soft.append(shares)
print(f"x={x}: K-means {'AB'[group]}; GMM A={shares[0]:.4f}, B={shares[1]:.4f}")
hard_centers = []
soft_centers = []
for group in range(len(centers)):
members = [x for x, label in zip(readings, hard) if label == group]
hard_centers.append(sum(members) / len(members)) # 本例两个簇都非空
weights = [shares[group] for shares in soft]
weighted_total = sum(weight * x for weight, x in zip(weights, readings))
soft_centers.append(weighted_total / sum(weights))
print(f"K-means: A={hard_centers[0]:.4f}, B={hard_centers[1]:.4f}")
print(f"GMM/EM: A={soft_centers[0]:.4f}, B={soft_centers[1]:.4f}")
输出最后两行应分别是 K-means: A=0.5000, B=3.0000 和 GMM/EM: A=0.3960, B=2.1521。这段代码只覆盖给定的两个成分和这组数据。实际 K-Means 要处理空簇,GMM 在大距离或极小方差下需要在对数空间计算,避免两个指数项都被浮点数舍入为零。
何时两种更新接近?
固定等权重和共同的球形协方差(每个方向同样波动、各方向互不相关),让方差趋近于零。如果某点只有一个最近中心,较远中心的指数得分会比最近中心衰减得更快。归一化之后,唯一最近中心的责任度趋近 1,其他趋近 0。当不存在平局和空簇时,加权均值也趋向 K-Means 的簇内均值。本例的 1 °C 到两个初始中心等距,等权下责任度各半,即使缩小方差也不会执行 K-Means 的平局规则。一般的 GMM 可有不同的成分权重和协方差,不必遵循最近中心规则。
失败信号:把两个 GMM 初始中心都放在 0 °C,这一轮每个读数都会平分两票。两个均值一起更新为 $(0+1+3)/3=4/3$ °C,下一轮仍无法打破对称。在这组固定比例和方差的条件下,EM 不能靠多跑几轮解开完全相同的起点,也不保证找到全局最优。实际拟合可比较多个起点,并检查分群稳定性和下游价值。
先看想要的输出。K-Means 直接分簇,GMM 可以给每个读数分配成分概率,DBSCAN 依据邻域密度连出簇并可标记噪声。PCA 解决下面的另一个问题:用更少的坐标表示样本,输出是新坐标。
自检:等距读数会因方差变小而归入 A 吗?
保持旧中心 0、2 和两个相等的工况比例,只把共同方差改为 0.25 (°C)²。预测读数 1 °C 的两个责任度,再展开核对自己的理由。
仍各为 0.5。两个平方距离都为 1,所以得分都为 $e^{-1/(2\times0.25)}=e^{-2}$。每个得分除以两者之和就是 0.5。K-Means 在同样的平局下才会按演示规则硬选 A。
到这里先记住:硬分配用整票更新,软分配用每个成分收到的份额更新。想继续核对 EM 更新与小方差的推导,可读数学原理第 13 章和 Stanford CS229 EM 讲义第 3 节。
📉 二、PCA:降维的默认选择
图内可左右滑动;需要时可放大阅读。
它在做什么:找到数据方差最大的几个方向,把数据投影上去。
图内可左右滑动;需要时可放大阅读。
💡 人话:把一个立体物体投影到最能看清它形状的那个角度。丢掉的是"最不重要"的变化。
💡 为什么"方差大"就是"信息多":
一个特征如果所有样本上都一样(方差为 0),它没有区分任何东西,删掉不损失信息。 方差越大 → 样本在这个方向上差异越大 → 这个方向越能区分样本。 ⚠️ 但注意:"能区分样本" ≠ "能区分标签" —— 这是 PCA 最大的局限,见下。
# 🧩 骨架:`X_scaled` 来自你自己的代码,这一段只看写法
from sklearn.decomposition import PCA
import numpy as np
pca = PCA().fit(X_scaled)
cum = np.cumsum(pca.explained_variance_ratio_)
print(f"保留 90% 方差需要 {np.argmax(cum >= 0.90) + 1} 个主成分"
f"(原本 {X.shape[1]} 个)")
X_reduced = PCA(n_components=0.95).fit_transform(X_scaled) # 直接指定保留比例
用途:
| 用途 | 说明 |
|---|---|
| 加速训练 | 30维压到10维可能加速;幅度取决于模型、样本与PCA成本 |
| 去噪 | 丢掉的小方差方向往往是噪声 |
| 可视化 | 降到 2 维画图看数据分布 |
| 解决共线性 | 主成分之间天然正交 |
| 向量检索加速 | 推荐/搜索里降维后再建索引 |
⚠️ PCA 的四个注意:
- 按特征单位和任务选择缩放;未缩放时大方差特征可能主导主方向—— 一个"年收入(万元)"和"年龄"放一起,不标准化的话 PC1 基本就是收入
- 主成分没有可解释性(PC1 是一堆原特征的加权和,说不清是什么)
- 它是无监督的——方差大 ≠ 对预测有用。有时候降维反而掉分 ⭐
- ⚠️ 必须在训练集上 fit,再 transform 验证集 —— 在全量数据上 fit 是数据泄漏
# 🧩 骨架:`PCA` 来自你自己的代码,这一段只看写法
# ❌ 泄漏:PCA 看到了验证集的分布
X_all = PCA(n_components=10).fit_transform(X)
tr, va = split(X_all)
# ✅ 正确:放进 Pipeline,CV 自动帮你处理
from sklearn.pipeline import make_pipeline
pipe = make_pipeline(StandardScaler(), PCA(n_components=10), LogisticRegression())
🔗 第 5 章那个纯噪声数据也能跑出 76.5% 准确率的泄漏实验, 就是这类错误的后果。PCA 是最容易泄漏的预处理之一,因为它看起来"只是转换"。
💡 关于第 3 点:有监督的替代品
关键信息
🎨 三、t-SNE / UMAP:只用来看图
对照
PCA:线性投影,保留【全局结构】,可以用来做特征
t-SNE/UMAP:非线性,保留【局部邻域】,图好看
⚠️ 但是:
· 它们的坐标轴【没有意义】
· 簇之间的【距离没有意义】
· 簇的【大小没有意义】
· 换个随机种子图就变
🔑 一句话:本节先把 t-SNE/UMAP 用作探索图;不要仅凭漂亮的簇断言存在真实类别。 UMAP 也可以用于下游特征,但要在训练集拟合、再转换验证集,并用下游任务验证效果;不能把二维可视化直接当成有效特征的证明。
⚠️ t-SNE 的 perplexity 参数会显著改变图形:
结果对照
💡 一个可以做的自检:比较多个 perplexity、随机种子,并检查原始特征中的邻近关系和业务含义。跨设置稳定只是线索,不是证明。
不要用“打乱标签后还有簇”判断真假:普通 t-SNE 不使用标签;固定特征和随机设置时,打乱标签不会改变点的位置,只会改变按标签着色的颜色。参见 t-SNE 图形解读的交互示例。
🧭 三种降维怎么选
| 你的目的 | 用什么 |
|---|---|
| 压缩特征喂给模型 | PCA(放 Pipeline 里) |
| 分类任务的有监督降维 | LDA |
| 只是想看一眼数据结构 | UMAP(可画图;作下游特征须训练集拟合并验证) |
| 稀疏矩阵(文本 TF-IDF) | TruncatedSVD(PCA 要中心化会破坏稀疏性)⭐ |
| 有类别特征的高维数据 | Embedding(第 16 章) |
🔗 和站内其他章的关系
| 相关的地方 | 这里的对应 |
|---|---|
| 推荐算法的 Embedding | 也是一种降维——把高维 one-hot 压成低维稠密向量 |
| 推荐算法第 10 章向量检索 | 检索前常用 PCA 降维加速 |
| 数学原理第 13 章 | 推导等权、共同球形协方差的 GMM 在小方差极限下如何对应 K-Means,另讨论平局和空簇。 |
| 数学原理第 5 章 | 为什么高维上距离和密度都失效 |
| 第 5 章的数据泄漏 | PCA 必须在 Pipeline 里 fit |
| Kaggle 第 1 章 | 竞赛里 PCA/SVD 常作为特征构造手段 |
| 全景导论第 10 章的 CLIP | 对比学习也是无监督的一种 |
⚖️ 要不要深挖这一章
说实话:这一章是本教程里最能跳的。
| 你的情况 | 建议 |
|---|---|
| 做监督学习为主(分类/回归/推荐) | 🟡 知道 PCA 和 K-Means 存在即可 |
| 做用户分群 / 数据探索 | ✅ 聚类那半节要学 |
| 特征太多想压缩 | ✅ PCA 那半节要学 |
| 想快速看数据有没有结构 | ✅ 学会用 UMAP 画图 |
✅ 检查点
共 9 题:8 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 无监督学习最大的陷阱是什么?
看答案与解析
答案:A
算法永远会给你结果,但"跑出来了"≠"有意义"。必须靠外部标准评估:业务上讲不讲得通、下游决策有没有效果、换种子结论还成不成立。
单选2. 下面哪一项不是 K-Means 的坑?
看答案与解析
答案:B
K 要自己定,距离会受尺度影响,偏好紧凑、近似球形的簇,对离群点和初始化敏感(可用 n_init=10 多试几个起点)。
单选3. K-Means 为什么偏好球形簇?
看答案与解析
答案:A
K-Means 最小化到簇中心的平方距离,因此偏好紧凑、近似球形的簇;对细长、密度差异大的簇可能分错。它与受限 GMM 有联系,但不要求真实数据必须来自等大的高斯簇。
单选4. 肘部法则找不到拐点怎么办?
看答案与解析
答案:C
很多真实数据根本没有明显肘部。这时改用业务约束(如"运营最多维护 5 个人群包")。
判断5. 方差大的方向一定对预测标签有用,所以 PCA 保留的主成分总能帮到监督任务。
看答案与解析
答案:错误
方差为 0 的特征不区分任何样本,删掉不损失信息;方差越大越能区分样本。失效场景:能区分样本 ≠ 能区分标签——PCA 是无监督的,方差大的方向可能对预测毫无用处。
单选6. PCA 为什么必须放进 Pipeline?
看答案与解析
答案:A
因为在全量数据上 fit 会让 PCA 看到验证集的分布 → 数据泄漏,评估结果虚高。
单选7. 什么时候该用 LDA 而不是 PCA?
看答案与解析
答案:B
目标是分类时。LDA 找"最能分开类别"的方向(看标签),PCA 只找方差最大(不看标签)。但 LDA 最多降到 (类别数−1) 维。
单选8. 关于 t-SNE,下面哪种自检做法是对的?
看答案与解析
答案:B
比较多个 perplexity 和随机种子,再回到原始特征或下游任务核验。稳定出现也不等于证明。普通 t-SNE 不使用标签,打乱标签不能鉴定簇的真假。
单选9. 稀疏矩阵为什么该用 TruncatedSVD 而不是 PCA?
看答案与解析
答案:A
PCA 要中心化(减均值),会把稀疏矩阵变稠密,内存爆炸。TruncatedSVD 不中心化,保持稀疏。
本节回顾
聚类寻找相似样本;降维压缩表示。结果是否有用,还要用原始数据与任务验证。
⚡ 走神救援
- 分组与压缩是两个目标;跑出结果,不等于结果有用。
- K-Means:留意尺度、簇形状、初始化与离群点;没有清楚的肘部时,结合业务选择 K。
- GMM 与 EM:先估计每个点的归属份额,再用份额更新中心。换初始中心可能改变结果。
- PCA:方差大不代表对标签有用。预处理只在训练集拟合;稀疏数据可考虑 TruncatedSVD。
- t-SNE/UMAP:探索图需要回到原始特征或下游任务核验。换参数、换种子检查稳定性;打乱标签不能验真。
下一节 👉 07-从线性到神经网络.md