图上分成几团，
不等于找到了真实类别。

06 · 无监督：聚类与降维

⏱ 28 分钟 ｜ 🎁 可以跳，但降维那半节很有用

🎯 一句话

没有标签的时候，你只能问两个问题：「哪些样本像？」（聚类）和 「能不能用更少的维度表示它？」（降维）。

⚠️ 先说一件最重要的事：无监督没有"正确答案"

🔑 这是无监督最大的陷阱：算法永远会给你一个结果， 但"算法跑出来了"和"这个分法有意义"是两码事。 轮廓系数只能告诉你"簇分得紧不紧"，不能告诉你"这个分法有没有用"。

🎯 一、K-Means：最常用的聚类

五个必须知道的坑：

🔗 数学原理第 13 章会告诉你： K-Means 是高斯混合模型（GMM）的一个特例—— K-Means 的平方欧氏距离目标偏好紧凑、近似球形的簇；大小、密度差异很大时，分组容易失真。 这与目标函数和距离选择有关，不是“数据必须来自等大的球形高斯分布”这一硬性要求。

⭐ 上面这四步用 numpy 写出来只要 12 行：🔗 附录 C 第 8 题。 值得专门去一趟，是因为它补了一个「照着四步写」一定会漏的分支：空簇。 某一轮没有任何点归到某个中心时，X[lab==j].mean(0) 对空数组求均值返回 nan， 下一轮所有距离全变 nan，算法静默地烂掉——不报错，只是结果不对。 那边还把「⑤ n_init=10」这个坑写成了代码（跑 10 次取惯性最小的那次）。

怎么选 K：

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

for k in range(2, 8):
    km = KMeans(n_clusters=k, n_init=10, random_state=0).fit(X_scaled)
    print(f"K={k}  惯性={km.inertia_:.0f}  "
          f"轮廓系数={silhouette_score(X_scaled, km.labels_):.3f}")
# 惯性(inertia)：簇内平方和，一定随 K 单调下降 → 看【拐点】不是看最小值 ⭐
# 轮廓系数：-1~1，越接近 1 越好；接近 0 说明簇之间黏在一起；负数说明分错了

⚠️ 肘部法则的真相：很多真实数据根本没有明显的肘部，曲线是平滑下降的。 这时候别硬找拐点——改用业务约束（"运营团队最多能维护 5 个人群包"就是最好的 K）。

其他聚类算法：

from sklearn.neighbors import NearestNeighbors
import numpy as np, matplotlib.pyplot as plt

k = 2 * X_scaled.shape[1]
d, _ = NearestNeighbors(n_neighbors=k).fit(X_scaled).kneighbors(X_scaled)
plt.plot(np.sort(d[:, -1]))   # ⭐ 看拐点

📉 二、PCA：降维的默认选择

它在做什么：找到数据方差最大的几个方向，把数据投影上去。

💡 人话：把一个立体物体投影到最能看清它形状的那个角度。丢掉的是"最不重要"的变化。

💡 为什么"方差大"就是"信息多"：

一个特征如果所有样本上都一样（方差为 0），它没有区分任何东西，删掉不损失信息。 方差越大 → 样本在这个方向上差异越大 → 这个方向越能区分样本。 ⚠️ 但注意："能区分样本" ≠ "能区分标签" —— 这是 PCA 最大的局限，见下。

# 🧩 骨架：`X_scaled` 来自你自己的代码，这一段只看写法
from sklearn.decomposition import PCA
import numpy as np

pca = PCA().fit(X_scaled)
cum = np.cumsum(pca.explained_variance_ratio_)
print(f"保留 90% 方差需要 {np.argmax(cum >= 0.90) + 1} 个主成分"
      f"（原本 {X.shape[1]} 个）")

X_reduced = PCA(n_components=0.95).fit_transform(X_scaled)  # 直接指定保留比例

用途：

⚠️ PCA 的四个注意：

1. 必须先标准化（否则量纲大的特征会主导主方向）—— 一个"年收入（万元）"和"年龄"放一起，不标准化的话 PC1 基本就是收入
2. 主成分没有可解释性（PC1 是一堆原特征的加权和，说不清是什么）
3. 它是无监督的——方差大 ≠ 对预测有用。有时候降维反而掉分 ⭐
4. ⚠️ 必须在训练集上 fit，再 transform 验证集 —— 在全量数据上 fit 是数据泄漏

# 🧩 骨架：`PCA` 来自你自己的代码，这一段只看写法
# ❌ 泄漏：PCA 看到了验证集的分布
X_all = PCA(n_components=10).fit_transform(X)
tr, va = split(X_all)

# ✅ 正确：放进 Pipeline，CV 自动帮你处理
from sklearn.pipeline import make_pipeline
pipe = make_pipeline(StandardScaler(), PCA(n_components=10), LogisticRegression())

🔗 第 5 章那个纯噪声数据也能跑出 76.5% 准确率的泄漏实验， 就是这类错误的后果。PCA 是最容易泄漏的预处理之一，因为它看起来"只是转换"。

💡 关于第 3 点：有监督的替代品

🎨 三、t-SNE / UMAP：只用来看图

🔑 一句话：本节先把 t-SNE/UMAP 用作探索图；不要仅凭漂亮的簇断言存在真实类别。 UMAP 也可以用于下游特征，但要在训练集拟合、再转换验证集，并用下游任务验证效果；不能把二维可视化直接当成有效特征的证明。

⚠️ t-SNE 的 perplexity 参数会显著改变图形：

💡 一个可以做的自检：比较多个 perplexity、随机种子，并检查原始特征中的邻近关系和业务含义。跨设置稳定只是线索，不是证明。

不要用“打乱标签后还有簇”判断真假：普通 t-SNE 不使用标签；固定特征和随机设置时，打乱标签不会改变点的位置，只会改变按标签着色的颜色。参见 t-SNE 图形解读的交互示例。

🧭 三种降维怎么选

🔗 和站内其他章的关系

⚖️ 要不要深挖这一章

说实话：这一章是本教程里最能跳的。

✅ 检查点

1. 无监督最大的陷阱是什么？该靠什么评估？
2. K-Means 的五个坑是什么？
3. 为什么 K-Means 只能找球形簇？（说出根本原因）
4. 肘部法则找不到拐点怎么办？
5. 为什么"方差大"约等于"信息多"？这个逻辑在什么时候会失效？
6. PCA 为什么必须放进 Pipeline？不放会怎样？
7. 什么时候该用 LDA 而不是 PCA？
8. t-SNE 的 perplexity 该怎么用？怎么自检簇是不是假的？
9. 稀疏矩阵为什么该用 TruncatedSVD 而不是 PCA？

🛑 可以停在这里

⚡ 走神救援

• 分组与压缩是两个目标；跑出结果，不等于结果有用。
• K-Means：留意尺度、簇形状、初始化与离群点；没有清楚的肘部时，结合业务选择 K。
• PCA：方差大不代表对标签有用。预处理只在训练集拟合；稀疏数据可考虑 TruncatedSVD。
• t-SNE/UMAP：探索图需要回到原始特征或下游任务核验。换参数、换种子检查稳定性；打乱标签不能验真。

下一节 👉 07-从线性到神经网络.md