05c · SVD 与 PCA 的实践

⏱ 38 分钟 ｜ ⭐⭐⭐ 推导是对的，但没人照着算

🎯 一句话

上一章证明了「主成分 = 协方差矩阵的特征向量」—— 而没有一个正经实现会照着这句话去算。

真实的 PCA 走的是 SVD：更稳、更省，还能直接处理稀疏矩阵。 这一章讲三件事：SVD 和特征分解是什么关系、主成分该留几个、PCA 什么时候会翻车。

📌 上一章的三个结论，本章会一直用到（忘了也不用回头，用到时都会重述一遍）： ① 协方差矩阵 Σ = (1/n)·Xcᵀ Xc（Xc = 中心化后的数据），迹 = 总方差 = 特征值之和 ② Σw = λw —— 主成分只能是 Σ 的特征向量，⭐ λ 就是那个方向上的方差 ③ 手算例子：5 个点 → Σ = [[2, 1.8], [1.8, 2]]，λ = 3.8 / 0.2，解释方差比 95% / 5%

🧮 一、和 SVD 的关系：为什么实践中没人真去分解协方差矩阵

上一章那两条推导是对的 —— 但没有一个正经实现会照着算。真实的 PCA 走的是 SVD。

两者的关系：一行代数

对中心化后的数据矩阵 $X_c$（n×d）做奇异值分解：

$$X_c = U S V^\top$$

其中 U（n×k）和 V（d×k）的列都是单位正交向量，S 是对角矩阵，对角元 $s_1\ge s_2\ge\dots\ge 0$ 叫奇异值。代进去：

$$\Sigma = \frac1n X_c^\top X_c = \frac1n (USV^\top)^\top(USV^\top) = \frac1n V S^\top U^\top U S V^\top = V\Big(\frac{S^2}{n}\Big)V^\top$$

（中间用了 $U^\top U = I$。）而特征分解写出来是 $\Sigma = W\Lambda W^\top$。两式一对照：

用上一章那个手算例子对一下（5 个点，Σ=[[2, 1.8], [1.8, 2]]，λ=3.8 / 0.2）：$s = [4.359,\ 1.0]$， 则 $s_1^2/n = 19/5 = 3.8$、$s_2^2/n = 1/5 = 0.2$ —— 和特征分解一模一样。

⭐ 四个理由：为什么必须走 SVD

理由 ① 数值稳定（最硬的一条）

算 $X_c^\top X_c$ 这一步会把条件数平方：$\kappa(X^\top X) = \kappa(X)^2$。 条件数平方，意味着你的有效精度直接砍掉一半。

import numpy as np

rng = np.random.RandomState(0)
Q, _ = np.linalg.qr(rng.randn(200, 5))
V, _ = np.linalg.qr(rng.randn(5, 5))
X = Q @ np.diag([1.0, 1e-2, 1e-4, 1e-6, 1e-8]) @ V.T   # ⭐ 人造一个病态数据
Xc = X - X.mean(axis=0)

print("cond(X)      = %.2e" % np.linalg.cond(Xc))          # 9.96e+07
print("cond(X.T@X)  = %.2e" % np.linalg.cond(Xc.T @ Xc))   # 6.79e+15  ⭐ 平方了

lam_eig = np.linalg.eigvalsh(Xc.T @ Xc / len(X))[::-1]     # 走协方差特征分解
lam_svd = np.linalg.svd(Xc, compute_uv=False) ** 2 / len(X)  # ⭐ 走 SVD
print("最小主成分方差 · 特征分解 =", lam_eig[-1])           # 2.82e-19
print("最小主成分方差 · SVD      =", lam_svd[-1])           # 4.99e-19  ← 这个才对

真值是 $(10^{-8})^2/200 = 5\times10^{-19}$。 SVD 给出 4.99e−19（对），协方差特征分解给出 2.82e−19 —— 错了 44%。 病态再严重一点，特征分解甚至会吐出负的方差（数学上不可能，是浮点误差）。

理由 ② 不用把 d×d 那个矩阵造出来

   d = 50,000 个特征（文本 TF-IDF 很常见）
   → Σ 是 50000 × 50000 = 25 亿个数，float64 下 20 GB，存都存不下
   → 而 SVD 直接吃 Xc，从来不构造 Σ

理由 ③ n < d 时协方差矩阵一定是奇异的

100 个样本、5000 个特征（组学数据、小样本图像的典型形态）：$\Sigma$ 的秩最多是 99， 剩下 4901 个特征值理论上是 0、实际算出来是一堆 ±1e−15 的噪声。 SVD 只会给出 99 个非零奇异值，干干净净。

理由 ④ 只想要前 k 个的时候，有专门的算法

🔑 所以 sklearn.decomposition.PCA 内部就是 SVD，svd_solver 参数在选具体走哪种。 你以为你在做"特征分解"，实际上一次都没做过。

⚠️ 两个会让你对不上数的小坑

🔍 二、主成分留几个

主力工具：解释方差比

$$\text{第 }i\text{ 个主成分的解释方差比} = \frac{\lambda_i}{\sum_j \lambda_j} = \frac{\lambda_i}{\mathrm{tr}(\Sigma)}$$

分母就是上一章那条「迹 = 总方差 = 特征值之和」。上一章的手算例子里是 95% / 5%。

五种选法，按靠谱程度排

🔑 实践建议：先画一次累计解释方差曲线建立量级感（5 个成分就够，还是要 200 个？）， 再在那个量级附近拿 3～4 个候选值做交叉验证。别在"90% 还是 95%"上纠结。

⚠️ 三、PCA 的前提与失效场景

六条，前三条是真会翻车的。

① 它只能找线性子空间

PCA 找的是一个平的子空间。数据要是弯的，它就废了。

   经典反例：瑞士卷（Swiss roll）
   数据本质上是一张【卷起来的二维纸】，内在维度就是 2
   但 PCA 只能拿平面去切它 → 两端卷在一起的点被投到同一个位置

🔗 出路是非线性降维：核 PCA（第 6 章 · 核技巧那套把戏原样搬过来， 把内积换成核函数就行）、t-SNE / UMAP（基础教程第 6 章， 只能用来看一眼，不能拿去当特征）、自编码器。

② ⭐ 必须先标准化（除非所有特征本来就同量纲）

⭐ 一句话结论：同一批数据，把收入的单位从"元"换成"万元"，第一主成分就从收入变成了年龄。

   年收入（元）标准差 ≈ 50000 → 方差 2.5 × 10⁹
   年龄（岁）  标准差 ≈ 10    → 方差 100
   → 差 2500 万倍，第一主成分基本就是"年收入"本身
   → 把收入换成【万元】（方差 25），现在年龄反而占主导

   为什么：PCA 追的是【方差】，而方差的量纲是"单位的平方"

   ⭐ 判据不是"要不要标准化"，而是"这些特征的方差可不可比"
   ├─ 收入(元) + 年龄(岁) + 点击数(次)   → 必须标准化
   └─ 同一张图的 784 个像素（都是 0~255）→ 不标准化反而对
      （方差差异此时是【真信息】：边缘像素方差小，本来就该被降权）

③ 💀 方差 ≠ 信息（最容易忽略的一条）

PCA 是无监督的，它压根不看 y。

   💀 一个真实会发生的事故形态：

   二分类任务，特征里有一个方差极小、但和标签几乎完美相关的变量
   （比如某个传感器的微小读数偏移，量级 0.001，却正好区分两类）

   PCA 保留 95% 方差 → 这个方向排在最后，被当成噪声丢掉
   → 降维后模型 AUC 从 0.94 掉到 0.71
   → 排查时看不出来：解释方差比 95%，"信息只丢了 5%"，报表上一切正常 ⚠️

   ⭐ 症结：那被丢掉的 5% 方差里，装着 100% 的判别信息

🔑 该补什么：① 降维前后都在验证集上跑一次下游指标，别只看解释方差比； ② 需要"对分类有用的方向"就用 LDA（有监督，最大化类间/类内方差比）， 而不是 PCA（基础教程第 6 章有两者的对照）。

④ 对离群点敏感

方差是平方量，一个离得很远的点对协方差矩阵的贡献是平方级的， 足以把 PC1 整个拽过去。这和第 1 章里「一个离群点拽歪最小二乘」是同一个机理 —— 它们背后都是高斯假设那条薄尾巴。缓解：先做稳健的离群点处理，或用 Robust PCA。

⑤ 主成分不可解释

PC1 是「0.31×年龄 − 0.52×收入 + 0.44×点击数 + …」这种所有原始特征的线性组合。 要向业务解释"哪个特征重要"时 PCA 帮不上忙 —— 那种场景该做特征选择而不是特征压缩 （第 5 章出路②：「大多数维度是噪声，删掉它们比压缩更好」）。

⑥ 💀 泄漏：PCA 必须 fit 在训练集上

   ❌ pca.fit_transform(全部数据) 再切分训练/测试
      → 测试集参与了均值和主成分方向的计算 → 离线分数虚高，上线暴跌

   ✅ pca.fit(X_train) → 分别 transform；最省事是塞进 Pipeline，
      让交叉验证自动只在折内 fit

🔗 基础教程第 6 章的原话就是 「PCA 是最容易泄漏的预处理之一」；五类泄漏的完整清单在基础教程第 5 章。

💡 顺带：白化（whitening）

把每个主成分得分再除以 $\sqrt{\lambda_i}$，让所有方向的方差都变成 1。

   PCA        → 去掉相关性（各主成分之间协方差为 0）
   PCA + 白化 → 去掉相关性【并且】拉平尺度

   ⚠️ 代价：最小的那几个主成分被放大了 1/√λ 倍
      —— 而它们往往正是噪声。白化会把噪声一起放大 ⭐

🔗 这一章连到哪里

✅ 检查点

1. SVD 的 V、S 分别对应特征分解里的什么？主成分得分怎么直接从 SVD 里拿？
2. 为什么实践中不直接对协方差矩阵做特征分解？（说出至少三个理由）
3. 主成分留几个，最靠谱的选法是哪个？为什么不是"累计 95%"？
4. 有一个方差极小、但和标签几乎完美相关的特征，PCA 会怎么对待它？该怎么避免？
5. 什么时候必须标准化，什么时候反而不该？
6. 白化在做什么？代价是什么？

🛑 可以停在这里

⚡ 走神救援

⭐⭐PCA 与 SVD：对中心化数据做 Xc = U S Vᵀ ⟹ Σ = V(S²/n)Vᵀ，对照 Σ = WΛWᵀ 立刻读出 —— V 就是主成分方向、λᵢ = sᵢ²/n、得分 = U·S（上一章例子：s = [4.359, 1] → 19/5 = 3.8、1/5 = 0.2 ✅）。为什么全走 SVD：①⭐算 XᵀX 把条件数平方（κ(XᵀX)=κ(X)²），有效精度砍半 —— 实测最小主成分方差，特征分解给 2.82e−19、SVD 给 4.99e−19，真值 5e−19，特征分解错 44%；②不用构造 d×d（d=50000 → 25 亿个数、20 GB）；③n 小于 d 时 Σ 必然奇异；④截断 / 随机化 SVD 只求前 k 个，TruncatedSVD 不中心化所以能吃稀疏矩阵（文本 LSA）。⭐sklearn 的 PCA 内部就是 SVD。⚠️两个小坑：主成分符号任意（别把符号当语义）、除以 n 还是 n−1 只影响绝对值不影响比值。k 怎么选：累计阈值 / 肘部 / Kaiser（⚠️只在标准化后有意义）/ 平行分析 / ⭐⭐下游任务交叉验证 —— 把 k 当超参数，让最终指标说话（"95%"没有理论依据）。六条失效场景：①只能找线性子空间（瑞士卷失效 → 核 PCA / t-SNE / 自编码器）②⭐必须标准化，判据是"方差可不可比"：收入(元)+年龄(岁) 方差差 2500 万倍，收入换成万元后第一主成分就从收入变成年龄；而同图的 784 个像素不该标准化 ③💀方差 ≠ 信息：PCA 不看 y，方差极小却和标签近乎完美相关的特征会被当噪声丢掉 —— 保留 95% 方差，AUC 从 0.94 掉到 0.71，报表上"只丢了 5%"完全看不出来，该用 LDA ④对离群点敏感（和最小二乘同一条高斯薄尾巴）⑤主成分不可解释 ⑥💀必须 fit 在训练集上，fit_transform(全部数据) 再切分就是泄漏。💡白化 = 再除以 √λ 拉平尺度，⚠️代价是把最小的那几个主成分（往往正是噪声）放大 1/√λ 倍。

下一节 👉 06-核技巧.md

去那里的理由：本章第三节 ① 说 PCA 只能找平的子空间，数据要是弯的它就废了。 第 6 章那套「不去高维空间、却拿到在那里计算的结果」的把戏， 原样套到 PCA 的推导上就是核 PCA —— 之所以能这么套，是因为那两条推导全程只用到内积。