🏠 总目录📚 本教程 05c · SVD 与实践 ← →

05c · 从问题进入原章节

实际做 PCA 时,SVD 算出的方向怎样与推导接上?

SVD 从中心化数据直接求主方向;留几维要看任务目标,训练与验证数据还必须分开拟合。

读后可检查:能从分解读出方向和得分,并识别解释方差、缩放和数据泄漏各自的检查位置。

📑 本页目录(点开跳转)

05c · SVD 与 PCA 的实践

⏱ 38 分钟 | ⭐⭐ 先选目标,再选求解方法


🎯 先带走这句话

SVD 是计算 PCA 的常用方法,不是唯一方法。保留多少主成分,要看你想压缩数据,还是改善预测。

上一章解释了主成分方向与协方差特征向量的关系。本页把它接到实际计算:

上一章的五点例子仍会用到:总方差为 4,两根主轴分别解释 3.8 和 0.2,也就是 95% / 5%。忘了推导不影响继续。

🧮 一、SVD 与 PCA:同一目标的两条计算路线

PCA 找中心化数据中方差最大的正交方向。可以先算协方差再做特征分解,也可以直接对数据做 SVD。

两条路线在精确数学中相容,在内存、速度与浮点误差上各有取舍。 scikit-learn 自 1.5 起明确提供 covariance_eigh;它确实会分解协方差矩阵,不是“不正规的实现”。求解器说明

从分解里读出方向、尺度和得分

设 Xc 有 $n$ 行样本、$d$ 列特征,每一列已经减去训练均值。先写约化 SVD:

$$X_c=USV^\top$$

令 $q=\min(n,d)$。这里的 $q$ 是约化分解的尺寸,不是最后选出的主成分个数 $k$。

  • $U$ · 形状 $n\times q$:按样本组织的左奇异向量。
  • $S$ · 形状 $q\times q$:对角线上放奇异值,按从大到小排列。
  • $V$ · 形状 $d\times q$:列向量是特征空间中的主方向。

$U$、$V$ 的列各自单位正交。NumPy 返回的是 Vh,实数情况下它是 $V^\top$,所以方向矩阵要读 Vh.T。NumPy SVD 返回值

对应关系只需要两步。 第一,计算二阶乘积:

$$X_c^\top X_c=VS^2V^\top$$

第二,除以本页采用的样本数 $n$:

$$\Sigma=V\left(\frac{S^2}{n}\right)V^\top$$

中间用到了 $U^\top U=I$。因此,右奇异向量给出主方向,奇异值平方再除以 $n$ 给出方向方差。

如果 $q<d$,上式仍成立;$V$ 没列出的正交补空间对应零特征值。保留前 $k$ 列时:

$$Z_k=X_cV_k=U_kS_k$$

$Z_k$ 是每个样本的新坐标,不是主方向本身。

核对五点例子:奇异值是 $\sqrt{19}$ 和 1,约为 4.359、1.000。平方除以 5,仍得到 3.8 和 0.2。

四项取舍:为什么常用直接 SVD

① 数值稳定:小方向更容易受舍入影响

对满列秩矩阵、采用二范数条件数时:

$$\kappa_2(X_c^\top X_c)=\kappa_2(X_c)^2$$

条件数可以粗略理解为“输入有一点误差,结果可能多敏感”。先形成二阶乘积,会让很小的方向更难准确计算。

不是所有计算都会“有效精度直接砍半”。 实际损失取决于谱、浮点精度和算法;秩亏时通常条件数已是无穷,不能照这个口号估位数。

下面保留原实验:用 NumPy 构造奇异值跨度很大的数据,然后分别计算最小方差。代码只需要 NumPy。

import numpy as np

rng = np.random.RandomState(0)
Q, _ = np.linalg.qr(rng.randn(200, 5))
V, _ = np.linalg.qr(rng.randn(5, 5))
X = Q @ np.diag([1.0, 1e-2, 1e-4, 1e-6, 1e-8]) @ V.T
Xc = X - X.mean(axis=0)

print("cond(Xc)     = %.2e" % np.linalg.cond(Xc))
print("cond(Xc.T@Xc)= %.2e" % np.linalg.cond(Xc.T @ Xc))

lam_eig = np.linalg.eigvalsh(Xc.T @ Xc / len(X))[::-1]
lam_svd = np.linalg.svd(Xc, compute_uv=False) ** 2 / len(X)
print("最小主成分方差 · 特征分解 =", lam_eig[-1])
print("最小主成分方差 · SVD      =", lam_svd[-1])

本机 NumPy 2.2.6 的一次输出如下;临近浮点精度极限的数字会随底层线性代数库变化,不要要求逐位一致。

观察量 本次结果
cond(Xc) 约 $9.96\times10^7$
cond(Xc.T @ Xc) 约 $6.79\times10^{15}$
协方差特征分解的最小方差 约 $2.82\times10^{-19}$
直接 SVD 的最小方差 约 $4.99\times10^{-19}$

先看最后两行:同一份输入的微小方向已经明显不一致。 这说明病态数据值得检查求解路线,不是在规定每台机器应错多少。

原始构造在中心化前的理想最小平方奇异值除以 200 是 $5\times10^{-19}$。但代码随后减去了均值,改变了矩阵,因此不能把它直接当作 Xc 的精确真值,也不能据此声称固定“错 44%”。

协方差矩阵在数学上半正定;若数值结果出现极小负特征值,应检查舍入误差与尺度,而不是把“负方差”当成新的统计含义。

进阶 · 带状方程怎样逼近解?

上面的 PCA 从数据找主方向,SVD 提供分解。现在换一个目标:例如已知各节点之间的耦合和外力,想算出各节点的位移。写成 $Ax=b$,$A$ 是已知的 $n\times n$ 系数矩阵,$b$ 是已知的 $n$ 维右端,$x$ 是待求的 $n$ 维列向量。每一行是一条方程,求完要代回这组方程验算。

如果每个节点只与紧邻的节点相连,主对角线两侧较远的系数全是零。这种矩阵叫带状矩阵(band matrix)。图中的三对角矩阵只沿主对角线及相邻的两条对角线保留系数。

三个相邻节点的三对角矩阵
行\列012
02−10
1−12−1
20−12

令 $A_{ij}$ 表示第 $i$ 行、第 $j$ 列的系数,行列从 0 数到 $n-1$。对称矩阵的半带宽 $w$ 是非零元素离主对角线的最大距离 $|i-j|$。上表 $A_{21}=-1$ 的距离为 1,角上的 $A_{20}=0$,所以 $w=1$。按 LAPACK 的一般带存储约定,带内元素放到带数组的第 $w+i-j$ 行、第 $j$ 列。例如 $A_{21}$ 放在第 $1+2-1=2$ 行、第 1 列,而 $A_{20}$ 在带外,不分配位置。这个带数组有 $(2w+1)\times n$ 个槽,边角可能有空槽。

下面实验利用对称性再少存一条带:diag[i] 存 $A_{ii}$,side[i] 存 $A_{i,i+1}=A_{i+1,i}$。上表存三项 [2, 2, 2] 和两项 [-1, -1],共 5 个系数,代替稠密的 9 个。乘向量时,side[i] 对第 $i$ 和 $i+1$ 个输出各贡献一次。

先检查矩阵能否使用共轭梯度法(Conjugate Gradient,CG)。 对实矩阵,要求对称正定(Symmetric Positive Definite,SPD):$A=A^\top$,且任意非零的 $n$ 维列向量 $v$ 都有 $v^\top Av>0$。上标 $\top$ 表示转置。取 $A=\begin{bmatrix}2&1\\1&2\end{bmatrix}$,上下三角相同,前导主子式是左上角的 $2$ 和全矩阵的行列式 $2\cdot2-1\cdot1=3$,都为正。也可直接验证:令 $v=(u,t)^\top$,则 $v^\top Av=(u+t)^2+u^2+t^2$,只要 $u,t$ 至少一个非零,结果就大于零。带宽小本身无法保证这项条件。

用这个二阶矩阵手算一次。给定 $b=(1,0)^\top$、起点 $x_0=(0,0)^\top$,下标表示迭代次数。真实残差 $r_k=b-Ax_k$ 是第 $k$ 次近似代回原方程后还差多少。CG 首次沿 $p_0=r_0=(1,0)^\top$ 走。要确定步长 $\alpha_0$,让走完后方向 $p_0$ 上的残差分量消失:

$$p_0^\top (r_0-\alpha_0Ap_0)=0,\qquad \alpha_0=\frac{r_0^\top r_0}{p_0^\top Ap_0}.$$

$Ap_0=(2,1)^\top$。分子是 $1\cdot1+0\cdot0=1$,分母是 $1\cdot2+0\cdot1=2$,所以步长为 $1/2$。更新 $x_1=x_0+\alpha_0p_0=(1/2,0)^\top$。代回得到 $Ax_1=(1,1/2)^\top$,因此 $r_1=(1,0)^\top-(1,1/2)^\top=(0,-1/2)^\top$。

CG 第一步消掉了第一条方程的差值
步数近似解真实残差
0(0, 0)(1, 0)
1(½, 0)(0, −½)

第二条方程仍差半个单位。停止时检查 $\|b-Ax_k\|_2\le\max(\mathrm{atol},\mathrm{rtol}\cdot\|b\|_2)$,并设置最大步数。$\|\cdot\|_2$ 是各分量平方相加后开根号,$\mathrm{atol}$ 是与残差同单位的绝对容差,$\mathrm{rtol}$ 是无单位的相对容差。若取 $10^{-12}$、$10^{-10}$,此处阈值是 $10^{-10}$,而 $\sqrt{0^2+(-1/2)^2}=1/2$,还得继续。残差衡量的是方程满足程度,若系统病态,判断解本身的精度还要结合条件数。

进阶 · Jacobi 预处理何时省迭代?

有些系统的不同方向尺度相差很大,一次修正难以兼顾。预处理(preconditioning)通过求解等价系统来改变迭代看到的尺度。Jacobi 预处理取对角矩阵 $D=\operatorname{diag}(A_{00},\ldots,A_{n-1,n-1})$,形状仍为 $n\times n$。正定保证对角元素为正,因为取 $v$ 为某个坐标轴的单位向量时,$v^\top Av$ 就是对应的对角元素。

令 $D^{-1/2}$ 是把每个对角元素开平方再取倒数所得的对角矩阵。把原方程里的 $x$ 换成 $D^{-1/2}y$,两边再左乘 $D^{-1/2}$,得到 $By=D^{-1/2}b$,其中 $B=D^{-1/2}AD^{-1/2}$。$y$ 是变换后坐标中的 $n$ 维未知量。这个对称变换保留正定性,因为任取非零 $v$,$D^{-1/2}v$ 也非零。求完 $y$,用 $x=D^{-1/2}y$ 回到原坐标。

  • 对角矩阵 $\operatorname{diag}(1,100,10000)$。 $D=A$,所以每个对角系数分别乘两次对应倒根,得到 $1\cdot1^2=1$、$100\cdot0.1^2=1$、$10000\cdot0.01^2=1$。因此 $B=I$(单位矩阵)。SPD 矩阵的二范数条件数是最大特征值除以最小特征值,此处从 $10000/1=10000$ 变成 $1/1=1$。
  • 上表的三对角矩阵。 $D=2I$,左右各乘 $1/\sqrt{2}$,所以 $B=A/2$。原特征值为 $2-\sqrt{2},\,2,\,2+\sqrt{2}$,均为正。每个特征值都除以 2,条件数仍为 $(2+\sqrt{2})/(2-\sqrt{2})=3+2\sqrt{2}\approx5.83$。三个特征值可用 $\det(A-\lambda I)=(2-\lambda)((2-\lambda)^2-2)=0$ 核对,$\lambda$ 代表候选特征值。

两种情况都把主对角线变成 1。第一种消除了各方向的尺度差,第二种只把整个系统等比例缩放。下面用同一个右端 $b=(1,2,4)^\top$ 和零起点作对照。两种算法都在原系统上检查残差,阈值为 $10^{-10}\sqrt{1+4+16}\approx4.583\times10^{-10}$,最多 12 步。

matvec 从两条带算 $Av$。solve 在原坐标实现预处理共轭梯度法(PCG)。先把残差 $r$ 变为 $z=D^{-1}r$,普通 CG 则令 $z=r$。从 $p=z$ 起步,代码以 $\rho=r^\top z$ 除以 $p^\top Ap$ 得步长 alpha。推进近似解后先递推残差,再重新算真实残差用于停止判断。未达标时,以新旧 $\rho$ 的比值 beta 把旧方向 $p$ 合入新方向 $z+\beta p$。这样复用上一方向而不显式构造 $B$。这些更新式来自 Netlib 的 PCG 模板。

可运行实验。 完整复制到一个 Python 文件运行,只用标准库。输入为上述两个已检查正定的矩阵;输出记录各自的系数存储、预处理构建、应用乘法、迭代、矩阵向量乘和真实残差。

from math import fsum, hypot

ATOL, RTOL, MAXITER = 1e-12, 1e-10, 12


def dot(a, b):
    return fsum(x * y for x, y in zip(a, b))


def matvec(diag, side, v):
    # side[i] couples rows i and i+1; store that pair only once.
    out = [d * x for d, x in zip(diag, v)]
    for i, a in enumerate(side):
        out[i] += a * v[i + 1]
        out[i + 1] += a * v[i]
    return out


def solve(diag, side, b, inv_diag):
    x = [0.0] * len(b)
    r = list(b)  # With x0 = 0, b - A @ x0 is b.
    threshold = max(ATOL, RTOL * hypot(*b))
    uses = 0
    trace = []
    if hypot(*r) <= threshold:
        return 0, hypot(*r), uses, True, trace

    def precondition(v):
        nonlocal uses
        if inv_diag is None:
            return v
        uses += 1
        return [d * x for d, x in zip(inv_diag, v)]

    z = precondition(r)
    p = z
    rho = dot(r, z)
    for k in range(1, MAXITER + 1):
        ap = matvec(diag, side, p)
        alpha = rho / dot(p, ap)
        x = [xi + alpha * pi for xi, pi in zip(x, p)]
        r = [ri - alpha * ai for ri, ai in zip(r, ap)]
        true_r = [bi - ai for bi, ai in zip(b, matvec(diag, side, x))]
        norm = hypot(*true_r)
        trace.append(norm)
        if norm <= threshold:
            return k, norm, uses, True, trace
        if k == MAXITER:
            return k, norm, uses, False, trace
        z = precondition(r)
        next_rho = dot(r, z)
        beta = next_rho / rho
        p = [zi + beta * pi for zi, pi in zip(z, p)]
        rho = next_rho


for name, diag, side in [
    ("diagonal", [1.0, 100.0, 10000.0], []),
    ("tridiagonal", [2.0, 2.0, 2.0], [-1.0, -1.0]),
]:
    b = [1.0, 2.0, 4.0]
    for method in ("CG", "Jacobi-PCG"):
        inverse = [1.0 / a for a in diag] if method == "Jacobi-PCG" else None
        extra = len(inverse) if inverse is not None else 0
        k, norm, uses, converged, trace = solve(diag, side, b, inverse)
        print(name, method, "matrix=", len(diag) + len(side),
              "setup_div=", extra, "extra=", extra, "apply_mul=", uses * extra,
              "steps=", k, "matvecs=", 2 * k,
              f"residual={norm:.3e}", "converged=", converged)
        print("trace=", [f"{v:.3e}" for v in trace])

一次 Python 3.14.7 实跑结果如下。各行均达到同一个容差。浮点残差的末位可能随运行环境变化。

同一起点和右端下的迭代与真实残差
系统/方法步数矩阵向量乘残差范数
对角 · CG362.627e−11
对角 · PCG120.000e+00
三对角 · CG362.176e−15
三对角 · PCG362.176e−15
从第 1 步开始的真实残差范数
系统/方法第 1 步第 2 步第 3 步
对角 · CG2.5351.1062.627e−11
对角 · PCG0已停止已停止
三对角 · CG3.5661.6692.176e−15
三对角 · PCG3.5661.6692.176e−15
先看谱的两端,再看真实残差怎样下降。 谱图横轴为特征值,端点间的线表示范围。对角例用对数刻度,三对角例用线性刻度。两张残差图共用线性纵轴,画原方程的 $\|b-Ax_k\|_2$。实线圆点是 CG,虚线空方是 Jacobi-PCG。

对角例

对角例谱端点原矩阵与对称缩放后矩阵的最小和最大特征值。对角例 · 谱端点原矩阵 A:1 至 10 000缩放后 B:1(两端重合)110010000特征值(对数刻度)对角例真实残差横轴是迭代步,纵轴是真实残差范数,零点可直接显示。对角例 · 真实残差范数0123450123迭代步 kPCG 到 0

三对角例

三对角例谱端点原矩阵与对称缩放后矩阵的最小和最大特征值。三对角例 · 谱端点原矩阵 A:0.586 至 3.414缩放后 B:0.293 至 1.7070123特征值(线性刻度)三对角例真实残差横轴是迭代步,纵轴是真实残差范数,零点可直接显示。三对角例 · 真实残差范数0123450123迭代步 k两条曲线重合

四次求解从 $k=0$ 的 $\sqrt{21}\approx4.583$ 出发。对角例的 PCG 在第 1 步到达实测 0,曲线在此停止。其余末点为正但接近零,线性图上与零线贴合。停止阈值约 $4.583\times10^{-10}$,在此尺度也贴近零线,精确读数见表。

依据:谱端点取自上文两矩阵的特征值,残差点取自页面实验;算法与停止判据见 Netlib《Templates for the Solution of Linear Systems》§2.3.1、§3.2、§4.2。

矩阵本身分别存 3 和 5 个系数。每个 Jacobi 构建都用 3 次倒数除法并额外存 3 个倒数,应用一次做 3 次乘法。对角例共应用 1 次(三次乘法),三对角例共应用 3 次(九次乘法)。普通 CG 这三项额外成本均为 0。矩阵向量乘每步数两次:一次计算 $Ap$,一次检查真实残差。这些是代码的操作数和系数槽数,工作向量与 Python 对象开销另计。

同一个 $A$ 如果要解多个右端,把构建倒数移到求解循环外就可以复用;若有 $m$ 个右端,平均每个右端的构建除法数从 3 降到 $3/m$,应用仍按每次求解的迭代数计。上面的三对角例即使摊掉建立成本,仍多做缩放,迭代数没有下降。真实速度还取决于矩阵规模、内存访问和每一步的实现。当前数据给出的是操作计数,没有测耗时,也不能由这两例推断任意矩阵或任意右端的迭代数。

试一试。 只把三对角例右端换成 $(1,0,-1)^\top$,保留相同起点和停止规则。预测普通 CG 需要几步,Jacobi 还能省几步?

核对进阶练习

一乘便得到 $A(1,0,-1)^\top=(2,0,-2)^\top$,所以这个右端本身就在一个特征方向上。普通 CG 的首步为 $2/4=1/2$,得到 $x_1=(1/2,0,-1/2)^\top$,残差为零。Jacobi 缩放保留该方向,也只需一步。即使条件数相同,右端换了,迭代数仍会改变。

参考:LAPACK 带存储 · Netlib 的 CG、预处理与停止准则 · SciPy 的 CG 残差停止规则。回到 PCA 的计算路线,下一项取舍看矩阵尺寸如何影响内存。

② 内存:先看要不要造出特征方阵

$d=50{,}000$ 时,协方差矩阵有 25 亿个元素。每个 float64 占 8 字节,仅这一个数组就约 20 GB(18.6 GiB),还没算工作空间。

直接 SVD 可以避免显式构造这个 $d\times d$ 方阵;但输入、奇异向量及工作空间也占内存,不是自动省到能放下。

反过来,特征数很小、样本远多于特征时,协方差分解可能很合适。先看形状,不先给算法贴“过时”标签。

③ 少样本多特征:区分矩阵尺寸与有效秩

中心化会让样本行之间至少有一个线性约束:

$$\operatorname{rank}(X_c)\le\min(n-1,d)$$

100 个样本、5000 个特征时,协方差最多有 99 个非零特征值,至少 4901 个为零。

约化 SVD 返回 100 个奇异值,不是“自动只返回 99 个非零值”。有限精度下,两条路线都可能出现接近零的小数;有效秩要结合容差判断,噪声量级也不是固定的 $10^{-15}$。

④ 只要前几个:完整、截断与随机化不是一回事

  • 完整 SVD 后截取:先算完整约化分解,再取前 $k$ 个。简单可靠,但后面的成分也算过了。
  • 截断求解:直接求一部分奇异三元组,例如 ARPACK。需检查成分数约束与收敛情况。
  • 随机化 SVD:先近似主要子空间,再分解较小矩阵。稠密输入的主成本常写成约 $O(ndk)$,还受超采样、幂迭代等设置影响。

PCA(svd_solver="auto") 的选择取决于矩阵形状、成分数和版本;它不是“高维一律 randomized”。需要复现时记录版本,并明确需要的求解器。

稀疏文本要单独看中心化。 TruncatedSVD 不减均值,常用于计数 / TF-IDF 的潜在语义分析(LSA),所以它不等于中心化 PCA。TruncatedSVD 官方说明

显式减均值通常会破坏稀疏性;某些 PCA 求解器支持稀疏输入,也不代表任何方法都适合任意规模。文本还可以直接用稀疏模型,不是“必须先做 LSA”。

对不上数时,先检查这两项

方向符号。 $w$ 和 $-w$ 表示同一根轴,得分也会一起反号。不能把一次输出的正负号当成永久业务语义。若特征值并列,连该子空间里的基向量也可能改变。

方差分母。 本页除以 $n$,scikit-learn 的 explained_variance_ 除以 $n-1$。五点例子会得到 4.75 和 0.25,但方差比仍是 95% / 5%。

🔍 二、主成分留几个:先问为了什么

解释方差比:衡量保留了多少变化

对总方差大于零的数据:

$$r_i=\frac{\lambda_i}{\sum_j\lambda_j}$$

$\lambda_i$ 是第 $i$ 根主轴的方差,分母等于协方差的迹(对角线元素之和)。所有特征都恒定时,分母为零,不能解释这个比值。

若前 $k$ 项累计达到 95%,意味着只丢掉了 5% 的总方差;在同一训练数据的正交重构目标下,也对应剩余平方重构误差的比例。它不意味着保住了 95% 的标签信息。

五种选法:按目标选,不排万能名次

压缩与重构:累计阈值。 80%、90%、95% 都是可选预算,不是普适正确值;阈值与可接受的重构损失相联系,是有明确数学含义的。

探索结构:碎石图。 看各特征值的下降是否有明显转折。没有肘部也正常,不要硬画一处。

标准化后的粗筛:Kaiser 准则。 对角线为 1 的相关矩阵,平均特征值为 1,于是尝试保留 $\lambda>1$。这只是启发式;若标准化与协方差采用不同分母,不能机械套同一个数值门槛。

与无结构基线比较:平行分析。 重复生成合适的随机参照数据,比较对应序号的特征值。需交代参照分布、重复次数和比较分位数,不能只说“随机一次比大小”。

为了预测:折内交叉验证。 把 $k$ 当超参数,比较最终任务指标;同时保留“不做 PCA”的基线。只在训练数据上估计候选范围,最终测试集留到最后。

可以先看累计曲线建立量级感,再试几组候选。这只是缩小搜索范围,不保证最优 $k$ 就在 90% 或 95% 附近。

压缩效果与预测表现要分别检查。下面列出异常结果的排查方法。

⚠️ 三、PCA 的六项排查

① 线性投影能否表达你要保留的关系?

PCA 只能找平的线性子空间。瑞士卷的内在结构像一张卷起的二维纸,投到平面不等于把纸展开,原本沿纸面很远的点可能挤到一起。

下面用更容易看清的圆周说明同一问题:上下两点投到横轴后重合。

原始弯曲结构:圆周只保留横向坐标A (0, 1)B (0, −1)两点都变成 0示意的是信息重合,不是“所有弯曲数据都不能用 PCA”。
看两条虚线的终点:不同的点变成同一个坐标。

这不代表数据稍有弯曲,PCA 就一定没用;要看当前任务是否需要保留被压掉的关系。

可考虑核 PCA、自编码器或流形方法。核 PCA 还要在特征空间中心化核矩阵,不是只替换一个内积就完成所有步骤;背景见核技巧。

t-SNE 常用于可视化,标准 scikit-learn 实现没有通用的 transform 新样本接口。TSNE 官方接口

UMAP 支持拟合后变换新数据,也能作为下游模型的特征变换;是否有益需验证,不能一概写成“只能看图”。UMAP 新数据变换

② 单位与缩放是否符合你的目标?

PCA 按方差选方向,而方差会随单位的平方变化。沿用收入与年龄的例子,并假设二者不相关:

特征 标准差 方差
收入,以元计 50,000 $2.5\times10^9$
同一收入,以万元计 5 25
年龄,以岁计 10 100

收入用元时方差是年龄的 2500 万倍;用万元时方差小于年龄。在这个不相关例子里,第一主轴就从收入轴换成年龄轴。

标准化是在重新定义“什么变化值得同等重视”。 混合单位时通常值得比较标准化方案,但不是数学上的强制步骤。

像素都在 0~255 也不自动证明“不该标准化”。有时边缘的小方差意味着可忽略,有时它包含微弱但有用的信号;结合领域目标与验证结果决定。

③ 小方差里是否有判别信号?

PCA 不看标签。低方差不等于低预测价值。

看一个可完整验算的四点例子:

样本 特征 1 特征 2 类别
A −2 −0.001 0
B −2 +0.001 1
C +2 −0.001 0
D +2 +0.001 1

两列均值为 0、协方差为 0,方差分别是 4 和 $10^{-6}$。只留 PC1,保留方差超过 99.9999%,却把 A/B、C/D 各压到同一点。

原本只看特征 2 的正负即可分开两类。压缩后,在等概率抽取这四点的设定中,每个得分都对应两种标签,只用该得分无法完全区分类别。

这个反例证明的是“方差比例不能保证分类效果”。 真实任务会掉多少分,仍需在明确的数据、划分和评估指标上测量,不能从这个例子直接外推。

应对方式:比较降维前后的验证指标;必要时尝试有监督的 LDA、特征选择或不降维。LDA 利用类间与类内变化,仍不是所有分类任务的保证解。工程对照

④ 离群点是否主导了平方误差?

协方差与重构误差含平方项,远点可能大幅改变主方向。这与最小二乘对离群点敏感有相似的几何原因,不需要假设所有数据服从高斯分布。

先核实异常是录入错误还是有意义的少数样本。稳健协方差、适当预处理或 Robust PCA 可用于不同污染模型;“低秩 + 稀疏异常”的 Robust PCA 也不是对任意异常都有效的按钮。Robust PCA 原论文 / 与最小二乘对照

⑤ 需要原始特征含义,还是只需要压缩坐标?

PC1 常是年龄、收入、点击数等特征的线性组合,所以比原始变量更难解释,但不是“绝对不可解释”。

可结合单位、缩放、载荷与领域知识说明某根轴。载荷不是因果效应,也不是监督模型里的特征重要性。若交付必须保留原始字段含义,比较特征选择与压缩两种方案。

⑥ 训练、验证、测试有没有分清?

先对全部数据拟合 PCA,再切分测试集,会让测试集参与均值与方向的估计。这破坏了独立评估,不保证每次都涨分,也不能凭涨跌反推是否泄漏。

正确顺序:

  1. 先确定训练 / 测试划分。
  2. 交叉验证时,将缩放、PCA、模型一起放进 Pipeline,只在每个训练折拟合。
  3. 对该折验证数据只做变换和预测;最终测试集也不参与选 $k$。

详见评估与过拟合与数据泄漏的来源。先检查拟合步骤用过哪些数据,再解读分数变化。

白化:在去相关之后,再拉平尺度

对方差严格为正的已保留方向,把得分除以对应标准差:

$$z_i^{\mathrm{white}}=\frac{z_i}{\sqrt{\lambda_i}}$$

用同一个方差分母计算,白化后的各方向方差为 1。用 $n$ 定义 $\lambda$,就按 $n$ 核对;用 $n-1$ 则按 $n-1$ 核对。

它去掉相对方差尺度,不等于让各方向统计独立。零方差不能直接除,小方差中的噪声也可能被放大,所以白化同样要看下游目标。

🔗 这一章连到哪里

✅ 检查点

  1. $V$、$S$ 分别给出什么?怎样从 SVD 取前 $k$ 维得分?
  2. 为什么直接 SVD 常有优势?什么情况下协方差分解仍然合理?
  3. 选 $k$ 时,重构预算与预测目标有什么区别?
  4. 四点反例中,为什么保留超过 99.9999% 方差仍丢掉分类信号?
  5. 什么时候值得缩放?“同量纲”为什么不是唯一判据?
  6. 白化改变了什么?零方差与很小的方差要注意什么?
核对六个答案
  1. $V$ 的列给方向,$S$ 的对角线给奇异值;方差为 $s_i^2/n$,得分为 $U_kS_k$。
  2. 直接 SVD 可避免形成二阶乘积与大协方差方阵,也有截断算法。特征少、样本多时,协方差求解器仍可高效;不是所有实现都必须走同一条路。
  3. 压缩可按允许的重构损失选阈值;预测则在折内验证 $k$,并与不降维比较。95% 有方差含义,没有预测保证。
  4. 第一列方差很大但与标签无关;第二列虽小却决定标签。只保留第一列会把异类点合并。
  5. 缩放决定各特征的相对权重。单位、信号意义与任务共同决定是否缩放,不能一律标准化或一律不标准化。
  6. 正方差得分除以对应标准差,使尺度相同但未必独立。零方差不能直接除,微小方向的噪声可能被放大。

本节回顾

记住四件事就能继续

  • SVD 常用于计算 PCA,协方差特征分解也有适用场景。
  • 保留方差比例不是保留标签信息比例。
  • 缩放、成分数和白化都要匹配当前目标。
  • 所有拟合与选参留在训练侧,再独立评估。

下一节 👉 06 · 核技巧

如果你关心弯曲结构,下一页先解释如何计算隐式特征空间的内积。核 PCA 在此基础上还需要核矩阵中心化与正确的投影步骤。

打卡记录保存在你的浏览器里,首页能看到总进度