05c · SVD 与 PCA 的实践
⏱ 38 分钟 | ⭐⭐ 先选目标,再选求解方法
🎯 先带走这句话
SVD 是计算 PCA 的常用方法,不是唯一方法。保留多少主成分,要看你想压缩数据,还是改善预测。
上一章解释了主成分方向与协方差特征向量的关系。本页把它接到实际计算:
- 想看库为什么这样算:读 SVD 与 PCA 的对应。
- 想决定保留几维:到选主成分个数。
- 模型降维后变差:按六项排查检查。
上一章的五点例子仍会用到:总方差为 4,两根主轴分别解释 3.8 和 0.2,也就是 95% / 5%。忘了推导不影响继续。
🧮 一、SVD 与 PCA:同一目标的两条计算路线
PCA 找中心化数据中方差最大的正交方向。可以先算协方差再做特征分解,也可以直接对数据做 SVD。
两条路线在精确数学中相容,在内存、速度与浮点误差上各有取舍。 scikit-learn 自 1.5 起明确提供 covariance_eigh;它确实会分解协方差矩阵,不是“不正规的实现”。求解器说明
从分解里读出方向、尺度和得分
设 Xc 有 $n$ 行样本、$d$ 列特征,每一列已经减去训练均值。先写约化 SVD:
$$X_c=USV^\top$$
令 $q=\min(n,d)$。这里的 $q$ 是约化分解的尺寸,不是最后选出的主成分个数 $k$。
- $U$ · 形状 $n\times q$:按样本组织的左奇异向量。
- $S$ · 形状 $q\times q$:对角线上放奇异值,按从大到小排列。
- $V$ · 形状 $d\times q$:列向量是特征空间中的主方向。
$U$、$V$ 的列各自单位正交。NumPy 返回的是 Vh,实数情况下它是 $V^\top$,所以方向矩阵要读 Vh.T。NumPy SVD 返回值
对应关系只需要两步。 第一,计算二阶乘积:
$$X_c^\top X_c=VS^2V^\top$$
第二,除以本页采用的样本数 $n$:
$$\Sigma=V\left(\frac{S^2}{n}\right)V^\top$$
中间用到了 $U^\top U=I$。因此,右奇异向量给出主方向,奇异值平方再除以 $n$ 给出方向方差。
如果 $q<d$,上式仍成立;$V$ 没列出的正交补空间对应零特征值。保留前 $k$ 列时:
$$Z_k=X_cV_k=U_kS_k$$
$Z_k$ 是每个样本的新坐标,不是主方向本身。
核对五点例子:奇异值是 $\sqrt{19}$ 和 1,约为 4.359、1.000。平方除以 5,仍得到 3.8 和 0.2。
四项取舍:为什么常用直接 SVD
① 数值稳定:小方向更容易受舍入影响
对满列秩矩阵、采用二范数条件数时:
$$\kappa_2(X_c^\top X_c)=\kappa_2(X_c)^2$$
条件数可以粗略理解为“输入有一点误差,结果可能多敏感”。先形成二阶乘积,会让很小的方向更难准确计算。
不是所有计算都会“有效精度直接砍半”。 实际损失取决于谱、浮点精度和算法;秩亏时通常条件数已是无穷,不能照这个口号估位数。
下面保留原实验:用 NumPy 构造奇异值跨度很大的数据,然后分别计算最小方差。代码只需要 NumPy。
import numpy as np
rng = np.random.RandomState(0)
Q, _ = np.linalg.qr(rng.randn(200, 5))
V, _ = np.linalg.qr(rng.randn(5, 5))
X = Q @ np.diag([1.0, 1e-2, 1e-4, 1e-6, 1e-8]) @ V.T
Xc = X - X.mean(axis=0)
print("cond(Xc) = %.2e" % np.linalg.cond(Xc))
print("cond(Xc.T@Xc)= %.2e" % np.linalg.cond(Xc.T @ Xc))
lam_eig = np.linalg.eigvalsh(Xc.T @ Xc / len(X))[::-1]
lam_svd = np.linalg.svd(Xc, compute_uv=False) ** 2 / len(X)
print("最小主成分方差 · 特征分解 =", lam_eig[-1])
print("最小主成分方差 · SVD =", lam_svd[-1])
本机 NumPy 2.2.6 的一次输出如下;临近浮点精度极限的数字会随底层线性代数库变化,不要要求逐位一致。
| 观察量 | 本次结果 |
|---|---|
cond(Xc) |
约 $9.96\times10^7$ |
cond(Xc.T @ Xc) |
约 $6.79\times10^{15}$ |
| 协方差特征分解的最小方差 | 约 $2.82\times10^{-19}$ |
| 直接 SVD 的最小方差 | 约 $4.99\times10^{-19}$ |
先看最后两行:同一份输入的微小方向已经明显不一致。 这说明病态数据值得检查求解路线,不是在规定每台机器应错多少。
原始构造在中心化前的理想最小平方奇异值除以 200 是 $5\times10^{-19}$。但代码随后减去了均值,改变了矩阵,因此不能把它直接当作 Xc 的精确真值,也不能据此声称固定“错 44%”。
协方差矩阵在数学上半正定;若数值结果出现极小负特征值,应检查舍入误差与尺度,而不是把“负方差”当成新的统计含义。
进阶 · 带状方程怎样逼近解?
上面的 PCA 从数据找主方向,SVD 提供分解。现在换一个目标:例如已知各节点之间的耦合和外力,想算出各节点的位移。写成 $Ax=b$,$A$ 是已知的 $n\times n$ 系数矩阵,$b$ 是已知的 $n$ 维右端,$x$ 是待求的 $n$ 维列向量。每一行是一条方程,求完要代回这组方程验算。
如果每个节点只与紧邻的节点相连,主对角线两侧较远的系数全是零。这种矩阵叫带状矩阵(band matrix)。图中的三对角矩阵只沿主对角线及相邻的两条对角线保留系数。
| 行\列 | 0 | 1 | 2 |
|---|---|---|---|
| 0 | 2 | −1 | 0 |
| 1 | −1 | 2 | −1 |
| 2 | 0 | −1 | 2 |
令 $A_{ij}$ 表示第 $i$ 行、第 $j$ 列的系数,行列从 0 数到 $n-1$。对称矩阵的半带宽 $w$ 是非零元素离主对角线的最大距离 $|i-j|$。上表 $A_{21}=-1$ 的距离为 1,角上的 $A_{20}=0$,所以 $w=1$。按 LAPACK 的一般带存储约定,带内元素放到带数组的第 $w+i-j$ 行、第 $j$ 列。例如 $A_{21}$ 放在第 $1+2-1=2$ 行、第 1 列,而 $A_{20}$ 在带外,不分配位置。这个带数组有 $(2w+1)\times n$ 个槽,边角可能有空槽。
下面实验利用对称性再少存一条带:diag[i] 存 $A_{ii}$,side[i] 存 $A_{i,i+1}=A_{i+1,i}$。上表存三项 [2, 2, 2] 和两项 [-1, -1],共 5 个系数,代替稠密的 9 个。乘向量时,side[i] 对第 $i$ 和 $i+1$ 个输出各贡献一次。
先检查矩阵能否使用共轭梯度法(Conjugate Gradient,CG)。 对实矩阵,要求对称正定(Symmetric Positive Definite,SPD):$A=A^\top$,且任意非零的 $n$ 维列向量 $v$ 都有 $v^\top Av>0$。上标 $\top$ 表示转置。取 $A=\begin{bmatrix}2&1\\1&2\end{bmatrix}$,上下三角相同,前导主子式是左上角的 $2$ 和全矩阵的行列式 $2\cdot2-1\cdot1=3$,都为正。也可直接验证:令 $v=(u,t)^\top$,则 $v^\top Av=(u+t)^2+u^2+t^2$,只要 $u,t$ 至少一个非零,结果就大于零。带宽小本身无法保证这项条件。
用这个二阶矩阵手算一次。给定 $b=(1,0)^\top$、起点 $x_0=(0,0)^\top$,下标表示迭代次数。真实残差 $r_k=b-Ax_k$ 是第 $k$ 次近似代回原方程后还差多少。CG 首次沿 $p_0=r_0=(1,0)^\top$ 走。要确定步长 $\alpha_0$,让走完后方向 $p_0$ 上的残差分量消失:
$$p_0^\top (r_0-\alpha_0Ap_0)=0,\qquad \alpha_0=\frac{r_0^\top r_0}{p_0^\top Ap_0}.$$
$Ap_0=(2,1)^\top$。分子是 $1\cdot1+0\cdot0=1$,分母是 $1\cdot2+0\cdot1=2$,所以步长为 $1/2$。更新 $x_1=x_0+\alpha_0p_0=(1/2,0)^\top$。代回得到 $Ax_1=(1,1/2)^\top$,因此 $r_1=(1,0)^\top-(1,1/2)^\top=(0,-1/2)^\top$。
| 步数 | 近似解 | 真实残差 |
|---|---|---|
| 0 | (0, 0) | (1, 0) |
| 1 | (½, 0) | (0, −½) |
第二条方程仍差半个单位。停止时检查 $\|b-Ax_k\|_2\le\max(\mathrm{atol},\mathrm{rtol}\cdot\|b\|_2)$,并设置最大步数。$\|\cdot\|_2$ 是各分量平方相加后开根号,$\mathrm{atol}$ 是与残差同单位的绝对容差,$\mathrm{rtol}$ 是无单位的相对容差。若取 $10^{-12}$、$10^{-10}$,此处阈值是 $10^{-10}$,而 $\sqrt{0^2+(-1/2)^2}=1/2$,还得继续。残差衡量的是方程满足程度,若系统病态,判断解本身的精度还要结合条件数。
进阶 · Jacobi 预处理何时省迭代?
有些系统的不同方向尺度相差很大,一次修正难以兼顾。预处理(preconditioning)通过求解等价系统来改变迭代看到的尺度。Jacobi 预处理取对角矩阵 $D=\operatorname{diag}(A_{00},\ldots,A_{n-1,n-1})$,形状仍为 $n\times n$。正定保证对角元素为正,因为取 $v$ 为某个坐标轴的单位向量时,$v^\top Av$ 就是对应的对角元素。
令 $D^{-1/2}$ 是把每个对角元素开平方再取倒数所得的对角矩阵。把原方程里的 $x$ 换成 $D^{-1/2}y$,两边再左乘 $D^{-1/2}$,得到 $By=D^{-1/2}b$,其中 $B=D^{-1/2}AD^{-1/2}$。$y$ 是变换后坐标中的 $n$ 维未知量。这个对称变换保留正定性,因为任取非零 $v$,$D^{-1/2}v$ 也非零。求完 $y$,用 $x=D^{-1/2}y$ 回到原坐标。
- 对角矩阵 $\operatorname{diag}(1,100,10000)$。 $D=A$,所以每个对角系数分别乘两次对应倒根,得到 $1\cdot1^2=1$、$100\cdot0.1^2=1$、$10000\cdot0.01^2=1$。因此 $B=I$(单位矩阵)。SPD 矩阵的二范数条件数是最大特征值除以最小特征值,此处从 $10000/1=10000$ 变成 $1/1=1$。
- 上表的三对角矩阵。 $D=2I$,左右各乘 $1/\sqrt{2}$,所以 $B=A/2$。原特征值为 $2-\sqrt{2},\,2,\,2+\sqrt{2}$,均为正。每个特征值都除以 2,条件数仍为 $(2+\sqrt{2})/(2-\sqrt{2})=3+2\sqrt{2}\approx5.83$。三个特征值可用 $\det(A-\lambda I)=(2-\lambda)((2-\lambda)^2-2)=0$ 核对,$\lambda$ 代表候选特征值。
两种情况都把主对角线变成 1。第一种消除了各方向的尺度差,第二种只把整个系统等比例缩放。下面用同一个右端 $b=(1,2,4)^\top$ 和零起点作对照。两种算法都在原系统上检查残差,阈值为 $10^{-10}\sqrt{1+4+16}\approx4.583\times10^{-10}$,最多 12 步。
matvec 从两条带算 $Av$。solve 在原坐标实现预处理共轭梯度法(PCG)。先把残差 $r$ 变为 $z=D^{-1}r$,普通 CG 则令 $z=r$。从 $p=z$ 起步,代码以 $\rho=r^\top z$ 除以 $p^\top Ap$ 得步长 alpha。推进近似解后先递推残差,再重新算真实残差用于停止判断。未达标时,以新旧 $\rho$ 的比值 beta 把旧方向 $p$ 合入新方向 $z+\beta p$。这样复用上一方向而不显式构造 $B$。这些更新式来自 Netlib 的 PCG 模板。
可运行实验。 完整复制到一个 Python 文件运行,只用标准库。输入为上述两个已检查正定的矩阵;输出记录各自的系数存储、预处理构建、应用乘法、迭代、矩阵向量乘和真实残差。
from math import fsum, hypot
ATOL, RTOL, MAXITER = 1e-12, 1e-10, 12
def dot(a, b):
return fsum(x * y for x, y in zip(a, b))
def matvec(diag, side, v):
# side[i] couples rows i and i+1; store that pair only once.
out = [d * x for d, x in zip(diag, v)]
for i, a in enumerate(side):
out[i] += a * v[i + 1]
out[i + 1] += a * v[i]
return out
def solve(diag, side, b, inv_diag):
x = [0.0] * len(b)
r = list(b) # With x0 = 0, b - A @ x0 is b.
threshold = max(ATOL, RTOL * hypot(*b))
uses = 0
trace = []
if hypot(*r) <= threshold:
return 0, hypot(*r), uses, True, trace
def precondition(v):
nonlocal uses
if inv_diag is None:
return v
uses += 1
return [d * x for d, x in zip(inv_diag, v)]
z = precondition(r)
p = z
rho = dot(r, z)
for k in range(1, MAXITER + 1):
ap = matvec(diag, side, p)
alpha = rho / dot(p, ap)
x = [xi + alpha * pi for xi, pi in zip(x, p)]
r = [ri - alpha * ai for ri, ai in zip(r, ap)]
true_r = [bi - ai for bi, ai in zip(b, matvec(diag, side, x))]
norm = hypot(*true_r)
trace.append(norm)
if norm <= threshold:
return k, norm, uses, True, trace
if k == MAXITER:
return k, norm, uses, False, trace
z = precondition(r)
next_rho = dot(r, z)
beta = next_rho / rho
p = [zi + beta * pi for zi, pi in zip(z, p)]
rho = next_rho
for name, diag, side in [
("diagonal", [1.0, 100.0, 10000.0], []),
("tridiagonal", [2.0, 2.0, 2.0], [-1.0, -1.0]),
]:
b = [1.0, 2.0, 4.0]
for method in ("CG", "Jacobi-PCG"):
inverse = [1.0 / a for a in diag] if method == "Jacobi-PCG" else None
extra = len(inverse) if inverse is not None else 0
k, norm, uses, converged, trace = solve(diag, side, b, inverse)
print(name, method, "matrix=", len(diag) + len(side),
"setup_div=", extra, "extra=", extra, "apply_mul=", uses * extra,
"steps=", k, "matvecs=", 2 * k,
f"residual={norm:.3e}", "converged=", converged)
print("trace=", [f"{v:.3e}" for v in trace])
一次 Python 3.14.7 实跑结果如下。各行均达到同一个容差。浮点残差的末位可能随运行环境变化。
| 系统/方法 | 步数 | 矩阵向量乘 | 残差范数 |
|---|---|---|---|
| 对角 · CG | 3 | 6 | 2.627e−11 |
| 对角 · PCG | 1 | 2 | 0.000e+00 |
| 三对角 · CG | 3 | 6 | 2.176e−15 |
| 三对角 · PCG | 3 | 6 | 2.176e−15 |
| 系统/方法 | 第 1 步 | 第 2 步 | 第 3 步 |
|---|---|---|---|
| 对角 · CG | 2.535 | 1.106 | 2.627e−11 |
| 对角 · PCG | 0 | 已停止 | 已停止 |
| 三对角 · CG | 3.566 | 1.669 | 2.176e−15 |
| 三对角 · PCG | 3.566 | 1.669 | 2.176e−15 |
对角例
三对角例
四次求解从 $k=0$ 的 $\sqrt{21}\approx4.583$ 出发。对角例的 PCG 在第 1 步到达实测 0,曲线在此停止。其余末点为正但接近零,线性图上与零线贴合。停止阈值约 $4.583\times10^{-10}$,在此尺度也贴近零线,精确读数见表。
依据:谱端点取自上文两矩阵的特征值,残差点取自页面实验;算法与停止判据见 Netlib《Templates for the Solution of Linear Systems》§2.3.1、§3.2、§4.2。
矩阵本身分别存 3 和 5 个系数。每个 Jacobi 构建都用 3 次倒数除法并额外存 3 个倒数,应用一次做 3 次乘法。对角例共应用 1 次(三次乘法),三对角例共应用 3 次(九次乘法)。普通 CG 这三项额外成本均为 0。矩阵向量乘每步数两次:一次计算 $Ap$,一次检查真实残差。这些是代码的操作数和系数槽数,工作向量与 Python 对象开销另计。
同一个 $A$ 如果要解多个右端,把构建倒数移到求解循环外就可以复用;若有 $m$ 个右端,平均每个右端的构建除法数从 3 降到 $3/m$,应用仍按每次求解的迭代数计。上面的三对角例即使摊掉建立成本,仍多做缩放,迭代数没有下降。真实速度还取决于矩阵规模、内存访问和每一步的实现。当前数据给出的是操作计数,没有测耗时,也不能由这两例推断任意矩阵或任意右端的迭代数。
试一试。 只把三对角例右端换成 $(1,0,-1)^\top$,保留相同起点和停止规则。预测普通 CG 需要几步,Jacobi 还能省几步?
核对进阶练习
一乘便得到 $A(1,0,-1)^\top=(2,0,-2)^\top$,所以这个右端本身就在一个特征方向上。普通 CG 的首步为 $2/4=1/2$,得到 $x_1=(1/2,0,-1/2)^\top$,残差为零。Jacobi 缩放保留该方向,也只需一步。即使条件数相同,右端换了,迭代数仍会改变。
参考:LAPACK 带存储 · Netlib 的 CG、预处理与停止准则 · SciPy 的 CG 残差停止规则。回到 PCA 的计算路线,下一项取舍看矩阵尺寸如何影响内存。
② 内存:先看要不要造出特征方阵
$d=50{,}000$ 时,协方差矩阵有 25 亿个元素。每个 float64 占 8 字节,仅这一个数组就约 20 GB(18.6 GiB),还没算工作空间。
直接 SVD 可以避免显式构造这个 $d\times d$ 方阵;但输入、奇异向量及工作空间也占内存,不是自动省到能放下。
反过来,特征数很小、样本远多于特征时,协方差分解可能很合适。先看形状,不先给算法贴“过时”标签。
③ 少样本多特征:区分矩阵尺寸与有效秩
中心化会让样本行之间至少有一个线性约束:
$$\operatorname{rank}(X_c)\le\min(n-1,d)$$
100 个样本、5000 个特征时,协方差最多有 99 个非零特征值,至少 4901 个为零。
约化 SVD 返回 100 个奇异值,不是“自动只返回 99 个非零值”。有限精度下,两条路线都可能出现接近零的小数;有效秩要结合容差判断,噪声量级也不是固定的 $10^{-15}$。
④ 只要前几个:完整、截断与随机化不是一回事
- 完整 SVD 后截取:先算完整约化分解,再取前 $k$ 个。简单可靠,但后面的成分也算过了。
- 截断求解:直接求一部分奇异三元组,例如 ARPACK。需检查成分数约束与收敛情况。
- 随机化 SVD:先近似主要子空间,再分解较小矩阵。稠密输入的主成本常写成约 $O(ndk)$,还受超采样、幂迭代等设置影响。
PCA(svd_solver="auto") 的选择取决于矩阵形状、成分数和版本;它不是“高维一律 randomized”。需要复现时记录版本,并明确需要的求解器。
稀疏文本要单独看中心化。 TruncatedSVD 不减均值,常用于计数 / TF-IDF 的潜在语义分析(LSA),所以它不等于中心化 PCA。TruncatedSVD 官方说明
显式减均值通常会破坏稀疏性;某些 PCA 求解器支持稀疏输入,也不代表任何方法都适合任意规模。文本还可以直接用稀疏模型,不是“必须先做 LSA”。
对不上数时,先检查这两项
方向符号。 $w$ 和 $-w$ 表示同一根轴,得分也会一起反号。不能把一次输出的正负号当成永久业务语义。若特征值并列,连该子空间里的基向量也可能改变。
方差分母。 本页除以 $n$,scikit-learn 的 explained_variance_ 除以 $n-1$。五点例子会得到 4.75 和 0.25,但方差比仍是 95% / 5%。
🔍 二、主成分留几个:先问为了什么
解释方差比:衡量保留了多少变化
对总方差大于零的数据:
$$r_i=\frac{\lambda_i}{\sum_j\lambda_j}$$
$\lambda_i$ 是第 $i$ 根主轴的方差,分母等于协方差的迹(对角线元素之和)。所有特征都恒定时,分母为零,不能解释这个比值。
若前 $k$ 项累计达到 95%,意味着只丢掉了 5% 的总方差;在同一训练数据的正交重构目标下,也对应剩余平方重构误差的比例。它不意味着保住了 95% 的标签信息。
五种选法:按目标选,不排万能名次
压缩与重构:累计阈值。 80%、90%、95% 都是可选预算,不是普适正确值;阈值与可接受的重构损失相联系,是有明确数学含义的。
探索结构:碎石图。 看各特征值的下降是否有明显转折。没有肘部也正常,不要硬画一处。
标准化后的粗筛:Kaiser 准则。 对角线为 1 的相关矩阵,平均特征值为 1,于是尝试保留 $\lambda>1$。这只是启发式;若标准化与协方差采用不同分母,不能机械套同一个数值门槛。
与无结构基线比较:平行分析。 重复生成合适的随机参照数据,比较对应序号的特征值。需交代参照分布、重复次数和比较分位数,不能只说“随机一次比大小”。
为了预测:折内交叉验证。 把 $k$ 当超参数,比较最终任务指标;同时保留“不做 PCA”的基线。只在训练数据上估计候选范围,最终测试集留到最后。
可以先看累计曲线建立量级感,再试几组候选。这只是缩小搜索范围,不保证最优 $k$ 就在 90% 或 95% 附近。
压缩效果与预测表现要分别检查。下面列出异常结果的排查方法。
⚠️ 三、PCA 的六项排查
① 线性投影能否表达你要保留的关系?
PCA 只能找平的线性子空间。瑞士卷的内在结构像一张卷起的二维纸,投到平面不等于把纸展开,原本沿纸面很远的点可能挤到一起。
下面用更容易看清的圆周说明同一问题:上下两点投到横轴后重合。
这不代表数据稍有弯曲,PCA 就一定没用;要看当前任务是否需要保留被压掉的关系。
可考虑核 PCA、自编码器或流形方法。核 PCA 还要在特征空间中心化核矩阵,不是只替换一个内积就完成所有步骤;背景见核技巧。
t-SNE 常用于可视化,标准 scikit-learn 实现没有通用的 transform 新样本接口。TSNE 官方接口
UMAP 支持拟合后变换新数据,也能作为下游模型的特征变换;是否有益需验证,不能一概写成“只能看图”。UMAP 新数据变换
② 单位与缩放是否符合你的目标?
PCA 按方差选方向,而方差会随单位的平方变化。沿用收入与年龄的例子,并假设二者不相关:
| 特征 | 标准差 | 方差 |
|---|---|---|
| 收入,以元计 | 50,000 | $2.5\times10^9$ |
| 同一收入,以万元计 | 5 | 25 |
| 年龄,以岁计 | 10 | 100 |
收入用元时方差是年龄的 2500 万倍;用万元时方差小于年龄。在这个不相关例子里,第一主轴就从收入轴换成年龄轴。
标准化是在重新定义“什么变化值得同等重视”。 混合单位时通常值得比较标准化方案,但不是数学上的强制步骤。
像素都在 0~255 也不自动证明“不该标准化”。有时边缘的小方差意味着可忽略,有时它包含微弱但有用的信号;结合领域目标与验证结果决定。
③ 小方差里是否有判别信号?
PCA 不看标签。低方差不等于低预测价值。
看一个可完整验算的四点例子:
| 样本 | 特征 1 | 特征 2 | 类别 |
|---|---|---|---|
| A | −2 | −0.001 | 0 |
| B | −2 | +0.001 | 1 |
| C | +2 | −0.001 | 0 |
| D | +2 | +0.001 | 1 |
两列均值为 0、协方差为 0,方差分别是 4 和 $10^{-6}$。只留 PC1,保留方差超过 99.9999%,却把 A/B、C/D 各压到同一点。
原本只看特征 2 的正负即可分开两类。压缩后,在等概率抽取这四点的设定中,每个得分都对应两种标签,只用该得分无法完全区分类别。
这个反例证明的是“方差比例不能保证分类效果”。 真实任务会掉多少分,仍需在明确的数据、划分和评估指标上测量,不能从这个例子直接外推。
应对方式:比较降维前后的验证指标;必要时尝试有监督的 LDA、特征选择或不降维。LDA 利用类间与类内变化,仍不是所有分类任务的保证解。工程对照
④ 离群点是否主导了平方误差?
协方差与重构误差含平方项,远点可能大幅改变主方向。这与最小二乘对离群点敏感有相似的几何原因,不需要假设所有数据服从高斯分布。
先核实异常是录入错误还是有意义的少数样本。稳健协方差、适当预处理或 Robust PCA 可用于不同污染模型;“低秩 + 稀疏异常”的 Robust PCA 也不是对任意异常都有效的按钮。Robust PCA 原论文 / 与最小二乘对照
⑤ 需要原始特征含义,还是只需要压缩坐标?
PC1 常是年龄、收入、点击数等特征的线性组合,所以比原始变量更难解释,但不是“绝对不可解释”。
可结合单位、缩放、载荷与领域知识说明某根轴。载荷不是因果效应,也不是监督模型里的特征重要性。若交付必须保留原始字段含义,比较特征选择与压缩两种方案。
⑥ 训练、验证、测试有没有分清?
先对全部数据拟合 PCA,再切分测试集,会让测试集参与均值与方向的估计。这破坏了独立评估,不保证每次都涨分,也不能凭涨跌反推是否泄漏。
正确顺序:
- 先确定训练 / 测试划分。
- 交叉验证时,将缩放、PCA、模型一起放进
Pipeline,只在每个训练折拟合。 - 对该折验证数据只做变换和预测;最终测试集也不参与选 $k$。
详见评估与过拟合与数据泄漏的来源。先检查拟合步骤用过哪些数据,再解读分数变化。
白化:在去相关之后,再拉平尺度
对方差严格为正的已保留方向,把得分除以对应标准差:
$$z_i^{\mathrm{white}}=\frac{z_i}{\sqrt{\lambda_i}}$$
用同一个方差分母计算,白化后的各方向方差为 1。用 $n$ 定义 $\lambda$,就按 $n$ 核对;用 $n-1$ 则按 $n-1$ 核对。
它去掉相对方差尺度,不等于让各方向统计独立。零方差不能直接除,小方差中的噪声也可能被放大,所以白化同样要看下游目标。
🔗 这一章连到哪里
- 05b · PCA 的推导:重看单位方向、方差与正交重构。
- ML 基础 06 · 无监督:比较 PCA、LDA、稀疏文本和可视化用途。
- 06 · 核技巧:理解特征空间内积,再继续核 PCA 的中心化。
- 01 · 最大似然:比较平方误差的几何目标与概率建模假设。
- ML 基础 05 · 评估与过拟合 / 数据这一关 14:把所有拟合步骤限制在训练侧。
- 推荐算法 05 · 矩阵分解:比较用户–物品低秩因子;带缺失观测、偏置与正则的推荐模型不等于直接中心化 PCA,隐因子也不必是主成分。
- AI 基础设施 18c · 剪枝与稀疏化:低秩权重近似减少存储与计算,但矩阵近似误差小不保证模型任务损失小。
✅ 检查点
- $V$、$S$ 分别给出什么?怎样从 SVD 取前 $k$ 维得分?
- 为什么直接 SVD 常有优势?什么情况下协方差分解仍然合理?
- 选 $k$ 时,重构预算与预测目标有什么区别?
- 四点反例中,为什么保留超过 99.9999% 方差仍丢掉分类信号?
- 什么时候值得缩放?“同量纲”为什么不是唯一判据?
- 白化改变了什么?零方差与很小的方差要注意什么?
核对六个答案
- $V$ 的列给方向,$S$ 的对角线给奇异值;方差为 $s_i^2/n$,得分为 $U_kS_k$。
- 直接 SVD 可避免形成二阶乘积与大协方差方阵,也有截断算法。特征少、样本多时,协方差求解器仍可高效;不是所有实现都必须走同一条路。
- 压缩可按允许的重构损失选阈值;预测则在折内验证 $k$,并与不降维比较。95% 有方差含义,没有预测保证。
- 第一列方差很大但与标签无关;第二列虽小却决定标签。只保留第一列会把异类点合并。
- 缩放决定各特征的相对权重。单位、信号意义与任务共同决定是否缩放,不能一律标准化或一律不标准化。
- 正方差得分除以对应标准差,使尺度相同但未必独立。零方差不能直接除,微小方向的噪声可能被放大。
本节回顾
记住四件事就能继续
- SVD 常用于计算 PCA,协方差特征分解也有适用场景。
- 保留方差比例不是保留标签信息比例。
- 缩放、成分数和白化都要匹配当前目标。
- 所有拟合与选参留在训练侧,再独立评估。
下一节 👉 06 · 核技巧
如果你关心弯曲结构,下一页先解释如何计算隐式特征空间的内积。核 PCA 在此基础上还需要核矩阵中心化与正确的投影步骤。