05b · PCA 的推导
⏱ 36 分钟 | 原预计,仅供参考;可以分次读。
🎯 先知道 PCA 在保留什么
如果只能用一个新坐标描述一团数据,PCA 会选投影后方差最大的方向。
这里的“方差”衡量样本数值有多分散。PCA 希望投影后还保留较多差异,而不是把所有点挤到一起。
保留差异,不等于保留最有用的预测信息。 PCA 不看标签;变化最大的方向也可能主要是噪声。
- 想先看结果:跳到五个点的手算例子。
- 想知道为什么:依次读协方差、最大化方差和最小化重构误差。
- 想用工具:读基础教程第 6 章;数值算法与选维数在05c · SVD 与实践。
上一章 · 维度灾难介绍了高维中的困难,并没有证明所有高维任务都必须降维。本章研究 PCA 这一种线性降维方法,不替所有任务做选择。
🧊 一、协方差矩阵:把各方向的变化记下来
先约定数据形状:$X$ 有 $n$ 行样本、$d$ 列数值特征。每列减去自己的均值后,得到中心化数据 $X_c$。
从方差到协方差
方差:一个特征自己有多分散。
$$\operatorname{Var}(x)=\frac1n\sum_{i=1}^n(x_i-\bar x)^2$$
$x_i-\bar x$ 是第 $i$ 个样本离均值的偏差;平方让正负偏差不会互相抵消。
协方差:两个特征的偏差是否倾向于同号。
$$\operatorname{Cov}(x,y)=\frac1n\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)$$
- 大于 0:同号偏差的乘积总体占上风,两个特征正相关。
- 小于 0:异号偏差的乘积总体占上风,两个特征负相关。
- 等于 0:不线性相关;不能据此说两个变量独立。
例如总体中 $x$ 在 $[-1,1]$ 上均匀分布,$y=x^2$。对称性使协方差为 0,但知道 $x$ 就能完全确定 $y$。
PCA 只用二阶统计量,可能漏掉这种弯曲的关系。
如果两个特征一起变化,知道第三个特征的值之后,它们还会一起变化吗?前面的协方差把第三个特征也留在总体里。要回答固定第三个特征后的问题,需要先说明总体服从什么分布。
联合高斯(joint Gaussian)指任意线性组合都服从一维正态分布,允许常数这种退化情况。本例取零均值、正定协方差,即任一非零方向的方差都大于 0。此时协方差 $\Sigma$ 可逆,精度矩阵(precision matrix) $Q=\Sigma^{-1}$ 的非对角元刻画给定其余变量后的关系。
给图指定下面这组演示参数。$Q$ 把变量成对放进高斯密度的指数,$\Sigma$ 则给出原总体中各对变量的协方差:
$$Q=\begin{bmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{bmatrix},\qquad \Sigma=\frac14\begin{bmatrix}3&2&1\\2&4&2\\1&2&3\end{bmatrix}.$$
从 $\Sigma_{13}=1/4$ 先读出边缘协方差。给定 $X_2=c$(把中间变量固定在某个实数 $c$)后,两端的协方差变为 0,各自均值为 $c/2$、方差为 $1/2$。端点在原总体中同向起伏,固定中间变量后才独立。下面把两种读法算到同一个结果。
手算两遍:先配方,再用协方差核对
先确认矩阵能定义这个模型。$Q$ 对称,左上角的三个顺序主子式为 $2$、$2\cdot2-1=3$、$2\cdot3-2=4$;都大于 0,所以按 Sylvester 判据 $Q$ 正定。直接相乘核验逆矩阵:
$$Q\Sigma=\frac14\begin{bmatrix} 6-2&4-4&2-2\\ -3+4-1&-2+8-2&-1+4-3\\ -2+2&-4+4&-2+6 \end{bmatrix}=I_3.$$
设 $x=(x_1,x_2,x_3)^\top$ 为 $X$ 的取值。零均值高斯密度与 $\exp(-x^\top Qx/2)$ 成正比。固定 $x_2=c$ 后,$x^\top Qx$ 展开为 $2x_1^2+2x_3^2-2cx_1-2cx_3+2c^2$,没有 $x_1x_3$ 项。
将前四项各自配平方得到:
$$x^\top Qx=2(x_1-c/2)^2+2(x_3-c/2)^2+c^2.$$
代回指数,单独依赖 $c$ 的常数并入归一化因子,条件密度分成两个一维密度的乘积。对照正态指数 $-(x-\mu)^2/(2\sigma^2)$,可读出 $\mu=c/2$ 和 $\sigma^2=1/2$。例如 $c=2$ 时,两端各自的条件均值为 1,方差仍为 $1/2$。
也可以从原协方差扣除由中间变量解释的部分。令 $U=(X_1,X_3)^\top$,$V=X_2$。$\Sigma_{UU}$ 是两端的边缘协方差矩阵,$\Sigma_{UV}$ 是两端与中间变量的协方差列,$\Sigma_{VU}=\Sigma_{UV}^\top$,$\Sigma_{VV}=1$ 是中间变量方差。联合高斯里,扣除线性解释项后的残差与 $V$ 独立,所以其协方差就是条件协方差。这一相减形式称为 Schur 补:
$$\begin{aligned} \Sigma_{U\mid V}&=\Sigma_{UU}-\Sigma_{UV}\Sigma_{VV}^{-1}\Sigma_{VU}\\ &=\begin{bmatrix}3/4&1/4\\1/4&3/4\end{bmatrix} -\frac14\begin{bmatrix}1&1\\1&1\end{bmatrix} =\begin{bmatrix}1/2&0\\0&1/2\end{bmatrix}. \end{aligned}$$
非对角元为 $1/4-(1/2)(1/2)/1=0$。本例联合高斯,所以给定 $V$ 后,两端协方差为零等价于条件独立。依据见 MIT 6.436 第 14 讲。
前文的 $Y=X^2$ 已展示非高斯时协方差为零仍可能完全依赖。若协方差奇异,例如两个特征总是相等,就没有此处所用的普通逆矩阵。下文的样本协方差允许半正定且奇异,仍可用于 PCA。本例的条件图只适用于所设的正定联合高斯模型。
检查点。 图上 $X_1$ 与 $X_3$ 没有边。若还不知道 $X_2$,两端是否独立?
核对答案
仍有边缘协方差 $1/4$,所以不独立。给定 $X_2$ 后才独立。
用 NumPy 核对正定、逆矩阵和条件协方差
输入是图里的演示矩阵 $Q$。先算顺序主子式,再用线性求解得到 $\Sigma$,最后按中间变量切分并复算 Schur 补。需要 Python 3 和 NumPy,无外部数据;全部断言通过后输出 precision checks passed。
import numpy as np
q = np.array([[2, -1, 0], [-1, 2, -1], [0, -1, 2]])
minors = [np.linalg.det(q[:k, :k]) for k in (1, 2, 3)]
np.testing.assert_allclose(minors, [2, 3, 4])
sigma = np.linalg.solve(q, np.eye(3))
expected = np.array([[3, 2, 1], [2, 4, 2], [1, 2, 3]]) / 4
np.testing.assert_allclose(sigma, expected)
np.testing.assert_allclose(q @ sigma, np.eye(3), atol=1e-12)
ends = [0, 2]
marginal = sigma[np.ix_(ends, ends)]
cross = sigma[ends, 1]
middle_var = sigma[1, 1]
conditional = marginal - np.outer(cross, cross) / middle_var
mean_when_middle_is_2 = cross / middle_var * 2
np.testing.assert_allclose(marginal[0, 1], 0.25)
np.testing.assert_allclose(conditional, np.eye(2) / 2, atol=1e-12)
np.testing.assert_allclose(mean_when_middle_is_2, [1, 1])
print("precision checks passed")
写成矩阵:三步
- 中心化:每列减去该列均值。
- 两两相乘并累加:得到 $X_c^\top X_c$。
- 除以 $n$:本章采用这个分母描述这批样本的方差。
$$\Sigma=\frac1n X_c^\top X_c$$
矩阵中的第 $j$ 行、第 $k$ 列,就是第 $j$、$k$ 个特征的协方差:
$$\Sigma_{jk}=\frac1n\sum_{i=1}^n(x_{ij}-\bar x_j)(x_{ik}-\bar x_k)$$
别把分母混用。 估计总体协方差时常用 $n-1$;在同一数据上它只给整个矩阵乘以 $n/(n-1)$,不改变主轴或解释方差比。
scikit-learn 的 explained_variance_ 使用 $n-1$,所以它的数值可能与本章的 $1/n$ 版本不同。PCA 官方说明
为什么中心化不能省?
不中心化得到的是二阶原点矩。若均值向量为 $\mu$,则:
$$\frac1n X^\top X=\Sigma+\mu\mu^\top$$
多出来的 $\mu\mu^\top$ 会让结果同时受“离原点多远”影响,主方向可能被均值项主导。
它不一定恰好指向均值,也不能说这个方向永远“毫无信息”。只是它在解决不同的问题,不能直接当作本章的中心化 PCA。
四条性质,各解决一个问题
- 对称:$\Sigma=\Sigma^\top$。实对称矩阵的特征值是实数,可以选出一组正交的单位特征向量。
- 半正定:$w^\top\Sigma w\ge0$。这个量是投影方差,所以特征值都非负。
- 对角线是各列方差:当 $j=k$ 时,协方差公式就变成方差公式。
- 迹是总方差:迹
tr就是对角线之和,也等于所有特征值之和。
$$\operatorname{tr}(\Sigma)=\sum_j\operatorname{Var}(X_{\cdot j})=\sum_j\lambda_j$$
几何上,可以用椭圆概括二维数据的二阶变化。 椭圆主轴沿特征向量,半轴长度与 $\sqrt{\lambda_j}$ 成正比。
这只是二阶结构的概括,不是说任何数据都真的呈椭圆分布。多峰、弯曲等结构仍可能被漏掉。
单位会改变结果,缩放要有理由
下面只比较数量级;假设收入与年龄不相关,协方差矩阵为对角矩阵。
| 特征 | 标准差 | 方差 |
|---|---|---|
| 收入,以元计 | 50,000 | 2,500,000,000 |
| 年龄,以岁计 | 10 | 100 |
| 同一收入,改为万元 | 5 | 25 |
以元计时,收入轴方差大;换成万元后,年龄轴方差大。只是换单位,就改变了 PCA 优先保留的方向。
若特征相关,主轴一般会是特征的组合,不能只看这张表就断言它恰好等于某一列。
是否标准化取决于各特征的单位、含义与目标;不能机械规定所有数据都要缩放成同样方差。具体做法见下一章。
📈 二、第一种推导:最大化投影方差
问题写清楚
我们只找一个方向 $w$。它有 $d$ 个分量,长度固定为 1。
把每个中心化样本投影到这个方向后,得到一个数:
$$z=X_cw$$
- $w$:主轴方向,是原特征的线性组合系数。
- $z$:所有样本在这根轴上的得分,共 $n$ 个数。
- 目标:让这些得分的方差尽量大。
“主成分”有时被用来指方向,有时指得分。本章分别说清两者,避免把 $w$ 与 $z$ 当成同一种对象。
投影方差为什么是 wᵀΣw
由于 $X_c$ 每列均值为 0,$z$ 的均值也为 0。因此先把得分平方、加总、除以 $n$:
$$\operatorname{Var}(z)=\frac1n(X_cw)^\top(X_cw)$$
再把与 $w$ 无关的部分合并成 $\Sigma$:
$$\operatorname{Var}(z)=w^\top\left(\frac1nX_c^\top X_c\right)w =w^\top\Sigma w$$
这条式子把“选方向”与“算方差”接起来了。 以后给定一个单位方向,就能用 $\Sigma$ 计算它保留了多少方差。
为什么必须约束 ‖w‖ = 1
如果把 $w$ 放大 10 倍,得分也放大 10 倍,方差便放大 100 倍。
只要数据存在非零方差,不限制长度就能把目标任意放大。我们需要比较的是方向,而不是谁把刻度尺拉得更长。
$$\max_{\|w\|=1} w^\top\Sigma w$$
若所有样本完全相同,中心化后全为 0;此时所有方向的方差都是 0,没有独特的最佳方向,解释方差比也没有非零分母。
拉格朗日条件:得到候选方向
计算会得到特征方程:
$$\Sigma w=\lambda w$$
读法是:$\Sigma$ 作用在 $w$ 上,只改变长度,不改变这条轴的方向。满足它的 $w$ 称为特征向量,$\lambda$ 是对应特征值。
对于单位特征向量,投影方差恰好等于 $\lambda$。 所以应选最大的特征值对应的方向。
看求导,以及为什么取最大值而不是任意驻点
把单位长度约束放进拉格朗日函数:
$$\mathcal L(w,\lambda)=w^\top\Sigma w-\lambda(w^\top w-1)$$
$\Sigma$ 对称,因此二次型对 $w$ 的梯度是 $2\Sigma w$:
$$2\Sigma w-2\lambda w=0$$
于是 $\Sigma w=\lambda w$。代回目标:
$$w^\top\Sigma w=\lambda w^\top w=\lambda$$
求导只给出候选驻点,还没有证明谁是最大值。
把任意单位方向写成正交特征向量的组合 $w=\sum_j a_j u_j$。因为 $\sum_j a_j^2=1$:
$$w^\top\Sigma w=\sum_j a_j^2\lambda_j\le\lambda_1$$
这里 $\lambda_1$ 是最大特征值。取 $w=u_1$ 就能达到等号,所以它确实是全局最优方向。
第二、第三主成分,以及并列的情况
第二根轴要与第一根垂直,再在剩余方向中最大化投影方差;第三根轴也要与之前所有轴垂直,依次继续。
- 不同特征值对应的特征向量自动正交。
- 特征值并列时,需要在相应特征子空间中选正交基;轴可能不唯一,不能说任意拿到的特征向量都互相垂直。
- $w$ 和 $-w$ 代表同一条轴。得分符号会反转,保留方差与重构结果不变。
主成分得分两两协方差为 0。只有两者的方差都大于 0 时,才能继续说相关系数为 0;零方差变量的相关系数未定义。
前一节用特征向量找轴。若保留所有轴,只换一套可逆的坐标来记录同一个线性映射,哪些量会变?这里研究完整换基,暂时没有丢弃维度。
把向量都写成列。$A$ 在原基里表示映射,$B$ 在新基里表示同一个映射。可逆矩阵 $P$ 的列是新基向量在原基里的坐标,所以新坐标 $u$ 对应原坐标 $Pu$。
等式对所有列向量 $u$ 成立,因此 $AP=PB$。在左边同时乘 $P^{-1}$ 得 $B=P^{-1}AP$;这种关系叫相似(similarity)。
取 $A$ 把横坐标变成两倍、纵坐标照旧。新基取 $p_1=(1,0)^\top$ 和 $p_2=(1,1)^\top$,按列装进 $P$:
$$A=\begin{bmatrix}2&0\\0&1\end{bmatrix},\quad P=\begin{bmatrix}1&1\\0&1\end{bmatrix}.$$
$Ap_1=(2,0)^\top=2p_1$;$Ap_2=(2,1)^\top=p_1+p_2$。把这两组新坐标放进 $B$ 的两列,再乘回去核对:
$$B=\begin{bmatrix}2&1\\0&1\end{bmatrix},\qquad AP=PB=\begin{bmatrix}2&2\\0&1\end{bmatrix}.$$
同一个原向量 $e_2=(0,1)^\top$ 也会换坐标。解 $Pu=e_2$ 得 $u_2=1$、$u_1+u_2=0$,所以新坐标是 $(-1,1)^\top$。原映射本身没有变化。
两个矩阵都可逆,所以秩都是 2。它们都是上三角,迹都是 $2+1=3$,行列式都是 $2\cdot1=2$,特征值都是 2、1。这四个量在任何可逆相似换基下都相同:可逆因子不改变秩,迹可循环,行列式里的 $\det(P^{-1})$ 与 $\det(P)$ 抵消,特征向量 $v$ 变成 $P^{-1}v$ 后仍对应同一个特征值。
奇异值(singular value)衡量按欧氏长度看的伸缩,等于矩阵转置乘自身后所得特征值的非负平方根。上面的新基不正交,直接把新坐标当作普通欧氏坐标会改变读到的伸缩量:
$$B^\top B=\begin{bmatrix}4&2\\2&2\end{bmatrix},\quad \det(B^\top B-tI)=(4-t)(2-t)-4=t^2-6t+4.$$
这里 $t$ 是 $B^\top B$ 的特征值,$I$ 是单位矩阵。解得 $t=3\pm\sqrt5$,因此 $B$ 的奇异值为 $\sqrt{3+\sqrt5}$、$\sqrt{3-\sqrt5}$,与 $A$ 的 2、1 不同。
若换基矩阵 $R$ 正交,则 $R^{-1}=R^\top$,坐标欧氏长度得到保留。此时 $\widetilde B=R^\top AR$ 满足 $\widetilde B^\top\widetilde B=R^\top A^\top AR$,与 $A^\top A$ 相似,所以奇异值也相同。PCA 选用的是正交单位轴。下一章会用 SVD 计算这些伸缩尺度。
检查点。 若把 $A$ 改写成更易计算的相似矩阵,还能直接用新矩阵的奇异值回答原欧氏长度问题吗?
核对答案
要先看换基是否保持长度。正交换基可以;上面这个斜基的例子已经给出了反例。
用 NumPy 核对两条路径和奇异值
输入是手算中的 $A$ 和 $P$。用线性求解得到 $B$,再用交换两轴的正交矩阵 $R$ 对照。需要 Python 3 和 NumPy,无随机数;全部断言通过后输出 basis checks passed。
import numpy as np
a = np.diag([2, 1])
p = np.array([[1, 1], [0, 1]])
b = np.linalg.solve(p, a @ p)
np.testing.assert_allclose(b, [[2, 1], [0, 1]])
np.testing.assert_allclose(a @ p, [[2, 2], [0, 1]])
np.testing.assert_allclose(p @ b, a @ p)
np.testing.assert_allclose(np.linalg.solve(p, [0, 1]), [-1, 1])
for m in (a, b):
assert np.linalg.matrix_rank(m) == 2
np.testing.assert_allclose([np.trace(m), np.linalg.det(m)], [3, 2])
np.testing.assert_allclose(np.sort(np.linalg.eigvals(m)), [1, 2])
root = np.sqrt(5)
np.testing.assert_allclose(np.linalg.eigvalsh(b.T @ b), [3 - root, 3 + root])
np.testing.assert_allclose(np.linalg.svd(a, compute_uv=False), [2, 1])
np.testing.assert_allclose(np.linalg.svd(b, compute_uv=False),
np.sqrt([3 + root, 3 - root]))
r = np.array([[0, 1], [1, 0]])
np.testing.assert_allclose(r.T @ r, np.eye(2))
np.testing.assert_allclose(np.linalg.svd(r.T @ a @ r, compute_uv=False), [2, 1])
print("basis checks passed")
📉 三、第二种推导:最小化重构误差
另一种问法是:只保留一个新坐标,再把点放回原来的特征空间,会丢掉多少?
- 先算得分 $z_i$。
- 用 $z_iw$ 重构中心化后的点。
- 加回均值,得到原坐标中的近似位置。
此处比较的是平方欧氏距离,所有样本等权;换距离、缩放或加入别的约束,问题也会改变。
一步勾股定理,连接两个目标
令 $x_{c,i}$ 表示中心化后的第 $i$ 个样本,$\hat x_{c,i}$ 是它在选定子空间上的正交投影:
$$\|x_{c,i}\|^2=\|\hat x_{c,i}\|^2+\|x_{c,i}-\hat x_{c,i}\|^2$$
左边是该样本到数据中心的距离平方。右边是保留下来的部分,加上丢掉的残差;两者垂直,因此能用勾股定理。
对所有样本取平均:
$$\begin{aligned} \text{总方差}&=\text{保留的投影方差}\\ &\quad+\text{平均平方重构距离} \end{aligned}$$
数据固定后,左边不变。保留的越多,丢掉的就越少。 这就是两个目标等价的原因。
左图中标出的第 3、4 个样本会投到同一点。右图的直角说明:投影与残差垂直,因此能用勾股定理拆开误差。
从一条线推广到 k 维:公式与误差口径
把 $k$ 个正交单位方向作为矩阵 $W_k$ 的列,满足 $W_k^\top W_k=I$:
$$Z=X_cW_k,\qquad \hat X_c=ZW_k^\top$$
这里重构后仍是 $n\times d$ 的表,而不是 $n\times k$ 的得分表。
用弗罗贝尼乌斯范数(矩阵所有元素平方和再开方)写平均平方重构距离:
$$\frac1n\|X_c-\hat X_c\|_F^2 =\operatorname{tr}(\Sigma)-\operatorname{tr}(W_k^\top\Sigma W_k)$$
保留前 $k$ 个主方向后,最小值为被舍弃特征值之和 $\sum_{j>k}\lambda_j$。
这里除的是样本数 $n$。如果按所有 $nd$ 个元素算平均平方误差,结果还要再除以 $d$。两种报告口径不要混用。
PC1 与普通最小二乘回归:量的不是同一种距离
- 把第二个特征当作预测目标的 OLS,最小化竖直方向的平方误差。
- PCA 把两个特征共同当作坐标,最小化到直线的垂直距离平方。
这不是“谁是因、谁是果”的判断;仅凭回归线也不能推出因果关系。
下面同一组数据的 OLS 斜率是 0.9,PC1 斜率是 1.0。它们一般不同,但某些特殊数据下也可以相同。回归建模背景见第 1 章。
🔢 四、五个点:算完再看丢了什么
本例只保留一根主轴,能保留 95% 的方差;平均平方重构距离为 0.2。
先核对输入。五个样本的两个特征均值分别是 3 和 4:
| 样本 | 原始坐标 | 减去均值后 |
|---|---|---|
| 1 | (1, 2) | (−2, −2) |
| 2 | (2, 3) | (−1, −1) |
| 3 | (3, 5) | (0, 1) |
| 4 | (4, 4) | (1, 0) |
| 5 | (5, 6) | (2, 2) |
第一步:得到协方差矩阵
按列两两相乘并加总:
$$X_c^\top X_c=\begin{bmatrix}10&9\\9&10\end{bmatrix}$$
再除以 5:
$$\Sigma=\begin{bmatrix}2&1.8\\1.8&2\end{bmatrix}$$
看对角线:两个特征的方差都是 2。看非对角线:协方差为 1.8,所以同向变化很明显。
第二步:找方向与对应方差
对形如 $\begin{bmatrix}a&b\\b&a\end{bmatrix}$ 的矩阵,$(1,1)$ 与 $(1,-1)$ 分别对应特征值 $a+b$、$a-b$。代入 $a=2,b=1.8$:
| 方向 | 特征值 | 占总方差比例 |
|---|---|---|
| $w_1=(1,1)/\sqrt2$ | 3.8 | 3.8 / 4 = 95% |
| $w_2=(1,-1)/\sqrt2$ | 0.2 | 0.2 / 4 = 5% |
除以 $\sqrt2$ 是为了把方向变成单位长度。PC1 的直线穿过均值 $(3,4)$,方程为 $y=x+1$,不是穿过原点的 $y=x$。
第三步:核对得分、重构与回归
沿本页选择的 $w_1$,五个得分为:
$$z=\frac1{\sqrt2}(-4,-2,1,1,4)$$
对应小数约为 −2.828、−1.414、0.707、0.707、2.828,顺序与样本编号相同。
它们均值为 0,采用分母 5 算出的方差为 3.8,与特征值相同。
| 样本 | 原始点 | 重构后 | 平方距离 |
|---|---|---|---|
| 1 | (1, 2) | (1, 2) | 0 |
| 2 | (2, 3) | (2, 3) | 0 |
| 3 | (3, 5) | (3.5, 4.5) | 0.5 |
| 4 | (4, 4) | (3.5, 4.5) | 0.5 |
| 5 | (5, 6) | (5, 6) | 0 |
第三、四个点落到了同一个位置。 这让“丢失信息”变得可见:95% 的方差,并不代表每一个点都能被区分。
现在核对三处:
- 总方差:$2+2=3.8+0.2=4$。
- 平均平方重构距离:$(0.5+0.5)/5=0.2$,正好等于舍弃的特征值。
- OLS:斜率 $1.8/2=0.9$,截距 $4-0.9\times3=1.3$;与 PC1 的 $y=x+1$ 不同。
用 NumPy 复算已有结果
需要 Python 与 NumPy。下面是一段独立示例,不依赖前文已经运行过的变量;它复算协方差、特征值、得分方差与回归斜率。
import numpy as np
X = np.array([[1., 2], [2, 3], [3, 5], [4, 4], [5, 6]])
Xc = X - X.mean(axis=0) # ⭐ 中心化,这一步不能省
Sigma = Xc.T @ Xc / len(X) # ⭐ 协方差矩阵
lam, W = np.linalg.eigh(Sigma) # ⭐ 对称矩阵用 eigh,不用 eig
lam, W = lam[::-1], W[:, ::-1] # eigh 是升序,翻成降序
print("协方差矩阵\n", Sigma) # [[2. 1.8] [1.8 2. ]]
print("特征值 ", lam) # [3.8 0.2]
print("解释方差比 ", lam / lam.sum()) # [0.95 0.05]
Z = Xc @ W # ⭐ 主成分得分 = 中心化数据 × 特征向量
print("得分的方差 ", Z.var(axis=0)) # [3.8 0.2] 正好是特征值
print("OLS 斜率 ", np.polyfit(X[:, 0], X[:, 1], 1)[0]) # 0.9,和 PC1 的 1.0 不同
eigh 针对实对称矩阵;特征值按升序返回,特征向量存在矩阵的列里,所以示例同时翻转两者的顺序。NumPy 官方说明
如果工具给出的轴整体差一个负号,不是算错。若用 scikit-learn 复算,$n-1$ 分母下的特征值是 4.75、0.25,方差比仍是 95%、5%。
🔗 这一章连到哪里
- 05c · SVD 与实践:同一个 PCA 目标,比较不同数值求解方法、选维数和失败案例。
- 第 5 章 · 维度灾难:判断高维中的困难来自哪里,降维只是可能的出路。
- 基础教程 06 · 无监督学习:实际调用、PCA 与 LDA 的取舍,以及如何防止数据泄漏。
- 第 1 章 · 最大似然:理解回归为何采用不同的误差目标。
- 第 6 章 · 核技巧:核 PCA 在特征空间中做 PCA,使用中心化的核矩阵;不能省掉中心化就只替换一个内积符号。
✅ 检查点
- 中心化在去掉什么?不中心化多出哪个矩阵项?
- 协方差矩阵为什么有非负实特征值?并列特征值要注意什么?
- $w$ 与 $z=X_cw$ 分别是什么?为什么限制 $\|w\|=1$?
- 为什么特征值代表方差?求导得到驻点后,怎样确认最大值?
- 两条推导在哪些条件下等价?误差是除以 $n$ 还是 $nd$?
- PCA 与 OLS 为什么通常得到不同的线?
- 五点例子的协方差、特征值、方差比与两条线的斜率是多少?
核对答案:一次看一项即可
-
去掉均值偏移;二阶原点矩比 $\Sigma$ 多出 $\mu\mu^\top$,并非一定产生“毫无信息的假方向”。
-
对称保证实特征值并能选正交基,半正定保证非负。并列时选正交基,方向不一定唯一。
-
$w$ 是方向,$z$ 是样本得分。固定长度才能公平比较方向;非零方差下不限制长度会无界。
-
单位特征向量满足 $w^\top\Sigma w=\lambda$。任意方向的方差是特征值的加权平均,不超过最大特征值。
-
同一批中心化数据、等权、正交投影、平方欧氏误差。保留方差加平均平方重构距离等于总方差;本文后者除以 $n$。
-
OLS 量竖直误差;PCA 量垂直于子空间的误差。这不等于因果结论。
-
$\Sigma$ 对角线为 2、非对角线为 1.8;特征值 3.8、0.2;方差比 95%、5%;PC1 斜率 1,OLS 斜率 0.9。舍弃一维后的平均平方重构距离为 0.2。
本节回顾
先记住这三点
- PCA 先中心化,再寻找保留方差最多的正交单位方向;单位和缩放会影响结果。
- 特征向量给方向,特征值给该方向的方差;方差大不等于预测价值高。
- 在本章条件下,最大化保留方差等价于最小化平方重构误差。
下一节 👉 05c-SVD与实践.md
协方差分解不是“不正规的算法”:scikit-learn 提供 covariance_eigh。直接 SVD 能避免显式形成 $X_c^\top X_c$ 带来的部分数值问题,求解器要结合矩阵形状与精度选择。PCA 求解器说明