🏠 总目录📚 本教程 05b · PCA 的推导 ← →

05b · 从问题进入原章节

PCA 为什么选择最大投影方差的方向?

协方差描述各方向变化;在单位范数约束下最大化投影方差,特征向量只是候选方向,还须比较特征值。

读后可检查:能把投影图对应到 wᵀΣw 与范数约束,并解释缩放单位及并列特征值的边界。

📑 本页目录(点开跳转)

05b · PCA 的推导

⏱ 36 分钟 | 原预计,仅供参考;可以分次读。

🎯 先知道 PCA 在保留什么

如果只能用一个新坐标描述一团数据,PCA 会选投影后方差最大的方向。

这里的“方差”衡量样本数值有多分散。PCA 希望投影后还保留较多差异,而不是把所有点挤到一起。

保留差异,不等于保留最有用的预测信息。 PCA 不看标签;变化最大的方向也可能主要是噪声。

上一章 · 维度灾难介绍了高维中的困难,并没有证明所有高维任务都必须降维。本章研究 PCA 这一种线性降维方法,不替所有任务做选择。

🧊 一、协方差矩阵:把各方向的变化记下来

先约定数据形状:$X$ 有 $n$ 行样本、$d$ 列数值特征。每列减去自己的均值后,得到中心化数据 $X_c$。

从方差到协方差

方差:一个特征自己有多分散。

$$\operatorname{Var}(x)=\frac1n\sum_{i=1}^n(x_i-\bar x)^2$$

$x_i-\bar x$ 是第 $i$ 个样本离均值的偏差;平方让正负偏差不会互相抵消。

协方差:两个特征的偏差是否倾向于同号。

$$\operatorname{Cov}(x,y)=\frac1n\sum_{i=1}^n(x_i-\bar x)(y_i-\bar y)$$

  • 大于 0:同号偏差的乘积总体占上风,两个特征正相关。
  • 小于 0:异号偏差的乘积总体占上风,两个特征负相关。
  • 等于 0:不线性相关;不能据此说两个变量独立。

例如总体中 $x$ 在 $[-1,1]$ 上均匀分布,$y=x^2$。对称性使协方差为 0,但知道 $x$ 就能完全确定 $y$。

PCA 只用二阶统计量,可能漏掉这种弯曲的关系。

如果两个特征一起变化,知道第三个特征的值之后,它们还会一起变化吗?前面的协方差把第三个特征也留在总体里。要回答固定第三个特征后的问题,需要先说明总体服从什么分布。

联合高斯(joint Gaussian)指任意线性组合都服从一维正态分布,允许常数这种退化情况。本例取零均值、正定协方差,即任一非零方向的方差都大于 0。此时协方差 $\Sigma$ 可逆,精度矩阵(precision matrix) $Q=\Sigma^{-1}$ 的非对角元刻画给定其余变量后的关系。

三个高斯变量的条件依赖链 X₁ 与 X₂、X₂ 与 X₃ 各有一条无向边,X₁ 与 X₃ 没有边。固定 X₂ 后,X₁ 与 X₃ 条件独立。 X₁X₂X₃Q₁₂ = −1Q₂₃ = −1Q₁₃ = 0,两个端点无边
沿链读出条件边。无向边表达条件依赖,给不出因果方向。依据见 Rodríguez 等的高斯图模型研究。

给图指定下面这组演示参数。$Q$ 把变量成对放进高斯密度的指数,$\Sigma$ 则给出原总体中各对变量的协方差:

$$Q=\begin{bmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{bmatrix},\qquad \Sigma=\frac14\begin{bmatrix}3&2&1\\2&4&2\\1&2&3\end{bmatrix}.$$

从 $\Sigma_{13}=1/4$ 先读出边缘协方差。给定 $X_2=c$(把中间变量固定在某个实数 $c$)后,两端的协方差变为 0,各自均值为 $c/2$、方差为 $1/2$。端点在原总体中同向起伏,固定中间变量后才独立。下面把两种读法算到同一个结果。

手算两遍:先配方,再用协方差核对

先确认矩阵能定义这个模型。$Q$ 对称,左上角的三个顺序主子式为 $2$、$2\cdot2-1=3$、$2\cdot3-2=4$;都大于 0,所以按 Sylvester 判据 $Q$ 正定。直接相乘核验逆矩阵:

$$Q\Sigma=\frac14\begin{bmatrix} 6-2&4-4&2-2\\ -3+4-1&-2+8-2&-1+4-3\\ -2+2&-4+4&-2+6 \end{bmatrix}=I_3.$$

设 $x=(x_1,x_2,x_3)^\top$ 为 $X$ 的取值。零均值高斯密度与 $\exp(-x^\top Qx/2)$ 成正比。固定 $x_2=c$ 后,$x^\top Qx$ 展开为 $2x_1^2+2x_3^2-2cx_1-2cx_3+2c^2$,没有 $x_1x_3$ 项。

将前四项各自配平方得到:

$$x^\top Qx=2(x_1-c/2)^2+2(x_3-c/2)^2+c^2.$$

代回指数,单独依赖 $c$ 的常数并入归一化因子,条件密度分成两个一维密度的乘积。对照正态指数 $-(x-\mu)^2/(2\sigma^2)$,可读出 $\mu=c/2$ 和 $\sigma^2=1/2$。例如 $c=2$ 时,两端各自的条件均值为 1,方差仍为 $1/2$。

也可以从原协方差扣除由中间变量解释的部分。令 $U=(X_1,X_3)^\top$,$V=X_2$。$\Sigma_{UU}$ 是两端的边缘协方差矩阵,$\Sigma_{UV}$ 是两端与中间变量的协方差列,$\Sigma_{VU}=\Sigma_{UV}^\top$,$\Sigma_{VV}=1$ 是中间变量方差。联合高斯里,扣除线性解释项后的残差与 $V$ 独立,所以其协方差就是条件协方差。这一相减形式称为 Schur 补:

$$\begin{aligned} \Sigma_{U\mid V}&=\Sigma_{UU}-\Sigma_{UV}\Sigma_{VV}^{-1}\Sigma_{VU}\\ &=\begin{bmatrix}3/4&1/4\\1/4&3/4\end{bmatrix} -\frac14\begin{bmatrix}1&1\\1&1\end{bmatrix} =\begin{bmatrix}1/2&0\\0&1/2\end{bmatrix}. \end{aligned}$$

非对角元为 $1/4-(1/2)(1/2)/1=0$。本例联合高斯,所以给定 $V$ 后,两端协方差为零等价于条件独立。依据见 MIT 6.436 第 14 讲。

前文的 $Y=X^2$ 已展示非高斯时协方差为零仍可能完全依赖。若协方差奇异,例如两个特征总是相等,就没有此处所用的普通逆矩阵。下文的样本协方差允许半正定且奇异,仍可用于 PCA。本例的条件图只适用于所设的正定联合高斯模型。

检查点。 图上 $X_1$ 与 $X_3$ 没有边。若还不知道 $X_2$,两端是否独立?

核对答案

仍有边缘协方差 $1/4$,所以不独立。给定 $X_2$ 后才独立。

用 NumPy 核对正定、逆矩阵和条件协方差

输入是图里的演示矩阵 $Q$。先算顺序主子式,再用线性求解得到 $\Sigma$,最后按中间变量切分并复算 Schur 补。需要 Python 3 和 NumPy,无外部数据;全部断言通过后输出 precision checks passed。

import numpy as np

q = np.array([[2, -1, 0], [-1, 2, -1], [0, -1, 2]])
minors = [np.linalg.det(q[:k, :k]) for k in (1, 2, 3)]
np.testing.assert_allclose(minors, [2, 3, 4])
sigma = np.linalg.solve(q, np.eye(3))
expected = np.array([[3, 2, 1], [2, 4, 2], [1, 2, 3]]) / 4
np.testing.assert_allclose(sigma, expected)
np.testing.assert_allclose(q @ sigma, np.eye(3), atol=1e-12)

ends = [0, 2]
marginal = sigma[np.ix_(ends, ends)]
cross = sigma[ends, 1]
middle_var = sigma[1, 1]
conditional = marginal - np.outer(cross, cross) / middle_var
mean_when_middle_is_2 = cross / middle_var * 2
np.testing.assert_allclose(marginal[0, 1], 0.25)
np.testing.assert_allclose(conditional, np.eye(2) / 2, atol=1e-12)
np.testing.assert_allclose(mean_when_middle_is_2, [1, 1])
print("precision checks passed")

写成矩阵:三步

  1. 中心化:每列减去该列均值。
  2. 两两相乘并累加:得到 $X_c^\top X_c$。
  3. 除以 $n$:本章采用这个分母描述这批样本的方差。

$$\Sigma=\frac1n X_c^\top X_c$$

矩阵中的第 $j$ 行、第 $k$ 列,就是第 $j$、$k$ 个特征的协方差:

$$\Sigma_{jk}=\frac1n\sum_{i=1}^n(x_{ij}-\bar x_j)(x_{ik}-\bar x_k)$$

别把分母混用。 估计总体协方差时常用 $n-1$;在同一数据上它只给整个矩阵乘以 $n/(n-1)$,不改变主轴或解释方差比。

scikit-learn 的 explained_variance_ 使用 $n-1$,所以它的数值可能与本章的 $1/n$ 版本不同。PCA 官方说明

为什么中心化不能省?

不中心化得到的是二阶原点矩。若均值向量为 $\mu$,则:

$$\frac1n X^\top X=\Sigma+\mu\mu^\top$$

多出来的 $\mu\mu^\top$ 会让结果同时受“离原点多远”影响,主方向可能被均值项主导。

它不一定恰好指向均值,也不能说这个方向永远“毫无信息”。只是它在解决不同的问题,不能直接当作本章的中心化 PCA。

四条性质,各解决一个问题

  • 对称:$\Sigma=\Sigma^\top$。实对称矩阵的特征值是实数,可以选出一组正交的单位特征向量。
  • 半正定:$w^\top\Sigma w\ge0$。这个量是投影方差,所以特征值都非负。
  • 对角线是各列方差:当 $j=k$ 时,协方差公式就变成方差公式。
  • 迹是总方差:迹 tr 就是对角线之和,也等于所有特征值之和。

$$\operatorname{tr}(\Sigma)=\sum_j\operatorname{Var}(X_{\cdot j})=\sum_j\lambda_j$$

几何上,可以用椭圆概括二维数据的二阶变化。 椭圆主轴沿特征向量,半轴长度与 $\sqrt{\lambda_j}$ 成正比。

这只是二阶结构的概括,不是说任何数据都真的呈椭圆分布。多峰、弯曲等结构仍可能被漏掉。

单位会改变结果,缩放要有理由

下面只比较数量级;假设收入与年龄不相关,协方差矩阵为对角矩阵。

特征 标准差 方差
收入,以元计 50,000 2,500,000,000
年龄,以岁计 10 100
同一收入,改为万元 5 25

以元计时,收入轴方差大;换成万元后,年龄轴方差大。只是换单位,就改变了 PCA 优先保留的方向。

若特征相关,主轴一般会是特征的组合,不能只看这张表就断言它恰好等于某一列。

是否标准化取决于各特征的单位、含义与目标;不能机械规定所有数据都要缩放成同样方差。具体做法见下一章。

📈 二、第一种推导:最大化投影方差

问题写清楚

我们只找一个方向 $w$。它有 $d$ 个分量,长度固定为 1。

把每个中心化样本投影到这个方向后,得到一个数:

$$z=X_cw$$

  • $w$:主轴方向,是原特征的线性组合系数。
  • $z$:所有样本在这根轴上的得分,共 $n$ 个数。
  • 目标:让这些得分的方差尽量大。

“主成分”有时被用来指方向,有时指得分。本章分别说清两者,避免把 $w$ 与 $z$ 当成同一种对象。

投影方差为什么是 wᵀΣw

由于 $X_c$ 每列均值为 0,$z$ 的均值也为 0。因此先把得分平方、加总、除以 $n$:

$$\operatorname{Var}(z)=\frac1n(X_cw)^\top(X_cw)$$

再把与 $w$ 无关的部分合并成 $\Sigma$:

$$\operatorname{Var}(z)=w^\top\left(\frac1nX_c^\top X_c\right)w =w^\top\Sigma w$$

这条式子把“选方向”与“算方差”接起来了。 以后给定一个单位方向,就能用 $\Sigma$ 计算它保留了多少方差。

为什么必须约束 ‖w‖ = 1

如果把 $w$ 放大 10 倍,得分也放大 10 倍,方差便放大 100 倍。

只要数据存在非零方差,不限制长度就能把目标任意放大。我们需要比较的是方向,而不是谁把刻度尺拉得更长。

$$\max_{\|w\|=1} w^\top\Sigma w$$

若所有样本完全相同,中心化后全为 0;此时所有方向的方差都是 0,没有独特的最佳方向,解释方差比也没有非零分母。

拉格朗日条件:得到候选方向

计算会得到特征方程:

$$\Sigma w=\lambda w$$

读法是:$\Sigma$ 作用在 $w$ 上,只改变长度,不改变这条轴的方向。满足它的 $w$ 称为特征向量,$\lambda$ 是对应特征值。

对于单位特征向量,投影方差恰好等于 $\lambda$。 所以应选最大的特征值对应的方向。

看求导,以及为什么取最大值而不是任意驻点

把单位长度约束放进拉格朗日函数:

$$\mathcal L(w,\lambda)=w^\top\Sigma w-\lambda(w^\top w-1)$$

$\Sigma$ 对称,因此二次型对 $w$ 的梯度是 $2\Sigma w$:

$$2\Sigma w-2\lambda w=0$$

于是 $\Sigma w=\lambda w$。代回目标:

$$w^\top\Sigma w=\lambda w^\top w=\lambda$$

求导只给出候选驻点,还没有证明谁是最大值。

把任意单位方向写成正交特征向量的组合 $w=\sum_j a_j u_j$。因为 $\sum_j a_j^2=1$:

$$w^\top\Sigma w=\sum_j a_j^2\lambda_j\le\lambda_1$$

这里 $\lambda_1$ 是最大特征值。取 $w=u_1$ 就能达到等号,所以它确实是全局最优方向。

第二、第三主成分,以及并列的情况

第二根轴要与第一根垂直,再在剩余方向中最大化投影方差;第三根轴也要与之前所有轴垂直,依次继续。

  • 不同特征值对应的特征向量自动正交。
  • 特征值并列时,需要在相应特征子空间中选正交基;轴可能不唯一,不能说任意拿到的特征向量都互相垂直。
  • $w$ 和 $-w$ 代表同一条轴。得分符号会反转,保留方差与重构结果不变。

主成分得分两两协方差为 0。只有两者的方差都大于 0 时,才能继续说相关系数为 0;零方差变量的相关系数未定义。

前一节用特征向量找轴。若保留所有轴,只换一套可逆的坐标来记录同一个线性映射,哪些量会变?这里研究完整换基,暂时没有丢弃维度。

把向量都写成列。$A$ 在原基里表示映射,$B$ 在新基里表示同一个映射。可逆矩阵 $P$ 的列是新基向量在原基里的坐标,所以新坐标 $u$ 对应原坐标 $Pu$。

先换坐标或先做映射的两条路径 左上新坐标 u 向右经 P 得原坐标 Pu,再向下经 A。也可先从左上向下经 B 得新坐标 Bu,再向右经 P。两条路抵达相同原坐标。 新坐标 u原坐标 Pu新坐标 Bu原坐标 APuPPBA
跟任意一条路走,右下角都是同一个结果:$APu=PBu$。依据见 MIT 18.06SC 换基资料。

等式对所有列向量 $u$ 成立,因此 $AP=PB$。在左边同时乘 $P^{-1}$ 得 $B=P^{-1}AP$;这种关系叫相似(similarity)。

取 $A$ 把横坐标变成两倍、纵坐标照旧。新基取 $p_1=(1,0)^\top$ 和 $p_2=(1,1)^\top$,按列装进 $P$:

$$A=\begin{bmatrix}2&0\\0&1\end{bmatrix},\quad P=\begin{bmatrix}1&1\\0&1\end{bmatrix}.$$

$Ap_1=(2,0)^\top=2p_1$;$Ap_2=(2,1)^\top=p_1+p_2$。把这两组新坐标放进 $B$ 的两列,再乘回去核对:

$$B=\begin{bmatrix}2&1\\0&1\end{bmatrix},\qquad AP=PB=\begin{bmatrix}2&2\\0&1\end{bmatrix}.$$

同一个原向量 $e_2=(0,1)^\top$ 也会换坐标。解 $Pu=e_2$ 得 $u_2=1$、$u_1+u_2=0$,所以新坐标是 $(-1,1)^\top$。原映射本身没有变化。

两个矩阵都可逆,所以秩都是 2。它们都是上三角,迹都是 $2+1=3$,行列式都是 $2\cdot1=2$,特征值都是 2、1。这四个量在任何可逆相似换基下都相同:可逆因子不改变秩,迹可循环,行列式里的 $\det(P^{-1})$ 与 $\det(P)$ 抵消,特征向量 $v$ 变成 $P^{-1}v$ 后仍对应同一个特征值。

奇异值(singular value)衡量按欧氏长度看的伸缩,等于矩阵转置乘自身后所得特征值的非负平方根。上面的新基不正交,直接把新坐标当作普通欧氏坐标会改变读到的伸缩量:

$$B^\top B=\begin{bmatrix}4&2\\2&2\end{bmatrix},\quad \det(B^\top B-tI)=(4-t)(2-t)-4=t^2-6t+4.$$

这里 $t$ 是 $B^\top B$ 的特征值,$I$ 是单位矩阵。解得 $t=3\pm\sqrt5$,因此 $B$ 的奇异值为 $\sqrt{3+\sqrt5}$、$\sqrt{3-\sqrt5}$,与 $A$ 的 2、1 不同。

若换基矩阵 $R$ 正交,则 $R^{-1}=R^\top$,坐标欧氏长度得到保留。此时 $\widetilde B=R^\top AR$ 满足 $\widetilde B^\top\widetilde B=R^\top A^\top AR$,与 $A^\top A$ 相似,所以奇异值也相同。PCA 选用的是正交单位轴。下一章会用 SVD 计算这些伸缩尺度。

检查点。 若把 $A$ 改写成更易计算的相似矩阵,还能直接用新矩阵的奇异值回答原欧氏长度问题吗?

核对答案

要先看换基是否保持长度。正交换基可以;上面这个斜基的例子已经给出了反例。

用 NumPy 核对两条路径和奇异值

输入是手算中的 $A$ 和 $P$。用线性求解得到 $B$,再用交换两轴的正交矩阵 $R$ 对照。需要 Python 3 和 NumPy,无随机数;全部断言通过后输出 basis checks passed。

import numpy as np

a = np.diag([2, 1])
p = np.array([[1, 1], [0, 1]])
b = np.linalg.solve(p, a @ p)
np.testing.assert_allclose(b, [[2, 1], [0, 1]])
np.testing.assert_allclose(a @ p, [[2, 2], [0, 1]])
np.testing.assert_allclose(p @ b, a @ p)
np.testing.assert_allclose(np.linalg.solve(p, [0, 1]), [-1, 1])

for m in (a, b):
    assert np.linalg.matrix_rank(m) == 2
    np.testing.assert_allclose([np.trace(m), np.linalg.det(m)], [3, 2])
    np.testing.assert_allclose(np.sort(np.linalg.eigvals(m)), [1, 2])

root = np.sqrt(5)
np.testing.assert_allclose(np.linalg.eigvalsh(b.T @ b), [3 - root, 3 + root])
np.testing.assert_allclose(np.linalg.svd(a, compute_uv=False), [2, 1])
np.testing.assert_allclose(np.linalg.svd(b, compute_uv=False),
                           np.sqrt([3 + root, 3 - root]))
r = np.array([[0, 1], [1, 0]])
np.testing.assert_allclose(r.T @ r, np.eye(2))
np.testing.assert_allclose(np.linalg.svd(r.T @ a @ r, compute_uv=False), [2, 1])
print("basis checks passed")

📉 三、第二种推导:最小化重构误差

另一种问法是:只保留一个新坐标,再把点放回原来的特征空间,会丢掉多少?

  • 先算得分 $z_i$。
  • 用 $z_iw$ 重构中心化后的点。
  • 加回均值,得到原坐标中的近似位置。

此处比较的是平方欧氏距离,所有样本等权;换距离、缩放或加入别的约束,问题也会改变。

一步勾股定理,连接两个目标

令 $x_{c,i}$ 表示中心化后的第 $i$ 个样本,$\hat x_{c,i}$ 是它在选定子空间上的正交投影:

$$\|x_{c,i}\|^2=\|\hat x_{c,i}\|^2+\|x_{c,i}-\hat x_{c,i}\|^2$$

左边是该样本到数据中心的距离平方。右边是保留下来的部分,加上丢掉的残差;两者垂直,因此能用勾股定理。

对所有样本取平均:

$$\begin{aligned} \text{总方差}&=\text{保留的投影方差}\\ &\quad+\text{平均平方重构距离} \end{aligned}$$

数据固定后,左边不变。保留的越多,丢掉的就越少。 这就是两个目标等价的原因。

保留方差:沿 PC1 投影重构误差:量垂直距离34PC1:95%PC2:5%中心 μ = (3, 4)样本点 x投影点中心 μ残差到中心距离² = 保留的投影长度² + 残差长度²
看右图直角:红色残差垂直于主轴。

左图中标出的第 3、4 个样本会投到同一点。右图的直角说明:投影与残差垂直,因此能用勾股定理拆开误差。

从一条线推广到 k 维:公式与误差口径

把 $k$ 个正交单位方向作为矩阵 $W_k$ 的列,满足 $W_k^\top W_k=I$:

$$Z=X_cW_k,\qquad \hat X_c=ZW_k^\top$$

这里重构后仍是 $n\times d$ 的表,而不是 $n\times k$ 的得分表。

用弗罗贝尼乌斯范数(矩阵所有元素平方和再开方)写平均平方重构距离:

$$\frac1n\|X_c-\hat X_c\|_F^2 =\operatorname{tr}(\Sigma)-\operatorname{tr}(W_k^\top\Sigma W_k)$$

保留前 $k$ 个主方向后,最小值为被舍弃特征值之和 $\sum_{j>k}\lambda_j$。

这里除的是样本数 $n$。如果按所有 $nd$ 个元素算平均平方误差,结果还要再除以 $d$。两种报告口径不要混用。

PC1 与普通最小二乘回归:量的不是同一种距离

  • 把第二个特征当作预测目标的 OLS,最小化竖直方向的平方误差。
  • PCA 把两个特征共同当作坐标,最小化到直线的垂直距离平方。

这不是“谁是因、谁是果”的判断;仅凭回归线也不能推出因果关系。

下面同一组数据的 OLS 斜率是 0.9,PC1 斜率是 1.0。它们一般不同,但某些特殊数据下也可以相同。回归建模背景见第 1 章。

🔢 四、五个点:算完再看丢了什么

本例只保留一根主轴,能保留 95% 的方差;平均平方重构距离为 0.2。

先核对输入。五个样本的两个特征均值分别是 3 和 4:

样本 原始坐标 减去均值后
1 (1, 2) (−2, −2)
2 (2, 3) (−1, −1)
3 (3, 5) (0, 1)
4 (4, 4) (1, 0)
5 (5, 6) (2, 2)

第一步:得到协方差矩阵

按列两两相乘并加总:

$$X_c^\top X_c=\begin{bmatrix}10&9\\9&10\end{bmatrix}$$

再除以 5:

$$\Sigma=\begin{bmatrix}2&1.8\\1.8&2\end{bmatrix}$$

看对角线:两个特征的方差都是 2。看非对角线:协方差为 1.8,所以同向变化很明显。

第二步:找方向与对应方差

对形如 $\begin{bmatrix}a&b\\b&a\end{bmatrix}$ 的矩阵,$(1,1)$ 与 $(1,-1)$ 分别对应特征值 $a+b$、$a-b$。代入 $a=2,b=1.8$:

方向 特征值 占总方差比例
$w_1=(1,1)/\sqrt2$ 3.8 3.8 / 4 = 95%
$w_2=(1,-1)/\sqrt2$ 0.2 0.2 / 4 = 5%

除以 $\sqrt2$ 是为了把方向变成单位长度。PC1 的直线穿过均值 $(3,4)$,方程为 $y=x+1$,不是穿过原点的 $y=x$。

第三步:核对得分、重构与回归

沿本页选择的 $w_1$,五个得分为:

$$z=\frac1{\sqrt2}(-4,-2,1,1,4)$$

对应小数约为 −2.828、−1.414、0.707、0.707、2.828,顺序与样本编号相同。

它们均值为 0,采用分母 5 算出的方差为 3.8,与特征值相同。

样本 原始点 重构后 平方距离
1 (1, 2) (1, 2) 0
2 (2, 3) (2, 3) 0
3 (3, 5) (3.5, 4.5) 0.5
4 (4, 4) (3.5, 4.5) 0.5
5 (5, 6) (5, 6) 0

第三、四个点落到了同一个位置。 这让“丢失信息”变得可见:95% 的方差,并不代表每一个点都能被区分。

现在核对三处:

  1. 总方差:$2+2=3.8+0.2=4$。
  2. 平均平方重构距离:$(0.5+0.5)/5=0.2$,正好等于舍弃的特征值。
  3. OLS:斜率 $1.8/2=0.9$,截距 $4-0.9\times3=1.3$;与 PC1 的 $y=x+1$ 不同。

用 NumPy 复算已有结果

需要 Python 与 NumPy。下面是一段独立示例,不依赖前文已经运行过的变量;它复算协方差、特征值、得分方差与回归斜率。

import numpy as np

X = np.array([[1., 2], [2, 3], [3, 5], [4, 4], [5, 6]])
Xc = X - X.mean(axis=0)                      # ⭐ 中心化,这一步不能省
Sigma = Xc.T @ Xc / len(X)                   # ⭐ 协方差矩阵

lam, W = np.linalg.eigh(Sigma)               # ⭐ 对称矩阵用 eigh,不用 eig
lam, W = lam[::-1], W[:, ::-1]               # eigh 是升序,翻成降序

print("协方差矩阵\n", Sigma)                  # [[2.  1.8] [1.8 2. ]]
print("特征值      ", lam)                    # [3.8 0.2]
print("解释方差比  ", lam / lam.sum())        # [0.95 0.05]

Z = Xc @ W                                    # ⭐ 主成分得分 = 中心化数据 × 特征向量
print("得分的方差  ", Z.var(axis=0))          # [3.8 0.2]  正好是特征值
print("OLS 斜率    ", np.polyfit(X[:, 0], X[:, 1], 1)[0])   # 0.9,和 PC1 的 1.0 不同

eigh 针对实对称矩阵;特征值按升序返回,特征向量存在矩阵的列里,所以示例同时翻转两者的顺序。NumPy 官方说明

如果工具给出的轴整体差一个负号,不是算错。若用 scikit-learn 复算,$n-1$ 分母下的特征值是 4.75、0.25,方差比仍是 95%、5%。

🔗 这一章连到哪里

✅ 检查点

  1. 中心化在去掉什么?不中心化多出哪个矩阵项?
  2. 协方差矩阵为什么有非负实特征值?并列特征值要注意什么?
  3. $w$ 与 $z=X_cw$ 分别是什么?为什么限制 $\|w\|=1$?
  4. 为什么特征值代表方差?求导得到驻点后,怎样确认最大值?
  5. 两条推导在哪些条件下等价?误差是除以 $n$ 还是 $nd$?
  6. PCA 与 OLS 为什么通常得到不同的线?
  7. 五点例子的协方差、特征值、方差比与两条线的斜率是多少?
核对答案:一次看一项即可
  1. 去掉均值偏移;二阶原点矩比 $\Sigma$ 多出 $\mu\mu^\top$,并非一定产生“毫无信息的假方向”。

  2. 对称保证实特征值并能选正交基,半正定保证非负。并列时选正交基,方向不一定唯一。

  3. $w$ 是方向,$z$ 是样本得分。固定长度才能公平比较方向;非零方差下不限制长度会无界。

  4. 单位特征向量满足 $w^\top\Sigma w=\lambda$。任意方向的方差是特征值的加权平均,不超过最大特征值。

  5. 同一批中心化数据、等权、正交投影、平方欧氏误差。保留方差加平均平方重构距离等于总方差;本文后者除以 $n$。

  6. OLS 量竖直误差;PCA 量垂直于子空间的误差。这不等于因果结论。

  7. $\Sigma$ 对角线为 2、非对角线为 1.8;特征值 3.8、0.2;方差比 95%、5%;PC1 斜率 1,OLS 斜率 0.9。舍弃一维后的平均平方重构距离为 0.2。

本节回顾

先记住这三点

  • PCA 先中心化,再寻找保留方差最多的正交单位方向;单位和缩放会影响结果。
  • 特征向量给方向,特征值给该方向的方差;方差大不等于预测价值高。
  • 在本章条件下,最大化保留方差等价于最小化平方重构误差。

下一节 👉 05c-SVD与实践.md

协方差分解不是“不正规的算法”:scikit-learn 提供 covariance_eigh。直接 SVD 能避免显式形成 $X_c^\top X_c$ 带来的部分数值问题,求解器要结合矩阵形状与精度选择。PCA 求解器说明

打卡记录保存在你的浏览器里,首页能看到总进度