附录 A · 数学速查

📌 Ctrl+F 搜。不要通读。 这一页的用法：写代码/看论文时卡住 → 搜关键词 → 看到那一行 → 回去继续干活。

🔑 一张表：你用的每个东西的真身

🔑 这张表是整份教程的浓缩版。如果只记一样东西，记它。

🧭 「我该翻哪一章」决策表

📐 核心公式

概率视角

$$\hat\theta_{MLE} = \arg\max_\theta \sum_i \log p(x_i\mid\theta)$$ $$\hat\theta_{MAP} = \arg\max_\theta \left[\sum_i \log p(x_i\mid\theta) + \log p(\theta)\right]$$

💡 MAP 比 MLE 多的那一项 log p(θ)，就是正则项的来源。

贝叶斯定理（EM 的 E 步、朴素贝叶斯都靠它）：

$$p(\theta\mid x) = \frac{p(x\mid\theta)\,p(\theta)}{p(x)} \;\propto\; \underbrace{p(x\mid\theta)}_{\text{似然}}\cdot\underbrace{p(\theta)}_{\text{先验}}$$

正则化的四种等价理解 ⭐

💡 四者是同一件事的四个面。 哪个视角好用就用哪个。

偏差-方差分解

$$\mathbb{E}[(y-\hat f)^2] = \text{Bias}^2 + \text{Var} + \sigma^2$$

• 加数据 → 只降 Var，不降 Bias
• σ² 是天花板，谁也突破不了
• 诊断口诀：训练误差就高 = 高偏差；训练低测试高 = 高方差

集成的方差

$$\text{Var}(\bar f) = \rho\sigma^2 + \frac{1-\rho}{M}\sigma^2$$

💡 第一项不随 M 减小 → 必须降低相关性 ρ（随机森林随机选特征的理由）

感知机收敛定理

$$\text{错误次数} \le (R/\gamma)^2$$

💡 与数据量、维度都无关；γ 后来成了 SVM 的优化目标

PAC 样本复杂度（有限假设空间）

$$m \ge \frac{1}{\varepsilon}\left(\ln|\mathcal{H}| + \ln\frac{1}{\delta}\right)$$

💡 ε 是反比（精度最贵），|H| 和 δ 都是对数（便宜） ⚠️ agnostic 版本 ε 变成 平方（1/2ε²）——没有完美假设时精度更贵

VC 泛化界

$$\text{err}_{\mathcal{D}} \le \text{err}_S + O\!\left(\sqrt{\frac{d_{VC}\log(m/d_{VC}) + \log(1/\delta)}{m}}\right)$$

💡 经验法则 m ≥ 10·d_VC

SVM 的对偶形式（为什么能用核）

$$\max_\alpha \sum_i\alpha_i - \frac12\sum_{i,j}\alpha_i\alpha_j y_iy_j \,\underbrace{x_i^\top x_j}_{\to\;K(x_i,x_j)}$$

💡 对偶里只剩内积 → 把内积换成核函数即可，这就是核技巧的入口 💡 大部分 α = 0，α > 0 的那些点就是支持向量

反向传播四方程

$$\delta^L = \nabla_a J\odot f'(z^L)$$ $$\delta^l = \left((W^{l+1})^\top\delta^{l+1}\right)\odot f'(z^l)$$ $$\partial J/\partial W^l = \delta^l(a^{l-1})^\top,\qquad \partial J/\partial b^l = \delta^l$$

💡 展开后是 W·f' 的连乘 → 梯度消失/爆炸的来源；残差连接加了个 +I

EM 两步

$$\text{E 步：}\;\gamma_{ik} = \frac{\pi_k\mathcal{N}(x_i\mid\mu_k,\Sigma_k)}{\sum_j\pi_j\mathcal{N}(x_i\mid\mu_j,\Sigma_j)}\qquad \text{M 步：}\;\mu_k=\frac{\sum_i\gamma_{ik}x_i}{\sum_i\gamma_{ik}}$$

💡 E 步就是贝叶斯后验；M 步就是带权重的均值 💡 保证似然单调不减，但只到局部最优 → 多次初始化

📊 VC 维速查

⚠️ VC 维 ≠ 参数个数。sin(ωx) 是最好的反例。

🎛️ 核函数速查

• γ 大 → 只有极近的点相似 → 边界扭曲 → 过拟合
• γ 小 → 远处也算相似 → 边界平滑 → 欠拟合
• ⭐ C 和 γ 会互相补偿 → 必须联合网格搜索，好模型落在一条对角线上
• Mercer 条件：核矩阵必须半正定
• 代价：核矩阵 n×n，复杂度 O(n²~n³)，不 scale（这就是它输给深度学习的原因）
• ⚠️ 用核之前必须标准化特征——否则量纲大的特征会主导距离

🔢 维度灾难速查

五条出路：降维 / 特征选择 / 加强归纳偏置（最重要） / 正则化 / 流形假设

💡 为什么图像有上万维却能学：流形假设——真实图像只占那个空间里极小的一片弯曲子空间。

⚠️ 十个最容易搞混的地方

📖 术语对照

🧮 需要的数学基础（就这些）

不需要：测度论、实分析、矩阵求导推导、凸优化完整理论

💡 一个真相：这份教程里最难的数学工具是链式法则和对数。 剩下的难度全在概念上，不在计算上。

🔗 跨教程速查

👉 回到首页