00 · 怎么用这份教程
这套教程解决什么问题
这套教程解释:一个机器学习方法为什么这样设计,它的结论依赖什么条件。
和基础教程有什么不同?
机器学习与深度学习基础偏向“怎样训练、怎样检查”。这里进一步追问“这个选择有什么依据”。
| 已经用过的做法 | 这里要补的条件与解释 |
|---|---|
| 最小化平方误差 | 独立、同方差高斯噪声等条件下,它与最大似然估计相对应;不是所有回归任务都必须用平方误差 |
| 对权重加 L2 惩罚 | 在相应似然和高斯先验设定下,可解释为 MAP 估计;它不保证每个数据集的测试误差都会下降 |
| 观察训练与测试差距 | 偏差—方差分解在指定损失和随机性定义下是数学等式,不是所有指标都能直接套同一条式子 |
例如,只看一个参数 w。假设训练误差是 (w - 4)²,再加上 w² 作为惩罚:
| 候选 w | 训练误差 | 惩罚 | 两项相加 |
|---|---|---|---|
| 0 | 16 | 0 | 16 |
| 2 | 4 | 4 | 8 |
| 4 | 0 | 16 | 16 |
看最后两列:训练误差最小的候选,不一定让“误差 + 惩罚”最小。这个例子说明优化目标变了,还没有证明测试集一定更好。
学完后,希望你能说清一个方法的目标、假设和适用边界。并非每个新损失都有必要解释成某种噪声模型;还要考虑任务代价与评价指标。
这里有哪些知识可以补?
| 知识主题 | 第一站 | 你要带走的问题 |
|---|---|---|
| 概率视角:最大似然 / MAP | 01 最大似然 | 什么参数让已观察到的数据更可能出现?加入先验后目标如何变化? |
| KL 散度 | 01b KL 散度 | 为什么方向不同会改变惩罚?固定目标分布时,KL 与交叉熵的差是什么? |
| 感知机 | 03 感知机 | 错分时怎样更新一条线性边界? |
| 非参数方法与维度灾难 | 04 非参数方法 | “附近的数据点”在高维里还可靠吗? |
| PCA / SVD | 05b PCA | 保留哪些方向?协方差特征分解与数据矩阵 SVD 怎样联系? |
| 核方法与 SVM | 06 核技巧 | 怎样不显式构造特征,就计算所需的内积? |
| 泛化理论:PAC / VC | 09 PAC 学习 | 给定假设、精度与置信要求,样本量界告诉了我们什么? |
| EM 与混合模型 | 13 EM | 类别等隐变量未知时,怎样交替更新推断与参数? |
KL、交叉熵和似然的优化关系需要固定目标分布、明确经验分布与模型分布。不能把几个名字在任何任务里直接互换。
PAC / VC 只是研究样本量与泛化的一类工具,不是唯一理论,也不是代入公式就能确定真实项目要多少条数据。
阅读规则:可以分层,不必硬撑
① 第一遍先抓住问题和结果
先看本节在解决什么、例子里发生了什么。推导可以暂缓,但当你要使用结论时,仍要看清它的条件和变量含义。
跳过推导能读懂多少,取决于你的目标和已有基础;这里不承诺固定百分比。
② 卡住时,先定位缺哪一层
是不认识符号、不知道矩阵形状,还是看不出这一步为什么成立?只补这个缺口,不必整章重读。
看不懂也可能是讲解不充分,不是读者“直觉没建立好”的过错。
③ 用小例子检查理解
正文里的数值实验用于检验概念。你可以先手算一个小例子,再运行代码观察。
第 14 章把验证扩成动手项目,包括双下降与随机标签实验;结果还要结合数据、模型和实验设置解释。
怎样用例子、推导和检查点
- 刚进入:先找一句结论和当前例子,确认本节问题。
- 想弄清依据:再看公式、变量说明与推导。
- 准备使用:看坑表与条件,找一个反例检查边界。
- 中途离开:记下小标题;回来先看“走神救援”,需要时回到对应例子。
检查点用来暴露疑惑,不要求一次答对。展开答案后能指出自己漏了哪个条件,也是在推进学习。
数学基础按当前任务补
| 正在看什么 | 先补什么 | 入口 |
|---|---|---|
| 似然、MAP、KL | 条件概率、独立性、期望、对数 | 01 的概率例子、数学速查 |
| PCA、SVD、核方法 | 向量内积、矩阵形状、特征值与正交方向 | 05b PCA、05c SVD |
| 反向传播 | 导数、链式法则、局部梯度 | 12 反向传播 |
| PAC、VC | 概率事件、界与“对所有 / 存在”的区别 | 09 PAC |
大模型导论的数学地基可以补向量、矩阵和梯度直觉,但不是这套教程所有数学概念的替代品。
不必先学完整的测度论或凸优化课程。遇到某章需要的新工具,再按那一章补齐。
全部内容在哪里?
| 分组 | 对应章节 |
|---|---|
| 概率视角 | 01 最大似然、01b KL、02 MAP |
| 分类与邻域 | 03 感知机、04 非参数方法、05 维度灾难 |
| 降维 | 05b PCA、05c SVD |
| 核方法 | 06 核技巧、07 SVM |
| 泛化 | 08 偏差方差、09 PAC、10 VC 维、11 没有免费的午餐 |
| 推导与隐变量 | 12 反向传播、13 EM |
| 动手与随查 | 14 实战、附录 A |
维度灾难的距离集中现象取决于分布、距离定义等条件;“到了 500 维所有点都一样远”不是普遍定律。
核方法避免的是某些显式特征计算,不是免去训练成本,也不保证比原始特征更好。
主题与前置章节
| 你的目标 | 从这里开始 | 有需要再接着看 |
|---|---|---|
| 理解损失与正则化 | 01 最大似然 | 02 · MAP;分布比较再看 01b |
| 理解泛化边界 | 08 偏差方差 | 09 → 10 → 11 |
| 补 SVM / 核方法 | 03 感知机 | 04 → 05 → 06 → 07 |
| 补降维 | 05 维度灾难 | 05b · PCA 的推导 → 05c |
| 补深度学习数学 | 01b KL | 12 反向传播;隐变量问题再看 13 |
| 系统学习 | 01 最大似然 | 按上方分组逐步推进,不设必须读完的期限 |
如果只想选一个切入点,可以先看 MAP、维度灾难或核技巧中与你当前问题最相关的一章,不要求三章都读。
和其他模块怎样衔接?
它不是所有应用的必经之路。你可以先在推荐算法、Kaggle里做任务,再带着问题回来。
大模型全景导论与智能体工程教程面向不同应用目标,也不需要先把这里全部读完。
还没有训练过模型,可以先做基础教程的第一课。
检查点:现在只确认两件事
- 加上 L2 后,训练误差最小的候选是否一定最优?是否能保证测试效果更好?
- 你下一步要回答哪个问题?它对应上面的哪一个入口?
展开参考答案
- 不一定。优化的是误差与惩罚之和;是否改善测试效果,还要在合适的数据划分与评估中检验。
- 没有统一答案。比如“损失为什么用平方”进入 01;“PCA 保留什么”进入 05b。能选出与当前问题匹配的一站即可。
本节回顾
导读要点
- 这里解释方法的依据与适用条件,不要求先通读。
- 先看问题与例子;要使用结论时,再核对公式和条件。
- 带着一个具体问题进入对应章节,不用把整套数学当作前置门槛。