🏠 总目录📚 本教程 00 · 怎么用这份教程 →

00 · 使用导读

模型公式读不懂,先确认缺的是哪一层。

先把问题说清,再判断要补概率、优化还是泛化;用一个小例子检查自己的理解。

本页保留原问题路线、阅读规则和全部章节入口,你可以直接跳到完整解释。

📑 本页目录(点开跳转)

00 · 怎么用这份教程

这套教程解决什么问题

这套教程解释:一个机器学习方法为什么这样设计,它的结论依赖什么条件。

和基础教程有什么不同?

机器学习与深度学习基础偏向“怎样训练、怎样检查”。这里进一步追问“这个选择有什么依据”。

已经用过的做法 这里要补的条件与解释
最小化平方误差 独立、同方差高斯噪声等条件下,它与最大似然估计相对应;不是所有回归任务都必须用平方误差
对权重加 L2 惩罚 在相应似然和高斯先验设定下,可解释为 MAP 估计;它不保证每个数据集的测试误差都会下降
观察训练与测试差距 偏差—方差分解在指定损失和随机性定义下是数学等式,不是所有指标都能直接套同一条式子

例如,只看一个参数 w。假设训练误差是 (w - 4)²,再加上 w² 作为惩罚:

候选 w 训练误差 惩罚 两项相加
0 16 0 16
2 4 4 8
4 0 16 16

看最后两列:训练误差最小的候选,不一定让“误差 + 惩罚”最小。这个例子说明优化目标变了,还没有证明测试集一定更好。

学完后,希望你能说清一个方法的目标、假设和适用边界。并非每个新损失都有必要解释成某种噪声模型;还要考虑任务代价与评价指标。

这里有哪些知识可以补?

知识主题 第一站 你要带走的问题
概率视角:最大似然 / MAP 01 最大似然 什么参数让已观察到的数据更可能出现?加入先验后目标如何变化?
KL 散度 01b KL 散度 为什么方向不同会改变惩罚?固定目标分布时,KL 与交叉熵的差是什么?
感知机 03 感知机 错分时怎样更新一条线性边界?
非参数方法与维度灾难 04 非参数方法 “附近的数据点”在高维里还可靠吗?
PCA / SVD 05b PCA 保留哪些方向?协方差特征分解与数据矩阵 SVD 怎样联系?
核方法与 SVM 06 核技巧 怎样不显式构造特征,就计算所需的内积?
泛化理论:PAC / VC 09 PAC 学习 给定假设、精度与置信要求,样本量界告诉了我们什么?
EM 与混合模型 13 EM 类别等隐变量未知时,怎样交替更新推断与参数?

KL、交叉熵和似然的优化关系需要固定目标分布、明确经验分布与模型分布。不能把几个名字在任何任务里直接互换。

PAC / VC 只是研究样本量与泛化的一类工具,不是唯一理论,也不是代入公式就能确定真实项目要多少条数据。

阅读规则:可以分层,不必硬撑

① 第一遍先抓住问题和结果

先看本节在解决什么、例子里发生了什么。推导可以暂缓,但当你要使用结论时,仍要看清它的条件和变量含义。

跳过推导能读懂多少,取决于你的目标和已有基础;这里不承诺固定百分比。

② 卡住时,先定位缺哪一层

是不认识符号、不知道矩阵形状,还是看不出这一步为什么成立?只补这个缺口,不必整章重读。

看不懂也可能是讲解不充分,不是读者“直觉没建立好”的过错。

③ 用小例子检查理解

正文里的数值实验用于检验概念。你可以先手算一个小例子,再运行代码观察。

第 14 章把验证扩成动手项目,包括双下降与随机标签实验;结果还要结合数据、模型和实验设置解释。

怎样用例子、推导和检查点

  • 刚进入:先找一句结论和当前例子,确认本节问题。
  • 想弄清依据:再看公式、变量说明与推导。
  • 准备使用:看坑表与条件,找一个反例检查边界。
  • 中途离开:记下小标题;回来先看“走神救援”,需要时回到对应例子。

检查点用来暴露疑惑,不要求一次答对。展开答案后能指出自己漏了哪个条件,也是在推进学习。

数学基础按当前任务补

正在看什么 先补什么 入口
似然、MAP、KL 条件概率、独立性、期望、对数 01 的概率例子、数学速查
PCA、SVD、核方法 向量内积、矩阵形状、特征值与正交方向 05b PCA、05c SVD
反向传播 导数、链式法则、局部梯度 12 反向传播
PAC、VC 概率事件、界与“对所有 / 存在”的区别 09 PAC

大模型导论的数学地基可以补向量、矩阵和梯度直觉,但不是这套教程所有数学概念的替代品。

不必先学完整的测度论或凸优化课程。遇到某章需要的新工具,再按那一章补齐。

全部内容在哪里?

分组 对应章节
概率视角 01 最大似然、01b KL、02 MAP
分类与邻域 03 感知机、04 非参数方法、05 维度灾难
降维 05b PCA、05c SVD
核方法 06 核技巧、07 SVM
泛化 08 偏差方差、09 PAC、10 VC 维、11 没有免费的午餐
推导与隐变量 12 反向传播、13 EM
动手与随查 14 实战、附录 A

维度灾难的距离集中现象取决于分布、距离定义等条件;“到了 500 维所有点都一样远”不是普遍定律。

核方法避免的是某些显式特征计算,不是免去训练成本,也不保证比原始特征更好。

主题与前置章节

你的目标 从这里开始 有需要再接着看
理解损失与正则化 01 最大似然 02 · MAP;分布比较再看 01b
理解泛化边界 08 偏差方差 09 → 10 → 11
补 SVM / 核方法 03 感知机 04 → 05 → 06 → 07
补降维 05 维度灾难 05b · PCA 的推导 → 05c
补深度学习数学 01b KL 12 反向传播;隐变量问题再看 13
系统学习 01 最大似然 按上方分组逐步推进,不设必须读完的期限

如果只想选一个切入点,可以先看 MAP、维度灾难或核技巧中与你当前问题最相关的一章,不要求三章都读。

和其他模块怎样衔接?

它不是所有应用的必经之路。你可以先在推荐算法、Kaggle里做任务,再带着问题回来。

大模型全景导论与智能体工程教程面向不同应用目标,也不需要先把这里全部读完。

还没有训练过模型,可以先做基础教程的第一课。

检查点:现在只确认两件事

  1. 加上 L2 后,训练误差最小的候选是否一定最优?是否能保证测试效果更好?
  2. 你下一步要回答哪个问题?它对应上面的哪一个入口?
展开参考答案
  1. 不一定。优化的是误差与惩罚之和;是否改善测试效果,还要在合适的数据划分与评估中检验。
  2. 没有统一答案。比如“损失为什么用平方”进入 01;“PCA 保留什么”进入 05b。能选出与当前问题匹配的一站即可。

本节回顾

导读要点

  • 这里解释方法的依据与适用条件,不要求先通读。
  • 先看问题与例子;要使用结论时,再核对公式和条件。
  • 带着一个具体问题进入对应章节,不用把整套数学当作前置门槛。
打卡记录保存在你的浏览器里,首页能看到总进度