📑 本页目录(点开跳转)
00 / 先选起点
先选一个起点,
不必先读完整份地图。
我现在该先看结果、补原理,还是查故障?
这份教程可以按眼前的问题读;目录不是必须完成的任务清单。
选出符合当前目标的读法,确认示例在哪里运行,并保留回到原规则与完整地图的路径。
先抓住一个具体结果
今天只定一件小事
想先看到模型跑起来,就去第 01 章;已经在训练但卡住了,可以直接查第 11 章。两种起点都合理。
00 · 怎么用这份教程
⏱ 20 分钟 | 建议读,它会告诉你哪些章可以跳
🎯 一句话
这份教程补的是承重墙——站里其他几套教程都默认你会的那一层。
🧱 它填的是哪个洞
站里其他几套教程,其实都从「中间层」开始讲 —— 每一套都假设你已经会了某样东西:
- 机器学习基础
- 深度学习基础
- 树模型
- 线性模型
- 过拟合与评估
- 反向传播
- 优化器
- 正则化
- CNN
- RNN
- 通往 Transformer
- PyTorch 实战
上图说明其他课程常用到哪些基础概念。它是课程分工示意,不是必须依次完成的先修路线;可以从下面的五种读法选择当前需要的一条。
补完这一层再去看那三套,很多「记住的结论」会变成「知道为什么」。
三个具体的例子:
| 常听到的一条结论 | 学完这里你会知道的根因 |
|---|---|
| "推荐系统离线好线上崩" | 第 5 章:数据泄漏 + 分布漂移(还有一个纯噪声数据跑出 76.5% 的实验) |
| "LightGBM 的 learning_rate 要小、n_estimators 要大" | 第 4 章:梯度提升每棵树只走一小步,走得慢才走得稳 |
| "Transformer 里到处是残差连接" | 第 8、12 章:梯度是连乘,残差给了它一条不经过乘法的直通路 |
📏 和其他几套的分工
| 教程 | 回答什么 |
|---|---|
| 本教程 | 「模型内部到底在算什么、为什么能学会」 |
| 机器学习的数学原理 | 「凭什么这么做」(本教程的下一层)⭐ |
| Kaggle 竞赛方法论 | 「这个场景该上什么技术、能提多少分」 |
| 推荐算法 | 「工业推荐系统怎么搭」 |
| 大模型全景导论 | 「大模型领域有哪些方向」 |
| 智能体工程 | 「怎么用大模型搭 Agent」 |
💡 本教程和《数学原理》的区别: 这里说"L2 正则能防过拟合,这么加"; 那边说"L2 正则的真身是给参数加高斯先验,λ = σ²/τ²"。 先学这里,有疑问了再去那边。
🔧 标记系统(和其他教程一致)
| 标记 | 意思 |
|---|---|
| ⏱ | 阅读时间参考;可以只读一个例子 |
| 🎯 一句话 | 先知道本节要解决什么,不代表掌握固定比例 |
| ⭐ / 🎁 | 主线建议优先 / 加餐按需阅读 |
| 🔨 动手 | 有代码;可先预测结果,再选择一段运行验证 |
| 💡 人话翻译 | 公式的白话版 |
| ⚠️ 坑 | 真实会踩的错误 |
| 🔗 和站内其他章的关系 | 这块知识在站内别的板块里是哪个结论的根因 |
| ✅ 检查点 | 选择题和判断题,点选项马上看对错 |
| 🛑 可以停 | 回顾与检查 |
| ⚡ 走神救援 | 短要点恢复上下文,不清楚时回看例子 ⭐ |
⭐ 「走神救援」是这套教程里最该用的功能: 中断后可以先扫走神救援,再回到上次的例子;仍不清楚时重读相关段落也可以。
🗺️ 全教程结构
对照
【阶段1】先跑起来 01 → 02 → 02a ← 10 分钟出结果,再亲手训练一次
【阶段2】经典机器学习 03 → 03a →(进阶 03b)→ 04 → 04a →(进阶 04b)→ 05 → 05a →(支线 06) ← 线性回归 / 分类 / 树模型 / 评估 / 正则化 / 无监督
【阶段3】深度学习地基 07-11 ← 神经网络 / 反向传播 / 优化 / 正则 / 调试
【阶段4】三大架构 12-14 ← CNN / RNN / 通往 Transformer
【阶段5】工程实践 15-16 ← PyTorch / 特征工程
【阶段6】动手 17 ← 三个递进项目
【阶段7】终极挑战 18-20 ← 手搓 mini-torch / 四种解法对决 / 过拟合实验室
【随时查】 附录A 术语速查 / 附录B 代码速查 / 附录C 手撕代码速查
⭐ 分拆后的顺序是 04 单树 → 04a 集成与GBDT → 可选04b:04b · XGBoost 的推导(参考52分钟,可分段完成) 04a 讲「GBDT 的每棵新树拟合损失的负梯度」,而负梯度只给方向不给步长—— 04b 用二阶泰勒展开把「下一棵树该怎么长」写成有闭式解的目标函数,三巨头对比表也在那里,而且是推出来的不是背的。 🎁 只想会调参可以先跳过(第 4 章末尾有直达第 5 章的岔路),随时回来补都行。
三个附录不是一回事,别搜错门:
| 附录 | 什么时候翻 |
|---|---|
| 附录 A · 术语速查卡 | 你卡住的是一个名词 |
| 附录 B · 代码速查 | 你要把实验跑起来——全是能复制粘贴的 sklearn / PyTorch 模板 |
| 附录 C · 手撕代码速查 ⭐ | 面试官说「白板写一个 MHA」——10 题只用 numpy / 裸 torch 的实现(Softmax+CE 反向 / 注意力 / MHA / LayerNorm / BatchNorm / Dropout / Conv2d / K-means / AUC / 逻辑回归),每题都标了最容易写错的那几行 |
两章是全教程的核心,别跳:
| 章节 | 为什么 |
|---|---|
| ⭐ 第 5 章 · 评估与过拟合 | 机器学习里唯一「学会了终身受用」的一章。不会评估,你所有的分数都是假的 |
| ⭐ 第 11 章 · 训练调试手册 | 最难自学、最值钱的实战能力。模型不 work 时你能不能自己救回来,全看这章 |
💡 为什么是这两章:
其他章教你做加法(多会一个模型、多一种架构)。 这两章教你别做错——而在实践中,"没做错"比"多会一个模型"值钱得多。
⏱️ 五种读法
| 你的情况 | 路线 | 时间 |
|---|---|---|
| 只想补 DL 那块(已会经典 ML) | 01 → 05 → 07-11 → 14 | 1 周 |
| 只想补经典 ML(只做树模型/表格数据) | 01-06(04a后可选04b)→ 16 → 17 | 1 周 |
| 急着用(只想会调试) | 05 → 11 → 附录B | 1 天 |
| 要面试 | 02 → 04 → 04a → 可选04b → 05 → 08 → 10 → 11 → 14 → 附录C ⭐ | 3 天 |
| 完整打牢 | 全部顺读 | 3-4 周 |
💡 如果只有一个下午:读第 5 章,跑完里面那个 "纯噪声数据也能跑出 76.5% 准确率" 的实验。 这一个实验的冲击力,抵得上十篇讲过拟合的文章。
🧰 环境:先确认运行位置
先确认能打开 Python 文件或 Notebook。首次运行、安装位置与常见报错见 第 01 章;安装不要求在一分钟内完成。
pip install numpy scikit-learn matplotlib
深度学习部分(第 7 章起)再加:
pip install torch
04a/04b 的 XGBoost/LightGBM 是可选的(教程里有 sklearn 替代版本):
pip install xgboost lightgbm
💡 不想装? 用 Google Colab,上面全都预装好了,还送 GPU。 全教程除了第 17 章项目三,都不需要 GPU,笔记本足够。
⚠️ 四条使用规则
① 数学看不懂就跳过公式,看「💡 人话翻译」
本教程的公式全部配了白话版。跳过公式不影响你学会用。 真需要补的那点数学在全景导论第 15 章,核心工具箱只有 5 件(向量点积 / 矩阵乘法 / Softmax / 交叉熵 / 梯度下降)。
② 用一个小实验检查理解
先猜一段程序会输出什么,再运行对照。比如比较训练与测试成绩,看看差异来自哪里。
今天不能运行,也可以先看结果表,写下一个疑问。动手能提供验证,但不是否定其他学习方式的资格线。
③ 不用一次全懂,但要识别卡点
如果反向传播卡住,先分清自己不懂的是导数、链式法则,还是代码里梯度的流向。可以回看对应小例子,或先停在本节结论。后续实践可能帮助理解,但不会保证自动补齐所有前置。
④ 每章的 ✅检查点先选再看解析
检查点都是选择题或判断题。点一个选项,页面马上告诉你对错,并展开解析。
如果暂时没把握,可以直接展开解析,带着这个问题看答案;读完后再试着解释关键一步,不必把答题当成继续阅读的门槛。
🧠 注意力中断时可以试的四种办法
这些是可选的阅读安排,不是适用于每个人的医疗或学习处方。按你当下的精力调整。
| 建议 | 怎么做 |
|---|---|
| 一次只开一章 | 每章都标了时间。时间少也能看一小段;记下当前问题和停靠位置 |
| 用 🛑 可以停 | 每章末尾有回顾与练习 |
| 回来先读 ⚡走神救援 | 先看短要点,缺哪一步就回看哪一步 |
| 卡住时留下具体问题 | 可换一个例子、查前置或休息;关键前置不懂时,先补它再继续 |
💡 一个可以试的记录方式:跑完一段代码就在旁边写一行"我看到了什么"。 不是为了记录,是为了给自己一个即时的完成感——这比"学完一章"的反馈快得多。
✅ 检查点
共 5 题:4 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 这份教程和《机器学习的数学原理》怎么分工?
看答案与解析
答案:C
本教程讲「模型内部在算什么、怎么用」,《数学原理》讲「凭什么」(L2 正则的真身是高斯先验)。先学这里,有疑问了再去那边。
单选2. 哪两章被称为本教程的核心?
看答案与解析
答案:A
第 5 章评估与过拟合、第 11 章训练调试手册。因为其他章教你做加法(多会一个模型),这两章教你别做错——实践中"没做错"比"多会一个模型"值钱得多。
单选3. 中断之后回来,教程建议先做什么?
看答案与解析
答案:B
先扫 ⚡走神救援,再回到上次的例子;忘了具体步骤时,可以重读对应段落。
判断4. 暂时没条件运行代码,也可以先理解图和计算过程,这段阅读不算白费。
看答案与解析
答案:正确
可以预测小例子的结果,再运行对照,说明差异来自哪一步。暂时没运行,也可以先理解图和计算过程,不用把这段阅读算成白费。
单选5. 卡在某个概念上,下面哪种做法最符合本教程的建议?
看答案与解析
答案:B
写下具体卡点,换例子、查前置或休息;如果它挡住后文,先补这一项,不必积累到某个数量才处理。
🛑 开始
⚡ 走神救援
先记住这几件事
- 先跑通第一个模型,再按遇到的问题回到对应章节。
- 主线帮助建立直觉;推导与项目可以分次完成。
- 走神后回到本节结论和检查点,不必从第一章重读。