跳到主要内容
🏠 总目录📚 本教程 00 · 怎么用这份教程 →
📑 本页目录(点开跳转)

00 / 先选起点

先选一个起点,
不必先读完整份地图。

我现在该先看结果、补原理,还是查故障?

这份教程可以按眼前的问题读;目录不是必须完成的任务清单。

选出符合当前目标的读法,确认示例在哪里运行,并保留回到原规则与完整地图的路径。

先抓住一个具体结果

今天只定一件小事

想先看到模型跑起来,就去第 01 章;已经在训练但卡住了,可以直接查第 11 章。两种起点都合理。

00 · 怎么用这份教程

⏱ 20 分钟 | 建议读,它会告诉你哪些章可以跳


🎯 一句话

这份教程补的是承重墙——站里其他几套教程都默认你会的那一层。


🧱 它填的是哪个洞

站里其他几套教程,其实都从「中间层」开始讲 —— 每一套都假设你已经会了某样东西:

推荐算法
第 8 章直接上 DeepFM
「神经网络怎么训的」
Kaggle
教你 LightGBM 怎么调参
「GBDT 怎么工作的」
全景导论
第 2 章讲 Transformer
「反向传播是什么」
⬇
这一层就是本教程要补的
  • 机器学习基础
  • 深度学习基础
  • 树模型
  • 线性模型
  • 过拟合与评估
  • 反向传播
  • 优化器
  • 正则化
  • CNN
  • RNN
  • 通往 Transformer
  • PyTorch 实战

上图说明其他课程常用到哪些基础概念。它是课程分工示意,不是必须依次完成的先修路线;可以从下面的五种读法选择当前需要的一条。

补完这一层再去看那三套,很多「记住的结论」会变成「知道为什么」。

三个具体的例子:

常听到的一条结论 学完这里你会知道的根因
"推荐系统离线好线上崩" 第 5 章:数据泄漏 + 分布漂移(还有一个纯噪声数据跑出 76.5% 的实验)
"LightGBM 的 learning_rate 要小、n_estimators 要大" 第 4 章:梯度提升每棵树只走一小步,走得慢才走得稳
"Transformer 里到处是残差连接" 第 8、12 章:梯度是连乘,残差给了它一条不经过乘法的直通路

📏 和其他几套的分工

教程 回答什么
本教程 「模型内部到底在算什么、为什么能学会」
机器学习的数学原理 「凭什么这么做」(本教程的下一层)⭐
Kaggle 竞赛方法论 「这个场景该上什么技术、能提多少分」
推荐算法 「工业推荐系统怎么搭」
大模型全景导论 「大模型领域有哪些方向」
智能体工程 「怎么用大模型搭 Agent」

💡 本教程和《数学原理》的区别: 这里说"L2 正则能防过拟合,这么加"; 那边说"L2 正则的真身是给参数加高斯先验,λ = σ²/τ²"。 先学这里,有疑问了再去那边。


🔧 标记系统(和其他教程一致)

标记 意思
⏱ 阅读时间参考;可以只读一个例子
🎯 一句话 先知道本节要解决什么,不代表掌握固定比例
⭐ / 🎁 主线建议优先 / 加餐按需阅读
🔨 动手 有代码;可先预测结果,再选择一段运行验证
💡 人话翻译 公式的白话版
⚠️ 坑 真实会踩的错误
🔗 和站内其他章的关系 这块知识在站内别的板块里是哪个结论的根因
✅ 检查点 选择题和判断题,点选项马上看对错
🛑 可以停 回顾与检查
⚡ 走神救援 短要点恢复上下文,不清楚时回看例子 ⭐

⭐ 「走神救援」是这套教程里最该用的功能: 中断后可以先扫走神救援,再回到上次的例子;仍不清楚时重读相关段落也可以。


🗺️ 全教程结构

对照

【阶段1】先跑起来 01 → 02 → 02a ← 10 分钟出结果,再亲手训练一次

【阶段2】经典机器学习 03 → 03a →(进阶 03b)→ 04 → 04a →(进阶 04b)→ 05 → 05a →(支线 06) ← 线性回归 / 分类 / 树模型 / 评估 / 正则化 / 无监督

【阶段3】深度学习地基 07-11 ← 神经网络 / 反向传播 / 优化 / 正则 / 调试

【阶段4】三大架构 12-14 ← CNN / RNN / 通往 Transformer

【阶段5】工程实践 15-16 ← PyTorch / 特征工程

【阶段6】动手 17 ← 三个递进项目

【阶段7】终极挑战 18-20 ← 手搓 mini-torch / 四种解法对决 / 过拟合实验室

【随时查】 附录A 术语速查 / 附录B 代码速查 / 附录C 手撕代码速查

⭐ 分拆后的顺序是 04 单树 → 04a 集成与GBDT → 可选04b:04b · XGBoost 的推导(参考52分钟,可分段完成) 04a 讲「GBDT 的每棵新树拟合损失的负梯度」,而负梯度只给方向不给步长—— 04b 用二阶泰勒展开把「下一棵树该怎么长」写成有闭式解的目标函数,三巨头对比表也在那里,而且是推出来的不是背的。 🎁 只想会调参可以先跳过(第 4 章末尾有直达第 5 章的岔路),随时回来补都行。

三个附录不是一回事,别搜错门:

附录 什么时候翻
附录 A · 术语速查卡 你卡住的是一个名词
附录 B · 代码速查 你要把实验跑起来——全是能复制粘贴的 sklearn / PyTorch 模板
附录 C · 手撕代码速查 ⭐ 面试官说「白板写一个 MHA」——10 题只用 numpy / 裸 torch 的实现(Softmax+CE 反向 / 注意力 / MHA / LayerNorm / BatchNorm / Dropout / Conv2d / K-means / AUC / 逻辑回归),每题都标了最容易写错的那几行

两章是全教程的核心,别跳:

章节 为什么
⭐ 第 5 章 · 评估与过拟合 机器学习里唯一「学会了终身受用」的一章。不会评估,你所有的分数都是假的
⭐ 第 11 章 · 训练调试手册 最难自学、最值钱的实战能力。模型不 work 时你能不能自己救回来,全看这章

💡 为什么是这两章:

其他章教你做加法(多会一个模型、多一种架构)。 这两章教你别做错——而在实践中,"没做错"比"多会一个模型"值钱得多。


⏱️ 五种读法

你的情况 路线 时间
只想补 DL 那块(已会经典 ML) 01 → 05 → 07-11 → 14 1 周
只想补经典 ML(只做树模型/表格数据) 01-06(04a后可选04b)→ 16 → 17 1 周
急着用(只想会调试) 05 → 11 → 附录B 1 天
要面试 02 → 04 → 04a → 可选04b → 05 → 08 → 10 → 11 → 14 → 附录C ⭐ 3 天
完整打牢 全部顺读 3-4 周

💡 如果只有一个下午:读第 5 章,跑完里面那个 "纯噪声数据也能跑出 76.5% 准确率" 的实验。 这一个实验的冲击力,抵得上十篇讲过拟合的文章。


🧰 环境:先确认运行位置

先确认能打开 Python 文件或 Notebook。首次运行、安装位置与常见报错见 第 01 章;安装不要求在一分钟内完成。

pip install numpy scikit-learn matplotlib

深度学习部分(第 7 章起)再加:

pip install torch

04a/04b 的 XGBoost/LightGBM 是可选的(教程里有 sklearn 替代版本):

pip install xgboost lightgbm

💡 不想装? 用 Google Colab,上面全都预装好了,还送 GPU。 全教程除了第 17 章项目三,都不需要 GPU,笔记本足够。


⚠️ 四条使用规则

① 数学看不懂就跳过公式,看「💡 人话翻译」

本教程的公式全部配了白话版。跳过公式不影响你学会用。 真需要补的那点数学在全景导论第 15 章,核心工具箱只有 5 件(向量点积 / 矩阵乘法 / Softmax / 交叉熵 / 梯度下降)。

② 用一个小实验检查理解

先猜一段程序会输出什么,再运行对照。比如比较训练与测试成绩,看看差异来自哪里。

今天不能运行,也可以先看结果表,写下一个疑问。动手能提供验证,但不是否定其他学习方式的资格线。

③ 不用一次全懂,但要识别卡点

如果反向传播卡住,先分清自己不懂的是导数、链式法则,还是代码里梯度的流向。可以回看对应小例子,或先停在本节结论。后续实践可能帮助理解,但不会保证自动补齐所有前置。

④ 每章的 ✅检查点先选再看解析

检查点都是选择题或判断题。点一个选项,页面马上告诉你对错,并展开解析。

如果暂时没把握,可以直接展开解析,带着这个问题看答案;读完后再试着解释关键一步,不必把答题当成继续阅读的门槛。


🧠 注意力中断时可以试的四种办法

这些是可选的阅读安排,不是适用于每个人的医疗或学习处方。按你当下的精力调整。

建议 怎么做
一次只开一章 每章都标了时间。时间少也能看一小段;记下当前问题和停靠位置
用 🛑 可以停 每章末尾有回顾与练习
回来先读 ⚡走神救援 先看短要点,缺哪一步就回看哪一步
卡住时留下具体问题 可换一个例子、查前置或休息;关键前置不懂时,先补它再继续

💡 一个可以试的记录方式:跑完一段代码就在旁边写一行"我看到了什么"。 不是为了记录,是为了给自己一个即时的完成感——这比"学完一章"的反馈快得多。


✅ 检查点

共 5 题:4 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 这份教程和《机器学习的数学原理》怎么分工?

看答案与解析

答案:C

本教程讲「模型内部在算什么、怎么用」,《数学原理》讲「凭什么」(L2 正则的真身是高斯先验)。先学这里,有疑问了再去那边。

单选2. 哪两章被称为本教程的核心?

看答案与解析

答案:A

第 5 章评估与过拟合、第 11 章训练调试手册。因为其他章教你做加法(多会一个模型),这两章教你别做错——实践中"没做错"比"多会一个模型"值钱得多。

单选3. 中断之后回来,教程建议先做什么?

看答案与解析

答案:B

先扫 ⚡走神救援,再回到上次的例子;忘了具体步骤时,可以重读对应段落。

判断4. 暂时没条件运行代码,也可以先理解图和计算过程,这段阅读不算白费。

看答案与解析

答案:正确

可以预测小例子的结果,再运行对照,说明差异来自哪一步。暂时没运行,也可以先理解图和计算过程,不用把这段阅读算成白费。

单选5. 卡在某个概念上,下面哪种做法最符合本教程的建议?

看答案与解析

答案:B

写下具体卡点,换例子、查前置或休息;如果它挡住后文,先补这一项,不必积累到某个数量才处理。


🛑 开始

⚡ 走神救援

先记住这几件事

  • 先跑通第一个模型,再按遇到的问题回到对应章节。
  • 主线帮助建立直觉;推导与项目可以分次完成。
  • 走神后回到本节结论和检查点,不必从第一章重读。

👉 01-10分钟训练你的第一个模型.md

打卡记录保存在你的浏览器里,首页能看到总进度