📑 本页目录(点开跳转)
02 / 先看直觉,再看细节
模型不是背答案,
目标是答对没见过的题。
同一份天气记录,为什么有两种问题?
先分清你要预测什么,再选模型和评估方式。
把新问题拆成任务、模型与损失,并区分已有规则、从样本学习规则及泛化。
先抓住一个具体结果
同一份天气记录,两种问题
问“明天温度是多少”是在预测数值;问“明天会不会下雨”是在判断类别。输入可以相同,答案的形式和评估指标却不同。
02 · 机器学习到底在干什么
⏱ 19 分钟 | ⭐ 核心
🎯 一句话
机器学习就一件事:从数据里找一个函数 f,让它对没见过的数据也管用。 「对没见过的也管用」这五个字,就是全部难点所在。
🆚 零、和普通编程的根本区别
图内可左右滑动;需要时可放大阅读。
💡 一句话:普通编程是"你写规则",机器学习是"你给例子,让机器写规则"。
什么时候该用机器学习:
| 情况 | 用什么 |
|---|---|
| 规则清晰、能写出来 | ✅ 普通代码("满 100 减 20" 别用模型) |
| 规则存在但说不清楚 | ⭐ 机器学习("这张照片里是猫" —— 你说不出判断规则) |
| 规则经常变 | ⭐ 机器学习(重新训练比重写代码快) |
| 没有规则、纯随机 | ❌ 谁也救不了(第 5 章的"不可约误差") |
⚠️ 新手最常见的浪费:用模型去解一个 if-else 就能解决的问题。 先问一句"这能不能写成规则"——能,就别上模型。
🧠 一、三要素:任何算法都逃不出这个框架
图内可左右滑动;需要时可放大阅读。
🔨 用三要素拆解三个你已经见过的模型
| 假设空间 | 损失函数 | 优化方法 | |
|---|---|---|---|
| 线性回归 | 直线/超平面 | MSE | 解析解或梯度下降 |
| XGBoost | 一堆树的加和 | 任意可微损失 + 复杂度罚 | 贪心找切分 + 梯度提升 |
| GPT | Transformer 能表达的函数 | 交叉熵(猜下一个词) | AdamW + 反向传播 |
这三个问题提供的是共同的分析框架,不是说模型只差一个倍率。线性回归用线性函数拟合数值;GPT 用 Transformer 预测下一个 token。表示方式、任务和训练过程都不同。
参数个数、候选函数集合大小、训练数据量是三种不同的量,不能混在一起说“大了多少倍”。
机器学习与深度学习是什么关系?
区别也不是“传统只能线性、只能手工特征”。树与核方法可以表达非线性,PCA等也能从数据学习表示;深度网络常把表示学习与任务目标联合优化,但仍需要输入处理、数据质量和任务先验。可接着看第4章树模型、第6章PCA和第7章非线性网络。
从零训练较大的深度模型往往需要更多数据与计算,预训练迁移会改变这个需求;线性、树和神经网络有不同归纳偏置。选型时在相同数据划分、指标与预算下比较,不能仅凭“深度”二字保证更准,也不把手工特征与学习特征说成互斥。
🔗 数学原理第 1 章会告诉你更深的一层: 损失函数不是随便选的——MSE 对应"假设噪声是高斯的",交叉熵对应"假设标签服从伯努利分布"。 选损失函数 = 声明你对数据的假设。
图内可左右滑动;需要时可放大阅读。
🎭 二、核心难题:泛化
图内可左右滑动;需要时可放大阅读。
图内可左右滑动;需要时可放大阅读。
数据要多少:先看保证的使用条件
数据越多,越有可能学到能推广到新数据的规律;但没有一个“把模型大小填进去,就能算出要多少数据”的万能公式。
🔎 细节:PAC 学习理论怎么说(可跳过)
PAC 学习理论研究:在明确假设下,多少样本足以给出误差保证。 它不是把模型参数量填进去,就能算出项目数据量的万能公式。
这里先看有限分类规则集合的一个版本:
| 符号 | 在这个公式中指什么 |
|---|---|
| m | 独立抽到的训练样本个数 |
| H | 学习前固定的有限候选分类规则集合;不是神经网络参数个数 |
| ε | 希望真实分类错误率不超过的值 |
| δ | 允许这项保证失败的抽样概率 |
这条式子有前提: 样本独立同分布;H 中存在真实错误率为 0 的规则;学习器找到 H 中对训练样本全分对的规则;0 < ε、δ < 1。
满足条件和样本界时,以至少 1−δ 的概率,选出规则的真实错误率不超过 ε。样本少于这个界,不等于一定学不好;实际数据有噪声时,也不能直接套这个版本。
现在先带走“要把模型限制、误差要求和数据条件一起看”。想算数字、看证明或了解有噪声版本,再去 数学原理 09 · PAC 学习。
⚠️ 一个必须现在就建立的习惯
结果对照
📚 三、三类任务(分清楚,选错模型就白干)
图内可左右滑动;需要时可放大阅读。
还有两类你会遇到的
| 类型 | 是什么 | 典型场景 |
|---|---|---|
| 半监督 | 少量标注 + 大量无标注 | 标注贵的领域(医疗影像) |
| 强化学习 | 没有正确答案,只有奖励信号 | 游戏、机器人、RLHF(大模型对齐) ⭐ |
🔗 RLHF 让大模型"听话"的那一步就是强化学习——全景导论主线 4 · 它怎样从续写机变助手。
⚖️ 四、没有免费的午餐
| ❌ 错误的想法 | ✅ 正确的想法 |
|---|---|
| 「XGBoost 是最强的算法」 | 「XGBoost 是中小规模表格任务值得比较的强基线候选」 |
| 「深度学习碾压一切」 | 「深度学习在图像/文本/大数据上强,小表格数据经常输给树模型」 |
| 「先上最复杂的模型」 | 「先上简单基线,用数据证明复杂度必要」 |
图内可左右滑动;需要时可放大阅读。
实践中的选型直觉(第 19 章挑战 B 会让你亲手验证):
| 数据类型 | 首选 |
|---|---|
| 表格数据、几万到几百万行 | 梯度提升树(XGBoost/LightGBM)⭐ |
| 图像 | CNN / 预训练视觉模型 |
| 文本 | 预训练语言模型微调 |
| 数据极少(<1000 行) | 线性模型 + 强正则 |
| 需要可解释 | 线性模型 / 单棵决策树 |
| 有强先验知识(周期性、单调性) | 把知识编码进模型/特征,比换模型有效得多 ⭐ |
🗺️ 五、一个完整项目的样子(后面每一章都是它的一环)
图内可左右滑动;需要时可放大阅读。
🔗 和站内其他章的关系
| 相关的地方 | 这一章的位置 |
|---|---|
| 推荐算法第 5 章的 BPR 损失 | 三要素里的「损失函数」,排序任务专用 |
| 推荐算法第 12 章的离线/在线不一致 | 泛化鸿沟的工业版 |
| 全景导论主线 4 的预训练 | 自监督学习 |
| 全景导论主线 4 的 RLHF | 强化学习 |
| 数学原理第 1 章 | 损失函数从哪来 |
| 数学原理第 9 章 | "要多少数据"的定量答案 |
| 数学原理第 11 章 | NFL 的严格版 |
| Kaggle 第 2 章正则化 | 对抗过拟合的工具箱 |
| 智能体第 6 章降级测试 | 没有免费午餐的工程实践 |
✅ 检查点
共 11 题:9 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 机器学习和普通编程的根本区别是什么?
看答案与解析
答案:C
普通编程是你写规则,机器学习是你给例子让机器写规则。规则清晰能写出来时不该用("满 100 减 20"别上模型)。
判断2. 「满 100 减 20」这种能清楚写出来的规则,也值得训练一个模型来做。
看答案与解析
答案:错误
普通编程是你写规则,机器学习是你给例子让机器写规则。规则清晰能写出来时不该用("满 100 减 20"别上模型)。
单选3. 机器学习三要素是哪三个?
看答案与解析
答案:A
模型(f 能长什么样/能力上限)、损失函数(往哪个方向努力)、优化方法(能不能真找到)。问:假设空间是什么?损失是什么?怎么优化?
判断4. GPT 也能按「假设、目标、优化」来分析,所以它本质上只是更大的线性回归。
看答案与解析
答案:错误
GPT 的函数表示来自 Transformer,预训练目标通常是下一 token 的交叉熵,优化涉及反向传播与 AdamW。它和线性回归都能按“假设、目标、优化”来分析,但表示方式和任务不同;共同框架不意味着只是规模不同,也不能据此编出假设空间或数据量的倍率。
单选5. 训练误差和泛化误差的区别是?
看答案与解析
答案:B
训练误差是在见过的数据上的表现(可测量),泛化误差是在没见过的数据上的(真正要的)。鸿沟来自训练数据只是真实世界的一个样本,含有噪声和巧合。
单选6. 为什么「数据越多越不容易过拟合」?
看答案与解析
答案:D
数据少时"蓝袜子"这种巧合很容易出现;数据多了巧合几乎必然被打破——噪声被平均掉,真规律留下。定量版是 PAC 的 m ≥ (1/ε)(ln|H|+ln(1/δ))。
单选7. 训练集和测试集上都很差,最可能是哪种情况?
看答案与解析
答案:C
欠拟合=模型能力太弱,连真规律都没学到(训练测试都差);过拟合=能力太强,把噪声和巧合也学进去了(训练好测试差)。
单选8. 「预训练 = 猜下一个词」属于哪类学习?
看答案与解析
答案:C
自监督——数据本身提供答案,不需要人工标注。分水岭在于:监督学习的天花板是"人能标多少",自监督的天花板是"世界上有多少数据",而且免费。
单选9. RLHF 属于哪类学习?
看答案与解析
答案:A
半监督(少量标注+大量无标注)和强化学习(只有奖励信号)。RLHF 属于强化学习。
单选10. 「没有免费的午餐」在实践中意味着什么?
看答案与解析
答案:A
不存在通用最优算法 → 先上简单基线、用数据证明复杂度必要。仍然有用是因为真实问题有结构,选对模型 = 选对和这个结构匹配的假设。
单选11. 新手和老手的时间分配有什么区别?
看答案与解析
答案:B
新手 80% 时间在换模型/调参,老手 80% 时间在问题定义/数据/特征。因为前者的天花板由后者决定。
本节回顾
先分清你要预测什么,再选模型和评估方式。
⚡ 走神救援
先记住这几件事
- 机器学习从样本中拟合规律,再用没见过的数据检验能否泛化。
- 特征是预测时可获得的输入,标签是希望预测的结果。
- 训练误差低不等于预测可靠;划分、指标和简单基线都属于建模的一部分。
下一节 👉 02a · 手动训练一个模型:亲手训练一次,再进入 03。