跳到主要内容
🏠 总目录📚 本教程 02 · 机器学习在干什么 ← →
📑 本页目录(点开跳转)

02 / 先看直觉,再看细节

模型不是背答案,
目标是答对没见过的题。

同一份天气记录,为什么有两种问题?

先分清你要预测什么,再选模型和评估方式。

把新问题拆成任务、模型与损失,并区分已有规则、从样本学习规则及泛化。

先抓住一个具体结果

同一份天气记录,两种问题

问“明天温度是多少”是在预测数值;问“明天会不会下雨”是在判断类别。输入可以相同,答案的形式和评估指标却不同。

02 · 机器学习到底在干什么

⏱ 19 分钟 | ⭐ 核心


🎯 一句话

机器学习就一件事:从数据里找一个函数 f,让它对没见过的数据也管用。 「对没见过的也管用」这五个字,就是全部难点所在。


🆚 零、和普通编程的根本区别

图内可左右滑动;需要时可放大阅读。

普通编程:规则数据程序答案机器学习:数据答案学习规则(模型)
盯住「规则」这个框换了边:左边它是你写进去的输入,右边它是跑出来的产物。⭐ 所以机器学习真正的交付物不是代码,是一份你没亲手写、也读不太懂的规则 —— 后面所有「怎么知道它对不对」的麻烦都从这儿来。

💡 一句话:普通编程是"你写规则",机器学习是"你给例子,让机器写规则"。

什么时候该用机器学习:

情况 用什么
规则清晰、能写出来 ✅ 普通代码("满 100 减 20" 别用模型)
规则存在但说不清楚 ⭐ 机器学习("这张照片里是猫" —— 你说不出判断规则)
规则经常变 ⭐ 机器学习(重新训练比重写代码快)
没有规则、纯随机 ❌ 谁也救不了(第 5 章的"不可约误差")

⚠️ 新手最常见的浪费:用模型去解一个 if-else 就能解决的问题。 先问一句"这能不能写成规则"——能,就别上模型。


🧠 一、三要素:任何算法都逃不出这个框架

图内可左右滑动;需要时可放大阅读。

三要素流水线与典型例子 ① 模型(假设空间) 我允许 f 长什么样? 决定能力上限 直线 · if-else 方块 · 曲面 ② 损失函数 怎么衡量 f 有多差? 决定往哪个方向努力 MSE · 交叉熵 · BPR ③ 优化方法 怎么找到最好的 f? 决定能不能真的找到 解析解 · 梯度下降 · 贪心 得到能用的 f 逻辑回归、XGBoost、GPT 拆开都是这三样。 拿到新算法先问这三句;答出来只是理解起点,还要检查适用条件、实现与验证结果。
图内例子对应下一张表的三列;拿到新算法,先问这三句。

🔨 用三要素拆解三个你已经见过的模型

假设空间 损失函数 优化方法
线性回归 直线/超平面 MSE 解析解或梯度下降
XGBoost 一堆树的加和 任意可微损失 + 复杂度罚 贪心找切分 + 梯度提升
GPT Transformer 能表达的函数 交叉熵(猜下一个词) AdamW + 反向传播

这三个问题提供的是共同的分析框架,不是说模型只差一个倍率。线性回归用线性函数拟合数值;GPT 用 Transformer 预测下一个 token。表示方式、任务和训练过程都不同。

参数个数、候选函数集合大小、训练数据量是三种不同的量,不能混在一起说“大了多少倍”。

机器学习与深度学习是什么关系?

区别也不是“传统只能线性、只能手工特征”。树与核方法可以表达非线性,PCA等也能从数据学习表示;深度网络常把表示学习与任务目标联合优化,但仍需要输入处理、数据质量和任务先验。可接着看第4章树模型、第6章PCA和第7章非线性网络。

从零训练较大的深度模型往往需要更多数据与计算,预训练迁移会改变这个需求;线性、树和神经网络有不同归纳偏置。选型时在相同数据划分、指标与预算下比较,不能仅凭“深度”二字保证更准,也不把手工特征与学习特征说成互斥。

🔗 数学原理第 1 章会告诉你更深的一层: 损失函数不是随便选的——MSE 对应"假设噪声是高斯的",交叉熵对应"假设标签服从伯努利分布"。 选损失函数 = 声明你对数据的假设。

图内可左右滑动;需要时可放大阅读。

包含关系 机器学习 从数据里找 f 传统机器学习 线性模型 · 树 · 核方法 · PCA 也可以非线性、也能学表示 深度学习 多层神经网络 · 逐层变换的表示 是其中一支,不是并列的另一范畴
包含关系见《Deep Learning》第 1 章图 1.4。

🎭 二、核心难题:泛化

图内可左右滑动;需要时可放大阅读。

模型复杂度 / 训练轮数 →误差最优点欠拟合两边都差过拟合训练好 / 验证差训练误差验证误差图示一种常见趋势:训练误差下降,验证误差可能先降后升 —— 差距只是待排查线索,不是通用过拟合量
能力弱是欠拟合(两边都差),刚好是泛化好,过强是过拟合(训练好测试差)。鸿沟来自训练数据只是真实世界的一个样本,混着真规律、噪声与巧合。

图内可左右滑动;需要时可放大阅读。

蓝袜子巧合与反例 10 天:只有一种组合被看见横:是否下雨 纵:是否穿蓝袜子没下雨 · 蓝袜子没见过下雨 · 蓝袜子10 天全在这都没发生没见过下雨 · 没蓝袜子没见过 · 反例 1000 天:四种组合都出现同一个坐标系,只是样本多了没下雨 · 蓝袜子出现了下雨 · 蓝袜子仍有都没发生出现了下雨 · 没蓝袜子反例出现
10 天只见过一种组合,机器分不清哪个是原因;样本一多,反例出现,蓝袜子这个巧合被排除,真规律(下雨要带伞)留下。示意图不代表真实数据。

数据要多少:先看保证的使用条件

数据越多,越有可能学到能推广到新数据的规律;但没有一个“把模型大小填进去,就能算出要多少数据”的万能公式。

🔎 细节:PAC 学习理论怎么说(可跳过)

PAC 学习理论研究:在明确假设下,多少样本足以给出误差保证。 它不是把模型参数量填进去,就能算出项目数据量的万能公式。

这里先看有限分类规则集合的一个版本:

$$m \ge \frac{1}{\varepsilon}\left(\ln|\mathcal H|+\ln\frac{1}{\delta}\right)$$
符号 在这个公式中指什么
m 独立抽到的训练样本个数
H 学习前固定的有限候选分类规则集合;不是神经网络参数个数
ε 希望真实分类错误率不超过的值
δ 允许这项保证失败的抽样概率

这条式子有前提: 样本独立同分布;H 中存在真实错误率为 0 的规则;学习器找到 H 中对训练样本全分对的规则;0 < ε、δ < 1。

满足条件和样本界时,以至少 1−δ 的概率,选出规则的真实错误率不超过 ε。样本少于这个界,不等于一定学不好;实际数据有噪声时,也不能直接套这个版本。

现在先带走“要把模型限制、误差要求和数据条件一起看”。想算数字、看证明或了解有噪声版本,再去 数学原理 09 · PAC 学习。

⚠️ 一个必须现在就建立的习惯

结果对照

❌ 用训练集的分数判断模型好坏
✅ 永远留出【模型没见过】的数据来评估
这就是第 5 章要讲的训练/验证/测试集划分
违反它,你所有的结论都是假的

📚 三、三类任务(分清楚,选错模型就白干)

图内可左右滑动;需要时可放大阅读。

三类任务与数据天花板 ① 有标准答案监督学习分类 · 肿瘤良性 / 恶性回归 · 这套房值多少钱排序 · 哪个商品排前面答案由人标注 · 90% 的工作② 没有答案无监督学习聚类 · 用户能分几堆降维 · 30 维压成 2 维找结构,不找答案不需要标注 · 第 6 章③ 自己造答案自监督学习遮住下一个词让模型猜数据本身就是答案预训练 = 猜下一个词无需逐条人工标注 监督学习的天花板人能标多少数据ImageNet 花了几年标 1400 万张自监督学习的天花板世界上有多少数据收集、清洗、授权与算力仍有成本≫
预训练 = 猜下一个词属于自监督,见全景导论主线 4;另有半监督(少量标注 + 大量无标注)与强化学习(只有奖励信号)。

还有两类你会遇到的

类型 是什么 典型场景
半监督 少量标注 + 大量无标注 标注贵的领域(医疗影像)
强化学习 没有正确答案,只有奖励信号 游戏、机器人、RLHF(大模型对齐) ⭐

🔗 RLHF 让大模型"听话"的那一步就是强化学习——全景导论主线 4 · 它怎样从续写机变助手。


⚖️ 四、没有免费的午餐

❌ 错误的想法 ✅ 正确的想法
「XGBoost 是最强的算法」 「XGBoost 是中小规模表格任务值得比较的强基线候选」
「深度学习碾压一切」 「深度学习在图像/文本/大数据上强,小表格数据经常输给树模型」
「先上最复杂的模型」 「先上简单基线,用数据证明复杂度必要」

图内可左右滑动;需要时可放大阅读。

没有免费的午餐:可数的小例子没有免费的午餐:一个能数清的小例子题 a · 见过:答案是 1题 b · 没见过:?题 c · 没见过:?答案只能是 0 或 1。b、c 的真实答案有 2 × 2 = 4 种可能,下面每一列就是一种可能的“真实世界”。世界 1b=0,c=0世界 2b=0,c=1世界 3b=1,c=0世界 4b=1,c=1合计算法甲都猜 1(照着训练集)b 错c 错b 错c 对b 对c 错b 对c 对4 对4 错算法乙都猜 0b 对c 对b 对c 错b 错c 对b 错c 错4 对4 错4 个世界一样可能时,两种猜法都是 8 次猜对 4 次:甲在世界 4 全对,就在世界 1 全错。想让某个算法更好,必须先假设真实世界更像哪几列 —— 没有假设,就没有“更好”。
没有一种算法在所有问题上都最好,这叫“没有免费的午餐”。但现实中的问题有规律(比如相似的题答案往往相同),所以选模型,就是选一个和数据规律相符的假设。严格证明见数学原理第 11 章;同一原理也支撑智能体第 6 章的降级测试与Kaggle 第 21 章的任务决策路径。

实践中的选型直觉(第 19 章挑战 B 会让你亲手验证):

数据类型 首选
表格数据、几万到几百万行 梯度提升树(XGBoost/LightGBM)⭐
图像 CNN / 预训练视觉模型
文本 预训练语言模型微调
数据极少(<1000 行) 线性模型 + 强正则
需要可解释 线性模型 / 单棵决策树
有强先验知识(周期性、单调性) 把知识编码进模型/特征,比换模型有效得多 ⭐

🗺️ 五、一个完整项目的样子(后面每一章都是它的一环)

图内可左右滑动;需要时可放大阅读。

项目流程、章节与时间分配 一个完整项目的八步 1 问题定义 2 数据 3 基线 4 特征 5 模型 6 调参 7 诊断 8 上线 绿色 = 问题定义、数据、特征(决定天花板的三步) 对应章节:① 本章 · ② 5/16 · ③ 1/3 · ④ 16 · ⑤ 4/7-15 · ⑥ 4/9 · ⑦ 5/10/11 · ⑧ 11 新手 80% 换模型、调参 老手 80% 问题定义、数据、特征 前者的天花板由后者决定。每步要问:分类还是回归 / 数据多脏 / 基线多少分 / 特征有没有信息量 /换模型有没有提升 / 还有空间吗 / 欠拟合还是过拟合 / 线上线下一致吗?
后面每一章都是其中一环;绿色三步决定天花板。

🔗 和站内其他章的关系

相关的地方 这一章的位置
推荐算法第 5 章的 BPR 损失 三要素里的「损失函数」,排序任务专用
推荐算法第 12 章的离线/在线不一致 泛化鸿沟的工业版
全景导论主线 4 的预训练 自监督学习
全景导论主线 4 的 RLHF 强化学习
数学原理第 1 章 损失函数从哪来
数学原理第 9 章 "要多少数据"的定量答案
数学原理第 11 章 NFL 的严格版
Kaggle 第 2 章正则化 对抗过拟合的工具箱
智能体第 6 章降级测试 没有免费午餐的工程实践

✅ 检查点

共 11 题:9 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 机器学习和普通编程的根本区别是什么?

看答案与解析

答案:C

普通编程是你写规则,机器学习是你给例子让机器写规则。规则清晰能写出来时不该用("满 100 减 20"别上模型)。

判断2. 「满 100 减 20」这种能清楚写出来的规则,也值得训练一个模型来做。

看答案与解析

答案:错误

普通编程是你写规则,机器学习是你给例子让机器写规则。规则清晰能写出来时不该用("满 100 减 20"别上模型)。

单选3. 机器学习三要素是哪三个?

看答案与解析

答案:A

模型(f 能长什么样/能力上限)、损失函数(往哪个方向努力)、优化方法(能不能真找到)。问:假设空间是什么?损失是什么?怎么优化?

判断4. GPT 也能按「假设、目标、优化」来分析,所以它本质上只是更大的线性回归。

看答案与解析

答案:错误

GPT 的函数表示来自 Transformer,预训练目标通常是下一 token 的交叉熵,优化涉及反向传播与 AdamW。它和线性回归都能按“假设、目标、优化”来分析,但表示方式和任务不同;共同框架不意味着只是规模不同,也不能据此编出假设空间或数据量的倍率。

单选5. 训练误差和泛化误差的区别是?

看答案与解析

答案:B

训练误差是在见过的数据上的表现(可测量),泛化误差是在没见过的数据上的(真正要的)。鸿沟来自训练数据只是真实世界的一个样本,含有噪声和巧合。

单选6. 为什么「数据越多越不容易过拟合」?

看答案与解析

答案:D

数据少时"蓝袜子"这种巧合很容易出现;数据多了巧合几乎必然被打破——噪声被平均掉,真规律留下。定量版是 PAC 的 m ≥ (1/ε)(ln|H|+ln(1/δ))。

单选7. 训练集和测试集上都很差,最可能是哪种情况?

看答案与解析

答案:C

欠拟合=模型能力太弱,连真规律都没学到(训练测试都差);过拟合=能力太强,把噪声和巧合也学进去了(训练好测试差)。

单选8. 「预训练 = 猜下一个词」属于哪类学习?

看答案与解析

答案:C

自监督——数据本身提供答案,不需要人工标注。分水岭在于:监督学习的天花板是"人能标多少",自监督的天花板是"世界上有多少数据",而且免费。

单选9. RLHF 属于哪类学习?

看答案与解析

答案:A

半监督(少量标注+大量无标注)和强化学习(只有奖励信号)。RLHF 属于强化学习。

单选10. 「没有免费的午餐」在实践中意味着什么?

看答案与解析

答案:A

不存在通用最优算法 → 先上简单基线、用数据证明复杂度必要。仍然有用是因为真实问题有结构,选对模型 = 选对和这个结构匹配的假设。

单选11. 新手和老手的时间分配有什么区别?

看答案与解析

答案:B

新手 80% 时间在换模型/调参,老手 80% 时间在问题定义/数据/特征。因为前者的天花板由后者决定。


本节回顾

先分清你要预测什么,再选模型和评估方式。

⚡ 走神救援

先记住这几件事

  • 机器学习从样本中拟合规律,再用没见过的数据检验能否泛化。
  • 特征是预测时可获得的输入,标签是希望预测的结果。
  • 训练误差低不等于预测可靠;划分、指标和简单基线都属于建模的一部分。

下一节 👉 02a · 手动训练一个模型:亲手训练一次,再进入 03。

打卡记录保存在你的浏览器里,首页能看到总进度