模型不是背答案，
目标是答对没见过的题。

02 · 机器学习到底在干什么

⏱ 28 分钟 ｜ ⭐ 核心

🎯 一句话

机器学习就一件事：从数据里找一个函数 f，让它对没见过的数据也管用。 「对没见过的也管用」这五个字，就是全部难点所在。

🆚 零、和普通编程的根本区别

💡 一句话：普通编程是"你写规则"，机器学习是"你给例子，让机器写规则"。

什么时候该用机器学习：

⚠️ 新手最常见的浪费：用模型去解一个 if-else 就能解决的问题。 先问一句"这能不能写成规则"——能，就别上模型。

🧠 一、三要素：任何算法都逃不出这个框架

不管是逻辑回归、XGBoost 还是 GPT，拆开都是这三样：

🔑 拿到任何新算法，就问这三个问题：它假设 f 长什么样？它的损失函数是什么？它怎么优化？ 能答上来，就算懂了这个算法。

🔨 用三要素拆解三个你已经见过的模型

💡 看出来了吗：GPT 和线性回归在框架上没有本质区别， 只是假设空间大了 10 亿倍、数据多了 10 亿倍。 "大模型"是量变，三要素这个框架没变。

🔗 数学原理第 1 章会告诉你更深的一层： 损失函数不是随便选的——MSE 对应"假设噪声是高斯的"，交叉熵对应"假设标签服从伯努利分布"。 选损失函数 = 声明你对数据的假设。

🎭 二、核心难题：泛化

为什么会有鸿沟：训练数据只是真实世界的一个样本，里面既有真规律，也有噪声和巧合。

💡 人话类比：

你观察到「过去 10 天下雨我都带伞了，而且这 10 天我都穿了蓝袜子」。 真规律：下雨要带伞。 巧合：蓝袜子和下雨有关。 一个"能力过强"的模型会把蓝袜子也学进去 —— 这就是过拟合。

💡 为什么"数据越多越不容易过拟合"：

数据少时，"蓝袜子"这种巧合很容易出现（10 天全是蓝袜子完全可能）。 数据到 1000 天时，蓝袜子和下雨的巧合几乎必然被打破——噪声被平均掉了，真规律留下来。

🔗 数学原理第 9 章 PAC把这句话变成了公式： m ≥ (1/ε)(ln|H| + ln(1/δ)) —— 模型能力（|H|）越大，需要的数据越多。 这是"要多少数据才够"这个问题唯一的理论答案。

⚠️ 一个必须现在就建立的习惯

📚 三、三类任务（分清楚，选错模型就白干）

🔗 一个重要的连接：你在全景导论主线 4 · 它怎样从续写机变助手学的「预训练=猜下一个词」， 在分类上属于自监督——它把「无标注文本」变成了「有答案的监督任务」。 这个技巧是大模型革命的地基。

💡 为什么自监督这么厉害：

还有两类你会遇到的

🔗 RLHF 让大模型"听话"的那一步就是强化学习——全景导论主线 4 · 它怎样从续写机变助手。

⚖️ 四、没有免费的午餐

不存在一个在所有问题上都最好的算法。

这不是鸡汤，是有数学证明的定理（No Free Lunch Theorem）。它的实践含义：

🔗 数学原理第 11 章给了严格版本， 结论比你想的更强：在所有可能的问题上平均，随机猜和最先进的算法一样好。 之所以机器学习仍然有用，是因为真实问题有结构——而选对模型 = 选对和这个结构匹配的假设。

也是智能体工程第 6 章的降级测试、 以及Kaggle 第 21 章任务决策路径背后的同一条原理。

实践中的选型直觉（第 19 章挑战 B 会让你亲手验证）：

🗺️ 五、一个完整项目的样子（后面每一章都是它的一环）

💡 绝大多数人的时间分配是错的： 新手把 80% 时间花在 ⑤⑥（换模型、调参）， 老手把 80% 时间花在 ①②④（问题定义、数据、特征）。 —— 因为前者的天花板由后者决定。

🔗 和站内其他章的关系

✅ 检查点

1. 机器学习和普通编程的根本区别是什么？什么时候不该用机器学习？
2. 机器学习三要素是什么？拿到新算法该问哪三个问题？
3. 用三要素拆解一下 GPT。它和线性回归有本质区别吗？
4. 训练误差和泛化误差的区别？为什么会有鸿沟？
5. 为什么"数据越多越不容易过拟合"？
6. 欠拟合和过拟合分别是什么原因？
7. 「预训练=猜下一个词」属于哪类学习？为什么它是大模型的分水岭？
8. 除了监督/无监督/自监督，还有哪两类？RLHF 属于哪类？
9. 「没有免费的午餐」的实践含义是什么？为什么机器学习仍然有用？
10. 新手和老手的时间分配有什么区别？为什么？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 03-线性模型.md