11 · 从问题进入原章节
为什么不存在对所有任务都最好的学习算法?
定理平均的是所有目标函数;真实任务通常并不服从这个平均方式,因此选择归纳偏置和验证方案要说明问题范围。
读后可检查:能指出定理前提,并把“算法更好”改写成有任务与分布条件的判断。
📑 本页目录(点开跳转)
11 · 没有免费的午餐
⏱ 22 分钟 | ⭐ 一个被到处误引的定理
🎯 一句话
在所有可能的问题上平均,任何两个学习算法的表现完全相同。 听起来像是在说"机器学习没用"——但它真正的含义恰恰相反。
📐 一、定理说了什么
结果对照
💡 为什么会这样(一个具体的构造)
因果链
🔑 本质:在训练集之外,你没有任何信息。 任何"泛化"都必须依赖某种关于世界的假设——而这个假设可能是错的。
📊 一个小例子(能自己数出来)
信息关系
⚠️ 二、三种常见的误读
| ❌ 误读 | ✅ 真相 |
|---|---|
| 「所以选什么算法都无所谓」 | 恰恰相反:因为没有普适最优,选对算法才更重要 |
| 「机器学习是不可能的」 | 现实问题不是从"所有可能函数"里均匀抽的,它们有结构 |
| 「这只是理论玩具」 | 它有实际推论(见下),且量化了归纳偏置的价值 |
关键前提:所有目标函数等概率出现
结果对照
💡 一个量化的感受(用第 9 章的例子):
对照
n = 20 个布尔特征时:
所有可能的布尔函数:2^(2²⁰) ≈ 10^315,653 个
而"人类会关心的函数"(简单的、有结构的)
可能只有其中的 10^-315,000 比例
⭐ NFL 在整个空间上成立,但我们只活在那一小撮里
💡 三、四个真实的实践推论
① 归纳偏置不是缺点,是必需品
因果链
🔗 第 9 章 PAC 给了它的定量版本: 第 9 章比较了不同假设类的充分样本量上界;那些数字不是实际任务的必要样本数。 限制假设空间 = 大幅降低样本需求。偏置就是这么值钱。
② 「最好的算法」这句话必须带条件
对照
❌ "XGBoost 是最好的算法"
✅ "XGBoost 在中小规模表格数据上通常最好"
↑ 必须说清在什么问题分布上
🔗 基础教程第 19 章挑战 B 让你亲手跑出这张表——NFL 就是那个项目的理论解释: 不同数据类型上排名会变,这不是意外,是必然。
③ 交叉验证是在"赌"问题的结构
关键信息
🔗 基础教程第 5、11 章的"离线好线上崩",根因在这。
④ 领域知识是你相对模型的最大优势
信息关系
🎭 四、一个有趣的推论:算法的"专长"是守恒的
要点
一个算法在某类问题上变强,必然在另一类问题上变弱
三个具体例子:
| 调整 | 变好的场景 | 变差的场景 |
|---|---|---|
| 加强正则化 | 真实函数确实简单时 ✅ | 真实函数确实复杂时 ❌ |
| CNN 的平移不变假设 | 图像分类 ✅ | 位置本身携带关键信息的任务 ❌(如医学影像里"病灶在左肺还是右肺") |
| 树模型的轴对齐切分 | 特征有独立含义时 ✅ | 决策边界是斜线时 ❌(要切很多刀才能逼近) |
💡 所以调参本质上是在做什么:
你在把模型的"专长"挪到你的问题所在的那个区域。 这就是为什么调参必须用你自己的数据,而不是抄别人的超参。
🧭 五、这一章该带走的心态
流程图
💡 关于第 ⑤ 点:AutoML 看起来像"万能",但它的搜索空间是人定的—— 那个搜索空间就是它的归纳偏置。 NFL 对它同样成立。
🔗 六、和站内其他章的关系
| 相关的地方 | NFL 的解释 |
|---|---|
| 基础教程第 2 章"没有免费的午餐" | 本章是它的严格版 |
| 第 9 章:限制假设空间降低样本需求 | NFL 的定量对偶面 |
| 基础教程第 14 章归纳偏置权衡 | NFL 是它的理论根据 |
| Kaggle 第 21 章任务决策路径 | 不同任务用不同方法的必然性 |
| 基础教程挑战 B 四种解法对决 | 亲手验证 NFL |
| 调参要用自己的数据 | 在挪动算法的"专长区" |
✅ 检查点
- NFL 定理的严格表述是什么?能构造一个例子说明为什么成立吗?
- 用 3 个输入的小例子算一下:见过 a→1 后,任何算法的平均正确率是多少?
- 它的关键前提是什么?为什么现实中不满足?
- 为什么说 NFL 让"选对算法"更重要而不是更不重要?
- NFL 和 PAC 的样本复杂度界是什么关系?
- 举一个「归纳偏置在某场景是优势、在另一场景是负担」的例子。
- AutoML 能逃过 NFL 吗?
👀 答案
- 在所有可能的目标函数上平均,任意两个算法的期望表现相同。构造:若算法在问题 P 上猜对了训练集外的规律,可以构造 P'——训练集完全相同但训练集外标签全部相反,算法会输出相同模型却全错,正负抵消。
- 50%。与训练集一致的目标函数有 4 个(b、c 的标签有 4 种组合),任何猜法都恰好对 2 个错 2 个。
- 前提是所有目标函数等概率出现。现实问题有强烈结构(平滑性、简单性、局部相关性、连续可微),只占所有可能函数中极小的一撮。
- 因为不存在普适最优,必须根据问题结构主动选择匹配的算法/偏置——选择本身成了关键决策。
- 互为对偶:NFL 与 PAC 从不同设定说明归纳假设的作用;第 9 章给的是特定条件下的充分样本量上界,不是所有任务的必要样本数。
- CNN 的平移不变:图像分类上是优势;但"病灶在左肺还是右肺"这类位置本身携带信息的任务上是负担。
- 不能。它的搜索空间是人定的,那个搜索空间就是它的归纳偏置。
本节回顾
⚡ 走神救援
先记住这几件事
- 没有免费的午餐讨论特定的平均条件,不是说现实中选什么模型都一样。
- 泛化依赖归纳偏置,选模型就是选择对问题结构的假设。
- 领域知识和合理验证帮助判断偏置是否匹配;不存在脱离任务条件的通用赢家。
下一节 👉 12-反向传播的完整推导.md