14 · 从问题进入原章节
学完推导后,先用哪个实验验证自己的理解?
先用通用脚手架记录假设与结果;从 MLE、正则化、维度实验开始,再进入核 SVM 与泛化界的挑战。
读后可检查:能按时间和验证目标选项目,并用原通关标准检查结果。
📑 本页目录(点开跳转)
14 · 实战与挑战项目
⏱ 项目 1–2 天 / 挑战 4–6 天 | ⭐ 理论要靠动手才能变成直觉
🎯 一句话
这一章的项目和基础教程不同:它们的产出不是模型,而是「验证一个理论断言」的实验报告。
💡 为什么把实验拆成可核对的小任务: 每个任务都有一项明确的核对对象(公式、实现或统计现象),并允许记录“不确定”或“未观察到”, 不像调模型那样"好像好了一点"——这样便于记录进度和中断后继续;这是设计意图,不是临床或学习效果证据。
🧰 开工前:一个通用的实验脚手架
import numpy as np, pandas as pd
rng = np.random.default_rng(0) # ⭐ 固定种子,否则结论不可复现
def run(setting_fn, n_repeat=20, **kw):
"""把一个实验重复 n 次,返回 均值±标准差。
⭐ 单次实验的结论不可信——理论断言是关于【期望】的。"""
rs = [setting_fn(rng, **kw) for _ in range(n_repeat)]
return np.mean(rs), np.std(rs)
⚠️ 本章最常见的失败原因:只跑一次就下结论。 理论说的是期望行为,单次实验的随机波动可能完全盖过效应。 所有实验都重复 ≥20 次再看均值。
🥉 项目一:把三个理论现象亲手做出来(1 天)
目标:本教程的三个核心断言,你自己跑数字验证一遍。
T1(60min)验证第 1 章:最小二乘 = 高斯 MLE
- 造带高斯噪声的数据
y = 3x + 2 + ε, ε~N(0, σ²) - 路线 A:
np.linalg.lstsq最小二乘 - 路线 B:用
scipy.optimize.minimize直接最大化高斯对数似然 - —— 在求解器收敛且数据缩放合适时,应在预先说明的数值容差内一致 ⭐
- 换成拉普拉斯噪声(重尾)+ 加 3 个离群点 → 对比 MSE 和 L1(
HuberRegressor/ 分位数回归)的拟合线
# 路线 B 的核心(写出来才有感觉)
import numpy as np
from scipy.optimize import minimize
def neg_log_lik(params, X, y):
w, b, log_s = params[:-2], params[-2], params[-1]
resid = y - (X @ w + b)
s2 = np.exp(2 * log_s)
return 0.5 * np.sum(resid**2) / s2 + len(y) * log_s # ⭐ 去掉常数项
🎯 该看到的现象:高斯噪声下两条线完全重合; 换成有离群点的数据后,平方误差和绝对误差对大残差的敏感程度可能不同;L1 也会受离群点影响 —— 这用于检查所选噪声模型与损失的对应;一张图不能证明普遍稳健性。
T2(60min)验证第 2 章:L2 正则 = 高斯先验
- 手写 MAP 目标:
对数似然 + 高斯先验的对数 - 和
Ridge(alpha=λ)对比系数 —— 应该一模一样 ⭐ - ⭐ 验证 λ = σ²/τ²:固定先验方差 τ²,把噪声 σ² 从 0.1 扫到 10, 直接按同一平方和目标设置 λ=σ²/τ²,比较 MAP 与 Ridge 的系数。另做 CV 时,把它当作预测性能实验,不要求 λ_best 落在这条直线上
🎯 该看到的现象:噪声越大,最优正则越强。 这个方向描述固定先验与相同目标下的 MAP 系数;CV 的最优值还受数据、网格、样本量和评价指标影响。
T3(45min)验证第 5 章:维度灾难
- 复现那四个数字实验(球体积占比、壳层集中、最近/最远距离比、样本需求)
- 加一个新的:在 d = 2/10/50/200 上跑 kNN 分类(保持样本数不变)
- :准确率、以及"最近邻距离 / 平均距离"这个比值
🎯 该看到的现象:观察准确率与距离比是否一起变化;距离集中不是准确率下降的充分条件,两条相关曲线也不能单独确立因果。
📊 参考数字:d=500 时 (max−min)/min ≈ 0.19,d=20 的球体积占比 ≈ 0.0000025%
T4(45min)写报告
三个断言 + 你的数字 + 一句话结论。
✅ 通关标准
区分代数等价与统计现象:前者报告数值容差与求解状态,后者报告多次实验、误差条和未观察到的结果。
⚠️ 三个常见坑(卡住了再点)
- T1 系数对不上 → 检查你的负对数似然是否漏了
n·log σ项,或scipy优化没收敛(把tol调小、换method="L-BFGS-B")。 - T2 系数对不上 → sklearn 的
Ridge默认不惩罚截距,而且它的目标是‖y−Xw‖² + α‖w‖²(没有 1/2n)。手写时要对齐这两点 ⭐ - T3 kNN 准确率不降 → 你可能让"有用的特征数"也跟着增加了。正确做法是只加噪声维度,保持信号维度不变。
🥈 项目二:核方法与 SVM 实验(1–2 天)
参考用时 · 45 分钟
参考用时 · 60 分钟
在同心圆 / 月牙数据上:线性 SVM vs RBF 核 SVM,画决策边界参考用时 · 60 分钟
⭐ C 与 γ 的网格实验:C ∈ {0.1,1,10,100} × γ ∈ {0.01,0.1,1,10}, 画一张 4×4 的决策边界图,观察不同设置的决策边界;不预设最佳点排成固定对角线参考用时 · 45 分钟
验证"只有支持向量决定模型":训练后删掉所有非支持向量, 用剩下的点重训,对比两条决策边界参考用时 · 45 分钟
测指定核 SVM 实现的扩展成本:n = 1000/5000/20000,记录训练时间,画增长曲线
# T4 的核心:三行就能验证一个理论断言 ⭐
import numpy as np
sv_idx = clf.support_
clf2 = SVC(kernel="rbf", C=C, gamma=g).fit(X[sv_idx], y[sv_idx])
print("决策函数最大差异:", np.abs(clf.decision_function(Xg)
- clf2.decision_function(Xg)).max())
✅ 通关标准
| 实验 | 该看到什么 |
|---|---|
| T3 网格 | C、γ 会共同影响拟合;最佳组合与数据、尺度和评价方式有关 —— 说明 C 和 γ 会互相补偿,必须联合调 ⭐ |
| T4 支持向量 | 固定核参数、预处理、C 和求解容差,记录重训后的函数差异;不强求 1e-10。自动 γ 或截距不唯一也可能改变结果 |
| T5 时间曲线 | 记录实际斜率、内存、硬件、求解器与容差;有限几个点不能证明统一复杂度阶数 |
💡 T5 的意义:这个实验用于比较指定实现的计算成本。 核矩阵内存可随 n² 增长,但训练成本依实现与数据而变;神经网络成本也取决于模型、步数与训练轮数,不能只写 O(n)。
🥇 挑战项目:泛化理论的实证检验(4–6 天)
难度 ★★★★★ | 这个项目做的是科研级别的事:用实验检验理论的适用边界。
对照
本教程告诉你:VC 界说"真实误差 ≤ 训练误差 + O(√(d_VC/m))"
也告诉你:它解释不了深度学习
这个项目让你【亲手观察这个上界何时变得宽松、缺少实际信息】
阶段一:验证界在经典模型上成立(Day 1–2)
- 用线性分类器(d_VC = d+1,已知的精确值)
- 固定 d,扫 m(样本数从 20 到 10000,对数间隔): 画「训练误差 / 测试误差 / 两者差距」三条曲线
- 验证差距是否大致按 √(d/m) 衰减 —— 画
gapvs√(d/m)的散点,看是不是接近过原点的直线 - 比较一个样本规模:m = 10·d_VC 时差距有多大?
🎯 该看到的现象:记录散点是否近似线性,不预设相关系数或斜率 —— 因为 VC 界是最坏情况,实际误差可能远低于上界,具体倍数需要测量。 界是上界,不要求实测差距按该量级等号缩放。
阶段二:观察上界何时不再有信息(Day 3–4)
- 换成 MLP,逐步增加宽度(参数量从 ≪ m 到 ≫ m)
- ⭐ 复现双下降:横轴参数量(对数刻度)、纵轴测试误差, 看能否画出那条"升—降—再降"的曲线
- 记录 VC 界的预测值 vs 实际测试误差,看界从哪里开始变得毫无意义
🔧 双下降跑不出来?四项实验检查(点开)
双下降依赖任务、模型与训练设置。下面是检查项,不是数学上的必要条件:
- 噪声可能让峰更明显,但不是所有双下降的必要条件;若加入合成噪声,记录比例与生成方式
- 参数量要真的跨过插值阈值 —— 要扫到"训练误差 = 0"的那个点两侧
- 不能有太强的正则 —— 对比不同 weight decay 和早停设置,观察它们是否改变峰形⭐
- 训练要充分 —— 每个点都训到收敛,不然峰会被"没训够"掩盖
💡 应围绕观察到的插值阈值细扫;神经网络的阈值并不普遍等于参数量=样本数。
阶段三:探究为什么(Day 5–6)
- 随机标签实验(Zhang et al. 2017 的经典实验): 把标签完全打乱,看网络能不能把训练集背下来
- 能背下来 → 说明该设置拟合了这次标签;一次随机标注实验还不能证明打散全部标注
- 但同一个网络在真实标签上泛化得很好 → 这提示仅看容量还不足以解释实际泛化 ⭐
- 对比:真实标签 vs 随机标签的训练收敛速度 —— 记录速度是否不同;训练预算、优化状态和数据结构都可能影响结果
- 写报告:界的假设是什么、何时给出有用保证、何时只是很宽松
🔑 T8 是整个项目的高潮。它证明了一件让整个领域重新思考的事: "模型能记住任意标签"和"模型泛化得好"可以同时成立。 两者并不违反 VC 上界;容量很大时,上界可能不能提供有用预测。
✅ 通关标准
- 阶段一的
gap ~ √(d/m)关系在图上可见(形状对即可,常数不必对) - 报告是否观察到双下降;没有出现时,也保留设置、训练诊断和真实曲线。
- 随机标签实验:网络能拟合随机标签(训练准确率 → 100%)
- 报告里有一段你自己的关于“上界为何宽松,以及哪些条件已核对”的分析
🏆 加分
| 加分项 | 你在验证什么假说 |
|---|---|
| 测量权重范数 / Hessian 特征值随训练的变化 | "有效复杂度" ≠ 参数量 |
| 对比 SGD 和全批量 GD 的泛化差距 | "SGD 的隐式正则"假说 ⭐ |
| 画不同宽度下的 loss landscape 切片 | "平坦极小值泛化更好"假说 |
💡 这个项目的价值:你会亲身体会到「理论有适用边界,而找到边界比记住结论更重要」。 把结论强度限制在已有证据之内即可。
📝 报告模板
# 理论断言:____
## 断言的精确表述(公式)
## 实验设计(怎么造数据、控制什么变量、重复多少次)
## 结果(表 + 图,带误差棒)
## 断言成立吗?
- [ ] 完全成立
- [ ] 在 ___ 范围内成立,超出后失效
- [ ] 不成立,因为 ___
## 我原本以为 ___,实际上 ___ ← 最有价值的一节
💡 最后一节别跳过。记录"哪里和你预期不同",比记录结论有用十倍—— 那个差距就是你的直觉正在被修正的地方。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 上线之后 17 | ⚠️ 脚手架要先解决可复现:种子、版本、数据快照,否则结论不可信 |
| Kaggle 04 | 实验管理与调参的工程做法 |
| ML基础 18 | 把第 12 章的推导真正写成代码 —— 这两个项目是一对 |
✅ 检查点
- 为什么本章所有实验都要重复 ≥20 次?
- T1 的离群点实验能说明什么,又不能证明什么?
- MAP 系数 λ=σ²/τ² 与 CV 选择的 λ_best 是同一个问题吗?
- T3 里 kNN 准确率下降的直接原因是什么?该同时观察什么指标?
- C-γ 网格实验里那条"对角线"说明了什么调参原则?
- SVM 时间曲线能支持多大范围的计算成本结论?
- 双下降实验有哪些检查项?插值阈值为什么需要实测?
- 随机标签实验(T8)为什么是整个项目的高潮?
👀 答案
- 因为理论断言是关于期望行为的,单次实验的随机波动可能完全盖过效应。只跑一次就下结论是本章最常见的失败原因。
- 用于检查所选损失与噪声模型的对应;不能证明所有离群点下 L1 都不受影响。MSE 对应高斯(轻尾,对离群点敏感),L1 对应拉普拉斯(重尾,抗离群点)。
- 不是。前者是固定先验、噪声与目标写法下的代数对应;后者依据数据与验证指标选择,不保证正比。
- 直接原因是最近邻不再更近——"最近邻距离/平均距离"这个比值趋近于 1。应该和准确率曲线同步观察,同步只提示关联,仍需控制信号、尺度、样本量和维度生成过程。
- C 和 γ 会互相补偿(一个变强可以被另一个变弱抵消),所以必须联合调,不能一个一个单独调。
- 报告指定实现、数据范围、容差与硬件下的实测成本;不要把几个点的斜率当作所有 SVM 或神经网络的统一结论。
- 检查噪声、插值阈值覆盖、正则化与训练预算;这些会影响观察结果,不是统一必要条件,峰值位置应从实际训练误差与曲线中判断。
- 因为它证明了"能记住任意标签"和"泛化得好"可以同时成立,二者不矛盾:宽松的最坏情况上界仍可成立。
本节回顾
⚡ 走神救援
先记住这几件事
- 交付的是验证理论的实验报告,不是单个高分模型;重复实验并写清假设。
- 第一组比较损失、噪声与正则化的关系;第二组核对核函数与显式特征映射。
- 泛化实验改变数据量、模型容量和标签设置,观察理论预测与实测的差距。
- 每张图都说明控制了什么、改变了什么,以及结果能支持多大范围的结论。
下一节 👉 附录A-数学速查.md