🏠 总目录📚 本教程 14 · 实战与挑战项目 ← →

14 · 从问题进入原章节

学完推导后,先用哪个实验验证自己的理解?

先用通用脚手架记录假设与结果;从 MLE、正则化、维度实验开始,再进入核 SVM 与泛化界的挑战。

读后可检查:能按时间和验证目标选项目,并用原通关标准检查结果。

📑 本页目录(点开跳转)

14 · 实战与挑战项目

⏱ 项目 1–2 天 / 挑战 4–6 天 | ⭐ 理论要靠动手才能变成直觉


🎯 一句话

这一章的项目和基础教程不同:它们的产出不是模型,而是「验证一个理论断言」的实验报告。

💡 为什么把实验拆成可核对的小任务: 每个任务都有一项明确的核对对象(公式、实现或统计现象),并允许记录“不确定”或“未观察到”, 不像调模型那样"好像好了一点"——这样便于记录进度和中断后继续;这是设计意图,不是临床或学习效果证据。


🧰 开工前:一个通用的实验脚手架

import numpy as np, pandas as pd
rng = np.random.default_rng(0)          # ⭐ 固定种子,否则结论不可复现

def run(setting_fn, n_repeat=20, **kw):
    """把一个实验重复 n 次,返回 均值±标准差。
       ⭐ 单次实验的结论不可信——理论断言是关于【期望】的。"""
    rs = [setting_fn(rng, **kw) for _ in range(n_repeat)]
    return np.mean(rs), np.std(rs)

⚠️ 本章最常见的失败原因:只跑一次就下结论。 理论说的是期望行为,单次实验的随机波动可能完全盖过效应。 所有实验都重复 ≥20 次再看均值。


🥉 项目一:把三个理论现象亲手做出来(1 天)

目标:本教程的三个核心断言,你自己跑数字验证一遍。

T1(60min)验证第 1 章:最小二乘 = 高斯 MLE

# 路线 B 的核心(写出来才有感觉)
import numpy as np
from scipy.optimize import minimize
def neg_log_lik(params, X, y):
    w, b, log_s = params[:-2], params[-2], params[-1]
    resid = y - (X @ w + b)
    s2 = np.exp(2 * log_s)
    return 0.5 * np.sum(resid**2) / s2 + len(y) * log_s   # ⭐ 去掉常数项

🎯 该看到的现象:高斯噪声下两条线完全重合; 换成有离群点的数据后,平方误差和绝对误差对大残差的敏感程度可能不同;L1 也会受离群点影响 —— 这用于检查所选噪声模型与损失的对应;一张图不能证明普遍稳健性。

T2(60min)验证第 2 章:L2 正则 = 高斯先验

🎯 该看到的现象:噪声越大,最优正则越强。 这个方向描述固定先验与相同目标下的 MAP 系数;CV 的最优值还受数据、网格、样本量和评价指标影响。

T3(45min)验证第 5 章:维度灾难

🎯 该看到的现象:观察准确率与距离比是否一起变化;距离集中不是准确率下降的充分条件,两条相关曲线也不能单独确立因果。

📊 参考数字:d=500 时 (max−min)/min ≈ 0.19,d=20 的球体积占比 ≈ 0.0000025%

T4(45min)写报告

三个断言 + 你的数字 + 一句话结论。

✅ 通关标准

区分代数等价与统计现象:前者报告数值容差与求解状态,后者报告多次实验、误差条和未观察到的结果。

⚠️ 三个常见坑(卡住了再点)
  1. T1 系数对不上 → 检查你的负对数似然是否漏了 n·log σ 项,或 scipy 优化没收敛(把 tol 调小、换 method="L-BFGS-B")。
  2. T2 系数对不上 → sklearn 的 Ridge 默认不惩罚截距,而且它的目标是 ‖y−Xw‖² + α‖w‖²(没有 1/2n)。手写时要对齐这两点 ⭐
  3. T3 kNN 准确率不降 → 你可能让"有用的特征数"也跟着增加了。正确做法是只加噪声维度,保持信号维度不变。

🥈 项目二:核方法与 SVM 实验(1–2 天)

# T4 的核心:三行就能验证一个理论断言 ⭐
import numpy as np
sv_idx = clf.support_
clf2 = SVC(kernel="rbf", C=C, gamma=g).fit(X[sv_idx], y[sv_idx])
print("决策函数最大差异:", np.abs(clf.decision_function(Xg)
                                - clf2.decision_function(Xg)).max())

✅ 通关标准

实验 该看到什么
T3 网格 C、γ 会共同影响拟合;最佳组合与数据、尺度和评价方式有关 —— 说明 C 和 γ 会互相补偿,必须联合调 ⭐
T4 支持向量 固定核参数、预处理、C 和求解容差,记录重训后的函数差异;不强求 1e-10。自动 γ 或截距不唯一也可能改变结果
T5 时间曲线 记录实际斜率、内存、硬件、求解器与容差;有限几个点不能证明统一复杂度阶数

💡 T5 的意义:这个实验用于比较指定实现的计算成本。 核矩阵内存可随 n² 增长,但训练成本依实现与数据而变;神经网络成本也取决于模型、步数与训练轮数,不能只写 O(n)。


🥇 挑战项目:泛化理论的实证检验(4–6 天)

难度 ★★★★★ | 这个项目做的是科研级别的事:用实验检验理论的适用边界。

对照

本教程告诉你:VC 界说"真实误差 ≤ 训练误差 + O(√(d_VC/m))"

也告诉你:它解释不了深度学习

这个项目让你【亲手观察这个上界何时变得宽松、缺少实际信息】

阶段一:验证界在经典模型上成立(Day 1–2)

🎯 该看到的现象:记录散点是否近似线性,不预设相关系数或斜率 —— 因为 VC 界是最坏情况,实际误差可能远低于上界,具体倍数需要测量。 界是上界,不要求实测差距按该量级等号缩放。

阶段二:观察上界何时不再有信息(Day 3–4)

🔧 双下降跑不出来?四项实验检查(点开)

双下降依赖任务、模型与训练设置。下面是检查项,不是数学上的必要条件:

  1. 噪声可能让峰更明显,但不是所有双下降的必要条件;若加入合成噪声,记录比例与生成方式
  2. 参数量要真的跨过插值阈值 —— 要扫到"训练误差 = 0"的那个点两侧
  3. 不能有太强的正则 —— 对比不同 weight decay 和早停设置,观察它们是否改变峰形⭐
  4. 训练要充分 —— 每个点都训到收敛,不然峰会被"没训够"掩盖

💡 应围绕观察到的插值阈值细扫;神经网络的阈值并不普遍等于参数量=样本数。

阶段三:探究为什么(Day 5–6)

🔑 T8 是整个项目的高潮。它证明了一件让整个领域重新思考的事: "模型能记住任意标签"和"模型泛化得好"可以同时成立。 两者并不违反 VC 上界;容量很大时,上界可能不能提供有用预测。

✅ 通关标准

  1. 阶段一的 gap ~ √(d/m) 关系在图上可见(形状对即可,常数不必对)
  2. 报告是否观察到双下降;没有出现时,也保留设置、训练诊断和真实曲线。
  3. 随机标签实验:网络能拟合随机标签(训练准确率 → 100%)
  4. 报告里有一段你自己的关于“上界为何宽松,以及哪些条件已核对”的分析

🏆 加分

加分项 你在验证什么假说
测量权重范数 / Hessian 特征值随训练的变化 "有效复杂度" ≠ 参数量
对比 SGD 和全批量 GD 的泛化差距 "SGD 的隐式正则"假说 ⭐
画不同宽度下的 loss landscape 切片 "平坦极小值泛化更好"假说

💡 这个项目的价值:你会亲身体会到「理论有适用边界,而找到边界比记住结论更重要」。 把结论强度限制在已有证据之内即可。


📝 报告模板

# 理论断言:____
## 断言的精确表述(公式)
## 实验设计(怎么造数据、控制什么变量、重复多少次)
## 结果(表 + 图,带误差棒)
## 断言成立吗?
- [ ] 完全成立
- [ ] 在 ___ 范围内成立,超出后失效
- [ ] 不成立,因为 ___
## 我原本以为 ___,实际上 ___     ← 最有价值的一节

💡 最后一节别跳过。记录"哪里和你预期不同",比记录结论有用十倍—— 那个差距就是你的直觉正在被修正的地方。


🔗 这一章连到哪里

去哪 为什么
上线之后 17 ⚠️ 脚手架要先解决可复现:种子、版本、数据快照,否则结论不可信
Kaggle 04 实验管理与调参的工程做法
ML基础 18 把第 12 章的推导真正写成代码 —— 这两个项目是一对

✅ 检查点

  1. 为什么本章所有实验都要重复 ≥20 次?
  2. T1 的离群点实验能说明什么,又不能证明什么?
  3. MAP 系数 λ=σ²/τ² 与 CV 选择的 λ_best 是同一个问题吗?
  4. T3 里 kNN 准确率下降的直接原因是什么?该同时观察什么指标?
  5. C-γ 网格实验里那条"对角线"说明了什么调参原则?
  6. SVM 时间曲线能支持多大范围的计算成本结论?
  7. 双下降实验有哪些检查项?插值阈值为什么需要实测?
  8. 随机标签实验(T8)为什么是整个项目的高潮?
👀 答案
  1. 因为理论断言是关于期望行为的,单次实验的随机波动可能完全盖过效应。只跑一次就下结论是本章最常见的失败原因。
  2. 用于检查所选损失与噪声模型的对应;不能证明所有离群点下 L1 都不受影响。MSE 对应高斯(轻尾,对离群点敏感),L1 对应拉普拉斯(重尾,抗离群点)。
  3. 不是。前者是固定先验、噪声与目标写法下的代数对应;后者依据数据与验证指标选择,不保证正比。
  4. 直接原因是最近邻不再更近——"最近邻距离/平均距离"这个比值趋近于 1。应该和准确率曲线同步观察,同步只提示关联,仍需控制信号、尺度、样本量和维度生成过程。
  5. C 和 γ 会互相补偿(一个变强可以被另一个变弱抵消),所以必须联合调,不能一个一个单独调。
  6. 报告指定实现、数据范围、容差与硬件下的实测成本;不要把几个点的斜率当作所有 SVM 或神经网络的统一结论。
  7. 检查噪声、插值阈值覆盖、正则化与训练预算;这些会影响观察结果,不是统一必要条件,峰值位置应从实际训练误差与曲线中判断。
  8. 因为它证明了"能记住任意标签"和"泛化得好"可以同时成立,二者不矛盾:宽松的最坏情况上界仍可成立。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 附录A-数学速查.md

打卡记录保存在你的浏览器里,首页能看到总进度