跳到主要内容
🏠 总目录📚 本教程 挑战C · 过拟合实验室 ← →
📑 本页目录(点开跳转)

20 / 一次完成一个小任务

先观察一种故障,
再练习把它修回来。

一次故障实验能留下什么证据?

一次只引入一个问题,保留正常对照,才能知道症状究竟由什么引起。

先记录正常训练,再一次注入一个故障、诊断、修复并重跑,形成可复查记录。

先抓住一个具体结果

一轮实验就够开始

先记录正常训练,再只改变一个条件,比较训练与验证曲线;修复后重跑。十个实验是分站任务,不是一次必须完成的清单。

挑战项目 C · 过拟合实验室

⏱ 5–7 天 | 难度 ★★★★★ | 前置:第 5、10、11 章


🎯 为什么选这个项目

前两个挑战是「造东西」,这个是「造故障」。

流程图

常规学习:跟着教程做对→遇到真实故障时两眼一抹黑
这个项目:故意做错 10 次→每种故障的"手感"刻进肌肉记忆
你要亲手制造并诊断:
💀 训练 loss 变 NaN
💀 loss 完全不动
💀 CV 分数 0.95,测试集 0.60
💀 换个种子结果差 10%
💀 验证 loss 比训练还低
💀 GPU 利用率只有 20%
· 共 10 种
然后为每一种写出【症状→诊断步骤→修复】

为什么这个能力最值钱:教程教你成功路径,但真实工作 80% 的时间在处理故障。 而故障诊断几乎无法从书上学——只能靠见过。这个项目让你在一周内"见过"十次。


🧪 十个必做实验

每个实验的流程都一样:制造故障 → 观察症状 → 用第 11 章流程诊断 → 修复 → 记录

A 组:训练不动(第 9、11 章)

  • 把 lr 调到10,记录损失与梯度是否震荡、发散或仍有限;没有NaN也如实记录,不能保证固定症状。 再试另外三种造 NaN 的方法:log(0)、除以 0、数据里混 inf

  • 故意在前向里写 x = x.detach(),或用 .item() 参与计算。 观察:中间 detach 可使上游无梯度而下游仍更新;完全断开时 backward 也可能报错。记录注入位置、异常、各层梯度与参数变化

  • 注释掉 optimizer.zero_grad(),看 loss 曲线变成什么样。记录与正常基线的区别,再恢复清零做对照

  • 搭一个 20 层的全连接网络,全用 Sigmoid 激活。 打印每层的梯度范数 → 检查是否出现衰减,记录初始化和各层状态,不保证固定曲线。然后换 ReLU + 残差连接,对比

B 组:虚假的高分(第 5 章)⭐ 最重要的一组

  • 用全量数据 fit scaler / 做特征选择,对比放进 Pipeline 的版本。 在纯噪声数据上做,分别记录缩放与监督特征选择的影响;并非每种预处理都会产生明显分数差。第5章数值只是一组示例

  • 造一个带时间戳的数据集,用随机切分 vs 按时间切分,对比 CV 分数和"上线"表现 (用最后 20% 的时间段模拟线上)

  • 造一个"同一用户多条记录"的数据集,用 KFold vs GroupKFold,看分数差多少

  • 往特征里偷偷加一个标签的衍生物(如 y + 微小噪声),观察: 观察分数与特征重要性如何变化,再关闭该特征验证;不预设0.99或某个重要性阈值

C 组:不可信的结论(第 5、11 章)

  • 同一配置跑 20 个随机种子,画分数直方图。 记录极差。然后思考:你以前相信过的哪些"提升"其实在这个范围内?

  • 模拟"反复在测试集上调参":调 30 轮超参,每轮都看测试集分数,选最好的。 然后拿一个全新的测试集验证 —— 看之前那个"最好"掉多少


🔍 十种故障的「症状指纹」(做之前先别看,做完对照)

👀 点开对照(建议自己先做出来再看)
# 故障 可能的线索(需受控检查)
1 学习率过大 loss可能震荡、发散或出现非有限值;梯度不保证指数增长
2 梯度断流 上游可能没有梯度,下游仍可能更新;完全断图时 backward 可能直接报错
3 忘 zero_grad loss 前期正常,随后越来越震荡;梯度可能因累加增大,也可能抵消;检查清零位置与参数更新⭐
4 梯度消失 后几层梯度正常,前几层小 3~6 个数量级;前几层的权重几乎不变
5 预处理泄漏 CV 分数高但测试掉一大截;随机标签上异常高分需要复查划分、选择过程与有限样本波动,固定60%不是决定性证据
6 时间泄漏 随机 CV 很高、按时间切分骤降;未来信息被用来预测过去
7 分组泄漏 KFold 远高于 GroupKFold;同一实体的记录分散在训练和验证里
8 目标泄漏 验证分数异常升高或单特征占主导时,检查它在预测时是否可得;这些现象既非必要也非充分证据 ⭐
9 种子彩票 同配置多次运行分数分布很宽;是否提升还需同划分的配对差值,不能用分布宽度直接否定
10 测试集污染 你选的"最优配置"在全新测试集上明显掉分

💡 注意 #3 和 #1 的区别:都是 loss 变糟,但 忘 zero_grad 会累加梯度,但范数不保证线性增长; lr 过大可能震荡或发散。梯度曲线只能提示,仍需检查清零、学习率和更新顺序。


🧪 每个实验的统一记录格式(标量诊断项)

import torch
@torch.no_grad()
def log_step(model, loss, opt):
    params = list(model.parameters())
    grads = [p.grad for p in params if p.grad is not None]
    return {
        "loss": float(loss.detach().item()),
        "grad_norm": sum(float(g.norm().item())**2 for g in grads)**0.5,
        "param_norm": sum(float(p.norm().item())**2 for p in params)**0.5,
        "lr": float(opt.param_groups[0]["lr"]),
        "n_missing_grad": sum(p.grad is None for p in params),
        "n_zero_grad_tensors": sum(bool((g == 0).all().item()) for g in grads),
        "has_nonfinite": not bool(torch.isfinite(loss).all().item()) or
                         any(not bool(torch.isfinite(g).all().item()) for g in grads),
    }

🔑 grad_norm 是这个项目里最重要的一个数字。 十个故障里有五个能靠它一眼分辨(爆炸、消失、断流、累加、正常)。 养成每次训练都记它的习惯。


📓 产出:一份故障诊断手册

每个实验记录成这个格式:

## 故障 N:<名字>

### 症状(我观察到什么)
- loss 曲线:...
- 梯度范数:...
- 训练/验证差距:...

### 复现代码
```python
# 最小复现

诊断路径(我是怎么找到原因的)

  1. 先查了 X,排除
  2. 打印 Y,发现异常
  3. 定位到 Z

根因

修复

可能的线索(需受控检查) ⭐ 最有价值的部分

「如果下次看到 ___,八成就是这个问题」

🧠 ADHD 任务切分

  • :搭实验脚手架——一个能快速切换“故障开关”的训练脚本,加上统一日志(第 11 章的六个数字)。
  • :A 组实验 1–4(训练不动)。
  • :B 组实验 5–8(虚假高分);把最多时间留给这一组。
  • :C 组实验 9–10(不可信结论)。
  • :整理成诊断手册,写下“我以前踩过但没意识到的坑”。

脚手架建议

BUGS = {  # 故障开关:一行切换
    "none": lambda cfg: cfg,
    "huge_lr": lambda cfg: {**cfg, "lr": 10.0},
    "no_zero_grad": lambda cfg: {**cfg, "zero_grad": False},
    "leak_scaler": lambda cfg: {**cfg, "fit_scaler_on_all": True},
    # 其余变体照这个形状加
}

def run(bug="none"):
    cfg = BUGS[bug](DEFAULT_CFG)
    log = train(cfg)            # 返回每个 epoch 的六个数字
    plot(log, title=bug)        # 存图
    return log

🏁 通关标准

  1. 10 个故障全部复现成功,每个都有最小复现代码
  2. 每个故障有完整诊断路径(不是直接写答案,是记录你怎么找到的)
  3. 每个故障有「可能的线索(需受控检查)」 —— 这是手册的核心价值
  4. 实验 9 得出了你的噪声基准,并说明它如何改变你对"提升"的判断
  5. 实验 10 量化了测试集污染的代价

🏆 加分

  • 让别人(或另一个 AI)随机注入一个故障,你只看日志来诊断 —— 盲测
  • 把手册做成一棵决策树:「loss 是 NaN 吗?→ 是 → 查这三项…」
  • 加实验 11:分布漂移 —— 训练集和测试集来自不同分布时会怎样

💭 做完之后

你会发现自己看别人的训练日志时,能一眼看出不对劲。 这个能力没法从教程学,只能靠"见过"。反复比较正常、故障与修复日志,可逐步积累排查经验;用时和迁移效果因任务而异。

🔗 这和智能体工程挑战项目 B的精神一致: 优化的前提是能正确测量;而能正确测量的前提,是知道测量会怎么骗你。


✅ 检查点

共 8 题:6 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 这个项目和前两个挑战的根本区别是什么?

看答案与解析

答案:C

前两个是造东西,这个是造故障。最值钱是因为:教程只教成功路径,但真实工作 80% 时间在处理故障,而故障诊断几乎无法从书上学,只能靠见过——这个项目让你一周内见过十次。

单选2. 「忘了 zero_grad」和「学习率过大」都会让 loss 变糟,怎么区分?

看答案与解析

答案:C

看梯度与参数更新记录,再逐一恢复 zero_grad 或调低学习率做受控对照;单凭增长形状不能唯一诊断。

判断3. 纯噪声数据上仍能跑出 >60%,本身就证明了是预处理泄漏。

看答案与解析

答案:错误

在独立、平衡的随机二分类标签下,泛化准确率期望为 50%,有限测试集仍会波动。高分需排查泄漏、划分和反复选择;通过受控泄漏开关与重复实验确认原因,不能凭一个阈值证明。

单选4. 怀疑目标泄漏时,特征重要性该怎么用?

看答案与解析

答案:B

检查每个特征的来源与可用时间,再关闭疑似泄漏特征做对照;高重要性或高分本身不能判定泄漏。

判断5. grad_norm 能提示爆炸、消失、缺失或累加,但现象有重叠,还要结合参数更新与受控修复来判断。

看答案与解析

答案:正确

梯度范数可提示爆炸、消失、缺失或累加,但现象有重叠;还要结合参数更新与受控修复,不能单靠一条曲线分类。

单选6. 实验 9(种子彩票)的产出是什么?怎么用?

看答案与解析

答案:D

产出是你的噪声基准(同配置 20 个种子的分数极差)。之后不能把这个极差当显著性门槛;用相同划分的配对差值判断证据,不足时写“暂不能确定提升”。

单选7. 实验 10 在模拟什么真实工作中的错误?

看答案与解析

答案:B

模拟反复在测试集上调参——每轮都看测试集分数并据此选择,测试集就慢慢变成了"第二个验证集",报告的分数是乐观的。这是真实工作中最普遍也最隐蔽的错误。

单选8. B 组为什么最重要?

看答案与解析

答案:D

因为 A 组和 C 组的故障你能看见(loss 不动、NaN),而 B 组的故障看起来像成功——分数很高,你会高高兴兴上线,然后崩。看不见的错误才是最贵的。


本节回顾

一次只引入一个问题,保留正常对照,才能知道症状究竟由什么引起。

⚡ 走神救援

先记住这几件事

  • 这是诊断实验:主动注入故障,再保留现象、原因、修复与复测证据。
  • A 组看训练为什么不动:检查损失、梯度与参数更新。
  • B 组查虚假高分:分别检查预处理、时间、分组和目标泄漏。
  • C 组查结论是否可信:观察种子波动,并保护未参与调参的测试集。
  • 交付一份能帮助定位故障的诊断手册,再用未知故障做盲测。

🎓 三个挑战都做完之后

  • A(手搓框架):向下 —— 看清框架黑箱
  • B(四种解法对决):向外 —— 选型判断力
  • C(过拟合实验室):向内 —— 故障诊断直觉

这三个 + 第 17 章的三个基础项目,是一份能证明"基本功扎实"的作品集。

回 首页 看进度,或去全景导论第 16 章选下一个方向。

打卡记录保存在你的浏览器里,首页能看到总进度