17 · 实战项目

⏱ 三个项目，每个 1–2 天 ｜ ⭐ 不做项目 = 没学过

🎯 一句话

三个递进项目：表格数据全流程 → 手写神经网络 → 图像迁移学习。做完你就有了完整的手感。

💡 全部不需要 GPU，笔记本就能跑。

🧠 做项目之前：三条能救你很多时间的规矩

💡 ADHD 友好的做法：每个 T 任务标了时间，做完一个就打勾并记一行分数。 卡住超过 25 分钟就跳到下一个 T，回头再补 —— 卡死在一个点上是最大的时间黑洞。

🥉 项目一：表格数据完整流程（1 天）

目标：在一个真实数据集上走完「数据 → 特征 → 模型 → 评估」，并证明自己没有自欺欺人。

练什么：第 4、5、16 章。

任务清单

• 任务 T1

  参考用时 · 30 分钟

  选数据集：sklearn 自带的 fetch_california_housing（回归）或 load_wine（分类）。 先看数据：形状、缺失、分布、标签平衡度
• 任务 T2

  参考用时 · 45 分钟

  搭 Pipeline（标准化 + 模型），跑一个最简 baseline（逻辑回归/线性回归）， 记下 CV 分数 ± 标准差
• 任务 T3

  参考用时 · 45 分钟

  换 GBDT，对比。只改模型，不改别的
• 任务 T4

  参考用时 · 60 分钟

  特征工程：加 3–5 个构造特征（比值、分箱、交叉），每加一个跑一次 CV，记录变化
• 任务 T5

  参考用时 · 45 分钟

  调参：先调 max_depth/num_leaves，再调 learning_rate + n_estimators（第 4 章）
• 任务 T6

  参考用时 · 30 分钟

  ⭐ 诚实性检查（这一步才是这个项目的灵魂）

🔨 T2 的骨架（照抄就能开始）

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import cross_val_score, KFold

cv = KFold(5, shuffle=True, random_state=0)

def score(model, X, y, name):
    s = cross_val_score(model, X, y, cv=cv, scoring="r2")   # 或 "roc_auc"
    print(f"{name:24s} {s.mean():.4f} ± {s.std():.4f}")
    return s.mean(), s.std()

score(make_pipeline(StandardScaler(), LinearRegression()), X, y, "baseline")

🎯 T6 诚实性检查清单

🔑 第 ⑤ 条最隐蔽：你用 CV 调了 50 组参数，选了最好的，然后报告那个 CV 分数—— 这个分数已经被你"选"出来了，是乐观的。 正确做法：留一个从头到尾没碰过的测试集，最后只用一次。

✅ 通关标准

• 有一张「baseline → +特征 → +调参」的分数演进表，每行带 ± 标准差
• 能说出哪些改动的提升超过了噪声，哪些没有
• Pipeline 里没有任何在 CV 外部做的预处理

🎁 加分

• 画学习曲线，判断该加数据还是改模型（第 5 章）
• 用 Permutation Importance 而非自带 importance 看特征贡献 （自带的对高基数特征有偏，第 16 章讲过）
• 看一眼预测最差的 20 个样本——它们有共同点吗？那就是下一个特征的线索 ⭐

🥈 项目二：手写神经网络（1–2 天）

目标：不用 PyTorch，纯 numpy 实现一个多层网络并训练到收敛。

练什么：第 7、8、9、10 章 —— 这个项目做完，反向传播就再也忘不掉了。

任务清单

• 任务 T1

  参考用时 · 60 分钟

  实现前向：Linear → ReLU → Linear → Softmax，能跑通形状
• 任务 T2

  参考用时 · 90 分钟

  实现反向传播（第 8 章的模板扩展到多层 + 多分类）
• 任务 T3

  参考用时 · 45 分钟

  ⭐ 梯度检验：数值梯度 vs 解析梯度，相对误差必须 < 1e-6。不通过就别往下走
• 任务 T4

  参考用时 · 60 分钟

  加 mini-batch 训练循环 + 交叉熵损失， 在 load_digits（8×8 手写数字，sklearn 自带）上训练
• 任务 T5

  参考用时 · 60 分钟

  加两个优化器：SGD+Momentum 和 Adam，对比收敛曲线
• 任务 T6

  参考用时 · 45 分钟

  加正则：L2 和 Dropout，观察训练/验证 loss 差距的变化
• 任务 T7

  参考用时 · 30 分钟

  和 sklearn 的 MLPClassifier 对比精度，验证自己实现是对的

🔑 关键提示

# Softmax + 交叉熵的梯度（和第8章的 sigmoid 版一样干净）
import numpy as np
def softmax(z):
    z = z - z.max(axis=1, keepdims=True)      # ⭐ 数值稳定，防 exp 溢出
    e = np.exp(z)
    return e / e.sum(axis=1, keepdims=True)

# 前向：probs = softmax(logits)
# 反向：dlogits = (probs - y_onehot) / n      ← 就这么简单

# ReLU 的反向
dz = da * (z > 0)

⚠️ 形状对不上的自救表（这个项目 80% 的时间会耗在这）

🎯 该看到的数字（对照用）

✅ 通关标准

• 梯度检验通过（相对误差 < 1e-6）—— 这是唯一的硬标准
• 在 digits 上测试精度 > 95%
• Adam 的收敛曲线明显快于 SGD
• 加 Dropout 后训练/验证 gap 缩小

🔗 想更进一步 → 挑战 A 手搓 mini-torch， 那里要求你实现通用的自动微分，而不是写死的四层网络。 🔗 数学不放心 → 数学原理第 12 章 有完整推导。

🥇 项目三：图像迁移学习（1–2 天）

目标：用预训练模型做一个小型图像分类，体验「不从零训练」的威力。

练什么：第 12、15 章。

任务清单

• 任务 T1

  参考用时 · 45 分钟

  数据：torchvision.datasets.CIFAR10（自动下载，170MB）或自己找 3–5 类各 100 张图
• 任务 T2

  参考用时 · 30 分钟

  ⭐ 先跑第 0 步：10 张图能过拟合吗？（第 11 章）
• 任务 T3

  参考用时 · 60 分钟

  基线 A：从零训练一个小 CNN，记录精度和耗时
• 任务 T4

  参考用时 · 60 分钟

  基线 B：ResNet18 预训练 + 冻结主干只训分类头
• 任务 T5

  参考用时 · 60 分钟

  基线 C：ResNet18 预训练 + 全部微调（lr 小 10 倍）
• 任务 T6

  参考用时 · 45 分钟

  加数据增强（翻转、随机裁剪），看 B 和 C 各涨多少
• 任务 T7

  参考用时 · 30 分钟

  三个方案的对比表：精度 / 训练时间 / 数据需求

🔨 B 和 C 的关键代码差异（就这几行）

import torchvision, torch.nn as nn

m = torchvision.models.resnet18(weights="IMAGENET1K_V1")
m.fc = nn.Linear(m.fc.in_features, n_classes)     # 换分类头（两个方案都要）

# ---- 方案 B：冻结主干 ----
for p in m.parameters():
    p.requires_grad = False
for p in m.fc.parameters():
    p.requires_grad = True
opt = torch.optim.AdamW(m.fc.parameters(), lr=1e-3)

# ---- 方案 C：全微调（分层学习率）----⭐
opt = torch.optim.AdamW([
    {"params": [p for n, p in m.named_parameters() if not n.startswith("fc")],
     "lr": 1e-4},                                  # 主干：小 10 倍
    {"params": m.fc.parameters(), "lr": 1e-3},     # 新头：大
])

⚠️ 三个必踩的坑：

🎯 该看到的现象

🔑 这三组数字回答了"什么时候冻结、什么时候全微调"： 数据少 → 冻结（可训参数少，不容易过拟合）； 数据多 → 全微调（能让特征适配你的领域）。 分界大概在每类几百张。

✅ 通关标准

• 迁移学习（B/C）明显优于从零训练（A），且能解释为什么
• 数据增强带来可测量的提升
• 能说出「数据量多少时该冻结、多少时该全微调」

🎁 加分

• 故意只用 100 张训练图，看三个方案的差距会不会拉大 （这才是迁移学习真正的价值，也是上表最有意思的一行）
• 可视化第一层卷积核，看它学到了什么（边缘、颜色块）
• 画混淆矩阵，看哪两类最容易混——通常是语义上真的相似的那两类

📝 项目 README 模板

# 项目名
## 问题定义（数据、任务、指标）
## 结果
| 方案 | CV 分数 | 测试分数 | 备注 |
|------|---------|----------|------|
| baseline | 0.812 ± 0.021 | 0.805 | |
| +特征工程 | 0.847 ± 0.018 | 0.841 | 提升超过噪声 ✅ |
| +调参 | 0.853 ± 0.019 | 0.845 | 提升在噪声内 ⚠️ |
## 关键决策与依据
## 踩过的坑  ← 最加分

💡 "踩过的坑"那一节别省。面试时它比分数有说服力得多—— 分数说明你会调，坑说明你懂原理。

✅ 检查点

1. 做项目的三条规矩是什么？为什么"先跑通全流程"比"精雕细琢半成品"重要？
2. 诚实性检查里最隐蔽的一条是哪个？正确做法是什么？
3. 手写神经网络时，梯度形状怎么快速判断对不对？
4. loss 变成 NaN 的三个常见原因？
5. loss 完全不动的三个常见原因？
6. 迁移学习为什么必须用 ImageNet 的归一化参数？
7. 全微调时主干为什么要用更小的学习率？
8. 数据只有 100 张时，冻结和全微调哪个更好？为什么？

🛑 完成了？

三个高难度挑战在等你：

• ⚙️ 挑战A · 手搓 mini-torch —— 从零造一个自动微分框架
• 🥊 挑战B · 四种解法对决 —— 亲手验证「没有免费的午餐」
• 🔬 挑战C · 过拟合实验室 —— 故意制造并诊断 10 种训练故障

⚡ 走神救援