卷积先看一小块，
同一个规则滑过整张图。

12 · CNN：处理图像

⏱ 30 分钟 ｜ ⭐ 核心

🎯 一句话

CNN 的全部智慧是两条归纳偏置：「局部相关」（相邻像素才有关系）和 「平移不变」（猫在左上角还是右下角都是猫）。把这两条硬编码进网络结构，参数量降几个数量级。

💥 一、为什么图像不能直接用 MLP

🔲 二、卷积：一个小窗口滑过整张图

输入图像 卷积核 3×3 输出特征图

每个位置算一次

两个关键机制：

💡 人话：一个卷积核就是一个「特征探测器」（比如"检测竖直边缘"）， 它滑遍整张图，在哪都用同一套标准。 这就是「平移不变」。

🧮 算一次参数量，感受一下差距

🔑 这就是"归纳偏置很值钱"的最直观证据。 🔗 数学原理第 9 章 PAC 给了它的定量版： 限制假设空间能把样本需求降几个数量级。 CNN 不是"更聪明的 MLP"，而是一个被"图像的结构"约束过的 MLP。

🎨 多通道是怎么回事（最容易卡住的一点）

💡 一句话记住：卷积核在空间上滑动，但在通道上是"一次吃掉全部"的。

⭐ 这句话能不能落到代码里，是「懂了」和「以为懂了」的分界： 🔗 附录 C 第 7 题用 15 行 numpy 把 conv2d 写出来了（和 F.conv2d 误差 0.0）。 那一行 np.tensordot(patch, w, axes=([1,2,3],[1,2,3])) 就是「通道一次吃掉全部」的字面翻译。 顺便还有两个这一节没说的：输出尺寸公式 $\lfloor(H+2p-k)/s\rfloor+1$（记不住就用 padding = k//2 配 stride=1，尺寸不变）， 以及深度学习里的「卷积」严格说是互相关——数学上的卷积要先把核翻转 180°，框架都没翻。主动说出这条是加分项。

🎛️ 三、四个必须懂的超参

import torch.nn as nn
nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)

输出尺寸公式：

下面这条简化公式假设 dilation=1、两侧填充相同。宽度也用相同方法计算。

$$H_{out} = \left\lfloor \frac{H_{in} + 2p - k}{s} \right\rfloor + 1$$

💡 奇数大小的卷积核、dilation=1、stride=1 时，取 padding = kernel_size // 2 可保持尺寸不变。偶数卷积核不能直接套用这个结论。

🏗️ 四、一个典型 CNN 的结构

🔑 层级抽象：浅层学边缘和颜色，中层学纹理和部件，深层学物体概念。 这是"深比宽好"最直观的证据（第 7 章）——每一层都在上一层的基础上组合。

池化 Pooling：取窗口内最大值（MaxPool）或平均值（AvgPool） - 作用：降尺寸、扩大感受野、提供一点平移容忍 - 现代趋势：有时用 stride=2 的卷积替代池化（可学习的降采样比固定规则更灵活）

👁️ 感受野：一个必须建立的直觉

💡 为什么两个 3×3 优于一个 5×5：

🔑 这就是 VGG 的核心发现，也是"3×3 成为现代默认"的原因。

⚠️ 感受野不够的症状：模型能识别小物体但对大物体/整体结构判断差。 解法：加深、加池化、或用空洞卷积（dilated conv）。

🕳️ 三个变体（知道存在即可）

💡 1×1 卷积值得单独理解：它看起来什么都没做，但 它是所有"瓶颈结构"（bottleneck）的核心—— 先用 1×1 把 256 通道压到 64，做完 3×3 再用 1×1 升回 256， 算力降到 1/4 而表达力几乎不变。ResNet-50 及以上全靠它。

📜 五、架构演进（记思想，不必记细节）

⭐ 残差连接：最重要的那一个

为什么它能让网络变深： - 梯度高速公路：反向传播时梯度可以直接通过 + 走捷径，不用穿过所有层 → 缓解梯度消失（第 8 章） - 学残差比学映射容易：网络只需学"要改变多少"，最差就是学成 0（恒等映射）

🔗 你在全景导论主线 2 · 模型怎样看懂一句话看到 Transformer 每层都有残差连接——同一个思想，源头在 ResNet。

💡 六、实践：别从零训练

import torchvision.models as models
import torch.nn as nn

model = models.resnet18(weights="IMAGENET1K_V1")   # 预训练权重
model.fc = nn.Linear(model.fc.in_features, num_classes)   # 换分类头

# 数据少时：冻结主干，只训分类头
for p in model.parameters(): p.requires_grad = False
for p in model.fc.parameters(): p.requires_grad = True

策略选择：

🔗 Kaggle CV 板块（09–12 章）全是这套流程的实战细节。

⚠️ 七、CNN 的假设什么时候会害你

解法：把位置作为额外通道喂进去（CoordConv），或改用带位置编码的 Transformer。

🔗 这正是数学原理第 11 章说的 「算法的专长是守恒的」——CNN 在图像分类上的优势， 换个任务就变成了负担。归纳偏置永远是双刃剑。

🔗 和站内其他章的关系

✅ 检查点

1. CNN 硬编码了哪两条归纳偏置？靠什么机制实现？
2. 算一下：224×224×3 → 64 个特征图，MLP 和卷积的参数量差多少倍？
3. 卷积核在通道维度上是怎么工作的？参数量公式是什么？
4. padding 怎么设能保持尺寸不变？
5. 感受野怎么增长？为什么两个 3×3 优于一个 5×5？
6. 1×1 卷积在做什么？为什么它是"瓶颈结构"的核心？
7. 残差连接为什么能让网络变深？（两个理由）
8. CNN 的平移不变在什么任务上会变成负担？
9. 数据只有 500 张图，该怎么做？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 13-RNN与序列建模.md