📑 本页目录(点开跳转)
12 / 先看直觉,再看细节
卷积先看一小块,
同一个规则滑过整张图。
32格输入,为什么会输出16格?
卷积通过局部连接与权重共享利用图像结构;先跟踪尺寸,再堆网络。
逐层算清NCHW与参数/MAC,解释卷积假设和迁移学习的使用条件。
先抓住一个具体结果
32 格输入,输出为什么是 16 格?
高度 32,卷积核 3,左右各补 1,步幅 2:先算 (32+2−3)/2,向下取整后加 1,得到 16。这里假设 dilation=1,宽度同理。
卷积输出高度(dilation=1)
12 · CNN:处理图像
⏱ 30 分钟 | ⭐ 核心
🎯 一句话
CNN 的两条常用归纳偏置是局部连接与权重共享。局部卷积可逐层扩大感受野;在边界和步幅等条件适当时,输入平移对应特征图平移,即平移等变。分类端的汇聚可增加对位置变化的不敏感性。
图内可左右滑动;需要时可放大阅读。
💥 一、为什么图像不能直接用 MLP
结果对照
🔲 二、卷积:一个小窗口滑过整张图
输入图像 卷积核 3×3 输出特征图
图内可左右滑动;需要时可放大阅读。
每个位置算一次
两个关键机制:
| 机制 | 含义 | 好处 |
|---|---|---|
| 局部连接 | 每个输出只看输入的一个小窗口 | 单通道3×3窗口每个输出连9个输入;整层参数还取决于位置与权重共享 |
| 权重共享 ⭐ | 同一个卷积核滑遍全图 | 平移等变(有条件)+ 参数共享 |
💡 人话:一个卷积核就是一个「特征探测器」(比如"检测竖直边缘"), 它滑遍整张图,在哪都用同一套标准。这是权重共享。在适当的步幅与边界条件下,输入平移会使特征图相应平移,叫“平移等变”,不等于输出完全不变。
🧮 算一次参数量,感受一下差距
信息关系
🔑 这就是"归纳偏置很值钱"的最直观证据。 🔗 数学原理第 9 章 PAC 给了它的定量版: 限制假设空间能把样本需求降几个数量级。 CNN 不是"更聪明的 MLP",而是一个被"图像的结构"约束过的 MLP。
🎨 多通道是怎么回事(最容易卡住的一点)
因果链
💡 普通卷积(groups=1)在空间上滑动,一个输出通道会对全部输入通道加权求和。分组卷积的连接范围不同。
想对应到代码,可以看附录 C 第 7 题。其中 np.tensordot(patch, w, axes=([1,2,3],[1,2,3])) 把普通卷积窗口中的空间和输入通道一起求和;该示例与 F.conv2d 的历史对拍误差为 0.0,不是所有环境的逐位保证。
- 分组边界:这里描述的是
groups=1的普通卷积。分组或深度卷积并非每个核都连接所有输入通道。 - 尺寸边界:$\lfloor(H+2p-k)/s\rfloor+1$ 假设 dilation=1、两侧填充相同;奇数核再配 stride=1、padding=k//2,才可用这里的尺寸不变结论。
- 运算约定:PyTorch Conv2d计算的是互相关,不会先把核翻转;数学卷积的定义不同。
🎛️ 三、四个必须懂的超参
import torch.nn as nn
nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)
| 参数 | 含义 | 经验 |
|---|---|---|
kernel_size |
窗口大小 | 3×3 是现代默认(两个 3×3 ≈ 一个 5×5 但参数更少、非线性更多) |
stride |
每次滑几格 | 1(保持尺寸)或 2(尺寸减半) |
padding |
边缘补零 | padding=1 配 kernel=3 可保持尺寸不变 ⭐ |
out_channels |
用多少个不同的卷积核 | 越深越多:64→128→256→512 |
输出尺寸公式:
下面这条简化公式假设 dilation=1、两侧填充相同。宽度也用相同方法计算。
$$H_{out} = \left\lfloor \frac{H_{in} + 2p - k}{s} \right\rfloor + 1$$
💡 奇数大小的卷积核、dilation=1、stride=1 时,取
padding = kernel_size // 2可保持尺寸不变。偶数卷积核不能直接套用这个结论。
🏗️ 四、一个典型 CNN 的结构
图内可左右滑动;需要时可放大阅读。
另一种看法:卷积层如何逐层提取特征
图内可左右滑动;需要时可放大阅读。
🔑 层级抽象:浅层学边缘和颜色,中层学纹理和部件,深层学物体概念。 这是"深比宽好"最直观的证据(第 7 章)——每一层都在上一层的基础上组合。
池化 Pooling:取窗口内最大值(MaxPool)或平均值(AvgPool)
- 作用:降尺寸、扩大感受野、提供一点平移容忍
- 现代趋势:有时用 stride=2 的卷积替代池化(可学习的降采样比固定规则更灵活)
👁️ 感受野:一个必须建立的直觉
算一算
感受野 = 一个输出神经元"能看到"输入的多大区域
1 层 3×3 卷积 → 感受野 3×3
2 层 3×3 卷积 → 感受野 5×5
3 层 3×3 卷积 → 感受野 7×7 (每加一层 +2)
加一次 stride=2 池化 → 之后每层的感受野【翻倍增长】⭐
⭐ 所以池化不只是"省算力",它是【快速扩大感受野】的主要手段
💡 为什么两个 3×3 优于一个 5×5:
| 一个 5×5 | 两个 3×3 | |
|---|---|---|
| 感受野 | 5×5 | 5×5(一样) |
| 参数量 | 25·C² | 18·C²(少 28%) ⭐ |
| 非线性 | 1 次 ReLU | 2 次 ReLU(表达力更强) ⭐ |
🔑 这就是 VGG 的核心发现,也是"3×3 成为现代默认"的原因。
⚠️ 感受野不够的症状:模型能识别小物体但对大物体/整体结构判断差。 解法:加深、加池化、或用空洞卷积(dilated conv)。
🕳️ 卷积变体:分清连接、尺寸与代价
前面是 groups=1 的普通卷积。选变体时,先问谁与谁相连、输出多大、在哪个预算下比较,不要只背“更省”或“能上采样”。下面以方形核说明,宽度方向同理。
| 机制 | 每个输出怎么来 | 尺寸与代价 | 常见用途/取舍 |
|---|---|---|---|
| 普通卷积 | 局部窗口内,对全部输入通道加权求和,产生各输出通道 | 无偏置权重数为 $k^2C_{in}C_{out}$;stride/padding决定是否下采样 | 同时学习空间与通道组合,作为其他变体的比较基准 |
| 空洞卷积 | 相邻核采样点间隔为dilation=d;不是增加可学习的核元素 | 有效核跨度变为 $d(k-1)+1$;同Cin/Cout/k时权重数不因d增加 | 分割等需要更大上下文的任务;维持分辨率要相应选padding,不是自动不降采样 |
| 深度可分离卷积 | 先depthwise逐通道做空间卷积,再用1×1 pointwise混合通道 | 这里取depth multiplier=1:depthwise的groups=Cin且Cout=Cin;pointwise再映到目标Cout | 移动端等预算受限场景;因子化约束改变表达能力,精度与实际速度需验证 |
| 转置卷积 | 把输入按学到的权重向输出位置散布,重叠处相加;stride>1可用插零后的卷积理解 | 输出尺寸用转置公式;是可学习的上采样候选,不是普通卷积的真逆 | 解码器/生成/分割中的分辨率恢复;留意重叠不均与棋盘伪影,也可比较resize+conv |
先把普通与空洞的尺寸算对。对称填充p、步幅s、dilation=d,输入高H,核边长k:
$$k_{eff}=d(k-1)+1,\qquad H_{out}=\left\lfloor\frac{H+2p-k_{eff}}{s}\right\rfloor+1$$
例如H=7、k=3、s=1,普通卷积d=1配p=1得7;空洞d=2使有效跨度为5,配p=2仍得7。采样点仍只有3×3个,不是把5×5个权重都学一遍;更大的跨度也不是插值补回细节。
先算权重,再谈“省多少”
固定Cin=8、Cout=16、k=3,忽略bias/BN参数。普通卷积:$9\times8\times16=1152$ 个权重。
depthwise(multiplier=1):$9\times8=72$;随后pointwise:$8\times16=128$;合计200,是普通卷积的约17.4%,并非任何配置都固定省8~9倍。
当两种方案的输出空间相同、depthwise与pointwise在同一输出网格运算时,相应卷积MAC也有比值 $\frac{1}{C_{out}}+\frac{1}{k^2}$。实际时延还受内存访问、实现、批量和硬件影响;这里没有运行模型或测速。
1×1卷积仍值得单独理解:它不混合相邻空间位置,而是在每个位置混合通道;在上面的分离卷积里正是pointwise。它也可组成瓶颈:在相同空间网格上,用256→64的1×1、64→64的3×3、64→256的1×1,忽略bias/BN共有 $256\times64+9\times64^2+64\times256=69632$ 个权重,直接256→256的3×3为589824。这个例子约为原来的11.8%,不是通用“算力降到1/4、表达力几乎不变”的保证;空间尺寸变化、激活和实现都会影响代价,精度需验证。
转置不是求逆。固定权重后,把普通卷积的线性部分写成矩阵A,转置方向对应 $A^T$,通常不满足 $A^TA=I$。学出更大特征图不等于恢复原图中已经丢失的信息;实际转置卷积层也会学习自己的权重。
PyTorch ConvTranspose2d的高度公式(对称p,宽度同理)是:
$$H_{out}=(H_{in}-1)s-2p+d(k-1)+output\_padding+1$$
输出大一格,是形状选择,不是补回一个像素
取Hin=3、k=3、s=2、p=1、d=1:output_padding=0时输出高5;取1时为6。普通卷积用同一k/s/p/d,可把高5和高6都映到高3,所以反向尺寸不唯一。
output_padding用来消解这种尺寸歧义,不会在最终输出边缘实际添加一圈零。它也不能保证内容复原;不要把输出“变大”直接叫作逆运算。
伪影与替代要分开评估:核大小不能被步幅整除时,不同输出位置可能收到不同次数的贡献,二维重叠会形成棋盘风险;即使整除,学到的核也可能产生伪影。可比较先nearest/bilinear插值、再普通卷积的 resize+conv,把固定上采样与可学习特征变换拆开;它也不是所有任务上绝无伪影或精度更好的保证。
📚 机制、公式与伪影的第一方依据
尺寸、groups及output_padding见 PyTorch Conv2d与ConvTranspose2d;depthwise+pointwise及计算量条件见MobileNet原论文第3.1节;重叠、棋盘伪影及resize-convolution见Odena等人的原始分析。本节的参数量与尺寸例为条件明确的教学手算,不是部署或图像效果实测。
📜 五、架构演进(记思想,不必记细节)
| 架构 | 年份 | 关键贡献 |
|---|---|---|
| LeNet | 1998 | 第一个成功的 CNN |
| AlexNet | 2012 | ReLU + Dropout + GPU,深度学习引爆点 |
| VGG | 2014 | 全部用 3×3,证明「深度」的价值 |
| ResNet ⭐ | 2015 | 残差连接,让上百层可训练 |
| MobileNet | 2017 | 深度可分离卷积,移动端 |
| EfficientNet | 2019 | 复合缩放(深度/宽度/分辨率一起调) |
| ConvNeXt | 2022 | 借鉴 Transformer 设计的现代 CNN |
⭐ 残差连接:最重要的那一个
图内可左右滑动;需要时可放大阅读。
[Conv-BN-ReLU] 照常算,另外拉一条什么都不做的捷径,把 x 原样送到加号那里。⭐ 关键就在那个 +:反向传播时梯度可以顺捷径原样穿回去,不必挤过中间每一层 —— 这就是上百层能训起来的原因。为什么它能让网络变深:
- 梯度高速公路:反向传播时梯度可以直接通过 + 走捷径,不用穿过所有层 → 缓解梯度消失(第 8 章)
- 学残差比学映射容易:网络只需学"要改变多少",最差就是学成 0(恒等映射)
🔗 你在全景导论主线 2 · 模型怎样看懂一句话看到 Transformer 每层都有残差连接——同一个思想,源头在 ResNet。
💡 六、实践:别从零训练
流程图
import torchvision.models as models
import torch.nn as nn
model = models.resnet18(weights="IMAGENET1K_V1") # 预训练权重
model.fc = nn.Linear(model.fc.in_features, num_classes) # 换分类头
# 数据少时:冻结主干,只训分类头
for p in model.parameters(): p.requires_grad = False
for p in model.fc.parameters(): p.requires_grad = True
策略选择:
| 数据量 | 做法 |
|---|---|
| < 1000 张 | 冻结主干,只训分类头 |
| 1000–1 万 | 微调最后几层,小 lr |
| > 1 万 | 全部微调,lr 比从零训小 10 倍 |
🔗 Kaggle CV 板块(09–12 章)全是这套流程的实战细节。
⚠️ 七、CNN 的假设什么时候会害你
对照
位置边界:卷积特征图保留空间布局;全局汇聚等操作才可能丢掉精确位置
✅ 适合:图像分类(猫在哪都是猫)
位置敏感任务需保留空间输出或加入位置线索,CNN本身也可用于检测、分割
· 医学影像:"病灶在左肺还是右肺"
· 文档理解:"这个数字在表格的哪一列"
· 界面识别:"按钮在屏幕上部还是下部"
解法:把位置作为额外通道喂进去(CoordConv),或改用带位置编码的 Transformer。
🔗 这正是数学原理第 11 章说的 「算法的专长是守恒的」——CNN 在图像分类上的优势, 换个任务就变成了负担。归纳偏置永远是双刃剑。
🍐 八、同一张图,应该交回什么?
传送带上有两个靠得很近的梨。只要决定把整张照片送去哪个品类队列,交回「梨」就够了。机器人要抓取时,还得知道两个梨分别在哪。质检要沿着每个梨的轮廓量面积,框进来的背景也会干扰结果。
上一节说过,卷积特征图还保留空间网格。这里要先选输出头,也就是把特征变成任务答案的最后一段网络。先看四种答案,留意「两个梨」在什么时候变成两个可区分的对象。
给整图一个标签。这里输出「梨」。
给每个目标一个框、类别和分数。这里有两条「梨」记录。
每个像素标「梨」或「背景」。同类像素没有单独的梨编号。
给每个梨一张掩码,也就是标出哪些像素属于这一只梨。
分类头可以把空间位置汇聚成整图分数。检测和分割要回答「在哪里」,因此需要保留或恢复足够的空间信息。先定要输出什么,再决定标注格式与评分方式。翻转训练图时,检测框和分割掩码也要跟着翻转。
画框偏了一格,算对吗?
检测器把左边的梨认对了,但预测框向右偏了一格。整图的分类标签仍然正确,可是机器人会抓偏。我们需要一个分数,既奖励两个框盖到同一处,也惩罚框太大或偏到别处。
交并比(Intersection over Union,IoU)问的是「两个框覆盖过的地方里,有多少被它们共同覆盖?」所以用交集面积除以并集面积。这里两个框都是坐标有限、面积为正的轴对齐矩形,采用连续坐标 (x_min, y_min, x_max, y_max)。下标表示边界的最小值和最大值,x 向右、y 向下,单位用像素长度,宽是右减左、高是下减上,不加 1。
用 $G$ 表示标注框,$D$ 表示预测框,$|\cdot|$ 表示区域的面积(平方像素)。$\cap$ 是两框共同覆盖的交集,$\cup$ 是至少一个框覆盖的并集。直接相加两框面积会把重叠算两次,所以并集要减回一次交集。交集包含于并集,IoU 是 0 到 1 之间的无单位比值。
把图中的格子代进去
标注框 $G=(1,1,5,4)$,面积 $(5-1)(4-1)=12$。
预测框 $D=(2,1,6,4)$,面积 $(6-2)(4-1)=12$。
交集先取较大的左、上边界与较小的右、下边界,得到 $(2,1,5,4)$。面积 $(5-2)(4-1)=9$。
并集面积是 $12+12-9=15$,所以 IoU $=9/15=0.60$。
0.60 表示共同覆盖了并集的六成。只接触边缘或完全分离时,交集面积为 0;框完全相同时,IoU 为 1。类别判对也可能框错,因此框 IoU 衡量位置重合,分类准确率衡量样本标签判对的比例。算掩码 IoU 时,分子和分母改用同一像素网格上的交集、并集像素数。
把手算翻成代码,只需「检查框 → 算重叠宽高 → 交集除以并集」。重叠宽或高为负时取 0。下例只用 Python 标准功能,输入是上面的演示框,没有训练或调参。
def box_iou(label_box, predicted_box):
gx0, gy0, gx1, gy1 = label_box
dx0, dy0, dx1, dy1 = predicted_box
label_width, label_height = gx1 - gx0, gy1 - gy0
pred_width, pred_height = dx1 - dx0, dy1 - dy0
if min(label_width, label_height, pred_width, pred_height) <= 0:
raise ValueError("Boxes must have positive width and height")
overlap_width = max(0, min(gx1, dx1) - max(gx0, dx0))
overlap_height = max(0, min(gy1, dy1) - max(gy0, dy0))
intersection = overlap_width * overlap_height
union = label_width * label_height + pred_width * pred_height - intersection
return intersection / union
label = (1, 1, 5, 4)
print(f"{box_iou(label, (2, 1, 6, 4)):.2f}")
print(f"{box_iou(label, (5, 1, 9, 4)):.2f}")
print(f"{box_iou(label, label):.2f}")
三行依次输出 0.60、0.00、1.00,对应偏一格、只接触边缘和完全重合。每个输入框有四个数;函数返回一个 IoU。宽或高非正的框需要先修正,不能当成正常评估框。
两个预测框都圈着同一个梨,能算两次吗?
这张图有两个梨。假设模型给左梨交回两个相同的框,分数分别为 0.90 和 0.70;二者与左梨的 IoU 都是 0.60,与右梨均不达标。右梨没有其他预测框。
先看一个普通评估例子:在同一张图、同一类别内,约定 IoU 至少 0.50 才能匹配,且每个标注最多匹配一次。评估器按预测分数从高到低处理,在未匹配的合格标注中找 IoU 最大的一个。IoU 阈值管位置是否够准,预测分数管谁先匹配。
- 0.90 的框先匹配左梨,记一个真正例(TP)。
- 0.70 的框找不到可匹配的梨,记一个假正例(FP)。它与左梨的重合度没变,但左梨已经被匹配。
- 右梨漏掉,记一个假负例(FN)。沿用第 05 章的分母,精确率是 $1/(1+1)=0.50$(报了两个,只有一个算对),召回率也是 $1/(1+1)=0.50$(真实有两个,找回一个)。
评估多个置信度截点时,会得到一组精确率和召回率。平均精确率(Average Precision,AP)汇总一类在这条曲线上的表现;平均 AP(mean Average Precision,mAP)再汇总类别。报告时要写出协议。例如 COCO 的主 AP 在 0.50 到 0.95 的十个 IoU 阈值上取平均,而 AP50 只用 0.50。正式评估还有插值、每图检测数量、忽略标注和拥挤区域等规则。
实战中,用验证集选后处理方案,用隔离的测试集做最终报告。Kaggle 第 12 章继续讲预测框怎样去重。那一步比较预测框与预测框,这里的匹配比较预测框与标注框。
先问要交回类别、框还是掩码。算 IoU 时先找交集,再用两块面积相加并减去交集。给检测计分时,一个普通标注只能领走一个合格预测。
延伸阅读可查阅 COCO 检测评估说明和 COCO 官方评估实现。
🔗 和站内其他章的关系
| 相关的地方 | 这里的对应 |
|---|---|
| 第 7 章"深比宽好" | 层级抽象是最直观的证据 |
| 第 8 章梯度消失 | 残差连接是解法 |
| 数学原理第 9 章 PAC | 归纳偏置降低样本需求的定量版 |
| 数学原理第 11 章 NFL | 为什么过度丢失位置有时是负担 |
| Kaggle 第 9–12 章 CV 竞赛 | 本章的实战版(检测/分割/框融合) |
| 全景导论第 10 章的 ViT | ViT 用 Transformer 替代了 CNN,但 patch 切分借鉴了卷积思想 |
| 全景导论主线 2 的残差连接 | 源头就是本章的 ResNet |
| 推荐算法第 13 章的图像 Embedding | 就是 CNN 倒数第二层的输出 |
| 扩散模型 07 · 去噪主干:U-Net 与 DiT | ⭐ 卷积、下采样、跳跃连接的一个完整用场:U-Net 靠跳跃连接把高频细节直接送到解码器 —— 那一章实测 8 倍下采样后高频保留 0.0000,一点不剩 |
✅ 检查点
共 10 题:8 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. CNN 硬编码了哪两条归纳偏置?
看答案与解析
答案:A
局部连接与权重共享;多层可扩大感受野,卷积特征图保留位置。适当条件下是平移等变,分类汇聚才可能增加不变性。
判断2. 224×224×3 → 64 个特征图时,MLP 权重 9,633,792、卷积权重 1,728,所以同输出任务下卷积省 5575 倍。
看答案与解析
答案:错误
两者不含 bias 的权重分别为 9,633,792 与 1,728,但 MLP 输出64个数,卷积输出64张图;不能据此宣称同输出任务节省5575倍。若含 bias,两边各加64。
单选3. 卷积层的参数量公式是?
看答案与解析
答案:B
卷积核也是三维的,深度必须等于输入通道数,在通道上"一次吃掉全部",只在空间上滑动。参数量 = k × k × C_in × C_out(+ C_out 个 bias)。
单选4. padding 怎么设能保持尺寸不变?
看答案与解析
答案:B
padding = kernel_size // 2,配合 stride=1。
单选5. 两个 3×3 卷积相比一个 5×5 卷积?
看答案与解析
答案:C
当之前累计步幅为1、dilation=1时,每层3×3使理论感受野边长加2;一般增量为 (k−1)×dilation×此前累计步幅。两个 3×3 与一个 5×5 感受野相同,但参数少 28%、多一次 ReLU(表达力更强)——这是 VGG 的核心发现。
单选6. 1×1 卷积在做什么?
看答案与解析
答案:C
不看空间,只在通道间做线性组合——用来降/升通道数和跨通道融合。瓶颈结构:在相同空间网格上,256→64的1×1、64→64的3×3、64→256的1×1,忽略bias/BN时共69632个权重,直接256→256的3×3为589824;权重比69632/589824≈11.8%,这些卷积在同一网格运算时MAC比也相同。精度和实际时延需验证。
单选7. 残差连接为什么能让网络变深?
看答案与解析
答案:B
①梯度高速公路:反传时梯度可直接走捷径,不必穿过所有层,缓解梯度消失;②学残差比学完整映射容易,最差学成 0(恒等映射)就行。
判断8. 卷积特征图本来保留空间网格;分割、定位任务可以接空间输出头,不必把整个 CNN 排除在外。
看答案与解析
答案:正确
定位、分割或文档位置任务需要保留空间信息。卷积特征图本来保留网格,可采用空间输出头;也可评估显式坐标或位置编码,不能把整个CNN排除。
单选9. 数据只有 500 张图,该怎么做?
看答案与解析
答案:A
迁移学习:用 ImageNet 预训练模型,冻结主干只训分类头,配合强数据增强。把预训练作为候选并与简单基线比较;第17章百分比为条件不完整的原稿参考值,不是通用保证。
单选10. 要逐像素区分两只梨,该选哪项任务?再看正文的检测例,把 IoU 门槛提高到 0.75,哪个框能匹配?
看答案与解析
答案:C
每只梨都要自己的掩码,所以用实例分割。两个预测框的 IoU 都只有 0.60,未到 0.75;0.90 是模型给的排序分数,不能替代 IoU。
本节回顾
卷积通过局部连接与权重共享利用图像结构;先跟踪尺寸,再堆网络。
⚡ 走神救援
先记住这几件事
- 卷积用局部连接和共享权重提取模式,不是给每个像素单独学一套规则。
- 跟踪每层的通道数、空间尺寸与感受野,先弄清信息怎样流动。
- 分类头、训练模式和数据增强都要与任务对应;用验证集检验设计。
下一节 👉 13-RNN与序列建模.md