跳到主要内容
🏠 总目录📚 本教程 12 · CNN 处理图像 ← →
📑 本页目录(点开跳转)

12 / 先看直觉,再看细节

卷积先看一小块,
同一个规则滑过整张图。

32格输入,为什么会输出16格?

卷积通过局部连接与权重共享利用图像结构;先跟踪尺寸,再堆网络。

逐层算清NCHW与参数/MAC,解释卷积假设和迁移学习的使用条件。

先抓住一个具体结果

32 格输入,输出为什么是 16 格?

高度 32,卷积核 3,左右各补 1,步幅 2:先算 (32+2−3)/2,向下取整后加 1,得到 16。这里假设 dilation=1,宽度同理。

卷积输出高度(dilation=1)

$$H_{out}=\left\lfloor\frac{H_{in}+2p-k}{s}\right\rfloor+1$$

12 · CNN:处理图像

⏱ 30 分钟 | ⭐ 核心


🎯 一句话

CNN 的两条常用归纳偏置是局部连接与权重共享。局部卷积可逐层扩大感受野;在边界和步幅等条件适当时,输入平移对应特征图平移,即平移等变。分类端的汇聚可增加对位置变化的不敏感性。

图内可左右滑动;需要时可放大阅读。

输入同一个 3×3 的核,在整张图上滑过去→ 权重共享:参数量和图片大小无关×核输出特征图窗口里的 9 个数 → 输出 1 个数
同一个 3×3 的核在整张图上滑过去,每次把窗口里的 9 个数变成 1 个数。⭐ 关键是整张图共用这一个核 —— 所以参数量和图片多大无关,而且「边缘」这个概念在左上角和右下角是同一套。

💥 一、为什么图像不能直接用 MLP

结果对照

一张 224×224 的彩色图 = 224×224×3 = 150,528 个数
接一个 1000 维的全连接层→1.5 亿个参数(就这一层!)
❌ 参数爆炸
❌ 完全没利用「相邻像素相关」这个先验
❌ 图片平移一个像素,所有权重都要重新学

🔲 二、卷积:一个小窗口滑过整张图

输入图像 卷积核 3×3 输出特征图

图内可左右滑动;需要时可放大阅读。

卷积:一个小窗口在图上滑,每次做一次逐元素相乘再求和输入(▓ = 有信号的像素)⊛101010101卷积核(要找的图案)=输出(亮 = 这块像那个图案)核在输入上逐格滑动,每停一次算一个输出格;所以同一组权重被全图复用
⭐ 关键不是「怎么算」,是同一个核在整张图上重复使用 —— 这就是卷积比全连接省几个数量级参数的原因。

每个位置算一次

两个关键机制:

机制 含义 好处
局部连接 每个输出只看输入的一个小窗口 单通道3×3窗口每个输出连9个输入;整层参数还取决于位置与权重共享
权重共享 ⭐ 同一个卷积核滑遍全图 平移等变(有条件)+ 参数共享

💡 人话:一个卷积核就是一个「特征探测器」(比如"检测竖直边缘"), 它滑遍整张图,在哪都用同一套标准。这是权重共享。在适当的步幅与边界条件下,输入平移会使特征图相应平移,叫“平移等变”,不等于输出完全不变。

🧮 算一次参数量,感受一下差距

信息关系

参数量举例(不含 bias):以下两层输出对象不同
MLP:150,528 × 64 = 9,633,792 个权重,输出64个数
卷积:3×3×3×64 = 1,728 个权重,输出64张特征图 ⭐
权重数量比约5575,但不是等输出的公平对比
stride=1、padding=1时输出为224×224×64;核在各位置共享,边界含填充

🔑 这就是"归纳偏置很值钱"的最直观证据。 🔗 数学原理第 9 章 PAC 给了它的定量版: 限制假设空间能把样本需求降几个数量级。 CNN 不是"更聪明的 MLP",而是一个被"图像的结构"约束过的 MLP。

🎨 多通道是怎么回事(最容易卡住的一点)

因果链

输入:H × W × C_in (比如 224×224×3,RGB 三通道)
卷积核:k × k × C_in ← ⭐ 卷积核【也是三维的】,深度必须等于输入通道数
一个核→一张 H'×W'×1 的特征图
要 C_out 个特征图?→用 C_out 个这样的核
⭐ 所以参数量 = k × k × C_in × C_out (+ C_out 个 bias)

💡 普通卷积(groups=1)在空间上滑动,一个输出通道会对全部输入通道加权求和。分组卷积的连接范围不同。

想对应到代码,可以看附录 C 第 7 题。其中 np.tensordot(patch, w, axes=([1,2,3],[1,2,3])) 把普通卷积窗口中的空间和输入通道一起求和;该示例与 F.conv2d 的历史对拍误差为 0.0,不是所有环境的逐位保证。

  • 分组边界:这里描述的是 groups=1 的普通卷积。分组或深度卷积并非每个核都连接所有输入通道。
  • 尺寸边界:$\lfloor(H+2p-k)/s\rfloor+1$ 假设 dilation=1、两侧填充相同;奇数核再配 stride=1、padding=k//2,才可用这里的尺寸不变结论。
  • 运算约定:PyTorch Conv2d计算的是互相关,不会先把核翻转;数学卷积的定义不同。

🎛️ 三、四个必须懂的超参

import torch.nn as nn
nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)
参数 含义 经验
kernel_size 窗口大小 3×3 是现代默认(两个 3×3 ≈ 一个 5×5 但参数更少、非线性更多)
stride 每次滑几格 1(保持尺寸)或 2(尺寸减半)
padding 边缘补零 padding=1 配 kernel=3 可保持尺寸不变 ⭐
out_channels 用多少个不同的卷积核 越深越多:64→128→256→512

输出尺寸公式:

下面这条简化公式假设 dilation=1、两侧填充相同。宽度也用相同方法计算。

$$H_{out} = \left\lfloor \frac{H_{in} + 2p - k}{s} \right\rfloor + 1$$

💡 奇数大小的卷积核、dilation=1、stride=1 时,取 padding = kernel_size // 2 可保持尺寸不变。偶数卷积核不能直接套用这个结论。


🏗️ 四、一个典型 CNN 的结构

图内可左右滑动;需要时可放大阅读。

图像经过网络后,尺寸怎么变? 独立尺寸示例,按批次、通道、高、宽排列。输入N乘3乘32乘32。3到8通道的3格卷积,步幅1、填充1,得到N乘8乘32乘32;ReLU不改尺寸。2格步幅2最大池化得到N乘8乘16乘16。8到16通道的3格卷积,步幅1、填充1,得到N乘16乘16乘16。全局平均池化只平均空间高宽,得到N乘16乘1乘1;展平后N乘16;线性层得到N乘10个logits。卷积均采用dilation等于1、groups等于1,且有偏置。本图不代表当前章节训练代码的结构或实跑结果。 图像经过网络后,尺寸怎么变? 独立尺寸示例 · 不是本章训练结果 顺序 NCHW:批次 N / 通道 C / 高 H / 宽 W 输入:N × 3 × 32 × 32 Conv 3 → 8 · k=3 / s=1 / p=1 N × 8 × 32 × 32 空间不变,通道 3 → 8;ReLU 不改尺寸 MaxPool · k=2 / s=2 / p=0 N × 8 × 16 × 16 高、宽各减半;通道仍是 8 Conv 8 → 16 · k=3 / s=1 / p=1 N × 16 × 16 × 16 空间不变,通道 8 → 16;ReLU 不改尺寸 GlobalAvgPool · 每通道取空间均值 N × 16 × 1 × 1 只平均 H / W,保留 N / C Flatten(1) · 展平非批次维 N × 16 Linear(16, 10) N × 10 个 logits 卷积:dilation=1 / groups=1 / bias=True 池化:ceil_mode=False;N 始终不变
独立小网络的尺寸示例,按NCHW读每个输出形状。卷积可改通道,池化缩小空间;GAP只平均高宽,展平后再输出10类logits。它用于手算尺寸,通道配置不代表本章其他网络或训练结果。
另一种看法:卷积层如何逐层提取特征

图内可左右滑动;需要时可放大阅读。

空间 ↓ 通道 ↑ 图像 224×224×3 [Conv 3×3 + BN + ReLU] ×2 提取低级特征(边缘、颜色块) MaxPool 2×2 → 112×112 降采样,扩大感受野 [Conv + BN + ReLU] ×2 中级特征(纹理、部件) MaxPool → 56×56 ... 重复几次 ... 高级特征(眼睛、轮子) GlobalAvgPool → 512 维向量 ⭐ 现代做法,替代大全连接层 Linear(512, 类别数)
从上往下走一遍:空间尺寸一路变小、通道数一路变多(左边两小列就是这两个趋势)。⭐ 真正要记的是右边那列 —— 浅层学边缘和颜色,中层学纹理和部件,深层学物体概念,每一层都在上一层的基础上组合。

🔑 层级抽象:浅层学边缘和颜色,中层学纹理和部件,深层学物体概念。 这是"深比宽好"最直观的证据(第 7 章)——每一层都在上一层的基础上组合。

池化 Pooling:取窗口内最大值(MaxPool)或平均值(AvgPool) - 作用:降尺寸、扩大感受野、提供一点平移容忍 - 现代趋势:有时用 stride=2 的卷积替代池化(可学习的降采样比固定规则更灵活)

👁️ 感受野:一个必须建立的直觉

算一算

感受野 = 一个输出神经元"能看到"输入的多大区域

1 层 3×3 卷积 → 感受野 3×3

2 层 3×3 卷积 → 感受野 5×5

3 层 3×3 卷积 → 感受野 7×7 (每加一层 +2)

加一次 stride=2 池化 → 之后每层的感受野【翻倍增长】⭐

⭐ 所以池化不只是"省算力",它是【快速扩大感受野】的主要手段

💡 为什么两个 3×3 优于一个 5×5:

一个 5×5 两个 3×3
感受野 5×5 5×5(一样)
参数量 25·C² 18·C²(少 28%) ⭐
非线性 1 次 ReLU 2 次 ReLU(表达力更强) ⭐

🔑 这就是 VGG 的核心发现,也是"3×3 成为现代默认"的原因。

⚠️ 感受野不够的症状:模型能识别小物体但对大物体/整体结构判断差。 解法:加深、加池化、或用空洞卷积(dilated conv)。

🕳️ 卷积变体:分清连接、尺寸与代价

前面是 groups=1 的普通卷积。选变体时,先问谁与谁相连、输出多大、在哪个预算下比较,不要只背“更省”或“能上采样”。下面以方形核说明,宽度方向同理。

四种机制的对照;尺寸结论均需带上stride、padding和dilation
机制每个输出怎么来尺寸与代价常见用途/取舍
普通卷积局部窗口内,对全部输入通道加权求和,产生各输出通道无偏置权重数为 $k^2C_{in}C_{out}$;stride/padding决定是否下采样同时学习空间与通道组合,作为其他变体的比较基准
空洞卷积相邻核采样点间隔为dilation=d;不是增加可学习的核元素有效核跨度变为 $d(k-1)+1$;同Cin/Cout/k时权重数不因d增加分割等需要更大上下文的任务;维持分辨率要相应选padding,不是自动不降采样
深度可分离卷积先depthwise逐通道做空间卷积,再用1×1 pointwise混合通道这里取depth multiplier=1:depthwise的groups=Cin且Cout=Cin;pointwise再映到目标Cout移动端等预算受限场景;因子化约束改变表达能力,精度与实际速度需验证
转置卷积把输入按学到的权重向输出位置散布,重叠处相加;stride>1可用插零后的卷积理解输出尺寸用转置公式;是可学习的上采样候选,不是普通卷积的真逆解码器/生成/分割中的分辨率恢复;留意重叠不均与棋盘伪影,也可比较resize+conv

先把普通与空洞的尺寸算对。对称填充p、步幅s、dilation=d,输入高H,核边长k:

$$k_{eff}=d(k-1)+1,\qquad H_{out}=\left\lfloor\frac{H+2p-k_{eff}}{s}\right\rfloor+1$$

例如H=7、k=3、s=1,普通卷积d=1配p=1得7;空洞d=2使有效跨度为5,配p=2仍得7。采样点仍只有3×3个,不是把5×5个权重都学一遍;更大的跨度也不是插值补回细节。

先算权重,再谈“省多少”

固定Cin=8、Cout=16、k=3,忽略bias/BN参数。普通卷积:$9\times8\times16=1152$ 个权重。

depthwise(multiplier=1):$9\times8=72$;随后pointwise:$8\times16=128$;合计200,是普通卷积的约17.4%,并非任何配置都固定省8~9倍。

当两种方案的输出空间相同、depthwise与pointwise在同一输出网格运算时,相应卷积MAC也有比值 $\frac{1}{C_{out}}+\frac{1}{k^2}$。实际时延还受内存访问、实现、批量和硬件影响;这里没有运行模型或测速。

1×1卷积仍值得单独理解:它不混合相邻空间位置,而是在每个位置混合通道;在上面的分离卷积里正是pointwise。它也可组成瓶颈:在相同空间网格上,用256→64的1×1、64→64的3×3、64→256的1×1,忽略bias/BN共有 $256\times64+9\times64^2+64\times256=69632$ 个权重,直接256→256的3×3为589824。这个例子约为原来的11.8%,不是通用“算力降到1/4、表达力几乎不变”的保证;空间尺寸变化、激活和实现都会影响代价,精度需验证。

转置不是求逆。固定权重后,把普通卷积的线性部分写成矩阵A,转置方向对应 $A^T$,通常不满足 $A^TA=I$。学出更大特征图不等于恢复原图中已经丢失的信息;实际转置卷积层也会学习自己的权重。

PyTorch ConvTranspose2d的高度公式(对称p,宽度同理)是:

$$H_{out}=(H_{in}-1)s-2p+d(k-1)+output\_padding+1$$

输出大一格,是形状选择,不是补回一个像素

取Hin=3、k=3、s=2、p=1、d=1:output_padding=0时输出高5;取1时为6。普通卷积用同一k/s/p/d,可把高5和高6都映到高3,所以反向尺寸不唯一。

output_padding用来消解这种尺寸歧义,不会在最终输出边缘实际添加一圈零。它也不能保证内容复原;不要把输出“变大”直接叫作逆运算。

伪影与替代要分开评估:核大小不能被步幅整除时,不同输出位置可能收到不同次数的贡献,二维重叠会形成棋盘风险;即使整除,学到的核也可能产生伪影。可比较先nearest/bilinear插值、再普通卷积的 resize+conv,把固定上采样与可学习特征变换拆开;它也不是所有任务上绝无伪影或精度更好的保证。

📚 机制、公式与伪影的第一方依据

尺寸、groups及output_padding见 PyTorch Conv2d与ConvTranspose2d;depthwise+pointwise及计算量条件见MobileNet原论文第3.1节;重叠、棋盘伪影及resize-convolution见Odena等人的原始分析。本节的参数量与尺寸例为条件明确的教学手算,不是部署或图像效果实测。

📜 五、架构演进(记思想,不必记细节)

架构 年份 关键贡献
LeNet 1998 第一个成功的 CNN
AlexNet 2012 ReLU + Dropout + GPU,深度学习引爆点
VGG 2014 全部用 3×3,证明「深度」的价值
ResNet ⭐ 2015 残差连接,让上百层可训练
MobileNet 2017 深度可分离卷积,移动端
EfficientNet 2019 复合缩放(深度/宽度/分辨率一起调)
ConvNeXt 2022 借鉴 Transformer 设计的现代 CNN

⭐ 残差连接:最重要的那一个

图内可左右滑动;需要时可放大阅读。

恒等映射(捷径) ⭐ 反向传播时,梯度可以从这条捷径直接走回去 x [Conv-BN-ReLU] 主路:F(x) + 输出 = F(x) + x 两条路在这里相加
主路 [Conv-BN-ReLU] 照常算,另外拉一条什么都不做的捷径,把 x 原样送到加号那里。⭐ 关键就在那个 +:反向传播时梯度可以顺捷径原样穿回去,不必挤过中间每一层 —— 这就是上百层能训起来的原因。

为什么它能让网络变深: - 梯度高速公路:反向传播时梯度可以直接通过 + 走捷径,不用穿过所有层 → 缓解梯度消失(第 8 章) - 学残差比学映射容易:网络只需学"要改变多少",最差就是学成 0(恒等映射)

🔗 你在全景导论主线 2 · 模型怎样看懂一句话看到 Transformer 每层都有残差连接——同一个思想,源头在 ResNet。


💡 六、实践:别从零训练

流程图

❌ 从随机初始化训练自己的 CNN
需要大量数据和算力,效果还差
✅ 迁移学习(99% 的场景该这么做)⭐
拿在 ImageNet 上预训练好的模型→换掉最后一层→在你的数据上微调
import torchvision.models as models
import torch.nn as nn

model = models.resnet18(weights="IMAGENET1K_V1")   # 预训练权重
model.fc = nn.Linear(model.fc.in_features, num_classes)   # 换分类头

# 数据少时:冻结主干,只训分类头
for p in model.parameters(): p.requires_grad = False
for p in model.fc.parameters(): p.requires_grad = True

策略选择:

数据量 做法
< 1000 张 冻结主干,只训分类头
1000–1 万 微调最后几层,小 lr
> 1 万 全部微调,lr 比从零训小 10 倍

🔗 Kaggle CV 板块(09–12 章)全是这套流程的实战细节。


⚠️ 七、CNN 的假设什么时候会害你

对照

位置边界:卷积特征图保留空间布局;全局汇聚等操作才可能丢掉精确位置

✅ 适合:图像分类(猫在哪都是猫)

位置敏感任务需保留空间输出或加入位置线索,CNN本身也可用于检测、分割

· 医学影像:"病灶在左肺还是右肺"

· 文档理解:"这个数字在表格的哪一列"

· 界面识别:"按钮在屏幕上部还是下部"

解法:把位置作为额外通道喂进去(CoordConv),或改用带位置编码的 Transformer。

🔗 这正是数学原理第 11 章说的 「算法的专长是守恒的」——CNN 在图像分类上的优势, 换个任务就变成了负担。归纳偏置永远是双刃剑。


🍐 八、同一张图,应该交回什么?

传送带上有两个靠得很近的梨。只要决定把整张照片送去哪个品类队列,交回「梨」就够了。机器人要抓取时,还得知道两个梨分别在哪。质检要沿着每个梨的轮廓量面积,框进来的背景也会干扰结果。

上一节说过,卷积特征图还保留空间网格。这里要先选输出头,也就是把特征变成任务答案的最后一段网络。先看四种答案,留意「两个梨」在什么时候变成两个可区分的对象。

图像分类(Image Classification)
给整图一个标签。这里输出「梨」。
目标检测(Object Detection)
给每个目标一个框、类别和分数。这里有两条「梨」记录。
语义分割(Semantic Segmentation)
每个像素标「梨」或「背景」。同类像素没有单独的梨编号。
1 2
实例分割(Instance Segmentation)
给每个梨一张掩码,也就是标出哪些像素属于这一只梨。

分类头可以把空间位置汇聚成整图分数。检测和分割要回答「在哪里」,因此需要保留或恢复足够的空间信息。先定要输出什么,再决定标注格式与评分方式。翻转训练图时,检测框和分割掩码也要跟着翻转。

画框偏了一格,算对吗?

检测器把左边的梨认对了,但预测框向右偏了一格。整图的分类标签仍然正确,可是机器人会抓偏。我们需要一个分数,既奖励两个框盖到同一处,也惩罚框太大或偏到别处。

交集 3×3 01256x 14y
实线是标注框,虚线是预测框。深色交集同时被两个框覆盖,整个着色区是并集。

交并比(Intersection over Union,IoU)问的是「两个框覆盖过的地方里,有多少被它们共同覆盖?」所以用交集面积除以并集面积。这里两个框都是坐标有限、面积为正的轴对齐矩形,采用连续坐标 (x_min, y_min, x_max, y_max)。下标表示边界的最小值和最大值,x 向右、y 向下,单位用像素长度,宽是右减左、高是下减上,不加 1。

用 $G$ 表示标注框,$D$ 表示预测框,$|\cdot|$ 表示区域的面积(平方像素)。$\cap$ 是两框共同覆盖的交集,$\cup$ 是至少一个框覆盖的并集。直接相加两框面积会把重叠算两次,所以并集要减回一次交集。交集包含于并集,IoU 是 0 到 1 之间的无单位比值。

$$\mathrm{IoU}(G,D)=\frac{|G\cap D|}{|G\cup D|}=\frac{|G\cap D|}{|G|+|D|-|G\cap D|}$$

把图中的格子代进去

标注框 $G=(1,1,5,4)$,面积 $(5-1)(4-1)=12$。

预测框 $D=(2,1,6,4)$,面积 $(6-2)(4-1)=12$。

交集先取较大的左、上边界与较小的右、下边界,得到 $(2,1,5,4)$。面积 $(5-2)(4-1)=9$。

并集面积是 $12+12-9=15$,所以 IoU $=9/15=0.60$。

0.60 表示共同覆盖了并集的六成。只接触边缘或完全分离时,交集面积为 0;框完全相同时,IoU 为 1。类别判对也可能框错,因此框 IoU 衡量位置重合,分类准确率衡量样本标签判对的比例。算掩码 IoU 时,分子和分母改用同一像素网格上的交集、并集像素数。

把手算翻成代码,只需「检查框 → 算重叠宽高 → 交集除以并集」。重叠宽或高为负时取 0。下例只用 Python 标准功能,输入是上面的演示框,没有训练或调参。

def box_iou(label_box, predicted_box):
    gx0, gy0, gx1, gy1 = label_box
    dx0, dy0, dx1, dy1 = predicted_box

    label_width, label_height = gx1 - gx0, gy1 - gy0
    pred_width, pred_height = dx1 - dx0, dy1 - dy0
    if min(label_width, label_height, pred_width, pred_height) <= 0:
        raise ValueError("Boxes must have positive width and height")

    overlap_width = max(0, min(gx1, dx1) - max(gx0, dx0))
    overlap_height = max(0, min(gy1, dy1) - max(gy0, dy0))
    intersection = overlap_width * overlap_height
    union = label_width * label_height + pred_width * pred_height - intersection
    return intersection / union


label = (1, 1, 5, 4)
print(f"{box_iou(label, (2, 1, 6, 4)):.2f}")
print(f"{box_iou(label, (5, 1, 9, 4)):.2f}")
print(f"{box_iou(label, label):.2f}")

三行依次输出 0.60、0.00、1.00,对应偏一格、只接触边缘和完全重合。每个输入框有四个数;函数返回一个 IoU。宽或高非正的框需要先修正,不能当成正常评估框。

两个预测框都圈着同一个梨,能算两次吗?

这张图有两个梨。假设模型给左梨交回两个相同的框,分数分别为 0.90 和 0.70;二者与左梨的 IoU 都是 0.60,与右梨均不达标。右梨没有其他预测框。

先看一个普通评估例子:在同一张图、同一类别内,约定 IoU 至少 0.50 才能匹配,且每个标注最多匹配一次。评估器按预测分数从高到低处理,在未匹配的合格标注中找 IoU 最大的一个。IoU 阈值管位置是否够准,预测分数管谁先匹配。

  1. 0.90 的框先匹配左梨,记一个真正例(TP)。
  2. 0.70 的框找不到可匹配的梨,记一个假正例(FP)。它与左梨的重合度没变,但左梨已经被匹配。
  3. 右梨漏掉,记一个假负例(FN)。沿用第 05 章的分母,精确率是 $1/(1+1)=0.50$(报了两个,只有一个算对),召回率也是 $1/(1+1)=0.50$(真实有两个,找回一个)。

评估多个置信度截点时,会得到一组精确率和召回率。平均精确率(Average Precision,AP)汇总一类在这条曲线上的表现;平均 AP(mean Average Precision,mAP)再汇总类别。报告时要写出协议。例如 COCO 的主 AP 在 0.50 到 0.95 的十个 IoU 阈值上取平均,而 AP50 只用 0.50。正式评估还有插值、每图检测数量、忽略标注和拥挤区域等规则。

实战中,用验证集选后处理方案,用隔离的测试集做最终报告。Kaggle 第 12 章继续讲预测框怎样去重。那一步比较预测框与预测框,这里的匹配比较预测框与标注框。

先问要交回类别、框还是掩码。算 IoU 时先找交集,再用两块面积相加并减去交集。给检测计分时,一个普通标注只能领走一个合格预测。

延伸阅读可查阅 COCO 检测评估说明和 COCO 官方评估实现。


🔗 和站内其他章的关系

相关的地方 这里的对应
第 7 章"深比宽好" 层级抽象是最直观的证据
第 8 章梯度消失 残差连接是解法
数学原理第 9 章 PAC 归纳偏置降低样本需求的定量版
数学原理第 11 章 NFL 为什么过度丢失位置有时是负担
Kaggle 第 9–12 章 CV 竞赛 本章的实战版(检测/分割/框融合)
全景导论第 10 章的 ViT ViT 用 Transformer 替代了 CNN,但 patch 切分借鉴了卷积思想
全景导论主线 2 的残差连接 源头就是本章的 ResNet
推荐算法第 13 章的图像 Embedding 就是 CNN 倒数第二层的输出
扩散模型 07 · 去噪主干:U-Net 与 DiT ⭐ 卷积、下采样、跳跃连接的一个完整用场:U-Net 靠跳跃连接把高频细节直接送到解码器 —— 那一章实测 8 倍下采样后高频保留 0.0000,一点不剩

✅ 检查点

共 10 题:8 道单选、2 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. CNN 硬编码了哪两条归纳偏置?

看答案与解析

答案:A

局部连接与权重共享;多层可扩大感受野,卷积特征图保留位置。适当条件下是平移等变,分类汇聚才可能增加不变性。

判断2. 224×224×3 → 64 个特征图时,MLP 权重 9,633,792、卷积权重 1,728,所以同输出任务下卷积省 5575 倍。

看答案与解析

答案:错误

两者不含 bias 的权重分别为 9,633,792 与 1,728,但 MLP 输出64个数,卷积输出64张图;不能据此宣称同输出任务节省5575倍。若含 bias,两边各加64。

单选3. 卷积层的参数量公式是?

看答案与解析

答案:B

卷积核也是三维的,深度必须等于输入通道数,在通道上"一次吃掉全部",只在空间上滑动。参数量 = k × k × C_in × C_out(+ C_out 个 bias)。

单选4. padding 怎么设能保持尺寸不变?

看答案与解析

答案:B

padding = kernel_size // 2,配合 stride=1。

单选5. 两个 3×3 卷积相比一个 5×5 卷积?

看答案与解析

答案:C

当之前累计步幅为1、dilation=1时,每层3×3使理论感受野边长加2;一般增量为 (k−1)×dilation×此前累计步幅。两个 3×3 与一个 5×5 感受野相同,但参数少 28%、多一次 ReLU(表达力更强)——这是 VGG 的核心发现。

单选6. 1×1 卷积在做什么?

看答案与解析

答案:C

不看空间,只在通道间做线性组合——用来降/升通道数和跨通道融合。瓶颈结构:在相同空间网格上,256→64的1×1、64→64的3×3、64→256的1×1,忽略bias/BN时共69632个权重,直接256→256的3×3为589824;权重比69632/589824≈11.8%,这些卷积在同一网格运算时MAC比也相同。精度和实际时延需验证。

单选7. 残差连接为什么能让网络变深?

看答案与解析

答案:B

①梯度高速公路:反传时梯度可直接走捷径,不必穿过所有层,缓解梯度消失;②学残差比学完整映射容易,最差学成 0(恒等映射)就行。

判断8. 卷积特征图本来保留空间网格;分割、定位任务可以接空间输出头,不必把整个 CNN 排除在外。

看答案与解析

答案:正确

定位、分割或文档位置任务需要保留空间信息。卷积特征图本来保留网格,可采用空间输出头;也可评估显式坐标或位置编码,不能把整个CNN排除。

单选9. 数据只有 500 张图,该怎么做?

看答案与解析

答案:A

迁移学习:用 ImageNet 预训练模型,冻结主干只训分类头,配合强数据增强。把预训练作为候选并与简单基线比较;第17章百分比为条件不完整的原稿参考值,不是通用保证。

单选10. 要逐像素区分两只梨,该选哪项任务?再看正文的检测例,把 IoU 门槛提高到 0.75,哪个框能匹配?

看答案与解析

答案:C

每只梨都要自己的掩码,所以用实例分割。两个预测框的 IoU 都只有 0.60,未到 0.75;0.90 是模型给的排序分数,不能替代 IoU。


本节回顾

卷积通过局部连接与权重共享利用图像结构;先跟踪尺寸,再堆网络。

⚡ 走神救援

先记住这几件事

  • 卷积用局部连接和共享权重提取模式,不是给每个像素单独学一套规则。
  • 跟踪每层的通道数、空间尺寸与感受野,先弄清信息怎样流动。
  • 分类头、训练模式和数据增强都要与任务对应;用验证集检验设计。

下一节 👉 13-RNN与序列建模.md

打卡记录保存在你的浏览器里,首页能看到总进度