🏠 总目录📚 本教程 09 · 任务类型与模型架构 ← →
📑 本页目录(点开跳转)

CV任务类型与模型架构

Kaggle竞赛方法论 / 09

赛题要输出一个类别、一个框,还是一张掩码?

先按输出和任务类型查架构,再回原框架与 baseline 对照表。

能定位分类、检测或分割的原栏目,并对应评价和后处理。

⏱ 30 分钟 | ⭐ CV 赛的地图


🎯 一句话

CV 竞赛的第一步不是选模型,是看清这道题属于哪种任务——分类、检测、分割、关键点,它们的输出形式、评价指标、后处理链路完全不同。认错任务类型,后面所有工作都会白费。这一章就是那张任务→架构的对照表。


一、CV竞赛任务类型总览

任务类型 输入 输出 典型比赛 评价指标
图像分类 图像 类别标签 木薯叶疾病识别、外星信号搜索 Accuracy、AUC
目标检测 图像 边界框+类别 小麦穗检测、海星检测 mAP、IoU
语义分割 图像 像素级类别 入侵肾脏(肾小球分割) IoU、Dice
实例分割 图像 像素级类别+实例区分 Open Images Instance Segmentation mAP
图像检索 查询图像 相似图像排序 DIGX mAP@K

任务识别与模型选择决策

观察到的特征 推断的任务类型 首选模型族
输出是离散类别 图像分类 ResNet/EfficientNet/ViT
输出是矩形框+类别 目标检测 Faster R-CNN/YOLOv5/EfficientDet
输出是像素级掩码 语义分割 U-Net/DeepLab(Mask R-CNN 主要用于实例分割)
输出是框+像素掩码 实例分割 Mask R-CNN/Cascade R-CNN
输出是相似度排序 图像检索 孪生网络/Triple Network

非典型CV数据的处理

场景 处理方式 案例
信号频谱图 直接当作图像输入CNN 外星信号搜索(频谱图→2D矩阵→图像分类)
医学TIF大图 裁剪为小图后训练,预测时拼接 入侵肾脏(几万像素TIF→1024x1024切片)
表情识别 先人脸检测裁剪,再分类 神经网络表情识别(face_recognition→CNN)

二、CNN基础架构演进

卷积核心概念

概念 说明 与全连接的区别
局部感受野 每个神经元只关注局部区域 全连接假设所有像素相关
权重共享 同一卷积核在整张图上滑动 全连接每对连接独立参数
步长(Stride) 卷积核每次移动的像素数 步长>1可降维
填充(Padding) 输入周围补零保持尺寸 SAME 的输出约为输入除以步长并向上取整;步长为 1 时通常保持空间尺寸,VALID 不填充
池化(Pooling) 降维+平移不变性 Max Pooling/Avg Pooling

经典模型演进路线

模型 核心创新 参数量级 竞赛适用性
AlexNet ReLU激活、Dropout、GPU训练 60M 已过时
VGG 小卷积核(3x3)堆叠替代大卷积核 138M 特征提取backbone
ResNet 残差连接解决梯度消失 25M(ResNet50) 通用baseline首选
DenseNet 密集连接,特征复用 8M(DenseNet121) 显存受限时
EfficientNet 复合缩放(深度+宽度+分辨率) 5M~66M 竞赛主力,性价比最高
ViT Transformer替代CNN,Patch Embedding 86M 数据量大时有效
Swin Transformer 层级式窗口注意力 88M 检测/分割backbone

模型选择实战建议

场景 推荐模型 理由
首次baseline ResNet18/34 快速验证流程,训练快
分类冲分 EfficientNet-B3~B7 精度与速度的最佳平衡
检测baseline EfficientDet-D0~D5 检测专用,自带FPN
检测冲分 YOLOv5 + EfficientDet双路 跨架构融合收益大
分割baseline U-Net + ResNet34 backbone 医学分割经典组合
分割冲分 U-Net + EfficientNet backbone + Attention 更强特征提取+注意力
数据量极大(>50K) ViT/Swin Transformer Transformer需要大数据量
数据量小(<5K) ResNet/EfficientNet CNN的归纳偏置更适合小数据

新一代模型架构

模型 核心改进 参数量级 竞赛适用性
ConvNeXt 纯CNN架构借鉴ViT设计(大卷积核7x7、LayerNorm、GELU) 28M~350M 分类/检测/分割通用,ViT的CNN替代
EfficientNetV2 渐进式训练 + Fused-MBConv + 更小缩放 21M~120M 比V1训练快5~11倍,竞赛首选
Swin Transformer V2 后归一化 + 缩放余弦注意力 + 连续位置偏置 88M~197M 更稳定的训练,检测/分割backbone
CoAtNet CNN+Transformer混合,浅层卷积深层Transformer 25M~240M 兼顾CNN归纳偏置和Transformer全局建模
ConvNeXt V2 全局响应归一化(GRN),MAE预训练 28M~350M 自监督预训练+微调范式

模型选型升级建议

场景 传统选择 升级选择 理由
分类冲分 EfficientNet-B5 EfficientNetV2-M/L 更快训练,同等精度
分类冲分 ViT ConvNeXt CNN归纳偏置,小数据更稳定
检测backbone ResNet50 ConvNeXt-T/S 更强特征提取
分割backbone ResNet34 Swin Transformer 层级特征更适合分割
快速验证 ResNet18 EfficientNetV2-S 更快收敛

三、目标检测模型详解

两阶段检测器

模型 流程 优势 劣势
Faster R-CNN RPN生成候选框→RoI Pooling→分类+回归 精度高 速度慢
Cascade R-CNN 多级IoU阈值级联精炼 对高质量框更准 更慢
Mask R-CNN Faster R-CNN + 分割分支 同时做检测和分割 显存消耗大

单阶段检测器

模型 流程 优势 劣势
YOLOv5 Backbone→Neck→Head直接预测 速度快,社区活跃 小目标检测弱
EfficientDet EfficientNet + BiFPN + Head 精度效率平衡好 超参敏感
RetinaNet ResNet + FPN + Focal Loss 解决正负样本不均衡 中等速度

把一个具体版本拆开看:下面以 Ultralytics v8.2.0 的 YOLOv8 detection 为例,沿 Backbone→Neck→Head 读到训练和交付。主线先记住“多尺度特征→框与类别→后处理”;结构图和排查例子可展开阅读。分割、姿态、旋转框使用不同任务头,不能照搬这里的输出合同。

🔎 深入可跳过:YOLOv8 的结构、训练与部署边界

1. 三块分别负责什么?本例固定标准 P3–P5 配置;n/s/m/l/x 调整深度与宽度。官方版本化 YAML 把融合层也放在 head 段,下面按功能分出 Neck 与最终 Detect。

从图像到多尺度候选框

输入:RGB 图像张量→Backbone:Conv → C2f → SPPF
P3 / P4 / P5 特征→Neck:上采样、拼接、C2f,再下采样融合
融合后的三个尺度→Detect:框分布分支 + 类别分支
框解码与类别分数→筛选 / NMS → 原图坐标

Backbone 提取特征:C2f 把通道分流,串接 Bottleneck 后拼接融合;SPPF 汇集不同感受野。Neck 在高分辨率细节与低分辨率语义间双向融合,概念可接着看本章 FPN。Detect 在步长 8/16/32 的特征上分开预测类别与到参考点四边的距离分布。Anchor-free 指不预设框宽高模板,仍有网格参考点;不能因源码变量名含 anchors 就把它等同 YOLOv5 的模板框。依据:C2f / DFL、Detect。

比较点YOLOv5 v7.0 标准检测本例 YOLOv8 v8.2.0 检测
特征块主要使用 C3主要使用 C2f;两者都可有 SPPF
预测头按宽高模板框输出
框、objectness、类别
框回归与分类分支分开
无独立 objectness 通道
训练匹配与预设 anchor 宽高比匹配Task-Aligned Assigner
结合类别分数与框重合度选择候选

这是一组固定实现的结构比较,不是“v8 必然更快更准”的结论。YOLOv5 对照:v7.0 配置、检测头与损失 / anchor 匹配。

2. 标签怎样接到损失?该版 v8DetectionLoss 使用分类 BCE、框回归 CIoU 和 DFL(Distribution Focal Loss),按配置加权;不是把文件中定义的 VarifocalLoss 自动用于分类。TaskAlignedAssigner 先考虑 GT 框内参考点,再结合分类分数与重合度筛选、处理冲突;损失入口设置 topk=10、alpha=0.5、beta=6.0。框与 DFL 损失作用于分配的前景,分类目标分数也与匹配质量有关。

DFL 不直接给每条边一个数,而是预测 16 个 bin(0–15)的分布,再取期望解码。手算:某边目标距离为 2.25 个特征格,DFL 对相邻 bin 2、3 的交叉熵权重分别为 0.75、0.25;若预测概率恰为这两个值,期望就是 2×0.75+3×0.25=2.25。这只是距离表示示例,尚需结合参考点与步长还原框,不是一次模型输出。

3. 训练先让数据与评估可信。数据 YAML 指定 train/val 路径和类别 names;每个框采用从 0 开始的 class ID 和归一化 x_center y_center width height,按图宽、高分别归一化。先可视化标签,按采集来源、视频或对象划分数据,防止近重复帧跨集合;再选择预训练权重微调或从 YAML 训练。记录权重、数据拆分与类别映射、imgsz、batch、epochs、优化器/学习率、seed 和环境版本。

Mosaic、翻转和颜色扰动是训练配置选择,图像与框要同步变换;先判断变换是否保留任务语义。该版有 close_mosaic 控制最后若干轮关闭 Mosaic,并非所有数据的最佳配方。验证不照搬训练随机增强;若使用 TTA 要明确记录。用验证集的 mAP50–95、PR 与小目标 / 密集 / 暗光等任务切片选方案,测试集留作最终评估。依据:固定版训练说明、训练 / 验证配置、官方标签格式。

4. 部署要对齐整个输入输出合同。对普通图像输入,该版先 LetterBox 缩放填充,再 BGR→RGB、HWC→NCHW、转浮点并除以 255;直接传张量时不能假设还会替你重复归一化。记录插值、填充、通道、dtype 与实际输入尺寸。手算:640×480(宽×高)原图,以固定 640×640、居中、auto=False 填充时比例为 1,上下各补 80;原框 (100,50,300,250) 变为 (100,130,300,330),还原时纵坐标减 80。开启自动矩形或改变尺寸,padding 就可能不同。依据:预处理入口与LetterBox。

仅对本例标准 COCO 80 类、640×640、batch=1:三个尺度有 80²+40²+20²=8400 个位置,默认 ONNX 检测输出为 [1,84,8400](4 个 xywh 坐标 + 80 个类别分数),不是 8400 个最终目标,也不是带 objectness 的 85 维输出。该输出已在网络中完成 DFL 解码与步长换算;仍须筛选分数、转为 NMS 所需框格式,执行 NMS,再还原原图坐标与类别名。自定义类别数、输入尺寸或其他任务会改变合同,不要硬编码该形状。依据:固定版 ONNX 导出与NMS / 坐标还原。

最后再谈导出与加速。先固定权重、输入张量、opset、动态尺寸与精度设置,在 PyTorch 与目标运行时逐级对拍:NMS 前数值误差,再比较同一阈值 / 类别策略下的框、分数与类别;分数接近阈值、并列或重叠边界时要单独检查。随后在同一验证集评估导出或量化后的精度变化,端侧延迟需说明设备、输入、batch、预热和是否计入前后处理。本节只核对结构与手算,模型训练、导出、量化和端侧测速均未执行。

用“多尺度特征→解耦预测→匹配与损失→后处理”串起检测流程。题目若要求个人踩坑经历,另用自己的数据、异常现象、改动与复测记录补充;这里的排查方法和手算不能替代这些记录。

检测模型关键组件

组件 作用 常见选择
Backbone 特征提取 ResNet/EfficientNet/Swin Transformer
Neck 多尺度特征融合 FPN/BiFPN/PANet
Head 预测框+类别 分类分支+回归分支
Anchor 候选框先验 预设Anchor/Anchor-Free

FPN(特征金字塔网络)

维度 说明
问题 单一尺度特征无法同时检测大小目标
方案 自顶向下融合多尺度特征
流程 深层低分辨率特征上采样→与浅层高分辨率特征相加
效果 小目标检测显著提升
变体 BiFPN(加权融合)、PANet(双向传播)

四、语义分割模型详解

U-Net架构

维度 说明
编码器 逐步下采样提取高层语义特征
解码器 逐步上采样恢复空间分辨率
跳跃连接 将编码器特征与解码器对应层拼接,保留细节信息
输入输出 输入HxWxN,输出HxWxC(C=类别数)
二分类简化 肾小球分割中C=1,即前景/背景二分类

U-Net改进方向

改进点 方法 效果
Backbone替换 ResNet34→EfficientNet 更强特征提取
注意力机制 Attention Gate/SE Block/CBAM 聚焦关键区域
多尺度 ASPP/SPP/PPM 捕获不同尺度上下文
深度监督 中间层也计算Loss 加速收敛,提升梯度流
残差连接 编码器-解码器间加残差 缓解梯度消失

分割模型选型

场景 推荐模型 理由
医学图像 U-Net + ResNet/EfficientNet 数据量小,U-Net跳跃连接保留细节
自然场景 DeepLabV3+ ASPP处理多尺度
实例级需求 Mask R-CNN / Cascade Mask R-CNN 同时做检测和分割
实时需求 BiSeNet / Fast-SCNN 速度优先

五、图像分类模型详解

EfficientNet核心思想

维度 说明
复合缩放 同时缩放深度(d)、宽度(w)、分辨率(r)
缩放公式 d = alpha^phi, w = beta^phi, r = gamma^phi, 约束 alphabeta^2gamma^2 ≈ 2
phi值 B0(phi=0)到B7(phi=7),越大越强越慢
竞赛建议 B3~B5性价比最高,B7显存消耗大

Vision Transformer (ViT)

维度 说明
核心思想 将图像切为Patch,当作序列输入Transformer
Patch大小 典型16x16,越小计算量越大
位置编码 可学习位置嵌入,保留空间信息
数据需求 需要大数据量(>50K)才能超越CNN
竞赛经验 小数据集上效果不如EfficientNet,大数据集上可尝试
Swin改进 层级式窗口注意力,更适合检测/分割

六、CV竞赛通用框架选择

框架 适用任务 优势 劣势
MMDetection 检测/分割 模型齐全,社区活跃 学习曲线陡
Detectron2 检测/分割 Facebook出品,质量高 文档较少
YOLOv5官方 检测 易上手,训练快 定制化困难
PyTorch + timm 分类 灵活,预训练模型丰富 需自己写训练循环
Albumentations 数据增强 增强方法全面,速度快 仅做增强

七、赛题类型与Baseline模型速查

赛题 类型 Baseline模型 冲分模型
木薯叶疾病识别 图像分类(5类) EfficientNet-B3 EfficientNet-B5 + ViT融合
外星信号搜索 图像分类(二分类) ResNet18 EfficientNet-B0 + Swin Transformer
小麦穗检测 目标检测 EfficientDet-D5 EfficientDet + YOLOv5 + Faster R-CNN
海星检测 目标检测 Faster R-CNN EfficientDet + Cascade R-CNN
入侵肾脏 语义分割(二分类) U-Net + ResNet34 U-Net + EfficientNet + Attention

🔗 这一章连到哪里

去哪为什么
ML基础 12 CNN卷积、池化、感受野、残差——CV 主干网络演进的原理线
ML基础 14 通往 Transformer⭐ Transformer 凭什么能替掉 CNN:归纳偏置强弱 vs 数据量的权衡,拐点在 14M 数据附近——⚠️ 决定了你这次该不该拿 Swin 当 Backbone(⚠️ 那一章不拆 ViT/Swin/DETR 的内部机制,只讲这个权衡)

✅ 检查点

  1. CV 竞赛主要有哪几类任务?它们的输出形式有什么根本不同?
  2. 选 backbone 时,除了「哪个最强」还要看什么?
  3. 检测和分割任务在评价指标上有什么本质区别?
  4. 为什么说「先跑通一个 baseline 再换更强的 backbone」比反过来好?
  5. 什么情况下应该用更大的输入分辨率而不是更强的模型?
👀 答案
  1. 分类(输出一个类别/概率向量)、检测(输出一组框+类别+置信度)、分割(输出逐像素的掩码)、关键点(输出一组坐标)。根本不同在于输出的结构复杂度——越往后输出越结构化,后处理链路越长,能出错的环节越多。
  2. ①预训练权重的可得性(有没有匹配你输入尺寸和领域的权重)②显存和速度(能不能在你的卡上跑到合理的 batch size)③和其他模型的多样性(融合时不要全是同一家族)④社区实现的成熟度——竞赛里没时间debug一个冷门实现。
  3. 分类看的是「判对没有」,检测/分割看的是「位置对不对」。检测用 mAP(依赖 IoU 阈值和置信度阈值),分割用 Dice/IoU。关键后果:它们的分数对后处理极其敏感——同一个模型,NMS 阈值和置信度阈值调一调,mAP 可能差好几个点。
  4. 因为换 backbone 是最容易的一步,而 baseline 里的其他环节才是坑的来源:数据读取、增强是否同步变换了框/掩码、评估口径对不对、提交格式对不对。先用最小的 backbone 把这条链路跑通,之后换模型就只是改一行。
  5. 当目标物体在图像中很小时(小目标检测、医学影像的微小病灶、遥感)。此时分辨率带来的信息量增益远大于模型容量——目标只有十几个像素,再强的模型也看不清。经验上这类赛题里提高分辨率的收益常常排第一。

本节回顾

先记住这几件事

  • 先确定分类、检测、分割等任务的输出与计分方式。
  • 用小模型跑通读取、标注、增强、评估和提交,再更换主干。
  • 小目标、后处理和分辨率可能是瓶颈,不能只比较 backbone。
打卡记录保存在你的浏览器里,首页能看到总进度