🏠 总目录📚 本教程 07 · SVM ← →

07 · 先判断条件,再读公式

分得开以后,为什么还要留间隔?

硬间隔要求样本分对;如果做不到,软间隔允许违规,并由 C 控制代价。对偶负责换一种求解表达,不能替代这些条件。

沿现有路线看间隔、目标与约束、对偶和软间隔,最后再决定如何调参。

📑 本页目录(点开跳转)

机器学习的数学原理 · 按需阅读

先看分界线留了多少余量,再看 SVM 的公式。

分对只是起点;SVM 还关心最近的样本离分界线有多远。

先带走的结果

硬间隔先要求样本分对,再尽量扩大间隔;软间隔允许违规,用 C 决定代价。

07 · SVM:最大间隔与对偶

⏱ 30 分钟 | ⭐ 深度学习之前的王者


🎯 一句话

感知机「分对就满意」(第 3 章),SVM 问的是「哪条分界线最好?」—— 在线性可分的硬间隔设定下,目标是让最近样本到边界的距离尽量大。这可能帮助泛化,但不是对所有数据都表现优异的保证;不可分数据还需权衡间隔与违规。

硬间隔例子:最近点限制边界的位置两段单侧间隔;箭头垂直于分界线圈内:本例的支持向量圆点与方块代表两类样本其他点若移入间隔形成新约束最优边界也可能改变软间隔还可能包含违规支持点
这是线性可分的硬间隔例子:实线是决策边界,虚线是两侧间隔边界。看圈出的最近点:它们约束本例的最大间隔。非支持向量移动后若形成新约束,也可能改变最优边界;软间隔的支持向量还可能位于间隔内或被分错。

先看间隔:不是只要分对就够了

看图里最近的样本,而不是离边界最远的样本。

📏 一、最大间隔:为什么"最远"是好的

三条边界都把这组样本分开;中间的边界让最近样本离它更远。SVM 的间隔目标关心这个最小距离。示意中不表示一般数据总有唯一边界。都能分开时,比较最近样本到边界的距离靠近实心两侧都留距离靠近空心
三条边界都把这组样本分开;中间的边界让最近样本离它更远。SVM 的间隔目标关心这个最小距离。示意中不表示一般数据总有唯一边界。

图下说明

  • 同样能分开数据的三条线:
  • 贴着●很近 两边都很远 ⭐ 贴着○很近
  • 哪条最好?中间那条。为什么?

三个角度理解:

角度 说明
鲁棒性 新数据总有抖动,留的余量越大,抖过界的可能越小
明确的优化目标 感知机寻找可行分隔;标准硬间隔 SVM 进一步最小化权重范数。不要把它推广为所有软间隔设置都有唯一边界
理论联系 有些泛化界涉及间隔、样本规模和数据半径;比较间隔时还要控制尺度与其他条件

🔗 这个 γ 就是第 3 章感知机收敛定理里那个 γ—— 在那里它参与收敛界,在这里成为优化目标。这里的几何间隔 γ 与后文 RBF 核的 gamma 只是符号重名,不是同一个量。


目标、约束与支持向量

先读式子下方的读法;距离推导可以按需展开。

📐 二、优化问题的形式

目标:最大化单侧几何间隔 γ = 1/‖w‖,等价于最小化 ‖w‖²。

$$\min_{w,b}\; \frac{1}{2}\|w\|^2 \qquad \text{s.t.}\quad y_i(w^\top x_i+b)\ge 1,\ \forall i$$

约束怎么读:每个点都分对,而且带标签的函数间隔至少为 1。这里的 1 是缩放约定,不是说几何距离至少为 1;几何距离还需要除以 ‖w‖。

💡 人话:在"所有点都分对且离边界够远"的前提下,让 w 尽可能小。

📐 为什么间隔是 1/‖w‖(想看再点)

点 $x$ 到超平面 $w^\top x + b = 0$ 的距离是 $\frac{|w^\top x + b|}{\|w\|}$。

在线性可分的硬间隔问题里,我们把最近点的函数间隔缩放为 1;非零对偶系数对应的支持向量满足 $|w^\top x+b|=1$。这不是软间隔所有支持向量都满足的条件。

所以支持向量到超平面的距离 = $\frac{1}{\|w\|}$,两侧总间隔 = $\frac{2}{\|w\|}$。

最大化间隔 ⟺ 最小化 ‖w‖ ⟺ 最小化 ½‖w‖²(平方和系数是为了求导方便)。

🎯 支持向量:哪些样本进入预测式

硬间隔 SVM 的三条线上边界 · 支持向量 ⊙决策边界下边界 · 支持向量 ⊙margin = 1/‖w‖margin = 1/‖w‖
看两条虚线上的 ⊙:它们是这个硬间隔示意中的支持向量;两段 margin 各为 1/‖w‖,中间实线才是决策边界。

🔑 已求出的对偶预测式只使用 α 非零的支持向量。 它们的比例取决于数据、核与超参数,不保证很少。

在固定特征、核、损失缩放与 C 的条件下,删去该最优解中 α=0 的样本,原解仍可保持最优;解不唯一或数值求解存在差异时,不宜保证重训输出逐字相同。把点移到新位置则是另一件事:它可能形成新的约束,改变最优边界。

三个推论:

推论 说明
非支持向量不直接贡献预测 条件是其最优 α = 0;“离得远”不等于非支持向量,错侧的远点仍可能显著影响模型
对样本的稀疏表示 核预测式只需支持向量;不是说权重向量每一维都稀疏,也不保证支持向量很少
⚠️ 噪声可能影响边界 错标点与间隔、C 和其他样本共同决定影响,不能只看离决策线近不近

对偶解决什么问题

它把预测写成内积,为核函数留下入口。

🔄 三、对偶:为什么要绕这一圈

原问题(primal)已经能解了,为什么还要转成对偶(dual)?

📐 对偶形式(想看再点)

引入拉格朗日乘子 $\alpha_i \ge 0$,原问题等价于:

$$\max_{\alpha} \; \sum_i \alpha_i - \frac{1}{2}\sum_i\sum_j \alpha_i\alpha_j y_i y_j \, \underbrace{x_i^\top x_j}_{\text{⭐ 只有内积!}}$$ $$\text{s.t.}\quad \alpha_i \ge 0,\quad \sum_i \alpha_i y_i = 0$$

解出 α 后:$w = \sum_i \alpha_i y_i x_i$

硬间隔的 KKT 互补条件告诉我们:αᵢ>0 ⇒ $y_i(w^\top x_i+b)=1$;严格大于 1 的点必有 αᵢ=0。

反过来,恰好落在间隔边界上不保证某个最优解中的 αᵢ 必然大于 0,例如存在冗余约束时。软间隔还要结合 αᵢ≤C 与松弛变量,不能照搬硬间隔的几何结论。

💡 对偶的两个红利

红利 它让什么变得可行
① 只剩内积 xᵢ·xⱼ 直接换成核函数 K(xᵢ, xⱼ) 就得到【核 SVM】;这就是第 6 章核技巧的用武之地!
② 支持向量自动浮现 α=0 的样本不进入核预测式,但支持向量不保证很少

🔑 对偶不是数学炫技,它是让核技巧能用上的那把钥匙。

原问题:$w^\top x$ —— w 和 x 直接相乘,需要显式的高维向量 💀 对偶:$x_i^\top x_j$ —— 只有 x 之间的内积,可以被核替换 ✅

预测时也只用内积:

$$f(x) = \text{sign}\left(\sum_{i\in SV} \alpha_i y_i \,K(x_i, x) + b\right)$$


数据分不开时:允许违规,但要付代价

把 ξ 的四种位置与 C 的权衡放在一起看。

🩹 四、软间隔:允许犯错

现实数据往往线性不可分(第 3 章感知机的死穴)。 SVM 的解法是允许违规,但要罚:

$$\min_{w,b,\xi}\; \frac{1}{2}\|w\|^2 + C\sum_i \xi_i \qquad \text{s.t. } y_i(w^\top x_i + b) \ge 1 - \xi_i,\ \xi_i \ge 0$$

💡 人话:ξᵢ 是第 i 个点的间隔违规量,C 是每单位违规的罚款。 在 C>0 的最优解中,取最小可行 ξᵢ=max(0,1−yᵢ(wᵀxᵢ+b)),下面的对照按这个口径解读。

对照

ξ = 0:在间隔边界上或更外侧,满足间隔要求

0 < ξ < 1 点越过了边界,但还在正确的一侧

ξ = 1 点正好落在决策边界上

ξ > 1 点被【分错了】 💀

🎚️ C 的含义(最重要的超参)

C 含义 后果
C 大 相对更重视减小训练集的间隔违规 在其他条件固定时,正则化相对较弱;可能更贴合训练数据,但不保证过拟合
C 小 相对更重视控制权重范数 可能容忍更多训练违规,但不保证欠拟合

判断过拟合要比较训练与验证表现,不能只看 C 的数值。C 还受特征尺度、核函数和损失的求和/平均约定影响。

🔗 C 其实就是正则化强度的倒数:

min ½‖w‖² + C·误差 ⟺ min 误差 + (1/C)·½‖w‖²

对照第 2 章:这就是 λ = 1/C。 在这里的损失求和约定下,二者都控制拟合与正则化的权衡;不代表不同库、不同损失下可以直接复用同一个数值。

💡 软间隔还有一个损失函数视角

原问题可以改写成无约束形式:

$$\min_{w,b} \; \underbrace{\sum_i \max(0,\, 1 - y_i(w^\top x_i + b))}_{\text{Hinge 损失}} + \frac{1}{2C}\|w\|^2$$

这里延续同一个缩放口径:C > 0,损失采用求和,不是平均;偏置 b 也参与优化。软间隔中的支持向量还可能位于间隔带内或被分错,不能把前面的硬间隔示意直接当作软间隔的全部情况。可对照 scikit-learn 的 SVM 数学形式。

损失1y·score(x)(分类间隔)间隔不够:仍然有损失间隔 ≥ 1:损失 = 0严格大于 1 时:损失梯度为 0
看折点与右侧平段:间隔达到 1,损失为 0;严格超过 1 才是平坦区。折点本身不可微,不能说所有零损失点的梯度都必为 0。

🔑 先区分损失为零与梯度为零。 Hinge 在分类间隔 ≥1 时损失为 0;严格 >1 时损失梯度为 0;恰好 =1 的折点不可微,需要用次梯度,不能直接说梯度必为 0。

对有限 logit 的标准二分类交叉熵,单样本损失仍为正,没有 Hinge 这种在严格间隔外变平的区域。这里讨论的是损失的样本贡献,不代表逻辑回归不可能得到稀疏参数,也不代表各样本对参数的梯度不会抵消。


把理解变成调参选择

实践建议与适用场景一起看,不把经验当保证。

🎛️ 五、实用调参

先把标准化和 SVM 放进同一个流程,再配置参数搜索。点击讲解卡片,可定位对应代码。

from sklearn.svm import SVC
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV

# ⭐ SVM 必须标准化(它基于距离/内积)
pipe = make_pipeline(StandardScaler(), SVC(kernel="rbf"))

grid = GridSearchCV(pipe, {
    "svc__C":     [0.1, 1, 10, 100],
    "svc__gamma": [0.001, 0.01, 0.1, 1],
}, cv=5, n_jobs=-1)

使用边界:这段代码只配置流程与参数搜索,尚未提供数据,也没有调用 fit 开始训练。

C 与 γ 要一起验证,不必一大一小

C 控制训练违规的惩罚;RBF 核的 γ 控制相似度随距离衰减得有多快。γ 越大,单个样本的影响通常越局部。

它们不是可以相加的同一种“复杂度”。某些数据的验证热图会出现高分斜带,但不是普遍规律。可对照 scikit-learn 的 RBF 参数实验。

用一组真实搜索结果看差别

实验条件: 鸢尾花数据共 150 条,分层留出 30 条作最终测试;以下只使用其余 120 条做 5 折分层交叉验证。每个训练折内部拟合标准化,固定划分种子为 0。

实际运行的 16 组参数:5 折平均准确率看数值选候选,不预设对角线行:γ 列:C  边框加粗标出本次最高分C = 0.1C = 1C = 10C = 100γ = 0.00187.50%87.50%89.17%93.33%γ = 0.0187.50%89.17%93.33%94.17%γ = 0.188.33%95.00%95.00%95.00%γ = 191.67%93.33%91.67%91.67%这是训练数据内部的验证分数;最终测试集未参与搜索。
在本次划分与四舍五入精度下,γ = 0.1 时 C = 1、10、100 都得到 95% 平均准确率。它们不是“一大一小”的固定配对,细小分差也应结合折间波动判断。

图用于看高分区域的位置;需要逐格比较时,看这张可横向滚动的数值表:

γ / C 0.1 1 10 100
0.001 87.50% 87.50% 89.17% 93.33%
0.01 87.50% 89.17% 93.33% 94.17%
0.1 88.33% 95.00% 95.00% 95.00%
1 91.67% 93.33% 91.67% 91.67%
复现这张图:完整程序与折间波动

环境:Python 3.12.14、scikit-learn 1.7.2。每行打印 C、γ、5 折平均准确率及折间标准差;标准差不是均值的置信区间。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, StratifiedKFold, GridSearchCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=0, stratify=y
)
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
search = GridSearchCV(
    make_pipeline(StandardScaler(), SVC(kernel="rbf")),
    {"svc__C": [0.1, 1, 10, 100], "svc__gamma": [0.001, 0.01, 0.1, 1]},
    cv=cv, scoring="accuracy", n_jobs=1
)
search.fit(X_train, y_train)
for params, mean, std in zip(
    search.cv_results_["params"],
    search.cv_results_["mean_test_score"],
    search.cv_results_["std_test_score"]
):
    print(params["svc__C"], params["svc__gamma"], round(mean, 6), round(std, 6))
# 上面打印的是训练数据内部的交叉验证结果。
# X_test / y_test 未参与搜索,这里不查看它们的分数。

观察: 高分三组的均值都是 0.950000;C = 1 的折间标准差约 0.031180,C = 10、100 的约为 0.048591。相同均值不代表每折预测都一样。

没有查看最终测试分数,不能把图中的 95% 当作最终泛化表现。

四个必须知道的实践点:

点 说明
必须标准化 ⭐ SVM 基于内积/距离
核 SVC 的规模限制 训练成本随样本数显著增长,没有统一的 10 万分界线;大规模问题可比较 LinearSVC、SGD 或核近似(第 6 章)
原生不给概率 需要 Platt scaling 校准(probability=True,但会慢很多)
多分类靠拆分 one-vs-one 或 one-vs-rest,不是原生支持

⚖️ 六、SVM 今天还有用吗

场景 建议
中小规模、特征适合核方法 可将核 SVM 纳入候选;仍需核对缩放、C、核参数和验证表现
高维稀疏输入(如文本 TF-IDF) 线性 SVM 可作基线,与逻辑回归等方法比较
样本很多 核方法可能开销较高;考虑线性求解器、核近似或其他模型
需要概率输出 判别分数不是概率,需要合适的校准与独立评估
图像、文本等任务 按数据、资源和目标比较预训练模型、线性/核方法,不先宣布谁必胜

这里要区分核 SVM 与专用线性求解器。 核方法的训练开销往往随样本量明显增长,但不是所有 SVM 都必须存满 n×n 核矩阵;缓存、求解器、核近似与数据都会影响成本。没有“超过十万样本就一定跑不了”的统一界线。

选择模型时比较实际效果、时间、内存和部署约束,不用一段“时代胜负”的故事代替证据。计算特点可参照 scikit-learn 的 SVM 实现说明。


回顾、检查与继续学习

不必重读整页;用检查点定位需要回看的部分。

🔗 七、和站内其他章的关系

相关的地方 这里的位置
第 3 章感知机的 γ 在 SVM 里成了优化目标
第 6 章核技巧 通过对偶形式用上
第 2 章 λ 正则强度 本文损失求和约定下,λ = 1/C
逻辑回归的交叉熵 比较损失的平坦区;不要与参数向量是否稀疏混淆
基础教程第 5 章过拟合 C 和 γ 都是偏差-方差旋钮

🔗 这一章连到哪里

去哪 为什么
ML基础 03 对照着看:逻辑回归最大化似然、SVM 最大化间隔,同样一条直线两种理由
ML 基础 04 · 决策树:怎么切一刀 另一条路线的分类器 —— 它不画超平面,也就没有间隔这回事
上线之后 02 ⚠️ SVM 的判别值不是概率。要拿分数做阈值或出价,必须先看校准曲线

✅ 检查点

  1. SVM 和感知机的目标有什么不同?最大间隔好在哪(三个角度)?
  2. 什么是支持向量?删掉非支持向量会怎样?这带来什么优缺点?
  3. 为什么要转成对偶形式?关键红利是什么?
  4. C 调节什么权衡?为什么不能由 C 的大小直接判定过拟合?C 与 λ 的关系用了什么约定?
  5. Hinge 损失和交叉熵最大的区别是什么?这解释了什么?
  6. C 和 γ 必须反向配对吗?本页真实热图支持什么结论?
  7. 为什么要区分核 SVM、线性求解器与核近似?能否按十万样本设统一禁用线?
👀 答案
  1. 感知机只要分对就停;SVM 要找间隔最大的那条。三个角度:鲁棒性(留余量抗抖动)、明确优化目标(硬间隔设定下最小化权重范数)、理论联系(泛化界还涉及数据尺度等条件)。
  2. 对偶预测式使用 α 非零的样本。硬间隔时它们在间隔边界上;软间隔也可能在带内或错侧。在相同优化口径下删去 α=0 的样本,原解仍可最优;移动点形成新约束、改变损失缩放或重训返回另一个最优解时,不保证边界完全不变。
  3. 因为对偶形式里只剩样本间的内积 xᵢ·xⱼ,可以直接替换成核函数。原问题里 w 和 x 直接相乘,需要显式高维向量。
  4. C 调节间隔违规损失与权重范数的权衡;过拟合仍需比较训练与验证表现。本文把损失求和时,λ = 1/C;采用平均损失或其他缩放时,应重新核对系数。
  5. Hinge 在间隔 ≥1 时损失为零,但仅在严格 >1 时损失梯度为零;折点 =1 不可微。有限 logit 的标准交叉熵没有该平坦区域。不要将样本对偶系数的稀疏与参数向量的稀疏混淆。
  6. 不必。它们控制不同机制,要联合验证。本页 γ = 0.1、C = 1 / 10 / 100 的均值都为 95%;这只是当前划分与候选网格的结果。某些任务可能出现高分斜带,不能预设所有任务如此。
  7. 核方法可能随样本数增长而昂贵,但实际成本取决于求解器、缓存、核和数据;线性求解器与核近似有不同权衡,没有统一十万样本禁用线,应实测效果与资源。

本节回顾

⚡ 走神救援

先记住这几件事

  • SVM 不只要求分对,还通过间隔控制分界线离样本有多远。
  • 软间隔允许违规并付出代价,C 调节拟合与容错的权衡。
  • 对偶形式让内积可以替换为核;先标准化并验证 C、核参数,再解释支持向量。

下一节 👉 08-偏差方差分解.md

打卡记录保存在你的浏览器里,首页能看到总进度