07 · 先判断条件,再读公式
分得开以后,为什么还要留间隔?
硬间隔要求样本分对;如果做不到,软间隔允许违规,并由 C 控制代价。对偶负责换一种求解表达,不能替代这些条件。
沿现有路线看间隔、目标与约束、对偶和软间隔,最后再决定如何调参。
📑 本页目录(点开跳转)
机器学习的数学原理 · 按需阅读
先看分界线留了多少余量,再看 SVM 的公式。
分对只是起点;SVM 还关心最近的样本离分界线有多远。
先带走的结果
硬间隔先要求样本分对,再尽量扩大间隔;软间隔允许违规,用 C 决定代价。
07 · SVM:最大间隔与对偶
⏱ 30 分钟 | ⭐ 深度学习之前的王者
🎯 一句话
感知机「分对就满意」(第 3 章),SVM 问的是「哪条分界线最好?」—— 在线性可分的硬间隔设定下,目标是让最近样本到边界的距离尽量大。这可能帮助泛化,但不是对所有数据都表现优异的保证;不可分数据还需权衡间隔与违规。
先看间隔:不是只要分对就够了
看图里最近的样本,而不是离边界最远的样本。
📏 一、最大间隔:为什么"最远"是好的
图下说明
- 同样能分开数据的三条线:
- 贴着●很近 两边都很远 ⭐ 贴着○很近
- 哪条最好?中间那条。为什么?
三个角度理解:
| 角度 | 说明 |
|---|---|
| 鲁棒性 | 新数据总有抖动,留的余量越大,抖过界的可能越小 |
| 明确的优化目标 | 感知机寻找可行分隔;标准硬间隔 SVM 进一步最小化权重范数。不要把它推广为所有软间隔设置都有唯一边界 |
| 理论联系 | 有些泛化界涉及间隔、样本规模和数据半径;比较间隔时还要控制尺度与其他条件 |
🔗 这个 γ 就是第 3 章感知机收敛定理里那个 γ—— 在那里它参与收敛界,在这里成为优化目标。这里的几何间隔 γ 与后文 RBF 核的 gamma 只是符号重名,不是同一个量。
目标、约束与支持向量
先读式子下方的读法;距离推导可以按需展开。
📐 二、优化问题的形式
目标:最大化单侧几何间隔 γ = 1/‖w‖,等价于最小化 ‖w‖²。
$$\min_{w,b}\; \frac{1}{2}\|w\|^2 \qquad \text{s.t.}\quad y_i(w^\top x_i+b)\ge 1,\ \forall i$$
约束怎么读:每个点都分对,而且带标签的函数间隔至少为 1。这里的 1 是缩放约定,不是说几何距离至少为 1;几何距离还需要除以 ‖w‖。
💡 人话:在"所有点都分对且离边界够远"的前提下,让 w 尽可能小。
📐 为什么间隔是 1/‖w‖(想看再点)
点 $x$ 到超平面 $w^\top x + b = 0$ 的距离是 $\frac{|w^\top x + b|}{\|w\|}$。
在线性可分的硬间隔问题里,我们把最近点的函数间隔缩放为 1;非零对偶系数对应的支持向量满足 $|w^\top x+b|=1$。这不是软间隔所有支持向量都满足的条件。
所以支持向量到超平面的距离 = $\frac{1}{\|w\|}$,两侧总间隔 = $\frac{2}{\|w\|}$。
最大化间隔 ⟺ 最小化 ‖w‖ ⟺ 最小化 ½‖w‖²(平方和系数是为了求导方便)。
🎯 支持向量:哪些样本进入预测式
🔑 已求出的对偶预测式只使用 α 非零的支持向量。 它们的比例取决于数据、核与超参数,不保证很少。
在固定特征、核、损失缩放与 C 的条件下,删去该最优解中 α=0 的样本,原解仍可保持最优;解不唯一或数值求解存在差异时,不宜保证重训输出逐字相同。把点移到新位置则是另一件事:它可能形成新的约束,改变最优边界。
三个推论:
| 推论 | 说明 |
|---|---|
| 非支持向量不直接贡献预测 | 条件是其最优 α = 0;“离得远”不等于非支持向量,错侧的远点仍可能显著影响模型 |
| 对样本的稀疏表示 | 核预测式只需支持向量;不是说权重向量每一维都稀疏,也不保证支持向量很少 |
| ⚠️ 噪声可能影响边界 | 错标点与间隔、C 和其他样本共同决定影响,不能只看离决策线近不近 |
对偶解决什么问题
它把预测写成内积,为核函数留下入口。
🔄 三、对偶:为什么要绕这一圈
原问题(primal)已经能解了,为什么还要转成对偶(dual)?
📐 对偶形式(想看再点)
引入拉格朗日乘子 $\alpha_i \ge 0$,原问题等价于:
$$\max_{\alpha} \; \sum_i \alpha_i - \frac{1}{2}\sum_i\sum_j \alpha_i\alpha_j y_i y_j \, \underbrace{x_i^\top x_j}_{\text{⭐ 只有内积!}}$$ $$\text{s.t.}\quad \alpha_i \ge 0,\quad \sum_i \alpha_i y_i = 0$$
解出 α 后:$w = \sum_i \alpha_i y_i x_i$
硬间隔的 KKT 互补条件告诉我们:αᵢ>0 ⇒ $y_i(w^\top x_i+b)=1$;严格大于 1 的点必有 αᵢ=0。
反过来,恰好落在间隔边界上不保证某个最优解中的 αᵢ 必然大于 0,例如存在冗余约束时。软间隔还要结合 αᵢ≤C 与松弛变量,不能照搬硬间隔的几何结论。
💡 对偶的两个红利
| 红利 | 它让什么变得可行 |
|---|---|
| ① 只剩内积 xᵢ·xⱼ | 直接换成核函数 K(xᵢ, xⱼ) 就得到【核 SVM】;这就是第 6 章核技巧的用武之地! |
| ② 支持向量自动浮现 | α=0 的样本不进入核预测式,但支持向量不保证很少 |
🔑 对偶不是数学炫技,它是让核技巧能用上的那把钥匙。
原问题:$w^\top x$ —— w 和 x 直接相乘,需要显式的高维向量 💀 对偶:$x_i^\top x_j$ —— 只有 x 之间的内积,可以被核替换 ✅
预测时也只用内积:
$$f(x) = \text{sign}\left(\sum_{i\in SV} \alpha_i y_i \,K(x_i, x) + b\right)$$
数据分不开时:允许违规,但要付代价
把 ξ 的四种位置与 C 的权衡放在一起看。
🩹 四、软间隔:允许犯错
现实数据往往线性不可分(第 3 章感知机的死穴)。 SVM 的解法是允许违规,但要罚:
$$\min_{w,b,\xi}\; \frac{1}{2}\|w\|^2 + C\sum_i \xi_i \qquad \text{s.t. } y_i(w^\top x_i + b) \ge 1 - \xi_i,\ \xi_i \ge 0$$
💡 人话:ξᵢ 是第 i 个点的间隔违规量,C 是每单位违规的罚款。 在 C>0 的最优解中,取最小可行 ξᵢ=max(0,1−yᵢ(wᵀxᵢ+b)),下面的对照按这个口径解读。
对照
ξ = 0:在间隔边界上或更外侧,满足间隔要求
0 < ξ < 1 点越过了边界,但还在正确的一侧
ξ = 1 点正好落在决策边界上
ξ > 1 点被【分错了】 💀
🎚️ C 的含义(最重要的超参)
| C | 含义 | 后果 |
|---|---|---|
| C 大 | 相对更重视减小训练集的间隔违规 | 在其他条件固定时,正则化相对较弱;可能更贴合训练数据,但不保证过拟合 |
| C 小 | 相对更重视控制权重范数 | 可能容忍更多训练违规,但不保证欠拟合 |
判断过拟合要比较训练与验证表现,不能只看 C 的数值。C 还受特征尺度、核函数和损失的求和/平均约定影响。
🔗 C 其实就是正则化强度的倒数:
min ½‖w‖² + C·误差⟺min 误差 + (1/C)·½‖w‖²对照第 2 章:这就是 λ = 1/C。 在这里的损失求和约定下,二者都控制拟合与正则化的权衡;不代表不同库、不同损失下可以直接复用同一个数值。
💡 软间隔还有一个损失函数视角
原问题可以改写成无约束形式:
$$\min_{w,b} \; \underbrace{\sum_i \max(0,\, 1 - y_i(w^\top x_i + b))}_{\text{Hinge 损失}} + \frac{1}{2C}\|w\|^2$$
这里延续同一个缩放口径:C > 0,损失采用求和,不是平均;偏置 b 也参与优化。软间隔中的支持向量还可能位于间隔带内或被分错,不能把前面的硬间隔示意直接当作软间隔的全部情况。可对照 scikit-learn 的 SVM 数学形式。
🔑 先区分损失为零与梯度为零。 Hinge 在分类间隔 ≥1 时损失为 0;严格 >1 时损失梯度为 0;恰好 =1 的折点不可微,需要用次梯度,不能直接说梯度必为 0。
对有限 logit 的标准二分类交叉熵,单样本损失仍为正,没有 Hinge 这种在严格间隔外变平的区域。这里讨论的是损失的样本贡献,不代表逻辑回归不可能得到稀疏参数,也不代表各样本对参数的梯度不会抵消。
把理解变成调参选择
实践建议与适用场景一起看,不把经验当保证。
🎛️ 五、实用调参
先把标准化和 SVM 放进同一个流程,再配置参数搜索。点击讲解卡片,可定位对应代码。
from sklearn.svm import SVC
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV
# ⭐ SVM 必须标准化(它基于距离/内积)
pipe = make_pipeline(StandardScaler(), SVC(kernel="rbf"))
grid = GridSearchCV(pipe, {
"svc__C": [0.1, 1, 10, 100],
"svc__gamma": [0.001, 0.01, 0.1, 1],
}, cv=5, n_jobs=-1)
使用边界:这段代码只配置流程与参数搜索,尚未提供数据,也没有调用 fit 开始训练。
C 与 γ 要一起验证,不必一大一小
C 控制训练违规的惩罚;RBF 核的 γ 控制相似度随距离衰减得有多快。γ 越大,单个样本的影响通常越局部。
它们不是可以相加的同一种“复杂度”。某些数据的验证热图会出现高分斜带,但不是普遍规律。可对照 scikit-learn 的 RBF 参数实验。
用一组真实搜索结果看差别
实验条件: 鸢尾花数据共 150 条,分层留出 30 条作最终测试;以下只使用其余 120 条做 5 折分层交叉验证。每个训练折内部拟合标准化,固定划分种子为 0。
图用于看高分区域的位置;需要逐格比较时,看这张可横向滚动的数值表:
| γ / C | 0.1 | 1 | 10 | 100 |
|---|---|---|---|---|
| 0.001 | 87.50% | 87.50% | 89.17% | 93.33% |
| 0.01 | 87.50% | 89.17% | 93.33% | 94.17% |
| 0.1 | 88.33% | 95.00% | 95.00% | 95.00% |
| 1 | 91.67% | 93.33% | 91.67% | 91.67% |
复现这张图:完整程序与折间波动
环境:Python 3.12.14、scikit-learn 1.7.2。每行打印 C、γ、5 折平均准确率及折间标准差;标准差不是均值的置信区间。
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, StratifiedKFold, GridSearchCV
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=0, stratify=y
)
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
search = GridSearchCV(
make_pipeline(StandardScaler(), SVC(kernel="rbf")),
{"svc__C": [0.1, 1, 10, 100], "svc__gamma": [0.001, 0.01, 0.1, 1]},
cv=cv, scoring="accuracy", n_jobs=1
)
search.fit(X_train, y_train)
for params, mean, std in zip(
search.cv_results_["params"],
search.cv_results_["mean_test_score"],
search.cv_results_["std_test_score"]
):
print(params["svc__C"], params["svc__gamma"], round(mean, 6), round(std, 6))
# 上面打印的是训练数据内部的交叉验证结果。
# X_test / y_test 未参与搜索,这里不查看它们的分数。
观察: 高分三组的均值都是 0.950000;C = 1 的折间标准差约 0.031180,C = 10、100 的约为 0.048591。相同均值不代表每折预测都一样。
没有查看最终测试分数,不能把图中的 95% 当作最终泛化表现。
四个必须知道的实践点:
| 点 | 说明 |
|---|---|
| 必须标准化 ⭐ | SVM 基于内积/距离 |
| 核 SVC 的规模限制 | 训练成本随样本数显著增长,没有统一的 10 万分界线;大规模问题可比较 LinearSVC、SGD 或核近似(第 6 章) |
| 原生不给概率 | 需要 Platt scaling 校准(probability=True,但会慢很多) |
| 多分类靠拆分 | one-vs-one 或 one-vs-rest,不是原生支持 |
⚖️ 六、SVM 今天还有用吗
| 场景 | 建议 |
|---|---|
| 中小规模、特征适合核方法 | 可将核 SVM 纳入候选;仍需核对缩放、C、核参数和验证表现 |
| 高维稀疏输入(如文本 TF-IDF) | 线性 SVM 可作基线,与逻辑回归等方法比较 |
| 样本很多 | 核方法可能开销较高;考虑线性求解器、核近似或其他模型 |
| 需要概率输出 | 判别分数不是概率,需要合适的校准与独立评估 |
| 图像、文本等任务 | 按数据、资源和目标比较预训练模型、线性/核方法,不先宣布谁必胜 |
这里要区分核 SVM 与专用线性求解器。 核方法的训练开销往往随样本量明显增长,但不是所有 SVM 都必须存满 n×n 核矩阵;缓存、求解器、核近似与数据都会影响成本。没有“超过十万样本就一定跑不了”的统一界线。
选择模型时比较实际效果、时间、内存和部署约束,不用一段“时代胜负”的故事代替证据。计算特点可参照 scikit-learn 的 SVM 实现说明。
回顾、检查与继续学习
不必重读整页;用检查点定位需要回看的部分。
🔗 七、和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 3 章感知机的 γ | 在 SVM 里成了优化目标 |
| 第 6 章核技巧 | 通过对偶形式用上 |
| 第 2 章 λ 正则强度 | 本文损失求和约定下,λ = 1/C |
| 逻辑回归的交叉熵 | 比较损失的平坦区;不要与参数向量是否稀疏混淆 |
| 基础教程第 5 章过拟合 | C 和 γ 都是偏差-方差旋钮 |
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| ML基础 03 | 对照着看:逻辑回归最大化似然、SVM 最大化间隔,同样一条直线两种理由 |
| ML 基础 04 · 决策树:怎么切一刀 | 另一条路线的分类器 —— 它不画超平面,也就没有间隔这回事 |
| 上线之后 02 | ⚠️ SVM 的判别值不是概率。要拿分数做阈值或出价,必须先看校准曲线 |
✅ 检查点
- SVM 和感知机的目标有什么不同?最大间隔好在哪(三个角度)?
- 什么是支持向量?删掉非支持向量会怎样?这带来什么优缺点?
- 为什么要转成对偶形式?关键红利是什么?
- C 调节什么权衡?为什么不能由 C 的大小直接判定过拟合?C 与 λ 的关系用了什么约定?
- Hinge 损失和交叉熵最大的区别是什么?这解释了什么?
- C 和 γ 必须反向配对吗?本页真实热图支持什么结论?
- 为什么要区分核 SVM、线性求解器与核近似?能否按十万样本设统一禁用线?
👀 答案
- 感知机只要分对就停;SVM 要找间隔最大的那条。三个角度:鲁棒性(留余量抗抖动)、明确优化目标(硬间隔设定下最小化权重范数)、理论联系(泛化界还涉及数据尺度等条件)。
- 对偶预测式使用 α 非零的样本。硬间隔时它们在间隔边界上;软间隔也可能在带内或错侧。在相同优化口径下删去 α=0 的样本,原解仍可最优;移动点形成新约束、改变损失缩放或重训返回另一个最优解时,不保证边界完全不变。
- 因为对偶形式里只剩样本间的内积 xᵢ·xⱼ,可以直接替换成核函数。原问题里 w 和 x 直接相乘,需要显式高维向量。
- C 调节间隔违规损失与权重范数的权衡;过拟合仍需比较训练与验证表现。本文把损失求和时,λ = 1/C;采用平均损失或其他缩放时,应重新核对系数。
- Hinge 在间隔 ≥1 时损失为零,但仅在严格 >1 时损失梯度为零;折点 =1 不可微。有限 logit 的标准交叉熵没有该平坦区域。不要将样本对偶系数的稀疏与参数向量的稀疏混淆。
- 不必。它们控制不同机制,要联合验证。本页 γ = 0.1、C = 1 / 10 / 100 的均值都为 95%;这只是当前划分与候选网格的结果。某些任务可能出现高分斜带,不能预设所有任务如此。
- 核方法可能随样本数增长而昂贵,但实际成本取决于求解器、缓存、核和数据;线性求解器与核近似有不同权衡,没有统一十万样本禁用线,应实测效果与资源。
本节回顾
⚡ 走神救援
先记住这几件事
- SVM 不只要求分对,还通过间隔控制分界线离样本有多远。
- 软间隔允许违规并付出代价,C 调节拟合与容错的权衡。
- 对偶形式让内积可以替换为核;先标准化并验证 C、核参数,再解释支持向量。
下一节 👉 08-偏差方差分解.md