📑 本页目录(点开跳转)
05B / 换一种分界线 · 接着 05a
同样画一条线,
SVM 挑最宽的那条街。
分得对的线那么多,SVM 凭什么选这一条?
找离两边都最远的分界线;压在街边的几单是支持向量;一条直线不够时换核函数。
会算街宽 2/‖w‖,说清 C 和 gamma 往哪调,分清 SVM 和逻辑回归。
05b · 支持向量机(SVM)
⏱ 16 分钟 | 🧭 主线 | ✋ 手算 | 💻 有代码
🎯 一句话
SVM 也是画一条分界线,但它挑“离两边都最远”的那条;一条直线分不开时,换一个核函数。
前置:03a(分界线)、05(过拟合与交叉验证)、05a(参数 C)。想看推导:《数学原理》07 SVM、06 核技巧。
图内可左右滑动;需要时可放大阅读。
📏 一、分得对的线有很多条,哪条最好?
还是 03a 的外卖订单。先拿掉两单“打架”的,剩下 8 单能被一条直线完全分开,而且这样的线有无数条:
图内可左右滑动;需要时可放大阅读。
SVM 的答案:选离最近的点最远的那条,也就是图里的 M。
🛣️ 二、间隔与支持向量
图内可左右滑动;需要时可放大阅读。
模型还是 f(x) = w · x + b:f > 0 判超时,f < 0 判准时。SVM 习惯把准时记成 −1、超时记成 +1。
街越宽 ⇔ ‖w‖ 越小。所以 SVM 训练时求的是:
$$\min_{w,\,b}\ \frac{1}{2}\lVert w\rVert^2 \quad \text{同时每一单都满足}\quad y\,(w\cdot x+b)\ \ge\ 1$$
后半句的意思:每一单都站在自己那一侧的边线上,或者更外面。
🎚️ 三、软间隔:允许犯点错,C 管多严
把 R 和第 7 单放回来,一条直线已经分不完。SVM 的办法:允许有的点进街、甚至站错边,但要罚。
图内可左右滑动;需要时可放大阅读。
罚的方式叫合页损失:max(0, 1 − y · f(x))。和 03a 的交叉熵放在一起看:
图内可左右滑动;需要时可放大阅读。
🌀 四、核函数:一条直线分不开时
图内可左右滑动;需要时可放大阅读。
常用的核:线性(不换角度)、多项式、RBF(也叫高斯核,sklearn 的默认值)。RBF 有一个参数 gamma:
图内可左右滑动;需要时可放大阅读。
⚖️ 五、和逻辑回归比
图内可左右滑动;需要时可放大阅读。
💻 六、代码:先标准化,再调 C 和 gamma
SVM 靠距离和内积判断,数字范围大的特征会压过别的特征,所以要先标准化。用 Pipeline 把标准化和 SVC 串起来,测试数据也会自动用同一套缩放:
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
# 和 03a 同样的 10 单:(距离 km, 排队单数) → 超时记 1,准时记 0
X = [(2, 0), (4, 6), (3, 2), (1, 1), (5, 3), (2, 2), (4, 1), (1, 5), (3, 6), (5, 0)]
y = [0, 1, 1, 0, 1, 0, 0, 0, 1, 1]
for C in (0.1, 1, 100):
model = make_pipeline(StandardScaler(), SVC(kernel="linear", C=C)).fit(X, y)
svc = model[-1] # 管道最后一步就是 SVC
print(f"C = {C:<5} 支持向量 {len(svc.support_)} 个,训练准确率 {model.score(X, y):.0%}")
运行结果(scikit-learn 1.9):
C = 0.1 支持向量 10 个,训练准确率 90%
C = 1 支持向量 6 个,训练准确率 80%
C = 100 支持向量 6 个,训练准确率 80%
- 三种 C 的训练准确率都是 80%:R 和第 7 单怎么都分不对。
- 变的是支持向量个数:C 越小,街越宽,进街的点越多。
换成一圈套一圈的数据,比较线性核和三种 gamma:
# 接着上面的代码运行(沿用 make_pipeline、StandardScaler、SVC)
from sklearn.datasets import make_circles
from sklearn.model_selection import cross_val_score
# 一圈套一圈的两类点:一条直线怎么画都分不开
Xc, yc = make_circles(n_samples=80, factor=0.4, noise=0.1, random_state=0)
for name, svc in [("线性核", SVC(kernel="linear")),
("RBF, gamma=0.1", SVC(kernel="rbf", gamma=0.1)),
("RBF, gamma=1", SVC(kernel="rbf", gamma=1)),
("RBF, gamma=100", SVC(kernel="rbf", gamma=100))]:
model = make_pipeline(StandardScaler(), svc)
train = model.fit(Xc, yc).score(Xc, yc)
cv = cross_val_score(model, Xc, yc, cv=5).mean()
print(f"{name:<15} 训练 {train:.0%},交叉验证 {cv:.0%}")
运行结果:
线性核 训练 57%,交叉验证 48%
RBF, gamma=0.1 训练 100%,交叉验证 100%
RBF, gamma=1 训练 100%,交叉验证 99%
RBF, gamma=100 训练 100%,交叉验证 68%
- 线性核接近瞎猜;gamma = 1 最合适;gamma = 100 训练满分,交叉验证只有 68%。
- 实际调参:用 GridSearchCV 在 C 和 gamma 上按 10 倍间隔搜索。
- 样本上百万时 SVC 太慢,线性问题改用
LinearSVC。
✅ 检查点
前 1、4 题是计算题。共 9 题:6 道单选、3 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. f(x) = w · x + b,‖w‖ = 2。两条边线之间的街道全宽是多少?
看答案与解析
答案:C
全宽 = 2 / ‖w‖ = 2 / 2 = 1;每一边宽 1 / ‖w‖ = 0.5。做题先看清问的是全宽还是单边。
判断2. SVM 的分界线由所有训练样本共同决定。
看答案与解析
答案:错误
只有支持向量(压在边线上、进了街或站错边的点)说了算。拿掉其他点重新训练,分界线不变。
单选3. sklearn 里把 SVC 的 C 调小,会怎样?
看答案与解析
答案:D
C 管“犯错罚多重”。C 小:罚得轻,街可以更宽,正则更强;C 大:罚得重,街变窄。sklearn 文档:数据噪声多时应调小 C。
单选4. 某单 y · f(x) = 0.4(y 用 +1 / −1),它的合页损失是多少?
看答案与解析
答案:D
合页损失 = max(0, 1 − 0.4) = 0.6。它分对了(> 0),但进了街(< 1),所以还要罚。
判断5. 一单的 y · f(x) ≥ 1 时,合页损失为 0,它对分界线没有影响。
看答案与解析
答案:正确
合页损失在把握 ≥ 1 的地方是平的,坡度为 0。这些点不是支持向量,挪动它们(不越过边线)分界线不变。
单选6. RBF 核的 gamma 调得很大,最可能出现什么?
看答案与解析
答案:C
gamma 越大,每个点的影响范围越小,分界线绕着训练点弯。本页 gamma = 100:训练 100%,交叉验证只有 68%。
判断7. 用了核函数,SVM 就不会过拟合。
看答案与解析
答案:错误
核函数只是让分界线可以弯。gamma 太大、C 太大照样过拟合,要用交叉验证选。
单选8. SVM 属于哪一类模型?
看答案与解析
答案:D
SVM 直接学从特征到类别的分界线,不去描述“超时的订单长什么样”,和逻辑回归一样是判别式模型。
单选9. 为什么用 SVM 之前要先标准化?
看答案与解析
答案:C
sklearn 文档:SVM 不具有尺度不变性,强烈建议先缩放数据,而且测试数据要用同一套缩放,用 Pipeline 最省事。
本节回顾
⚡ 走神救援
- 最宽的街:SVM 选离两边都最远的分界线;压在街边的几单叫支持向量,只有它们决定这条线。
- 街宽:全宽 2 / ‖w‖;让街最宽 = 让 ½‖w‖² 最小。
- C:C 小,街宽、容忍多、正则强;C 大,街窄、管得严。
- 核函数:让分界线可以弯;gamma 太大照样过拟合。
- 用之前:先标准化;C 和 gamma 用交叉验证选。