跳到主要内容
🏠 总目录📚 本教程 05b · 支持向量机 ← →
📑 本页目录(点开跳转)

05B / 换一种分界线 · 接着 05a

同样画一条线,
SVM 挑最宽的那条街。

分得对的线那么多,SVM 凭什么选这一条?

找离两边都最远的分界线;压在街边的几单是支持向量;一条直线不够时换核函数。

会算街宽 2/‖w‖,说清 C 和 gamma 往哪调,分清 SVM 和逻辑回归。

05b · 支持向量机(SVM)

⏱ 16 分钟 | 🧭 主线 | ✋ 手算 | 💻 有代码


🎯 一句话

SVM 也是画一条分界线,但它挑“离两边都最远”的那条;一条直线分不开时,换一个核函数。

前置:03a(分界线)、05(过拟合与交叉验证)、05a(参数 C)。想看推导:《数学原理》07 SVM、06 核技巧。

图内可左右滑动;需要时可放大阅读。

本页 6 步路线本页 6 步:每一步都可以点,直接跳过去① 哪条线最好离最近的点最远的那条② 间隔与支持向量只有压线的几单说了算③ 软间隔与 C允许犯点错,C 管多严④ 核函数一条直线分不开时⑤ 和逻辑回归比高频考点一张图⑥ 代码与用法先标准化,再调 C 和 gamma
②③④(橙框)是本页核心。读累了可以停在任何一步,下次点这张图回来。

📏 一、分得对的线有很多条,哪条最好?

还是 03a 的外卖订单。先拿掉两单“打架”的,剩下 8 单能被一条直线完全分开,而且这样的线有无数条:

图内可左右滑动;需要时可放大阅读。

三条线都分对了,哪条最好三条线都把这 8 单分对了:哪条最好?02460246距离 km排队单数ABMPQSTUWXY离最近一单的距离A:2 × 距离 + 排队 = 90.45B:距离 = 2.60.40M:3 × 距离 + 排队 = 11.51.11M 离两边都最远:新订单稍微偏一点,也不容易被分错。超时准时
先拿掉“打架”的 R 和第 7 单(03a 里没有一条直线能分对它们),剩下 8 单能被一条直线分开。图里直接用原单位,两列数字范围差不多,方便看。

SVM 的答案:选离最近的点最远的那条,也就是图里的 M。


🛣️ 二、间隔与支持向量

图内可左右滑动;需要时可放大阅读。

间隔与支持向量把分界线想成一条街:街越宽越稳,压在街边的几单叫支持向量02460246距离 km排队单数PQSTUWXY全宽 2.21分界线:f = w · x + b = 0本例 3 × 距离 + 排队 = 11.5两条边线:f = +1 和 f = −1支持向量:W、X、Y(虚线圈)U 也恰好压在边线上每边宽 1 / ‖w‖,全宽 2 / ‖w‖本例 ‖w‖ = 0.90,全宽 2.21拿掉不压线的点,重新训练,这条线一点不变。超时准时虚线圈 = 支持向量
SVM 要的就是这条最宽的街。题目里“间隔”有时指单边 1/‖w‖、有时指全宽 2/‖w‖,做题先看清问的是哪个。

模型还是 f(x) = w · x + b:f > 0 判超时,f < 0 判准时。SVM 习惯把准时记成 −1、超时记成 +1。

街越宽 ⇔ ‖w‖ 越小。所以 SVM 训练时求的是:

$$\min_{w,\,b}\ \frac{1}{2}\lVert w\rVert^2 \quad \text{同时每一单都满足}\quad y\,(w\cdot x+b)\ \ge\ 1$$

后半句的意思:每一单都站在自己那一侧的边线上,或者更外面。


🎚️ 三、软间隔:允许犯点错,C 管多严

把 R 和第 7 单放回来,一条直线已经分不完。SVM 的办法:允许有的点进街、甚至站错边,但要罚。

图内可左右滑动;需要时可放大阅读。

软间隔:C 管多严放回 R 和第 7 单:一条直线已经分不完;C 决定“街宽”和“犯错”怎么取舍02460246距离 km排队单数PQRSTU7WXYC = 0.1:全宽 3.80,支持向量 9 个街宽、管得松(正则强)02460246距离 km排队单数PQRSTU7WXYC = 1:全宽 2.21,支持向量 6 个街窄、管得严(正则弱)
进了街或站错边的点都要罚,罚多重由 C 定。C 小:宁可街宽一点、多容忍几单;C 大:尽量不犯错,街就窄。和 05a 一样,sklearn 里 C 越小正则越强。

罚的方式叫合页损失:max(0, 1 − y · f(x))。和 03a 的交叉熵放在一起看:

图内可左右滑动;需要时可放大阅读。

合页损失与交叉熵SVM 用合页损失:够有把握(≥ 1)就不再罚;逻辑回归每一单都还罚一点−2−101230123把握 = y × f(x)(y 用 +1 / −1;越大越有把握且分对了)损失把握 0.4 → 合页损失 0.6≥ 1:合页损失 = 0交叉熵:永远 > 0← 分错了:两种都罚得重合页损失 max(0, 1 − 把握)交叉熵 ln(1 + e^(−把握))
合页损失在把握 ≥ 1 的地方是平的:这些点的坡度为 0,对分界线没有影响,所以最后只剩支持向量起作用。

🌀 四、核函数:一条直线分不开时

图内可左右滑动;需要时可放大阅读。

换个角度看,就能一刀切开一条直线分不开?给每个点加一个新特征,换个角度看就能一刀切开原来:内圈 vs 外圈任何一条直线都会切错一大片新特征新特征:离中心距离的平方00.40.81.21.6在 0.56 切一刀内圈都 < 0.48,外圈都 > 0.65核函数:不真的算新特征,只算两点有多像,效果相当
外卖那 10 单用一条直线已经分得差不多,看不出核函数的本事,所以这里换一份“一圈套一圈”的示例数据(sklearn 的 make_circles)。核函数怎么做到“不算新特征”,见《数学原理》06 核技巧。

常用的核:线性(不换角度)、多项式、RBF(也叫高斯核,sklearn 的默认值)。RBF 有一个参数 gamma:

图内可左右滑动;需要时可放大阅读。

gamma:每个点的影响能伸多远RBF 核的 gamma:每个点的影响能伸多远(浅橙色区域 = 判为内圈)gamma = 0.01:太平滑,欠拟合训练 81% · 交叉验证 64%gamma = 1:刚好训练 100% · 交叉验证 99%gamma = 100:绕着点画圈,过拟合训练 100% · 交叉验证 68%训练分数一样是 100%,只有交叉验证能看出 gamma = 100 在背答案
gamma 越大,每个点只影响身边很小一块,分界线就绕着训练点弯来弯去。用了核函数照样会过拟合,gamma 和 C 都要用交叉验证来选。

⚖️ 五、和逻辑回归比

图内可左右滑动;需要时可放大阅读。

SVM 和逻辑回归,一张图对比SVM 和逻辑回归:同样画分界线,做法不一样SVM逻辑回归(03a)损失合页损失:够有把握就不罚交叉熵:每一单都罚一点谁决定分界线只有支持向量每一单都有份直接输出分数的正负 → 类别0~1 的概率要概率时另外校准(SVC 的 probability=True 要多做交叉验证,慢)本来就有弯曲的分界线换核函数(RBF、多项式)要自己造特征样本很多时SVC 训练耗时按样本数的平方~立方增长;改用 LinearSVC通常很快共同点:都是判别式模型,直接学分界线,不去描述“超时的订单长什么样”。都有参数 C,C 越小正则越强;用之前都建议先标准化。
题库常考的三个错误说法:“SVM 是生成式模型”“用了核函数就不会过拟合”“SVM 直接输出概率”。这三句都不对。

💻 六、代码:先标准化,再调 C 和 gamma

SVM 靠距离和内积判断,数字范围大的特征会压过别的特征,所以要先标准化。用 Pipeline 把标准化和 SVC 串起来,测试数据也会自动用同一套缩放:

from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

# 和 03a 同样的 10 单:(距离 km, 排队单数) → 超时记 1,准时记 0
X = [(2, 0), (4, 6), (3, 2), (1, 1), (5, 3), (2, 2), (4, 1), (1, 5), (3, 6), (5, 0)]
y = [0, 1, 1, 0, 1, 0, 0, 0, 1, 1]

for C in (0.1, 1, 100):
    model = make_pipeline(StandardScaler(), SVC(kernel="linear", C=C)).fit(X, y)
    svc = model[-1]                                  # 管道最后一步就是 SVC
    print(f"C = {C:<5} 支持向量 {len(svc.support_)} 个,训练准确率 {model.score(X, y):.0%}")

运行结果(scikit-learn 1.9):

C = 0.1   支持向量 10 个,训练准确率 90%
C = 1     支持向量 6 个,训练准确率 80%
C = 100   支持向量 6 个,训练准确率 80%
  • 三种 C 的训练准确率都是 80%:R 和第 7 单怎么都分不对。
  • 变的是支持向量个数:C 越小,街越宽,进街的点越多。

换成一圈套一圈的数据,比较线性核和三种 gamma:

# 接着上面的代码运行(沿用 make_pipeline、StandardScaler、SVC)
from sklearn.datasets import make_circles
from sklearn.model_selection import cross_val_score

# 一圈套一圈的两类点:一条直线怎么画都分不开
Xc, yc = make_circles(n_samples=80, factor=0.4, noise=0.1, random_state=0)

for name, svc in [("线性核", SVC(kernel="linear")),
                  ("RBF, gamma=0.1", SVC(kernel="rbf", gamma=0.1)),
                  ("RBF, gamma=1", SVC(kernel="rbf", gamma=1)),
                  ("RBF, gamma=100", SVC(kernel="rbf", gamma=100))]:
    model = make_pipeline(StandardScaler(), svc)
    train = model.fit(Xc, yc).score(Xc, yc)
    cv = cross_val_score(model, Xc, yc, cv=5).mean()
    print(f"{name:<15} 训练 {train:.0%},交叉验证 {cv:.0%}")

运行结果:

线性核             训练 57%,交叉验证 48%
RBF, gamma=0.1  训练 100%,交叉验证 100%
RBF, gamma=1    训练 100%,交叉验证 99%
RBF, gamma=100  训练 100%,交叉验证 68%
  • 线性核接近瞎猜;gamma = 1 最合适;gamma = 100 训练满分,交叉验证只有 68%。
  • 实际调参:用 GridSearchCV 在 C 和 gamma 上按 10 倍间隔搜索。
  • 样本上百万时 SVC 太慢,线性问题改用 LinearSVC。

✅ 检查点

前 1、4 题是计算题。共 9 题:6 道单选、3 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. f(x) = w · x + b,‖w‖ = 2。两条边线之间的街道全宽是多少?

看答案与解析

答案:C

全宽 = 2 / ‖w‖ = 2 / 2 = 1;每一边宽 1 / ‖w‖ = 0.5。做题先看清问的是全宽还是单边。

判断2. SVM 的分界线由所有训练样本共同决定。

看答案与解析

答案:错误

只有支持向量(压在边线上、进了街或站错边的点)说了算。拿掉其他点重新训练,分界线不变。

单选3. sklearn 里把 SVC 的 C 调小,会怎样?

看答案与解析

答案:D

C 管“犯错罚多重”。C 小:罚得轻,街可以更宽,正则更强;C 大:罚得重,街变窄。sklearn 文档:数据噪声多时应调小 C。

单选4. 某单 y · f(x) = 0.4(y 用 +1 / −1),它的合页损失是多少?

看答案与解析

答案:D

合页损失 = max(0, 1 − 0.4) = 0.6。它分对了(> 0),但进了街(< 1),所以还要罚。

判断5. 一单的 y · f(x) ≥ 1 时,合页损失为 0,它对分界线没有影响。

看答案与解析

答案:正确

合页损失在把握 ≥ 1 的地方是平的,坡度为 0。这些点不是支持向量,挪动它们(不越过边线)分界线不变。

单选6. RBF 核的 gamma 调得很大,最可能出现什么?

看答案与解析

答案:C

gamma 越大,每个点的影响范围越小,分界线绕着训练点弯。本页 gamma = 100:训练 100%,交叉验证只有 68%。

判断7. 用了核函数,SVM 就不会过拟合。

看答案与解析

答案:错误

核函数只是让分界线可以弯。gamma 太大、C 太大照样过拟合,要用交叉验证选。

单选8. SVM 属于哪一类模型?

看答案与解析

答案:D

SVM 直接学从特征到类别的分界线,不去描述“超时的订单长什么样”,和逻辑回归一样是判别式模型。

单选9. 为什么用 SVM 之前要先标准化?

看答案与解析

答案:C

sklearn 文档:SVM 不具有尺度不变性,强烈建议先缩放数据,而且测试数据要用同一套缩放,用 Pipeline 最省事。


本节回顾

⚡ 走神救援

  • 最宽的街:SVM 选离两边都最远的分界线;压在街边的几单叫支持向量,只有它们决定这条线。
  • 街宽:全宽 2 / ‖w‖;让街最宽 = 让 ½‖w‖² 最小。
  • C:C 小,街宽、容忍多、正则强;C 大,街窄、管得严。
  • 核函数:让分界线可以弯;gamma 太大照样过拟合。
  • 用之前:先标准化;C 和 gamma 用交叉验证选。

下一节 👉 06 · 无监督(支线,可按需直接去 07 · 神经网络)

打卡记录保存在你的浏览器里,首页能看到总进度