先看分界线留了多少余量，再看 SVM 的公式。

先看间隔：不是只要分对就够了

看图里最近的样本，而不是离边界最远的样本。

📏 一、最大间隔：为什么"最远"是好的

三个角度理解：

🔗 这个 γ 就是第 3 章感知机收敛定理里那个 γ—— 在那里它决定收敛速度，在这里它成了优化目标本身。

目标、约束与支持向量

先读式子下方的读法；距离推导可以按需展开。

📐 二、优化问题的形式

目标：最大化单侧几何间隔 γ = 1/‖w‖，等价于最小化 ‖w‖²。

$$\min_{w,b}\; \frac{1}{2}\|w\|^2 \qquad \text{s.t.}\quad y_i(w^\top x_i+b)\ge 1,\ \forall i$$

约束怎么读：每个点都分对，而且带标签的函数间隔至少为 1。这里的 1 是缩放约定，不是说几何距离至少为 1；几何距离还需要除以 ‖w‖。

💡 人话：在"所有点都分对且离边界够远"的前提下，让 w 尽可能小。

🎯 支持向量：只有少数点说了算

🔑 SVM 最漂亮的性质：最终模型只由支持向量决定（通常只占样本的一小部分）。 把其他所有点删掉重新训练，得到的分界线一模一样。

三个推论：

对偶解决什么问题

它把预测写成内积，为核函数留下入口。

🔄 三、对偶：为什么要绕这一圈

原问题（primal）已经能解了，为什么还要转成对偶（dual）？

💡 对偶的两个红利

🔑 对偶不是数学炫技，它是让核技巧能用上的那把钥匙。

原问题：$w^\top x$ —— w 和 x 直接相乘，需要显式的高维向量 💀 对偶：$x_i^\top x_j$ —— 只有 x 之间的内积，可以被核替换 ✅

预测时也只用内积：

$$f(x) = \text{sign}\left(\sum_{i\in SV} \alpha_i y_i \,K(x_i, x) + b\right)$$

数据分不开时：允许违规，但要付代价

把 ξ 的四种位置与 C 的权衡放在一起看。

🩹 四、软间隔：允许犯错

现实数据往往线性不可分（第 3 章感知机的死穴）。 SVM 的解法是允许违规，但要罚：

$$\min_{w,b,\xi}\; \frac{1}{2}\|w\|^2 + C\sum_i \xi_i \qquad \text{s.t. } y_i(w^\top x_i + b) \ge 1 - \xi_i,\ \xi_i \ge 0$$

💡 人话：ξᵢ 是第 i 个点"越界了多少"，C 是越界的罚款单价。

🎚️ C 的含义（最重要的超参）

🔗 C 其实就是正则化强度的倒数：

min ½‖w‖² + C·误差 ⟺ min 误差 + (1/C)·½‖w‖²

对照第 2 章：这就是 λ = 1/C。 SVM 的 C 和岭回归的 λ 是同一个旋钮的两种写法。

💡 软间隔还有一个损失函数视角

原问题可以改写成无约束形式：

$$\min_{w,b} \; \underbrace{\sum_i \max(0,\, 1 - y_i(w^\top x_i + b))}_{\text{Hinge 损失}} + \frac{1}{2C}\|w\|^2$$

这里延续同一个缩放口径：C > 0，损失采用求和，不是平均；偏置 b 也参与优化。软间隔中的支持向量还可能位于间隔带内或被分错，不能把前面的硬间隔示意直接当作软间隔的全部情况。可对照 scikit-learn 的 SVM 数学形式。

🔑 和逻辑回归对比：交叉熵损失永远大于 0（哪怕分得很对还想更自信）， 所以逻辑回归所有点都参与；Hinge 损失在分对且够远时恰好为 0， 所以那些点的梯度为零，不影响模型 —— 这就是支持向量稀疏性的另一种解释。

把理解变成调参选择

实践建议与适用场景一起看，不把经验当保证。

🎛️ 五、实用调参

先把标准化和 SVM 放进同一个流程，再配置参数搜索。点击讲解卡片，可定位对应代码。

from sklearn.svm import SVC
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import GridSearchCV

# ⭐ SVM 必须标准化（它基于距离/内积）
pipe = make_pipeline(StandardScaler(), SVC(kernel="rbf"))

grid = GridSearchCV(pipe, {
    "svc__C":     [0.1, 1, 10, 100],
    "svc__gamma": [0.001, 0.01, 0.1, 1],
}, cv=5, n_jobs=-1)

C 和 γ 的交互（经典的对角线现象）：

💡 为什么是对角线：C 和 γ 都在增加模型复杂度。 一个大另一个就该小，总复杂度保持在合适水平。

四个必须知道的实践点：

⚖️ 六、SVM 今天还有用吗

💡 历史地位：1995–2012 年 SVM 是机器学习的绝对主流。 它输给深度学习不是因为想法不好，而是因为 O(n²) 不 scale—— 又一次印证「可扩展性胜过精巧设计」。

但线性 SVM 在高维稀疏数据上至今没被淘汰——因为那种场景下它既快又准。

回顾、检查与继续学习

不必重读整页；用检查点定位需要回看的部分。

🔗 七、和站内其他章的关系

🔗 这一章连到哪里

✅ 检查点

1. SVM 和感知机的目标有什么不同？最大间隔好在哪（三个角度）？
2. 什么是支持向量？删掉非支持向量会怎样？这带来什么优缺点？
3. 为什么要转成对偶形式？关键红利是什么？
4. C 大和 C 小分别导致什么？C 和 λ 是什么关系？
5. Hinge 损失和交叉熵最大的区别是什么？这解释了什么？
6. C 和 γ 的最优区域为什么呈对角线？
7. SVM 为什么在大数据时代退场了？哪个场景它还活着？

🛑 可以停在这里

⚡ 走神救援

下一节 👉 08-偏差方差分解.md