跳到主要内容
🏠 总目录📚 本教程 03a · 逻辑回归与分类 ← →
本节学习路线

逻辑回归与分类

这单要不要提醒?

平台承诺 30 分钟送达。R 单刚下单,距离 3 公里,前面还排着 2 单。实际要多久现在还不知道。要不要先提醒顾客,这单有可能超时?

下单时要做决定,送达后才知道结果
  1. 下单时 · 估计风险用距离和排队单数,判断要不要发提醒。
  2. 送达后 · 得到结果核对是否超过 30 分钟,才能评价这次预测。

先给订单打分

R 单距离 3 公里,前面排了 2 单。我们要在 30 分钟承诺下决定是否提醒。距离和排队是下单时已知的输入,叫特征。先把两项的风险合成一个分数。

沿用多特征线性回归的办法。每项乘上自己的权重,再加上起始分,也就是偏置。先用人为指定的演示参数。每多 1 公里加 0.8 分,每多排 1 单加 0.5 分,起始分是 −4。

R 的分数由哪三项加出来?
距离 · 3 公里
0.8 × 3 = 2.4
排队 · 2 单
0.5 × 2 = 1
偏置
起始分 −4

三项相加:2.4 + 1 − 4 = −0.6 分。

我们把两项信息合成了 −0.6 分。分数可以为负,客服还需要一个能用百分比表达的风险估计。

把分数换成超时概率

同一条规则给 P 单打了 −2.4 分(2 公里、不排队),R 单得 −0.6 分。直接把负分都截成 0,就看不出哪笔风险更大。怎样让它们变成可比较的百分比?

两个负分在概率刻度上仍能分开 横轴为原始分数,纵轴为超时概率。P 单在负 2.4 的位置,对应约 8.32%;R 单在负 0.6 的位置,对应约 35.43%。两点都在 50% 以下,R 高于 P。曲线在中间上升更快。 超时概率 100% 50% 0% P R −2.4 −0.6 原始分数
负分也能分出风险高低。从横轴的两笔分数各向上找到曲线,再比高度。R 的分数更高,对应的风险也更高。

逻辑回归用 Sigmoid 函数做这个换算。它把所有有限分数映到 0 和 1 之间,同时保留大小顺序。两项打分与概率换算的标准写法见 Google 机器学习课程。

用 z 表示原始分数,σ(z) 表示对它做 Sigmoid 换算,p̂ 表示模型估计的超时概率。e 是约等于 2.71828 的常数,可用计算器的 ex 键算指数。

$$\hat p = \sigma(z) = \frac{1}{1+e^{-z}}$$

R 得 −0.6 分,先取反得 0.6。算 e0.6 ≈ 1.8221,分母就是 1 + 1.8221 = 2.8221。

取分母的倒数:1 ÷ 2.8221 ≈ 0.3543,也就是约 35.43% 的超时风险。

加权算分,再用 Sigmoid 估计超时概率,这个模型叫逻辑回归(Logistic Regression)。这里的结果只有超时和准时两类,属于二分类。下一步把风险估计变成客服能执行的决定。

决定是否发提醒

假设这次规定「估计风险达到 50% 就发提醒」。这样的门槛叫阈值。先用 50% 演示,实际业务会根据漏发和误发的代价决定门槛。

跟着 R 单,从订单信息走到提醒决定
  1. 打分3 公里、排 2 单 → −0.6 分
  2. 估计风险−0.6 经 Sigmoid → 约 35.43%
  3. 应用门槛35.43% 低于 50% → 不发提醒

把门槛改成 30%,同一个 35.43% 就会触发提醒。分数、风险估计和权重都没动,改变的是行动规则。

这就完成了一次下单时的预测。R 最后真的超时了。送达后,模型才有依据判断之前的风险估计给得好不好。

送达后给预测打分

R 实际超时,所以把真实结果记为 y = 1。若在 30 分钟内送达(含第 30 分钟),就记为 y = 0。这个事后记录叫标签。

如果只按有没有发对提醒来打分,下面两笔实际超时的订单会得到同样的评价。

两笔都漏报,给实际结果的概率却差很多
甲 · 实际超时,未提醒
49%
乙 · 实际超时,未提醒
1%

两根条共用 0% 到 100% 刻度,虚线标出 50% 提醒门槛。

训练时要区分这两次预测。把模型给实际结果的概率记作 q。实际超时就取模型估计的超时概率,实际准时就取 1 减这个概率。

用 −ln(q) 把概率变成损失。ln 是自然对数,问「e 的几次方等于 q?」e0 = 1,因此 0 到 1 之间的 q 对应负指数。加上负号,就得到正的惩罚。

q 越小,惩罚越重。例如 −ln(0.5) ≈ 0.6931,而 −ln(0.1) ≈ 2.3026。计算时可用计算器上的 ln 键。

R 实际超时 → 取未舍入的超时概率(约 0.35434369)→ 损失 −ln(0.35434369) ≈ 1.0375。

这种给二分类概率评分的办法叫二元交叉熵(Binary Cross-Entropy,BCE)。损失用来评价概率估计,计算时不用提醒门槛。后面的推导会说明平均损失和整批实际结果的概率有什么关系。

我们已经算出旧预测的损失。接下来保持历史答案原样,试着挪动一个权重,看同一批订单的平均损失往哪里变。

改一个权重,再算一次损失

沿用手动训练里挪一点参数、比较损失的做法。只靠 R 单来改权重,可能会顾不上其他订单。我们用三张教学虚构订单一起算,R 就是刚才那单。先固定排队权重 0.5 和偏置 −4,只试距离权重。P 准时,损失用 1 − p̂;Q 和 R 超时,损失用 p̂。表中小数只为显示,计算保留全精度。

起点距离权重 0.8 的三单记录
订单和已知输入实际结果风险与损失
P · 2 km、排 0 单准时−2.40 分,p̂ ≈ 0.08317270
−ln(1 − 0.08317270) ≈ 0.086836
Q · 4 km、排 6 单超时2.20 分,p̂ ≈ 0.90024951
−ln(0.90024951) ≈ 0.105083
R · 3 km、排 2 单超时−0.60 分,p̂ ≈ 0.35434369
−ln(0.35434369) ≈ 1.037488

把三笔损失相加再除以 3,旧的平均损失为 (0.086836 + 0.105083 + 1.037488) ÷ 3 ≈ 0.409802。

先试很小一步,找下降方向

把距离权重从 0.80 试到 0.81。每单只多了「0.01 × 距离」这点分数。下表把每笔的改动和新损失对齐。

距离权重从 0.80 试到 0.81,其他参数固定
订单分数多了 0.01 × 距离试探损失
P−2.40 + 0.01 × 2 = −2.380.088515
Q2.20 + 0.01 × 4 = 2.240.101164
R−0.60 + 0.01 × 3 = −0.571.018222

例如 R 的 −0.57 分换成超时概率约 0.36123682。R 实际超时,所以 −ln(0.36123682) ≈ 1.018222。三笔损失相加再除以 3,试探时的平均损失约 0.402634。

平均损失少了约 0.007169(用未舍入值)。用「损失变化 ÷ 权重变化」估计斜率:(0.402634 − 0.409802) ÷ 0.01 ≈ −0.717。负号说明,沿这个试探方向挪一小步,损失下降了。

用这个方向更新,再核对结果

这里把试探用的 0.81 放回去,从旧权重 0.8 出发正式更新。学习率决定按斜率走多远,这里取演示值 0.1。用旧值减去学习率乘斜率。保留更多小数计算,0.8 − 0.1 × (−0.716886) ≈ 0.8716886。

代回 R 的打分式,0.8716886 × 3 + 0.5 × 2 − 4 ≈ −0.3849342,Sigmoid 给出约 0.4049374,R 的新损失 −ln(0.4049374) ≈ 0.9040。

同样算出 P 和 Q 的新损失约 0.0996 和 0.0799,平均 (0.0996 + 0.0799 + 0.9040) ÷ 3 ≈ 0.3612。P 的损失上升了,三单平均仍下降。

用同三单检验更新后平均损失是否下降
  1. 算旧预测的损失距离权重 0.8,平均损失约 0.4098。
  2. 更新距离权重试出斜率为负,从 0.8 调到约 0.8717。
  3. 算新预测的损失同样的订单和标签,平均损失约 0.3612。

下单时用已知信息预测,送达后用真实结果算损失并改参数。我们已经复算了同三单,确认一次更新后平均损失下降。小幅试探只估出了一个权重的斜率,下面从预测公式开始,解释怎样求得准确斜率并一起更新参数。

检查一下:调低提醒门槛会让训练损失变小吗?

只调低门槛,R 可能会收到提醒。权重和概率未变,训练用的二元交叉熵也保持原值。调参数后重新算概率,损失才可能随之改变。

第二遍:推导、实验与模型边界

上面用 R 单走完了预测和一次更新。接下来用同一批订单解释概率与损失的由来,再把一次手算推广到批量训练和决策边界。

同一张订单,两种问法

回归(Regression)预测一个数值,这里是预计用时。二分类(Binary Classification)回答一个只有两类的问题,这里是「超时」或「准时」。两种模型可以各用适合自己的输入。以下用教学订单 Q 对照。

Q 单距离 4 公里,排 6 单,当时没下雨
回归 · 预计多久送达?
用前一课的演示规则,距离、下雨(没下雨记 0)和排队都参与计算。
3 × 4 + 4 × 0 + 1.5 × 6 + 10 = 31 分钟。
分类 · 超时的风险有多大?
沿用本页只看距离和排队的打分规则。
0.8 × 4 + 0.5 × 6 − 4 = 2.2 分。
e−2.2 ≈ 0.1108,1 ÷ (1 + 0.1108) ≈ 0.9002,即约 90%。按本页 50% 门槛发提醒。

如果历史订单只留下「超时/准时」,就能直接用这些标签训练分类器。回归给出的 31 分钟可以和 30 分钟作比较。分类器给出的概率还告诉客服模型估计风险有多大,可以用不同的业务门槛做决定。

把下单时和送达后的信息分开

一单就是一个样本。预测时已经知道的距离和排队单数叫特征,是模型的输入。送达后才拿得到的答案叫标签,用 $y$ 表示。超过 30 分钟记 $y=1$,称为正类。30 分钟内(含第 30 分钟)记 $y=0$,称为负类。正类指我们关注的事件,这里恰好是一件坏事。

同三单会在后面反复出现
订单距离(km)前面排队(单)送达后才知道的标签
P200 · 准时
Q461 · 超时
R321 · 超时

0 和 1 是约定的编号。用它们有个计算上的好处:三单的标签相加得 2,正好数出超时单。模型先输出一个介于 0 和 1 的超时概率估计,需要采取行动时,再把它换成预测类别。把送达分钟数提前喂给模型,就把未来答案泄漏进了输入。

随手练 1一单在第 30 分钟送到。下单时可以输入哪一项?送达后的标签是什么?

看答案与解析

答案 A。排队单数在下单时已知,可以作为特征。第 30 分钟仍在承诺时间内,标签是 0。实际送达分钟数要等事后才知道。

把一单的乘加写成一张表

给一张订单打分时,我们先让距离和距离权重配对,再让排队数和排队权重配对。处理三张订单时,可以让它们共用同一套列顺序。

把三单输入排成矩阵 X。行对应订单,列对应特征
行号 i第 1 列 · 距离(公里)第 2 列 · 排队(单)
1 · P20
2 · Q46
3 · R32

一行按顺序排的数叫向量。R 的输入向量是 $(3,2)$,权重向量是 $(0.8,0.5)$。同位置相乘再相加叫点积,这里是 $3\times0.8+2\times0.5=3.4$。

三行向量叠起来就是矩阵 $X$,这里有 3 行 2 列。$x_{ij}$ 表示第 $i$ 行、第 $j$ 列的输入,例如 $x_{32}=2$,是 R 的排队数。

记 $x_1$ 为距离、$x_2$ 为排队单数,$w_1$ 为距离权重、$w_2$ 为排队权重,$b$ 为起始分。$w_j$ 是第 $j$ 项特征的权重,$z_i$ 是第 $i$ 单的分数。

特征变多时,逐项写会很长。用大写希腊字母 $\sum$ 表示加总。若有 $d$ 个特征,就让 $j$ 从 1 走到 $d$,每走一次加一项。计算 R 时 $i=3$ 固定,$d=2$,正好加两项:

$$z_i=b+\sum_{j=1}^{d}w_jx_{ij}$$

R 是表里的第 3 行。把两项带回去,得到原来的 −0.6 分:−4 + (0.8 × 3 + 0.5 × 2) = −0.6。

随手练 2用演示参数算新订单。距离 1 km,前面排 4 单,它的分数是多少?

看答案与解析

答案 B。距离贡献 0.8 × 1 = 0.8,排队贡献 0.5 × 4 = 2,再加偏置 −4,得到 −1.2 分。

理解指数、Sigmoid 和概率校准

前面的概率曲线显示,分数升高时,概率跟着升高。这里拆开 Sigmoid(读作「西格莫伊德」)的分母,看看这个性质从哪来。

微型数学课 · 看懂指数和 e

在 $2^3=2\times2\times2=8$ 里,2 是底数,3 是指数。指数可以是 0、负数或小数。例如 $2^0=1$,$2^{-3}=1/2^3=1/8$,$2^{0.5}$ 是平方根,约 1.414。$e$ 是一个固定的数(约 2.71828)。$e^0=1$,$e^{-1}=1/e\approx0.368$。算小数指数时可用计算器的 $e^x$ 键。

为什么分母要写成 1 加一个指数

分数往上走,换算出的概率为什么也往上?
  1. 分数变大取反后,−z 变小。
  2. 分母变小e−z 随指数变小,1 + e−z 仍大于 1。
  3. 概率变大取倒数,结果仍在 0 和 1 之间。

记 $\sigma$ 为这个转换,$\hat p$ 为模型估计的超时概率。$z=0$ 时分母是 2,两类概率各占一半。把门槛换回分数时,会用到这条曲线与对数胜算的关系。

$$\hat p=\sigma(z)=\frac{1}{1+e^{-z}}$$

每行从左往右算,最后才四舍五入
订单分数 $z$取反并算指数 $e^{-z}$加 1 后取倒数
P$1.6+0-4=-2.4$$e^{2.4}\approx11.0232$$1/12.0232\approx0.0832$
Q$3.2+3-4=2.2$$e^{-2.2}\approx0.1108$$1/1.1108\approx0.9002$
R$2.4+1-4=-0.6$$e^{0.6}\approx1.8221$$1/2.8221\approx0.3543$
动手 · 让分数沿曲线移动 z = −0.6 → 1 ÷ (1 + 1.8221) ≈ 0.3543(35.43%)

分别试 −3 到 −2、0 到 1。两次分数都加 1,比较两次的概率改变量,再对照前面的曲线。

R 的 35.43% 是模型的估计。检验概率是否可信,要拿未用于拟合的代表性数据检查:例如所有估计接近 35% 的订单中,实际是否大约每 100 单有 35 单超时。这叫概率校准。Sigmoid 给出概率刻度,校准需要数据检验。定义见 scikit-learn 的概率校准说明。

随手练 3分数是 −1。取 e ≈ 2.718,超时概率估计是多少?

看答案与解析

答案 C。先取反得到 1,再算指数 e¹ ≈ 2.718。分母加 1 后是 3.718,取倒数得到约 0.269。负分应得到小于 0.5 的概率估计。

比较提醒门槛和两种错误

三笔订单的概率都已经算好。只把门槛从 50% 降到 30%,哪笔订单的提醒会变?

只移动提醒门槛,概率点不动 同一概率轴上有 P 单 8.32%、R 单 35.43%、Q 单 90.02%。30% 虚线在 R 左侧,50% 实线在 R 右侧。门槛由 50% 降到 30% 后,只有 R 从不提醒改为提醒。 超时概率 P 8.32% R 35.43% Q 90.02% 0% 100% 30% 50%
概率点不动,只移动提醒门槛。先找 R,再比较它在两条门槛的哪一侧。超过或达到门槛的点会触发提醒。

本页约定「达到门槛就提醒」。令 $\tau$ 为阈值,$\hat y$ 为预测类别,$\hat p$ 是模型给的超时概率。概率与分类门槛的区别见 Google 机器学习课程。

$$\hat y=\begin{cases}1,&\hat p\ge\tau\\0,&\hat p<\tau.\end{cases}$$

当概率可信、两类错误代价相同,且目标是尽量少判错时,可以选概率较大的类,因此 0.5 是自然起点。

对于 R,$0.3543<0.5$,预测准时,实际却超时,这叫漏报(假负例)。把本来准时的订单误判为超时,叫误报(假正例)。降到 0.3 时,$0.3543\ge0.3$,R 就会收到提醒。

动手 · 同一组概率,换一条提醒线 阈值 0.50 · P 准时 · Q 超时 · R 准时 · 漏报 1,误报 0

试 0.30,再试 0.08 和 0.95。三个概率分别约 0.0832、0.9002、0.3543,判定时用未舍入的数。

固定概率、降低阈值,判为超时的集合只会扩大或保持不变,所以漏报不会增加、误报不会减少。$w_1,w_2,b$ 和概率都照旧,改变的是行动规则。

漏报代价更高时,可以试较低门槛。提醒资源紧张、误报代价更高时,可以试较高门槛。后面的训练实验会在验证集上按代价选阈值。

随手练 4模型给某单恰好 0.30,阈值从 0.50 改成 0.30。按本页约定会怎样?

看答案与解析

答案 A。先比较 0.30 < 0.50,再比较 0.30 ≥ 0.30。后一种达到门槛,故发送提醒。只换了比较规则。

从实际结果的概率推导二元交叉熵

首遍按实际结果挑出概率,再用 −ln 评分。这里要把超时和准时合并成一个能用同一套代码计算的式子。直接加带符号的误差会把预测偏高 0.2 和偏低 0.2 抵消,掩盖两笔各自的错误。

微型数学课 · ln 是把指数倒过来问

$e^t$ 问「把 $e$ 提到 $t$ 次方会得到什么?」$\ln q$ 问「要把 $e$ 提到几次方才得到正数 $q$?」因为 $e^0=1$,$\ln 1=0$。因为 $e^{-1}\approx0.3679$,$\ln(0.3679)\approx-1$。在 $0<q<1$ 时,$\ln q$ 为负,越接近 0 就越负。加一个负号,$-\ln q$ 就成了「给真实结果的概率越小,罚得越重」的正数。

先挑对概率,再取负对数

一次只会出现两种互斥结果。用 $\hat p$ 表示超时这一边的概率,另一边的概率就必须是 $1-\hat p$。这就是伯努利模型,即一个 0/1 结果的概率模型。

观察到标签 $y$ 后,用 $q_y$ 表示模型给实际发生的结果的概率。因为 $y$ 只能是 0 或 1,下面的指数可以当开关:0 次方把对应项换成 1,1 次方保留原值。

$$q_y=\hat p^{\,y}(1-\hat p)^{1-y}$$

  • R 确实超时。$y=1$,所以 $q_1=0.3543^1(1-0.3543)^0=0.3543$。
  • P 实际准时。$y=0$,所以 $q_0=0.0832^0(1-0.0832)^1=0.9168$。

我们要让 $q_y$ 大,等价于让 $-\ln q_y$ 小。记 $\ell$ 为单笔损失。取对数会把乘法变成加法,也把 0 或 1 的指数搬到项目前。

这是因为同底数的幂相乘时指数相加。例如 $e^{-1}\times e^{-2}=e^{-3}$,取自然对数得到 $-3=(-1)+(-2)$。这个结果叫二元交叉熵(BCE)。有限分数给出 $0<\hat p<1$,所以两个对数都有定义。可对照 scikit-learn 的二分类对数损失公式。

$$\begin{aligned} \ell &=-\ln q_y\\ &=-\ln\!\big(\hat p^{\,y}(1-\hat p)^{1-y}\big)\\ &=-\big[y\ln\hat p+(1-y)\ln(1-\hat p)\big]. \end{aligned}$$

R($y=1$)。第二项的系数为 0,用表中概率保留更多位数,留下 $-\ln(0.35434369)\approx1.0375$。

P($y=0$)。第一项的系数为 0,先算 $1-0.08317270=0.91682730$,再算 $-\ln(0.91682730)\approx0.0868$。

Q($y=1$)。留下 $-\ln(0.90024951)\approx0.1051$。同样超时,模型给真实结果的概率比 R 高,所以 Q 罚得轻。

多笔订单为什么用平均

训练要同时照顾多笔订单。先用 P 和 R 看,为什么整组结果的乘法会变成逐笔损失的加法。

两笔结果的概率相乘,取负对数后变成损失相加
  1. 选实际结果P 实际准时,取约 0.91682730。R 实际超时,取约 0.35434369。
  2. 先合并概率若结果条件独立,一起出现的概率约为 0.91682730 × 0.35434369 ≈ 0.32487197。
  3. 换成损失−ln(0.32487197) 约等于逐笔取负对数后相加:0.0868 + 1.0375 ≈ 1.1243。

给定特征和模型参数后,若各单结果可视为条件独立,选参数使这个乘积最大叫最大似然。乘积越大,负对数越小,所以可以改为最小化损失和。若同一商家的订单彼此强相关,需要重新审视独立假设。推导可对照 Stanford CS229 第 2 章。

我们把总损失除以样本数,让量级按「每单」读。$n$ 是订单数,$i$ 从 1 到 $n$ 数订单,$\ell_i$ 是第 $i$ 单的损失,$L$ 是平均损失。在同一批数据上,除以固定的 $n$ 保留最优解。

$$L=\frac{1}{n}\sum_{i=1}^{n}\ell_i$$

三笔约为 0.0868、0.1051 和 1.0375。相加得 1.2294,除以 3 得约 0.4098。

0.4098 是这三单平均的对数损失。它可以用来比较同一批订单上两组概率的好坏,和超时率或正确率的单位不同。训练用的 $L$ 不经过阈值。

动手 · 相同的概率,不同的真实结果 p̂ = 0.90 · q = 0.90 · −ln(q) ≈ 0.1054

让概率保持 0.90,切换真实结果。再把概率拖到 0.50,看看两种结果的损失。

随手练 5某单其实准时,模型说超时概率 0.90。这一单的 BCE 约为多少?

看答案与解析

答案 B。真实是 0,给真实结果的概率是 1 − 0.90 = 0.10。ln(0.10) ≈ −2.303,取负得到约 2.303。

从试探斜率走到梯度

同样的订单,换一组权重就会得到另一组概率,平均损失也会变。我们想知道从当前参数往哪边挪,能先把损失降一点。把损失想成地面高度,把参数想成位置。先只看一个可动的参数。

微型数学课 · 从两点斜率到一处导数

先用 $F(a)=a^2$ 的一小段练习。$a$ 是位置,$F(a)$ 是示意高度。怎么从两次测量估出起点附近的斜率?

平均变化率的两个量 抛物线局部从坐标 (2, 4) 上升到 (2.1, 4.41)。向右移动 0.1,向上移动 0.41。平均变化率用高度差除以位置差,得到 4.1。 高度 F(a) 4.41 4 2 2.1 0.41 h = 0.1 位置 a
斜率来自高度差和位置差。先看水平挪了多少,再看高度变了多少。这两段长度分别是差商的分母和分子。

位置的改变量记作 $h$。当 $h\ne0$,平均变化率就是「高度变化 $F(a+h)-F(a)$ ÷ 位置变化 $h$」。差商与切线斜率的关系见 OpenStax 微积分教材。

从 2 走到 2.1,斜率是 $(4.41-4)/0.1=4.1$。只走到 2.01,就得到 $(4.0401-4)/0.01=4.01$。缩小两点的距离,差商趋向起点的切线斜率,也就是导数。

在这个例子里可以直接展开平方。先约掉非零的 $h$,再想象 $h$ 趋近 0:

$$\begin{aligned} \frac{F(a+h)-F(a)}{h} &=\frac{(a+h)^2-a^2}{h}\\ &=2a+h. \end{aligned}$$

让 $h$ 趋近 0,得到导数 $F'(a)=2a$。

在 $a=2$,导数为 4。把位置往右挪很小一段,例如 0.01,高度约上升 $4\times0.01=0.04$,实际升了 0.0401。往左挪很小一段则会降。这就是「局部」的意思。

参数有好几个,先只动一个

把 $w_2,b$ 固定,只动 $w_1$。算出的局部斜率叫损失 $L$ 对 $w_1$ 的偏导数,写成 $\partial L/\partial w_1$。「$L$ 对 $w_1$」读作「$w_1$ 略微变化,$L$ 跟着变化多少」。

沿用前面的 P、Q、R 和同一组标签。固定排队权重 0.5、偏置 −4,只把距离权重从 0.80 增至 0.81,平均损失从约 0.409802 降到 0.402634,减少约 0.007169。把变化量除以 0.01,得到偏导的近似值 −0.717。

再分别固定其他参数去求 $w_2$ 和 $b$ 的偏导。把这三个斜率按参数顺序排成一个向量,叫梯度。在平滑的损失曲面上,梯度指向附近上升最快的方向,反过来就是附近下降最快的方向(以同样长度的小步来比较)。

例如两项偏导是 $(3,4)$,往右走一小步,主要用到第一项;若沿着 $(3,4)$ 走,先求方向向量的长度 $\sqrt{3^2+4^2}=5$。两项分别除以 5,得到长度为 1 的方向 $(3/5,4/5)=(0.6,0.8)$。

这时用同样长度的一步,高度约变化 $3\times0.6+4\times0.8=5$ 倍步长,而只向右是 3 倍。把步子完全反向,两项变化也同时变号。

用学习率决定走多远

记 $\theta$ 为任意一个参数,$g$ 为 $L$ 对它的偏导,$\eta$(读作 eta)是正的学习率。先把每个偏导在旧参数上算好,再一起更新。要朝下坡走,就从旧参数中减去缩放后的偏导:

$$\theta_{\mathrm{new}}=\theta_{\mathrm{old}}-\eta g.$$

在 $F(a)=a^2$ 的小山上,取 $\theta=a=2$,$g=4$,$\eta=0.25$。一步得到 $a_{\rm new}=2-0.25\times4=1$,高度从 4 降到 1。若 $\eta=0.01$,只走到 1.96,下降得慢。若 $\eta=1.25$,走到 −3,高度反升到 9。梯度提供附近的方向,太大一步可能越过低谷。

动手 · 从 a = 2 走一步 2 − 0.25 × 4 = 1.00 · 高度 4.00 → 1.00
抛物线 F(a) = a²。空心点为起点,实心点为更新后的位置 −303a高度
空心点是起点。实心点是更新后的位置。试试 0.50、1.00 和 1.25。

$w_1,w_2,b$ 是训练会更新的模型参数。学习率、训练轮数由人或调参流程设定,属于超参数。阈值也可以调,但在本页它属于预测后的决策设置,更新权重时用不到它。

随手练 6F(a) = a²,在 a = −2 时斜率为 −4,学习率 0.25。下一步到哪里?

看答案与解析

答案 C。旧位置减去学习率乘斜率,−2 − 0.25 × (−4) = −1。负斜率指向右侧下降,高度从 4 降到 1。

把变化率传回三个参数

参数是我们实际能调的数。R 的损失在计算的另一端。要知道权重调一点会让损失变多少,中间经过了什么?

R 单的变化怎样从距离权重传到损失 由上到下:距离权重 0.8 决定分数的一部分,R 单分数为负 0.6;Sigmoid 把分数换成约 0.3543 的超时概率;实际超时,用这个概率算出单笔损失约 1.0375。求损失对权重的变化率,需要把相邻环节的斜率相乘。 距离权重 0.8 分数 −0.6 超时概率 0.3543 单笔损失 1.0375 权重变,分数跟着变 分数变,概率跟着变 概率变,损失跟着变
从距离权重追到单笔损失。从上往下看权重改动会经过哪三段。要把损失的变化率传回权重,就乘这三段各自的斜率。

微型数学课 · 链式法则

先用一个好算的例子。每个箱子有 3 包,每包有 2 瓶。增加 1 箱就增加 3 包,接着增加 $3\times2=6$ 瓶。变化率可以沿依赖关系相乘。曲线也是这个道理,只是每段都要在当前点用局部变化率。复合函数的求导规则见 OpenStax 链式法则。

回到 R。接下来先算「概率变一点,损失怎么变」,再算「分数变一点,概率怎么变」,最后把两段连起来。

第一段 · 概率变一点,损失怎样变

这里固定真实标签 $y$。用 $u$ 表示对数的正数输入,$\ln u$ 的导数是 $1/u$。可以从「对数与指数互逆」理解:令 $v=\ln u$,就有 $u=e^v$。自然指数的导数等于它本身。

从差商可以看到原因:$e^{v+h}=e^v e^h$,所以 $(e^{v+h}-e^v)/h=e^v(e^h-1)/h$。$e$ 是使 $(e^h-1)/h$ 在 $h$ 趋近 0 时趋近 1 的底数,例如 $h=0.01$ 时约为 1.005。因此 $u$ 对 $v$ 的斜率是 $u$。

沿着同一小段变化倒着读,$v$ 对 $u$ 的斜率就是 $1/u$。

当 $y=1$,$\ell=-\ln\hat p$,保留负号,斜率就是 $-1/\hat p$。当 $y=0$,$\ell=-\ln(1-\hat p)$。每增加一点 $\hat p$,$1-\hat p$ 就减少同样多,所以再乘 −1,得到正的 $1/(1-\hat p)$。用 $y$ 和 $1-y$ 把两条规则合在一起:

$$\frac{\partial\ell}{\partial\hat p}=-\frac{y}{\hat p}+\frac{1-y}{1-\hat p}.$$

R 真超时,代入 $y=1$、$\hat p\approx0.3543$,得 $-1/0.3543\approx-2.822$。P 真准时,代入 $y=0$、$\hat p\approx0.0832$,得 $1/0.9168\approx1.091$。提高超时概率让 R 的损失下降,却让 P 的损失上升。

第二段 · 分数变一点,Sigmoid 怎样变

把 $\hat p=1/(1+e^{-z})$ 拆成两段。令 $s=1+e^{-z}$ 为分母。自然指数函数对指数变量的导数仍是这个函数,再乘上 $-z$ 对 $z$ 的斜率 −1,所以 $s$ 对 $z$ 的导数是 $-e^{-z}$。

倒数 $1/s$ 对 $s$ 的导数是 $-1/s^2$。后一个结果可用差商验证:若 $s$ 增加 $h$,倒数的改变量除以 $h$ 得 $-1/[s(s+h)]$,当 $h$ 趋近 0 就是 $-1/s^2$。

相乘后两个负号抵消。把结果拆成两个分数,其中第一项等于 $\hat p$,第二项是分母减 1 再除以分母,等于 $1-\hat p$:

$$\begin{aligned} \frac{d\hat p}{dz} &=\left(-\frac{1}{s^2}\right)(-e^{-z})\\ &=\frac{e^{-z}}{(1+e^{-z})^2}\\ &=\frac{1}{1+e^{-z}}\left(1-\frac{1}{1+e^{-z}}\right)\\ &=\hat p(1-\hat p). \end{aligned}$$

R 代入得到 $0.3543\times0.6457\approx0.2288$,所以分数多 0.01 时,概率约多 $0.2288\times0.01=0.00229$。

第三段 · 两段相乘,为什么只剩概率减标签

把上面两个斜率相乘,就得到固定 $y$ 时损失对分数的局部变化率。有限分数下两个分母都非零,第一项约掉 $\hat p$,第二项约掉 $1-\hat p$:

$$\begin{aligned} \frac{\partial\ell}{\partial z} &=\frac{\partial\ell}{\partial\hat p}\frac{d\hat p}{dz}\\ &=\left(-\frac{y}{\hat p}+\frac{1-y}{1-\hat p}\right)\hat p(1-\hat p)\\ &=-y(1-\hat p)+(1-y)\hat p\\ &=-y+y\hat p+\hat p-y\hat p=\hat p-y. \end{aligned}$$

R 是 $-2.822\times0.2288\approx-0.6457$,也就是 $0.3543-1$。分数只增 0.01 时,损失约减少 $0.6457\times0.01\approx0.00646$。所以提高 R 的分数能降低它的损失。P 则是 $0.0832-0=+0.0832$,降低分数才会使它的损失下降。

这里用 $\ell$ 表示单笔损失。若看批次平均 $L$ 对某一单分数 $z_i$ 的变化率,还要除以 $n$。

第四段 · 从一单分数传回参数,再合并三单

第 $i$ 单的分数里有一项 $w_j x_{ij}$。固定其他参数,$w_j$ 多 0.01,分数就多 $0.01x_{ij}$,所以分数对 $w_j$ 的偏导是 $x_{ij}$。偏置是直接加上去的,多 0.01 就让每单分数多 0.01,所以分数对 $b$ 的偏导是 1。再分别乘上该单损失对分数的斜率。

共享参数同时影响每一单,因此每单的贡献都要纳入平均。$\hat p_i$ 和 $y_i$ 是第 $i$ 单的概率估计和标签。$j$ 在一条权重梯度公式中固定,$i$ 遍历 $n$ 单:

$$\begin{aligned} \frac{\partial L}{\partial w_j} &=\frac1n\sum_{i=1}^{n}\underbrace{(\hat p_i-y_i)}_{\text{损失对分数}}\underbrace{x_{ij}}_{\text{分数对权重}},\\ \frac{\partial L}{\partial b} &=\frac1n\sum_{i=1}^{n}(\hat p_i-y_i)\cdot 1. \end{aligned}$$

用演示参数算三单的梯度。各列最后再除以 3
订单差值 $\hat p_i-y_i$乘距离乘排队单数乘 1
P$0.0832-0\approx0.0832$$0.0832\times2\approx0.1663$$0.0832\times0=0$$0.0832$
Q$0.9002-1\approx-0.0998$$-0.0998\times4\approx-0.3990$$-0.0998\times6\approx-0.5985$$-0.0998$
R$0.3543-1\approx-0.6457$$-0.6457\times3\approx-1.9370$$-0.6457\times2\approx-1.2913$$-0.6457$
平均—$-2.1696/3\approx-0.7232$$-1.8898/3\approx-0.6299$$-0.6622/3\approx-0.2207$

表里以未舍入的概率计算,显示到 4 位小数。P 的排队数是 0,因而这一单不会推动排队权重,但仍会推动偏置。

把旧参数换成新参数,复算损失

这次回到三单示例的起点:距离权重 0.8、排队权重 0.5、偏置 −4。前面得到约 0.8717 的距离权重是单独演示,这里要从同一组旧参数一起更新三个值。学习率取 0.1。三项梯度都为负,所以从各旧参数减去负数,三项都往大调:

$$\begin{aligned} w_{1,\mathrm{new}}&=0.8-0.1(-0.7232)\approx0.8723,\\ w_{2,\mathrm{new}}&=0.5-0.1(-0.6299)\approx0.5630,\\ b_{\mathrm{new}}&=-4-0.1(-0.2207)\approx-3.9779. \end{aligned}$$

R 的新分数约为 $0.8723\times3+0.5630\times2-3.9779=-0.2350$,新概率约 0.4415。

P、Q 的新概率约 0.0968、0.9473。P 准时,损失是 −ln(1 − 0.0968) ≈ 0.1018。Q 和 R 超时,损失约为 0.0541 和 0.8175。

用未舍入的值求平均,约为 (0.1018 + 0.0541 + 0.8175) ÷ 3 = 0.3245,低于原来的 0.4098。单笔损失可能上升,例如 P,这一步优化的是平均损失。

动手 · 调步长,重算 P、Q、R 的一次更新 η = 0.10 · 新参数 (0.8723, 0.5630, −3.9779) · 平均损失 0.4098 → 0.3245

每次从同一组演示参数起步。试 0 看看不动时的损失,再试 2 看看走太远会怎样。

随手练 7只看 R 一单。实际超时、概率约 0.3543、排队 2 单。排队权重的梯度约多少?

看答案与解析

答案 A。先算对分数的斜率 0.3543 − 1 = −0.6457,再乘这单的排队数 2。只有一单,除以 1 得约 −1.2914。

进阶 · 平方损失也能评分,为什么这里选 BCE?

单笔平方损失是 $(\hat p-y)^2$。它对分数的导数是 $2(\hat p-y)\hat p(1-\hat p)$,多乘了 Sigmoid 的斜率。

当 $y=1$、$\hat p=0.001$ 时,BCE 的分数梯度是 −0.999,平方损失的梯度约为 $2(-0.999)(0.001)(0.999)\approx-0.002$。后者在这个自信地犯错的例子中给出的分数纠正信号更小。BCE 还来自上面的伯努利似然。这个比较限于输出分数这一段。

运行训练,再检验提醒规则

刚才我们算的是一次更新。把「算分数 → 算损失和梯度 → 更新参数」重复起来,就能训练模型。先用演示参数复算三单,再用同一套函数从全零开始训练,两次计算互相独立。

先决定哪些订单做什么

教学数据在运行前已分开,三组没有重复订单
数据数量允许用来做什么
训练集 TRAIN10(含 P、Q、R)用特征和标签计算梯度,拟合 $w_1,w_2,b$。
验证集 VALID6权重固定后,在预先列好的三个阈值里选一个。学习率、轮数若要调,也用验证集。
测试集 TEST6参数、阈值和评估规则锁定后,报告每种预先指定的方法在留出订单上的表现。

训练追求低平均 BCE。评估时,我们还看准确率(判对的单数除以总单数)和误报、漏报。业务关心的是提醒产生的代价:在这个练习里每次误报计 1 分、每次漏报计 3 分。例如 2 次误报加 1 次漏报共 $2\times1+1\times3=5$ 分,越少越好。候选阈值固定为 0.30、0.50、0.70。同成本时选较高门槛,少发一些提醒。这个成本是教学约定。

纯 Python · 从零训练并评估

读手写训练代码时,先沿三个动作找函数
  1. 用旧参数做预测score 算分数 z,sigmoid 换成概率。
  2. 汇总本批结果loss_and_gradient 算平均损失与各参数的梯度。
  3. 更新再重算update 执行「旧参数 − 学习率 × 梯度」。

把下面整段存成 lesson_lr.py,运行 python lesson_lr.py。只用 Python 自带的 math。for 每次从表中取一行,+= 把这单的贡献加进累计值,zip 把同一位置的两组值配成对。数学用 $j=1,2$ 编号,代码里解包参数后直接叫 w1 和 w2。

import math

# 每行依次是距离(km)、排队单数、送达后记录的 0/1 标签。
TRAIN = [
    (2, 0, 0), (4, 6, 1), (3, 2, 1),  # P、Q、R
    (1, 1, 0), (5, 3, 1), (2, 2, 0), (4, 1, 0),
    (1, 5, 0), (3, 6, 1), (5, 0, 1),
]
VALID = [
    (2.5, 3, 0), (3.7, 1, 1), (4.5, 2, 1),
    (4.1, 1, 0), (2.2, 5, 0), (5.1, 2, 1),
]
TEST = [
    (1.8, 3, 0), (4.3, 1, 1), (4.7, 0, 0),
    (3.2, 2, 1), (2.8, 3, 0), (3.6, 5, 1),
]
THRESHOLDS = (0.30, 0.50, 0.70)


def score(distance, queue, params):
    w1, w2, b = params
    return w1 * distance + w2 * queue + b


def sigmoid(z):
    # 两个分支等价,都只对非正数做 exp,避免上溢。
    if z >= 0:
        return 1 / (1 + math.exp(-z))
    exp_z = math.exp(z)
    return exp_z / (1 + exp_z)


def bce(z, y):
    # y=0 用 ln(1+exp(z)),y=1 用 ln(1+exp(-z))。
    t = z if y == 0 else -z
    return max(0.0, t) + math.log1p(math.exp(-abs(t)))


def loss_and_gradient(rows, params):
    total = g1 = g2 = gb = 0.0
    for distance, queue, y in rows:
        z = score(distance, queue, params)
        p = sigmoid(z)
        delta = p - y
        total += bce(z, y)
        g1 += delta * distance
        g2 += delta * queue
        gb += delta
    n = len(rows)
    return total / n, (g1 / n, g2 / n, gb / n)


def update(params, gradient, rate):
    return tuple(old - rate * g for old, g in zip(params, gradient))


def train(rows, rate=0.10, steps=20000):
    params = (0.0, 0.0, 0.0)
    for step in range(steps + 1):
        loss, gradient = loss_and_gradient(rows, params)
        if step in (0, 1, 100, 3000, steps):
            print(f"已更新 {step:5d} 次 · 训练 BCE {loss:.6f}")
        if step == steps:
            break
        params = update(params, gradient, rate)
    return params


def decisions(probabilities, rows, threshold):
    fp = fn = 0
    for p, (_, _, y) in zip(probabilities, rows):
        predicted = int(p >= threshold)
        fp += int(predicted == 1 and y == 0)
        fn += int(predicted == 0 and y == 1)
    return fp, fn


def choose_threshold(probabilities):
    costs = []
    for threshold in THRESHOLDS:
        fp, fn = decisions(probabilities, VALID, threshold)
        costs.append((fp + 3 * fn, -threshold))  # 同成本取较高门槛
    best_cost, negative_threshold = min(costs)
    print("验证成本(按 0.30、0.50、0.70):", [cost for cost, _ in costs])
    return -negative_threshold


def report_test(probabilities, threshold):
    fp, fn = decisions(probabilities, TEST, threshold)
    accuracy = 1 - (fp + fn) / len(TEST)
    print(f"测试阈值 {threshold:.2f} · 误报 {fp} · 漏报 {fn}")
    print(f"准确率 {accuracy:.3f} · 业务成本 {fp + 3 * fn}")
    print("测试超时概率:", [round(p, 4) for p in probabilities])


def probabilities(rows, params):
    return [sigmoid(score(d, q, params)) for d, q, _ in rows]


if __name__ == "__main__":
    demo = (0.8, 0.5, -4.0)
    before, gradient = loss_and_gradient(TRAIN[:3], demo)
    after = update(demo, gradient, rate=0.1)
    print("手算对照:", [round(v, 4) for v in after])
    print(f"三单 BCE {before:.4f} → {loss_and_gradient(TRAIN[:3], after)[0]:.4f}")

    fitted = train(TRAIN)
    print("训练后 (w1, w2, b):", [round(v, 4) for v in fitted])
    threshold = choose_threshold(probabilities(VALID, fitted))
    report_test(probabilities(TEST, fitted), threshold)

拿三单梯度表逐列对照代码

算预测。score 解包两个权重和偏置,返回两项乘积的和加偏置。sigmoid 对非负分数直接套公式。对负分数,把分子分母同乘 $e^z$,改算 $e^z/(1+e^z)$,传给 exp 的指数就始终非正。

probabilities 对每一行做同样的事。它用 _ 忽略最后一个字段(实际标签),因为预测时用不到事后结果。

从分数稳定地算损失

手算时我们先求概率。代码里的 bce 直接接收分数,避免概率舍入到 0 或 1 后再取对数。

实际标签决定指数里用 z 还是 −z
实际结果同一笔损失的两种写法取 t
超时 y = 1−ln(p̂) = ln(1 + e−z)−z
准时 y = 0−ln(1 − p̂) = ln(1 + ez)z

两行都写成 $\ell=\ln(1+e^t)$。以 R 为例,$t=-(-0.6)=0.6$,所以 $\ln(1+e^{0.6})\approx1.0375$。

当 $t\ge0$,从 $1+e^t$ 提出 $e^t$,改算 $t+\ln(1+e^{-t})$。当 $t<0$,直接算 $\ln(1+e^t)$。代码用 max 和绝对值合并两支。math.log1p(u) 可以在 $u$ 接近 0 时准确地算 $\ln(1+u)$。

从一批订单更新参数,再评估

loss_and_gradient 中的 delta = p - y 对应三单梯度表的第二列。把它乘距离、排队数和 1,分别加进 g1、g2 和 gb,同时用 total 累计损失。四项最后都除以订单数。

update 把每个参数和它的梯度配对,执行旧值减学习率乘梯度。train 从 (0, 0, 0) 起步,固定学习率 0.10。它每步先用旧参数算完整梯度,再更新。标作「已更新 0 次」的是更新前的损失,「已更新 20000 次」的是完成最后一步后的损失。

decisions 把概率与门槛比较,再按标签计误报和漏报。choose_threshold 只读验证集,先选成本最低的门槛,同成本时选较高的。report_test 用已锁定的门槛计算测试结果。

if __name__ == "__main__" 里的步骤只在直接运行文件时执行。下一个脚本导入这些函数时,不会再次启动手写训练。

手算对照: [0.8723, 0.563, -3.9779]
三单 BCE 0.4098 → 0.3245
已更新     0 次 · 训练 BCE 0.693147
已更新     1 次 · 训练 BCE 0.661706
已更新   100 次 · 训练 BCE 0.508442
已更新  3000 次 · 训练 BCE 0.253866
已更新 20000 次 · 训练 BCE 0.245573
训练后 (w1, w2, b): [2.3654, 1.1804, -10.0881]
验证成本(按 0.30、0.50、0.70): [3, 5, 4]
测试阈值 0.30 · 误报 2 · 漏报 0
准确率 0.667 · 业务成本 2
测试超时概率: [0.092, 0.7797, 0.7368, 0.4606, 0.5191, 0.987]

在训练起点,全零参数让每单分数为 0、概率为 0.5,平均损失是 $-\ln(0.5)\approx0.693147$。训练首步的梯度约为 $(-0.5,-0.4,0)$,所以更新到 $(0.05,0.04,0)$。最后得到约 $(2.3654,1.1804,-10.0881)$。

固定排队数时,每多 1 km,分数约多 2.3654,概率随之上升。这个系数是该数据和模型下的关联,不能拿来当「公里数导致超时」的因果结论,也不等于概率提高 236.54 个百分点。

用同一份验证集比较三种门槛的提醒成本
门槛误报漏报成本(分)
0.30303 + 3 × 0 = 3
0.50212 + 3 × 1 = 5
0.70111 + 3 × 1 = 4

0.30 的验证成本最低。固定它之后,才去测试集算出 4/6 的准确率和 2 分成本。样本很少,这里演示的是先选门槛、再评估的顺序。选择门槛的数据要求见 scikit-learn 1.7 的门槛选择说明。

scikit-learn · 在同一数据上对照

保持 lesson_lr.py 在同一目录。以下例子用 scikit-learn 1.7.2(可运行 python -m pip install scikit-learn==1.7.2 安装)。把这一段存为 lesson_sklearn.py,运行 python lesson_sklearn.py。

from sklearn.linear_model import LogisticRegression
from lesson_lr import TRAIN, VALID, TEST, choose_threshold, report_test


def features(rows):
    return [(distance, queue) for distance, queue, _ in rows]


# 关闭默认正则化,与上面最小化同一个训练目标。
model = LogisticRegression(penalty=None, solver="lbfgs", tol=1e-10, max_iter=1000)
model.fit(features(TRAIN), [y for _, _, y in TRAIN])
print("训练后 (w1, w2, b):", [round(float(v), 4) for v in [*model.coef_[0], model.intercept_[0]]])

positive_col = model.classes_.tolist().index(1)
valid_p = model.predict_proba(features(VALID))[:, positive_col]
threshold = choose_threshold(valid_p)
test_p = model.predict_proba(features(TEST))[:, positive_col]
report_test(test_p.tolist(), threshold)

features 只取前两列作为输入。fit 只用训练集。

scikit-learn 1.7 的 LogisticRegression 默认对权重加惩罚(叫正则化,见 正则化实验)。这里用 penalty=None 关闭惩罚,以便比较同一个目标。lbfgs 是库内置的优化方法,tol 和 max_iter 控制停止精度与迭代上限。

predict_proba 每行给两个类别的概率,先在 classes_ 中找标签 1 的列,再只取该列。两份代码用同一条验证规则,各自固定阈值后才看测试结果。

训练后 (w1, w2, b): [2.4146, 1.2163, -10.3211]
验证成本(按 0.30、0.50、0.70): [3, 5, 4]
测试阈值 0.30 · 误报 2 · 漏报 0
准确率 0.667 · 业务成本 2
测试超时概率: [0.089, 0.7821, 0.7364, 0.4596, 0.5221, 0.9885]

两种方法的测试概率接近,首单约为 0.0920 和 0.0890。两者在验证集都选到 0.30,在测试集也得到相同的类别决策。系数仍有差别,因为手写例程执行固定次数的梯度下降,库用另一种方法和停止条件。这一小例子用于核对计算和数据使用顺序。实际项目还要扩大验证与测试样本,按部署场景考虑时间切分和概率校准。模型评估见 阈值选择与评估指标。

随手练 8两套权重都训练好了。应在哪组数据比较 0.30、0.50、0.70 的提醒成本,选阈值?

看答案与解析

答案 B。验证集用于选择阈值。锁定权重、阈值和规则后才去测试集报告结果。BCE 是训练目标,提醒成本是此例的行动目标。

从一条决策线看到模型的边界

把每张订单画成一个点。横轴是距离 $x_1$,纵轴是排队单数 $x_2$。换门槛时,订单点的位置没变。变的是哪条线?

两条提醒边界与三张订单 横轴为距离,纵轴为排队单数。50% 门槛对应实线,30% 门槛对应下方虚线。位于两线之间的 R 单 (3,2) 只在 30% 门槛时发提醒。Q (4,6) 在两条线的上方,P (2,0) 在两条线的下方。 排队(单) P R Q 8 4 0 2 4 距离(km) 50% 门槛 30% 门槛
同一批订单,两条提醒边界。先找 R。实线是 50% 门槛,虚线是 30% 门槛。达到对应边界或在它上方就提醒,R 恰在两条线之间。

当 $\tau=0.5$ 时,Sigmoid 把 0 分恰好变成 0.5。恰好达到门槛的点满足 $z=0$,这些点组成决策边界。

代入同一组演示参数,可以看到直线从哪来:

$$\begin{aligned} 0.8x_1+0.5x_2-4&=0,\\ x_2&=8-1.6x_1. \end{aligned}$$

例如距离为 2.5 km 时,边界上排队数为 $8-1.6\times2.5=4$。代回去得 $0.8\times2.5+0.5\times4-4=0$,概率恰好 0.5,按本页约定判超时。相同距离下排队 3 单在准时一侧,排队 5 单在超时一侧。只要至少有一个权重非零,两项特征对应直线,三项特征对应平面,更多维中叫超平面。所有权重为零时分数恒定,两侧也就不再区分。

把门槛换回分数:用到胜算

客服在概率上选门槛,图上的直线却按原始分数画。要知道一条提醒门槛对应哪个分数,就要把 Sigmoid 的等式倒着解。这也是回过头理解为何选用 Sigmoid 的办法。

把概率 $\hat p$ 除以它的补数 $1-\hat p$,得到胜算。例如概率 0.75 对应 $0.75/0.25=3$,即发生与不发生的比是 3 比 1。由 Sigmoid 可得 $1-\hat p=e^{-z}/(1+e^{-z})$,所以胜算是 $1/e^{-z}=e^z$。取自然对数就回到分数 $z$,这与 Google 课程的对数胜算推导一致。

因此概率恰好等于门槛 $\tau$ 时,只需把这个概率代入。对 $0<\tau<1$,门槛处的分数为:

$$z=\ln\!\left(\frac{\tau}{1-\tau}\right).$$

把 $\tau=0.3$ 代入,$1-\tau=0.7$,胜算约 0.4286,自然对数约 −0.8473。令原来的分数等于这个常数,得到 $0.8x_1+0.5x_2\approx3.1527$。边界平行移到左下,R 的分数 −0.6 高于 −0.8473,进入提醒一侧。这个等式也解释了「逻辑回归」的名字:模型用加权求和来刻画对数胜算,再把它变回分类概率。

线性可分与异或(XOR)

若存在一条直线能把两类样本全分对,就说它们在当前二维特征里线性可分。分不开时依然可以训练逻辑回归并做概率预测,只是这类边界可能留下一些分类错误。训练实验中的 10 单就有这样的情况:超时的 $(3,2)$ 和 $(5,0)$ 中点是准时的 $(4,1)$。

换个只有两个开关的例子。异或规则是「恰好有一个开关打开才输出 1」。两个输入同为 0 或同为 1 时输出 0。对角线上是同一类。

异或样本为什么难以用一条直线分开 左图圆点都在线左侧,叉号都在线右侧。右图的四个顶点形成一个正方形,圆点占左下和右上,叉号占左上和右下。同一类别占一条对角线,两条对角线的中点重合。 能分开 异或(XOR) ○ 类别 0 × 类别 1
为什么异或不能用一条线分开。先看左边怎样分开圆与叉,再找右边两条对角线的中点。右图横向是 x₁,纵向是 x₂,左下角为 (0,0)。

为什么任何一条直线都分不开?一条按加权求和与偏置算出的中点分数,总是两端分数的平均值,因为横、纵坐标都取了平均,加一次偏置的结果也一样。$(0,1)$ 和 $(1,0)$ 若都在提醒一侧,它们的中点 $(0.5,0.5)$ 也必须达到门槛。但 $(0,0)$ 和 $(1,1)$ 若都在另一侧,同一个中点又必须低于门槛。这两个要求互相冲突。

换一种特征,或让模型学特征

对 XOR,把两个开关记作 $x_1,x_2$,增加交互特征 $u=x_1x_2$。只有两个都打开时,$u$ 才是 1。试用分数 $z=x_1+x_2-2u-0.5$。前两项给每个开启的开关加 1,第三项在两个都开时扣掉 2,再减 0.5:

输入交互特征 $u$分数 $z$阈值 0.5 下的类别
(0, 0)0$0+0-0-0.5=-0.5$0
(0, 1)0$0+1-0-0.5=0.5$1
(1, 0)0$1+0-0-0.5=0.5$1
(1, 1)1$1+1-2-0.5=-0.5$0

在 $(x_1,x_2,u)$ 这个新空间里,分数仍是加权求和。在原来的二维输入上,交互项允许分界发生弯曲。

神经网络可以在隐藏层用非线性激活学习新的表示,再在这些表示上做判断。只堆加权求和与偏置,会合并成一次加权求和与偏置。XOR 是说明这种限制的小例子。

某些二分类网络会用单个 Sigmoid 输出,实际用什么输出层取决于任务和损失。接下来可在 神经网络一课看隐藏层怎样解决 XOR,在 反向传播一课看同一条链式法则怎样穿过多层。

随手练 9边界在原始输入上分不开 XOR。哪项操作能让这个线性打分模型表示 XOR?

看答案与解析

答案 C。若两个开关都开,交互项是 1,用它额外扣 2 分,就能让 (1,1) 落到负类一侧。阈值只会平移原边界。

参考资料与示例口径

下一课回归损失函数会回到预计用时,从误差走到一次参数更新。随后回归输出层比较同一个 Sigmoid 在两种任务中的用法。概率回归与目标变换进一步讨论怎样输出一个分布,之后的决策树会用另一种规则来分类。

打卡记录保存在你的浏览器里,首页能看到总进度