逻辑回归与分类
这单要不要提醒?
平台承诺 30 分钟送达。R 单刚下单,距离 3 公里,前面还排着 2 单。实际要多久现在还不知道。要不要先提醒顾客,这单有可能超时?
- 下单时 · 估计风险用距离和排队单数,判断要不要发提醒。
- 送达后 · 得到结果核对是否超过 30 分钟,才能评价这次预测。
先给订单打分
R 单距离 3 公里,前面排了 2 单。我们要在 30 分钟承诺下决定是否提醒。距离和排队是下单时已知的输入,叫特征。先把两项的风险合成一个分数。
沿用多特征线性回归的办法。每项乘上自己的权重,再加上起始分,也就是偏置。先用人为指定的演示参数。每多 1 公里加 0.8 分,每多排 1 单加 0.5 分,起始分是 −4。
- 距离 · 3 公里
- 0.8 × 3 = 2.4
- 排队 · 2 单
- 0.5 × 2 = 1
- 偏置
- 起始分 −4
三项相加:2.4 + 1 − 4 = −0.6 分。
我们把两项信息合成了 −0.6 分。分数可以为负,客服还需要一个能用百分比表达的风险估计。
把分数换成超时概率
同一条规则给 P 单打了 −2.4 分(2 公里、不排队),R 单得 −0.6 分。直接把负分都截成 0,就看不出哪笔风险更大。怎样让它们变成可比较的百分比?
逻辑回归用 Sigmoid 函数做这个换算。它把所有有限分数映到 0 和 1 之间,同时保留大小顺序。两项打分与概率换算的标准写法见 Google 机器学习课程。
用 z 表示原始分数,σ(z) 表示对它做 Sigmoid 换算,p̂ 表示模型估计的超时概率。e 是约等于 2.71828 的常数,可用计算器的 ex 键算指数。
$$\hat p = \sigma(z) = \frac{1}{1+e^{-z}}$$
R 得 −0.6 分,先取反得 0.6。算 e0.6 ≈ 1.8221,分母就是 1 + 1.8221 = 2.8221。
取分母的倒数:1 ÷ 2.8221 ≈ 0.3543,也就是约 35.43% 的超时风险。
加权算分,再用 Sigmoid 估计超时概率,这个模型叫逻辑回归(Logistic Regression)。这里的结果只有超时和准时两类,属于二分类。下一步把风险估计变成客服能执行的决定。
决定是否发提醒
假设这次规定「估计风险达到 50% 就发提醒」。这样的门槛叫阈值。先用 50% 演示,实际业务会根据漏发和误发的代价决定门槛。
- 打分3 公里、排 2 单 → −0.6 分
- 估计风险−0.6 经 Sigmoid → 约 35.43%
- 应用门槛35.43% 低于 50% → 不发提醒
把门槛改成 30%,同一个 35.43% 就会触发提醒。分数、风险估计和权重都没动,改变的是行动规则。
这就完成了一次下单时的预测。R 最后真的超时了。送达后,模型才有依据判断之前的风险估计给得好不好。
送达后给预测打分
R 实际超时,所以把真实结果记为 y = 1。若在 30 分钟内送达(含第 30 分钟),就记为 y = 0。这个事后记录叫标签。
如果只按有没有发对提醒来打分,下面两笔实际超时的订单会得到同样的评价。
训练时要区分这两次预测。把模型给实际结果的概率记作 q。实际超时就取模型估计的超时概率,实际准时就取 1 减这个概率。
用 −ln(q) 把概率变成损失。ln 是自然对数,问「e 的几次方等于 q?」e0 = 1,因此 0 到 1 之间的 q 对应负指数。加上负号,就得到正的惩罚。
q 越小,惩罚越重。例如 −ln(0.5) ≈ 0.6931,而 −ln(0.1) ≈ 2.3026。计算时可用计算器上的 ln 键。
R 实际超时 → 取未舍入的超时概率(约 0.35434369)→ 损失 −ln(0.35434369) ≈ 1.0375。
这种给二分类概率评分的办法叫二元交叉熵(Binary Cross-Entropy,BCE)。损失用来评价概率估计,计算时不用提醒门槛。后面的推导会说明平均损失和整批实际结果的概率有什么关系。
我们已经算出旧预测的损失。接下来保持历史答案原样,试着挪动一个权重,看同一批订单的平均损失往哪里变。
改一个权重,再算一次损失
沿用手动训练里挪一点参数、比较损失的做法。只靠 R 单来改权重,可能会顾不上其他订单。我们用三张教学虚构订单一起算,R 就是刚才那单。先固定排队权重 0.5 和偏置 −4,只试距离权重。P 准时,损失用 1 − p̂;Q 和 R 超时,损失用 p̂。表中小数只为显示,计算保留全精度。
| 订单和已知输入 | 实际结果 | 风险与损失 |
|---|---|---|
| P · 2 km、排 0 单 | 准时 | −2.40 分,p̂ ≈ 0.08317270 −ln(1 − 0.08317270) ≈ 0.086836 |
| Q · 4 km、排 6 单 | 超时 | 2.20 分,p̂ ≈ 0.90024951 −ln(0.90024951) ≈ 0.105083 |
| R · 3 km、排 2 单 | 超时 | −0.60 分,p̂ ≈ 0.35434369 −ln(0.35434369) ≈ 1.037488 |
把三笔损失相加再除以 3,旧的平均损失为 (0.086836 + 0.105083 + 1.037488) ÷ 3 ≈ 0.409802。
先试很小一步,找下降方向
把距离权重从 0.80 试到 0.81。每单只多了「0.01 × 距离」这点分数。下表把每笔的改动和新损失对齐。
| 订单 | 分数多了 0.01 × 距离 | 试探损失 |
|---|---|---|
| P | −2.40 + 0.01 × 2 = −2.38 | 0.088515 |
| Q | 2.20 + 0.01 × 4 = 2.24 | 0.101164 |
| R | −0.60 + 0.01 × 3 = −0.57 | 1.018222 |
例如 R 的 −0.57 分换成超时概率约 0.36123682。R 实际超时,所以 −ln(0.36123682) ≈ 1.018222。三笔损失相加再除以 3,试探时的平均损失约 0.402634。
平均损失少了约 0.007169(用未舍入值)。用「损失变化 ÷ 权重变化」估计斜率:(0.402634 − 0.409802) ÷ 0.01 ≈ −0.717。负号说明,沿这个试探方向挪一小步,损失下降了。
用这个方向更新,再核对结果
这里把试探用的 0.81 放回去,从旧权重 0.8 出发正式更新。学习率决定按斜率走多远,这里取演示值 0.1。用旧值减去学习率乘斜率。保留更多小数计算,0.8 − 0.1 × (−0.716886) ≈ 0.8716886。
代回 R 的打分式,0.8716886 × 3 + 0.5 × 2 − 4 ≈ −0.3849342,Sigmoid 给出约 0.4049374,R 的新损失 −ln(0.4049374) ≈ 0.9040。
同样算出 P 和 Q 的新损失约 0.0996 和 0.0799,平均 (0.0996 + 0.0799 + 0.9040) ÷ 3 ≈ 0.3612。P 的损失上升了,三单平均仍下降。
- 算旧预测的损失距离权重 0.8,平均损失约 0.4098。
- 更新距离权重试出斜率为负,从 0.8 调到约 0.8717。
- 算新预测的损失同样的订单和标签,平均损失约 0.3612。
下单时用已知信息预测,送达后用真实结果算损失并改参数。我们已经复算了同三单,确认一次更新后平均损失下降。小幅试探只估出了一个权重的斜率,下面从预测公式开始,解释怎样求得准确斜率并一起更新参数。
检查一下:调低提醒门槛会让训练损失变小吗?
只调低门槛,R 可能会收到提醒。权重和概率未变,训练用的二元交叉熵也保持原值。调参数后重新算概率,损失才可能随之改变。
第二遍:推导、实验与模型边界
上面用 R 单走完了预测和一次更新。接下来用同一批订单解释概率与损失的由来,再把一次手算推广到批量训练和决策边界。
同一张订单,两种问法
回归(Regression)预测一个数值,这里是预计用时。二分类(Binary Classification)回答一个只有两类的问题,这里是「超时」或「准时」。两种模型可以各用适合自己的输入。以下用教学订单 Q 对照。
- 回归 · 预计多久送达?
- 用前一课的演示规则,距离、下雨(没下雨记 0)和排队都参与计算。
3 × 4 + 4 × 0 + 1.5 × 6 + 10 = 31 分钟。 - 分类 · 超时的风险有多大?
- 沿用本页只看距离和排队的打分规则。
0.8 × 4 + 0.5 × 6 − 4 = 2.2 分。
e−2.2 ≈ 0.1108,1 ÷ (1 + 0.1108) ≈ 0.9002,即约 90%。按本页 50% 门槛发提醒。
如果历史订单只留下「超时/准时」,就能直接用这些标签训练分类器。回归给出的 31 分钟可以和 30 分钟作比较。分类器给出的概率还告诉客服模型估计风险有多大,可以用不同的业务门槛做决定。
把下单时和送达后的信息分开
一单就是一个样本。预测时已经知道的距离和排队单数叫特征,是模型的输入。送达后才拿得到的答案叫标签,用 $y$ 表示。超过 30 分钟记 $y=1$,称为正类。30 分钟内(含第 30 分钟)记 $y=0$,称为负类。正类指我们关注的事件,这里恰好是一件坏事。
| 订单 | 距离(km) | 前面排队(单) | 送达后才知道的标签 |
|---|---|---|---|
| P | 2 | 0 | 0 · 准时 |
| Q | 4 | 6 | 1 · 超时 |
| R | 3 | 2 | 1 · 超时 |
0 和 1 是约定的编号。用它们有个计算上的好处:三单的标签相加得 2,正好数出超时单。模型先输出一个介于 0 和 1 的超时概率估计,需要采取行动时,再把它换成预测类别。把送达分钟数提前喂给模型,就把未来答案泄漏进了输入。
随手练 1一单在第 30 分钟送到。下单时可以输入哪一项?送达后的标签是什么?
看答案与解析
答案 A。排队单数在下单时已知,可以作为特征。第 30 分钟仍在承诺时间内,标签是 0。实际送达分钟数要等事后才知道。
把一单的乘加写成一张表
给一张订单打分时,我们先让距离和距离权重配对,再让排队数和排队权重配对。处理三张订单时,可以让它们共用同一套列顺序。
| 行号 i | 第 1 列 · 距离(公里) | 第 2 列 · 排队(单) |
|---|---|---|
| 1 · P | 2 | 0 |
| 2 · Q | 4 | 6 |
| 3 · R | 3 | 2 |
一行按顺序排的数叫向量。R 的输入向量是 $(3,2)$,权重向量是 $(0.8,0.5)$。同位置相乘再相加叫点积,这里是 $3\times0.8+2\times0.5=3.4$。
三行向量叠起来就是矩阵 $X$,这里有 3 行 2 列。$x_{ij}$ 表示第 $i$ 行、第 $j$ 列的输入,例如 $x_{32}=2$,是 R 的排队数。
记 $x_1$ 为距离、$x_2$ 为排队单数,$w_1$ 为距离权重、$w_2$ 为排队权重,$b$ 为起始分。$w_j$ 是第 $j$ 项特征的权重,$z_i$ 是第 $i$ 单的分数。
特征变多时,逐项写会很长。用大写希腊字母 $\sum$ 表示加总。若有 $d$ 个特征,就让 $j$ 从 1 走到 $d$,每走一次加一项。计算 R 时 $i=3$ 固定,$d=2$,正好加两项:
$$z_i=b+\sum_{j=1}^{d}w_jx_{ij}$$
R 是表里的第 3 行。把两项带回去,得到原来的 −0.6 分:−4 + (0.8 × 3 + 0.5 × 2) = −0.6。
随手练 2用演示参数算新订单。距离 1 km,前面排 4 单,它的分数是多少?
看答案与解析
答案 B。距离贡献 0.8 × 1 = 0.8,排队贡献 0.5 × 4 = 2,再加偏置 −4,得到 −1.2 分。
理解指数、Sigmoid 和概率校准
前面的概率曲线显示,分数升高时,概率跟着升高。这里拆开 Sigmoid(读作「西格莫伊德」)的分母,看看这个性质从哪来。
微型数学课 · 看懂指数和 e
在 $2^3=2\times2\times2=8$ 里,2 是底数,3 是指数。指数可以是 0、负数或小数。例如 $2^0=1$,$2^{-3}=1/2^3=1/8$,$2^{0.5}$ 是平方根,约 1.414。$e$ 是一个固定的数(约 2.71828)。$e^0=1$,$e^{-1}=1/e\approx0.368$。算小数指数时可用计算器的 $e^x$ 键。
为什么分母要写成 1 加一个指数
- 分数变大取反后,−z 变小。
- 分母变小e−z 随指数变小,1 + e−z 仍大于 1。
- 概率变大取倒数,结果仍在 0 和 1 之间。
记 $\sigma$ 为这个转换,$\hat p$ 为模型估计的超时概率。$z=0$ 时分母是 2,两类概率各占一半。把门槛换回分数时,会用到这条曲线与对数胜算的关系。
$$\hat p=\sigma(z)=\frac{1}{1+e^{-z}}$$
| 订单 | 分数 $z$ | 取反并算指数 $e^{-z}$ | 加 1 后取倒数 |
|---|---|---|---|
| P | $1.6+0-4=-2.4$ | $e^{2.4}\approx11.0232$ | $1/12.0232\approx0.0832$ |
| Q | $3.2+3-4=2.2$ | $e^{-2.2}\approx0.1108$ | $1/1.1108\approx0.9002$ |
| R | $2.4+1-4=-0.6$ | $e^{0.6}\approx1.8221$ | $1/2.8221\approx0.3543$ |
R 的 35.43% 是模型的估计。检验概率是否可信,要拿未用于拟合的代表性数据检查:例如所有估计接近 35% 的订单中,实际是否大约每 100 单有 35 单超时。这叫概率校准。Sigmoid 给出概率刻度,校准需要数据检验。定义见 scikit-learn 的概率校准说明。
随手练 3分数是 −1。取 e ≈ 2.718,超时概率估计是多少?
看答案与解析
答案 C。先取反得到 1,再算指数 e¹ ≈ 2.718。分母加 1 后是 3.718,取倒数得到约 0.269。负分应得到小于 0.5 的概率估计。
比较提醒门槛和两种错误
三笔订单的概率都已经算好。只把门槛从 50% 降到 30%,哪笔订单的提醒会变?
本页约定「达到门槛就提醒」。令 $\tau$ 为阈值,$\hat y$ 为预测类别,$\hat p$ 是模型给的超时概率。概率与分类门槛的区别见 Google 机器学习课程。
$$\hat y=\begin{cases}1,&\hat p\ge\tau\\0,&\hat p<\tau.\end{cases}$$
当概率可信、两类错误代价相同,且目标是尽量少判错时,可以选概率较大的类,因此 0.5 是自然起点。
对于 R,$0.3543<0.5$,预测准时,实际却超时,这叫漏报(假负例)。把本来准时的订单误判为超时,叫误报(假正例)。降到 0.3 时,$0.3543\ge0.3$,R 就会收到提醒。
固定概率、降低阈值,判为超时的集合只会扩大或保持不变,所以漏报不会增加、误报不会减少。$w_1,w_2,b$ 和概率都照旧,改变的是行动规则。
漏报代价更高时,可以试较低门槛。提醒资源紧张、误报代价更高时,可以试较高门槛。后面的训练实验会在验证集上按代价选阈值。
随手练 4模型给某单恰好 0.30,阈值从 0.50 改成 0.30。按本页约定会怎样?
看答案与解析
答案 A。先比较 0.30 < 0.50,再比较 0.30 ≥ 0.30。后一种达到门槛,故发送提醒。只换了比较规则。
从实际结果的概率推导二元交叉熵
首遍按实际结果挑出概率,再用 −ln 评分。这里要把超时和准时合并成一个能用同一套代码计算的式子。直接加带符号的误差会把预测偏高 0.2 和偏低 0.2 抵消,掩盖两笔各自的错误。
微型数学课 · ln 是把指数倒过来问
$e^t$ 问「把 $e$ 提到 $t$ 次方会得到什么?」$\ln q$ 问「要把 $e$ 提到几次方才得到正数 $q$?」因为 $e^0=1$,$\ln 1=0$。因为 $e^{-1}\approx0.3679$,$\ln(0.3679)\approx-1$。在 $0<q<1$ 时,$\ln q$ 为负,越接近 0 就越负。加一个负号,$-\ln q$ 就成了「给真实结果的概率越小,罚得越重」的正数。
先挑对概率,再取负对数
一次只会出现两种互斥结果。用 $\hat p$ 表示超时这一边的概率,另一边的概率就必须是 $1-\hat p$。这就是伯努利模型,即一个 0/1 结果的概率模型。
观察到标签 $y$ 后,用 $q_y$ 表示模型给实际发生的结果的概率。因为 $y$ 只能是 0 或 1,下面的指数可以当开关:0 次方把对应项换成 1,1 次方保留原值。
$$q_y=\hat p^{\,y}(1-\hat p)^{1-y}$$
- R 确实超时。$y=1$,所以 $q_1=0.3543^1(1-0.3543)^0=0.3543$。
- P 实际准时。$y=0$,所以 $q_0=0.0832^0(1-0.0832)^1=0.9168$。
我们要让 $q_y$ 大,等价于让 $-\ln q_y$ 小。记 $\ell$ 为单笔损失。取对数会把乘法变成加法,也把 0 或 1 的指数搬到项目前。
这是因为同底数的幂相乘时指数相加。例如 $e^{-1}\times e^{-2}=e^{-3}$,取自然对数得到 $-3=(-1)+(-2)$。这个结果叫二元交叉熵(BCE)。有限分数给出 $0<\hat p<1$,所以两个对数都有定义。可对照 scikit-learn 的二分类对数损失公式。
$$\begin{aligned} \ell &=-\ln q_y\\ &=-\ln\!\big(\hat p^{\,y}(1-\hat p)^{1-y}\big)\\ &=-\big[y\ln\hat p+(1-y)\ln(1-\hat p)\big]. \end{aligned}$$
R($y=1$)。第二项的系数为 0,用表中概率保留更多位数,留下 $-\ln(0.35434369)\approx1.0375$。
P($y=0$)。第一项的系数为 0,先算 $1-0.08317270=0.91682730$,再算 $-\ln(0.91682730)\approx0.0868$。
Q($y=1$)。留下 $-\ln(0.90024951)\approx0.1051$。同样超时,模型给真实结果的概率比 R 高,所以 Q 罚得轻。
多笔订单为什么用平均
训练要同时照顾多笔订单。先用 P 和 R 看,为什么整组结果的乘法会变成逐笔损失的加法。
- 选实际结果P 实际准时,取约 0.91682730。R 实际超时,取约 0.35434369。
- 先合并概率若结果条件独立,一起出现的概率约为 0.91682730 × 0.35434369 ≈ 0.32487197。
- 换成损失−ln(0.32487197) 约等于逐笔取负对数后相加:0.0868 + 1.0375 ≈ 1.1243。
给定特征和模型参数后,若各单结果可视为条件独立,选参数使这个乘积最大叫最大似然。乘积越大,负对数越小,所以可以改为最小化损失和。若同一商家的订单彼此强相关,需要重新审视独立假设。推导可对照 Stanford CS229 第 2 章。
我们把总损失除以样本数,让量级按「每单」读。$n$ 是订单数,$i$ 从 1 到 $n$ 数订单,$\ell_i$ 是第 $i$ 单的损失,$L$ 是平均损失。在同一批数据上,除以固定的 $n$ 保留最优解。
$$L=\frac{1}{n}\sum_{i=1}^{n}\ell_i$$
三笔约为 0.0868、0.1051 和 1.0375。相加得 1.2294,除以 3 得约 0.4098。
0.4098 是这三单平均的对数损失。它可以用来比较同一批订单上两组概率的好坏,和超时率或正确率的单位不同。训练用的 $L$ 不经过阈值。
随手练 5某单其实准时,模型说超时概率 0.90。这一单的 BCE 约为多少?
看答案与解析
答案 B。真实是 0,给真实结果的概率是 1 − 0.90 = 0.10。ln(0.10) ≈ −2.303,取负得到约 2.303。
从试探斜率走到梯度
同样的订单,换一组权重就会得到另一组概率,平均损失也会变。我们想知道从当前参数往哪边挪,能先把损失降一点。把损失想成地面高度,把参数想成位置。先只看一个可动的参数。
微型数学课 · 从两点斜率到一处导数
先用 $F(a)=a^2$ 的一小段练习。$a$ 是位置,$F(a)$ 是示意高度。怎么从两次测量估出起点附近的斜率?
位置的改变量记作 $h$。当 $h\ne0$,平均变化率就是「高度变化 $F(a+h)-F(a)$ ÷ 位置变化 $h$」。差商与切线斜率的关系见 OpenStax 微积分教材。
从 2 走到 2.1,斜率是 $(4.41-4)/0.1=4.1$。只走到 2.01,就得到 $(4.0401-4)/0.01=4.01$。缩小两点的距离,差商趋向起点的切线斜率,也就是导数。
在这个例子里可以直接展开平方。先约掉非零的 $h$,再想象 $h$ 趋近 0:
$$\begin{aligned} \frac{F(a+h)-F(a)}{h} &=\frac{(a+h)^2-a^2}{h}\\ &=2a+h. \end{aligned}$$
让 $h$ 趋近 0,得到导数 $F'(a)=2a$。
在 $a=2$,导数为 4。把位置往右挪很小一段,例如 0.01,高度约上升 $4\times0.01=0.04$,实际升了 0.0401。往左挪很小一段则会降。这就是「局部」的意思。
参数有好几个,先只动一个
把 $w_2,b$ 固定,只动 $w_1$。算出的局部斜率叫损失 $L$ 对 $w_1$ 的偏导数,写成 $\partial L/\partial w_1$。「$L$ 对 $w_1$」读作「$w_1$ 略微变化,$L$ 跟着变化多少」。
沿用前面的 P、Q、R 和同一组标签。固定排队权重 0.5、偏置 −4,只把距离权重从 0.80 增至 0.81,平均损失从约 0.409802 降到 0.402634,减少约 0.007169。把变化量除以 0.01,得到偏导的近似值 −0.717。
再分别固定其他参数去求 $w_2$ 和 $b$ 的偏导。把这三个斜率按参数顺序排成一个向量,叫梯度。在平滑的损失曲面上,梯度指向附近上升最快的方向,反过来就是附近下降最快的方向(以同样长度的小步来比较)。
例如两项偏导是 $(3,4)$,往右走一小步,主要用到第一项;若沿着 $(3,4)$ 走,先求方向向量的长度 $\sqrt{3^2+4^2}=5$。两项分别除以 5,得到长度为 1 的方向 $(3/5,4/5)=(0.6,0.8)$。
这时用同样长度的一步,高度约变化 $3\times0.6+4\times0.8=5$ 倍步长,而只向右是 3 倍。把步子完全反向,两项变化也同时变号。
用学习率决定走多远
记 $\theta$ 为任意一个参数,$g$ 为 $L$ 对它的偏导,$\eta$(读作 eta)是正的学习率。先把每个偏导在旧参数上算好,再一起更新。要朝下坡走,就从旧参数中减去缩放后的偏导:
$$\theta_{\mathrm{new}}=\theta_{\mathrm{old}}-\eta g.$$
在 $F(a)=a^2$ 的小山上,取 $\theta=a=2$,$g=4$,$\eta=0.25$。一步得到 $a_{\rm new}=2-0.25\times4=1$,高度从 4 降到 1。若 $\eta=0.01$,只走到 1.96,下降得慢。若 $\eta=1.25$,走到 −3,高度反升到 9。梯度提供附近的方向,太大一步可能越过低谷。
$w_1,w_2,b$ 是训练会更新的模型参数。学习率、训练轮数由人或调参流程设定,属于超参数。阈值也可以调,但在本页它属于预测后的决策设置,更新权重时用不到它。
随手练 6F(a) = a²,在 a = −2 时斜率为 −4,学习率 0.25。下一步到哪里?
看答案与解析
答案 C。旧位置减去学习率乘斜率,−2 − 0.25 × (−4) = −1。负斜率指向右侧下降,高度从 4 降到 1。
把变化率传回三个参数
参数是我们实际能调的数。R 的损失在计算的另一端。要知道权重调一点会让损失变多少,中间经过了什么?
微型数学课 · 链式法则
先用一个好算的例子。每个箱子有 3 包,每包有 2 瓶。增加 1 箱就增加 3 包,接着增加 $3\times2=6$ 瓶。变化率可以沿依赖关系相乘。曲线也是这个道理,只是每段都要在当前点用局部变化率。复合函数的求导规则见 OpenStax 链式法则。
回到 R。接下来先算「概率变一点,损失怎么变」,再算「分数变一点,概率怎么变」,最后把两段连起来。
第一段 · 概率变一点,损失怎样变
这里固定真实标签 $y$。用 $u$ 表示对数的正数输入,$\ln u$ 的导数是 $1/u$。可以从「对数与指数互逆」理解:令 $v=\ln u$,就有 $u=e^v$。自然指数的导数等于它本身。
从差商可以看到原因:$e^{v+h}=e^v e^h$,所以 $(e^{v+h}-e^v)/h=e^v(e^h-1)/h$。$e$ 是使 $(e^h-1)/h$ 在 $h$ 趋近 0 时趋近 1 的底数,例如 $h=0.01$ 时约为 1.005。因此 $u$ 对 $v$ 的斜率是 $u$。
沿着同一小段变化倒着读,$v$ 对 $u$ 的斜率就是 $1/u$。
当 $y=1$,$\ell=-\ln\hat p$,保留负号,斜率就是 $-1/\hat p$。当 $y=0$,$\ell=-\ln(1-\hat p)$。每增加一点 $\hat p$,$1-\hat p$ 就减少同样多,所以再乘 −1,得到正的 $1/(1-\hat p)$。用 $y$ 和 $1-y$ 把两条规则合在一起:
$$\frac{\partial\ell}{\partial\hat p}=-\frac{y}{\hat p}+\frac{1-y}{1-\hat p}.$$
R 真超时,代入 $y=1$、$\hat p\approx0.3543$,得 $-1/0.3543\approx-2.822$。P 真准时,代入 $y=0$、$\hat p\approx0.0832$,得 $1/0.9168\approx1.091$。提高超时概率让 R 的损失下降,却让 P 的损失上升。
第二段 · 分数变一点,Sigmoid 怎样变
把 $\hat p=1/(1+e^{-z})$ 拆成两段。令 $s=1+e^{-z}$ 为分母。自然指数函数对指数变量的导数仍是这个函数,再乘上 $-z$ 对 $z$ 的斜率 −1,所以 $s$ 对 $z$ 的导数是 $-e^{-z}$。
倒数 $1/s$ 对 $s$ 的导数是 $-1/s^2$。后一个结果可用差商验证:若 $s$ 增加 $h$,倒数的改变量除以 $h$ 得 $-1/[s(s+h)]$,当 $h$ 趋近 0 就是 $-1/s^2$。
相乘后两个负号抵消。把结果拆成两个分数,其中第一项等于 $\hat p$,第二项是分母减 1 再除以分母,等于 $1-\hat p$:
$$\begin{aligned} \frac{d\hat p}{dz} &=\left(-\frac{1}{s^2}\right)(-e^{-z})\\ &=\frac{e^{-z}}{(1+e^{-z})^2}\\ &=\frac{1}{1+e^{-z}}\left(1-\frac{1}{1+e^{-z}}\right)\\ &=\hat p(1-\hat p). \end{aligned}$$
R 代入得到 $0.3543\times0.6457\approx0.2288$,所以分数多 0.01 时,概率约多 $0.2288\times0.01=0.00229$。
第三段 · 两段相乘,为什么只剩概率减标签
把上面两个斜率相乘,就得到固定 $y$ 时损失对分数的局部变化率。有限分数下两个分母都非零,第一项约掉 $\hat p$,第二项约掉 $1-\hat p$:
$$\begin{aligned} \frac{\partial\ell}{\partial z} &=\frac{\partial\ell}{\partial\hat p}\frac{d\hat p}{dz}\\ &=\left(-\frac{y}{\hat p}+\frac{1-y}{1-\hat p}\right)\hat p(1-\hat p)\\ &=-y(1-\hat p)+(1-y)\hat p\\ &=-y+y\hat p+\hat p-y\hat p=\hat p-y. \end{aligned}$$
R 是 $-2.822\times0.2288\approx-0.6457$,也就是 $0.3543-1$。分数只增 0.01 时,损失约减少 $0.6457\times0.01\approx0.00646$。所以提高 R 的分数能降低它的损失。P 则是 $0.0832-0=+0.0832$,降低分数才会使它的损失下降。
这里用 $\ell$ 表示单笔损失。若看批次平均 $L$ 对某一单分数 $z_i$ 的变化率,还要除以 $n$。
第四段 · 从一单分数传回参数,再合并三单
第 $i$ 单的分数里有一项 $w_j x_{ij}$。固定其他参数,$w_j$ 多 0.01,分数就多 $0.01x_{ij}$,所以分数对 $w_j$ 的偏导是 $x_{ij}$。偏置是直接加上去的,多 0.01 就让每单分数多 0.01,所以分数对 $b$ 的偏导是 1。再分别乘上该单损失对分数的斜率。
共享参数同时影响每一单,因此每单的贡献都要纳入平均。$\hat p_i$ 和 $y_i$ 是第 $i$ 单的概率估计和标签。$j$ 在一条权重梯度公式中固定,$i$ 遍历 $n$ 单:
$$\begin{aligned} \frac{\partial L}{\partial w_j} &=\frac1n\sum_{i=1}^{n}\underbrace{(\hat p_i-y_i)}_{\text{损失对分数}}\underbrace{x_{ij}}_{\text{分数对权重}},\\ \frac{\partial L}{\partial b} &=\frac1n\sum_{i=1}^{n}(\hat p_i-y_i)\cdot 1. \end{aligned}$$
| 订单 | 差值 $\hat p_i-y_i$ | 乘距离 | 乘排队单数 | 乘 1 |
|---|---|---|---|---|
| P | $0.0832-0\approx0.0832$ | $0.0832\times2\approx0.1663$ | $0.0832\times0=0$ | $0.0832$ |
| Q | $0.9002-1\approx-0.0998$ | $-0.0998\times4\approx-0.3990$ | $-0.0998\times6\approx-0.5985$ | $-0.0998$ |
| R | $0.3543-1\approx-0.6457$ | $-0.6457\times3\approx-1.9370$ | $-0.6457\times2\approx-1.2913$ | $-0.6457$ |
| 平均 | — | $-2.1696/3\approx-0.7232$ | $-1.8898/3\approx-0.6299$ | $-0.6622/3\approx-0.2207$ |
表里以未舍入的概率计算,显示到 4 位小数。P 的排队数是 0,因而这一单不会推动排队权重,但仍会推动偏置。
把旧参数换成新参数,复算损失
这次回到三单示例的起点:距离权重 0.8、排队权重 0.5、偏置 −4。前面得到约 0.8717 的距离权重是单独演示,这里要从同一组旧参数一起更新三个值。学习率取 0.1。三项梯度都为负,所以从各旧参数减去负数,三项都往大调:
$$\begin{aligned} w_{1,\mathrm{new}}&=0.8-0.1(-0.7232)\approx0.8723,\\ w_{2,\mathrm{new}}&=0.5-0.1(-0.6299)\approx0.5630,\\ b_{\mathrm{new}}&=-4-0.1(-0.2207)\approx-3.9779. \end{aligned}$$
R 的新分数约为 $0.8723\times3+0.5630\times2-3.9779=-0.2350$,新概率约 0.4415。
P、Q 的新概率约 0.0968、0.9473。P 准时,损失是 −ln(1 − 0.0968) ≈ 0.1018。Q 和 R 超时,损失约为 0.0541 和 0.8175。
用未舍入的值求平均,约为 (0.1018 + 0.0541 + 0.8175) ÷ 3 = 0.3245,低于原来的 0.4098。单笔损失可能上升,例如 P,这一步优化的是平均损失。
随手练 7只看 R 一单。实际超时、概率约 0.3543、排队 2 单。排队权重的梯度约多少?
看答案与解析
答案 A。先算对分数的斜率 0.3543 − 1 = −0.6457,再乘这单的排队数 2。只有一单,除以 1 得约 −1.2914。
进阶 · 平方损失也能评分,为什么这里选 BCE?
单笔平方损失是 $(\hat p-y)^2$。它对分数的导数是 $2(\hat p-y)\hat p(1-\hat p)$,多乘了 Sigmoid 的斜率。
当 $y=1$、$\hat p=0.001$ 时,BCE 的分数梯度是 −0.999,平方损失的梯度约为 $2(-0.999)(0.001)(0.999)\approx-0.002$。后者在这个自信地犯错的例子中给出的分数纠正信号更小。BCE 还来自上面的伯努利似然。这个比较限于输出分数这一段。
运行训练,再检验提醒规则
刚才我们算的是一次更新。把「算分数 → 算损失和梯度 → 更新参数」重复起来,就能训练模型。先用演示参数复算三单,再用同一套函数从全零开始训练,两次计算互相独立。
先决定哪些订单做什么
| 数据 | 数量 | 允许用来做什么 |
|---|---|---|
| 训练集 TRAIN | 10(含 P、Q、R) | 用特征和标签计算梯度,拟合 $w_1,w_2,b$。 |
| 验证集 VALID | 6 | 权重固定后,在预先列好的三个阈值里选一个。学习率、轮数若要调,也用验证集。 |
| 测试集 TEST | 6 | 参数、阈值和评估规则锁定后,报告每种预先指定的方法在留出订单上的表现。 |
训练追求低平均 BCE。评估时,我们还看准确率(判对的单数除以总单数)和误报、漏报。业务关心的是提醒产生的代价:在这个练习里每次误报计 1 分、每次漏报计 3 分。例如 2 次误报加 1 次漏报共 $2\times1+1\times3=5$ 分,越少越好。候选阈值固定为 0.30、0.50、0.70。同成本时选较高门槛,少发一些提醒。这个成本是教学约定。
纯 Python · 从零训练并评估
- 用旧参数做预测
score算分数 z,sigmoid换成概率。 - 汇总本批结果
loss_and_gradient算平均损失与各参数的梯度。 - 更新再重算
update执行「旧参数 − 学习率 × 梯度」。
把下面整段存成 lesson_lr.py,运行 python lesson_lr.py。只用 Python 自带的 math。for 每次从表中取一行,+= 把这单的贡献加进累计值,zip 把同一位置的两组值配成对。数学用 $j=1,2$ 编号,代码里解包参数后直接叫 w1 和 w2。
import math
# 每行依次是距离(km)、排队单数、送达后记录的 0/1 标签。
TRAIN = [
(2, 0, 0), (4, 6, 1), (3, 2, 1), # P、Q、R
(1, 1, 0), (5, 3, 1), (2, 2, 0), (4, 1, 0),
(1, 5, 0), (3, 6, 1), (5, 0, 1),
]
VALID = [
(2.5, 3, 0), (3.7, 1, 1), (4.5, 2, 1),
(4.1, 1, 0), (2.2, 5, 0), (5.1, 2, 1),
]
TEST = [
(1.8, 3, 0), (4.3, 1, 1), (4.7, 0, 0),
(3.2, 2, 1), (2.8, 3, 0), (3.6, 5, 1),
]
THRESHOLDS = (0.30, 0.50, 0.70)
def score(distance, queue, params):
w1, w2, b = params
return w1 * distance + w2 * queue + b
def sigmoid(z):
# 两个分支等价,都只对非正数做 exp,避免上溢。
if z >= 0:
return 1 / (1 + math.exp(-z))
exp_z = math.exp(z)
return exp_z / (1 + exp_z)
def bce(z, y):
# y=0 用 ln(1+exp(z)),y=1 用 ln(1+exp(-z))。
t = z if y == 0 else -z
return max(0.0, t) + math.log1p(math.exp(-abs(t)))
def loss_and_gradient(rows, params):
total = g1 = g2 = gb = 0.0
for distance, queue, y in rows:
z = score(distance, queue, params)
p = sigmoid(z)
delta = p - y
total += bce(z, y)
g1 += delta * distance
g2 += delta * queue
gb += delta
n = len(rows)
return total / n, (g1 / n, g2 / n, gb / n)
def update(params, gradient, rate):
return tuple(old - rate * g for old, g in zip(params, gradient))
def train(rows, rate=0.10, steps=20000):
params = (0.0, 0.0, 0.0)
for step in range(steps + 1):
loss, gradient = loss_and_gradient(rows, params)
if step in (0, 1, 100, 3000, steps):
print(f"已更新 {step:5d} 次 · 训练 BCE {loss:.6f}")
if step == steps:
break
params = update(params, gradient, rate)
return params
def decisions(probabilities, rows, threshold):
fp = fn = 0
for p, (_, _, y) in zip(probabilities, rows):
predicted = int(p >= threshold)
fp += int(predicted == 1 and y == 0)
fn += int(predicted == 0 and y == 1)
return fp, fn
def choose_threshold(probabilities):
costs = []
for threshold in THRESHOLDS:
fp, fn = decisions(probabilities, VALID, threshold)
costs.append((fp + 3 * fn, -threshold)) # 同成本取较高门槛
best_cost, negative_threshold = min(costs)
print("验证成本(按 0.30、0.50、0.70):", [cost for cost, _ in costs])
return -negative_threshold
def report_test(probabilities, threshold):
fp, fn = decisions(probabilities, TEST, threshold)
accuracy = 1 - (fp + fn) / len(TEST)
print(f"测试阈值 {threshold:.2f} · 误报 {fp} · 漏报 {fn}")
print(f"准确率 {accuracy:.3f} · 业务成本 {fp + 3 * fn}")
print("测试超时概率:", [round(p, 4) for p in probabilities])
def probabilities(rows, params):
return [sigmoid(score(d, q, params)) for d, q, _ in rows]
if __name__ == "__main__":
demo = (0.8, 0.5, -4.0)
before, gradient = loss_and_gradient(TRAIN[:3], demo)
after = update(demo, gradient, rate=0.1)
print("手算对照:", [round(v, 4) for v in after])
print(f"三单 BCE {before:.4f} → {loss_and_gradient(TRAIN[:3], after)[0]:.4f}")
fitted = train(TRAIN)
print("训练后 (w1, w2, b):", [round(v, 4) for v in fitted])
threshold = choose_threshold(probabilities(VALID, fitted))
report_test(probabilities(TEST, fitted), threshold)
拿三单梯度表逐列对照代码
算预测。score 解包两个权重和偏置,返回两项乘积的和加偏置。sigmoid 对非负分数直接套公式。对负分数,把分子分母同乘 $e^z$,改算 $e^z/(1+e^z)$,传给 exp 的指数就始终非正。
probabilities 对每一行做同样的事。它用 _ 忽略最后一个字段(实际标签),因为预测时用不到事后结果。
从分数稳定地算损失
手算时我们先求概率。代码里的 bce 直接接收分数,避免概率舍入到 0 或 1 后再取对数。
| 实际结果 | 同一笔损失的两种写法 | 取 t |
|---|---|---|
| 超时 y = 1 | −ln(p̂) = ln(1 + e−z) | −z |
| 准时 y = 0 | −ln(1 − p̂) = ln(1 + ez) | z |
两行都写成 $\ell=\ln(1+e^t)$。以 R 为例,$t=-(-0.6)=0.6$,所以 $\ln(1+e^{0.6})\approx1.0375$。
当 $t\ge0$,从 $1+e^t$ 提出 $e^t$,改算 $t+\ln(1+e^{-t})$。当 $t<0$,直接算 $\ln(1+e^t)$。代码用 max 和绝对值合并两支。math.log1p(u) 可以在 $u$ 接近 0 时准确地算 $\ln(1+u)$。
从一批订单更新参数,再评估
loss_and_gradient 中的 delta = p - y 对应三单梯度表的第二列。把它乘距离、排队数和 1,分别加进 g1、g2 和 gb,同时用 total 累计损失。四项最后都除以订单数。
update 把每个参数和它的梯度配对,执行旧值减学习率乘梯度。train 从 (0, 0, 0) 起步,固定学习率 0.10。它每步先用旧参数算完整梯度,再更新。标作「已更新 0 次」的是更新前的损失,「已更新 20000 次」的是完成最后一步后的损失。
decisions 把概率与门槛比较,再按标签计误报和漏报。choose_threshold 只读验证集,先选成本最低的门槛,同成本时选较高的。report_test 用已锁定的门槛计算测试结果。
if __name__ == "__main__" 里的步骤只在直接运行文件时执行。下一个脚本导入这些函数时,不会再次启动手写训练。
手算对照: [0.8723, 0.563, -3.9779]
三单 BCE 0.4098 → 0.3245
已更新 0 次 · 训练 BCE 0.693147
已更新 1 次 · 训练 BCE 0.661706
已更新 100 次 · 训练 BCE 0.508442
已更新 3000 次 · 训练 BCE 0.253866
已更新 20000 次 · 训练 BCE 0.245573
训练后 (w1, w2, b): [2.3654, 1.1804, -10.0881]
验证成本(按 0.30、0.50、0.70): [3, 5, 4]
测试阈值 0.30 · 误报 2 · 漏报 0
准确率 0.667 · 业务成本 2
测试超时概率: [0.092, 0.7797, 0.7368, 0.4606, 0.5191, 0.987]
在训练起点,全零参数让每单分数为 0、概率为 0.5,平均损失是 $-\ln(0.5)\approx0.693147$。训练首步的梯度约为 $(-0.5,-0.4,0)$,所以更新到 $(0.05,0.04,0)$。最后得到约 $(2.3654,1.1804,-10.0881)$。
固定排队数时,每多 1 km,分数约多 2.3654,概率随之上升。这个系数是该数据和模型下的关联,不能拿来当「公里数导致超时」的因果结论,也不等于概率提高 236.54 个百分点。
| 门槛 | 误报 | 漏报 | 成本(分) |
|---|---|---|---|
| 0.30 | 3 | 0 | 3 + 3 × 0 = 3 |
| 0.50 | 2 | 1 | 2 + 3 × 1 = 5 |
| 0.70 | 1 | 1 | 1 + 3 × 1 = 4 |
0.30 的验证成本最低。固定它之后,才去测试集算出 4/6 的准确率和 2 分成本。样本很少,这里演示的是先选门槛、再评估的顺序。选择门槛的数据要求见 scikit-learn 1.7 的门槛选择说明。
scikit-learn · 在同一数据上对照
保持 lesson_lr.py 在同一目录。以下例子用 scikit-learn 1.7.2(可运行 python -m pip install scikit-learn==1.7.2 安装)。把这一段存为 lesson_sklearn.py,运行 python lesson_sklearn.py。
from sklearn.linear_model import LogisticRegression
from lesson_lr import TRAIN, VALID, TEST, choose_threshold, report_test
def features(rows):
return [(distance, queue) for distance, queue, _ in rows]
# 关闭默认正则化,与上面最小化同一个训练目标。
model = LogisticRegression(penalty=None, solver="lbfgs", tol=1e-10, max_iter=1000)
model.fit(features(TRAIN), [y for _, _, y in TRAIN])
print("训练后 (w1, w2, b):", [round(float(v), 4) for v in [*model.coef_[0], model.intercept_[0]]])
positive_col = model.classes_.tolist().index(1)
valid_p = model.predict_proba(features(VALID))[:, positive_col]
threshold = choose_threshold(valid_p)
test_p = model.predict_proba(features(TEST))[:, positive_col]
report_test(test_p.tolist(), threshold)
features 只取前两列作为输入。fit 只用训练集。
scikit-learn 1.7 的 LogisticRegression 默认对权重加惩罚(叫正则化,见 正则化实验)。这里用 penalty=None 关闭惩罚,以便比较同一个目标。lbfgs 是库内置的优化方法,tol 和 max_iter 控制停止精度与迭代上限。
predict_proba 每行给两个类别的概率,先在 classes_ 中找标签 1 的列,再只取该列。两份代码用同一条验证规则,各自固定阈值后才看测试结果。
训练后 (w1, w2, b): [2.4146, 1.2163, -10.3211]
验证成本(按 0.30、0.50、0.70): [3, 5, 4]
测试阈值 0.30 · 误报 2 · 漏报 0
准确率 0.667 · 业务成本 2
测试超时概率: [0.089, 0.7821, 0.7364, 0.4596, 0.5221, 0.9885]
两种方法的测试概率接近,首单约为 0.0920 和 0.0890。两者在验证集都选到 0.30,在测试集也得到相同的类别决策。系数仍有差别,因为手写例程执行固定次数的梯度下降,库用另一种方法和停止条件。这一小例子用于核对计算和数据使用顺序。实际项目还要扩大验证与测试样本,按部署场景考虑时间切分和概率校准。模型评估见 阈值选择与评估指标。
随手练 8两套权重都训练好了。应在哪组数据比较 0.30、0.50、0.70 的提醒成本,选阈值?
看答案与解析
答案 B。验证集用于选择阈值。锁定权重、阈值和规则后才去测试集报告结果。BCE 是训练目标,提醒成本是此例的行动目标。
从一条决策线看到模型的边界
把每张订单画成一个点。横轴是距离 $x_1$,纵轴是排队单数 $x_2$。换门槛时,订单点的位置没变。变的是哪条线?
当 $\tau=0.5$ 时,Sigmoid 把 0 分恰好变成 0.5。恰好达到门槛的点满足 $z=0$,这些点组成决策边界。
代入同一组演示参数,可以看到直线从哪来:
$$\begin{aligned} 0.8x_1+0.5x_2-4&=0,\\ x_2&=8-1.6x_1. \end{aligned}$$
例如距离为 2.5 km 时,边界上排队数为 $8-1.6\times2.5=4$。代回去得 $0.8\times2.5+0.5\times4-4=0$,概率恰好 0.5,按本页约定判超时。相同距离下排队 3 单在准时一侧,排队 5 单在超时一侧。只要至少有一个权重非零,两项特征对应直线,三项特征对应平面,更多维中叫超平面。所有权重为零时分数恒定,两侧也就不再区分。
把门槛换回分数:用到胜算
客服在概率上选门槛,图上的直线却按原始分数画。要知道一条提醒门槛对应哪个分数,就要把 Sigmoid 的等式倒着解。这也是回过头理解为何选用 Sigmoid 的办法。
把概率 $\hat p$ 除以它的补数 $1-\hat p$,得到胜算。例如概率 0.75 对应 $0.75/0.25=3$,即发生与不发生的比是 3 比 1。由 Sigmoid 可得 $1-\hat p=e^{-z}/(1+e^{-z})$,所以胜算是 $1/e^{-z}=e^z$。取自然对数就回到分数 $z$,这与 Google 课程的对数胜算推导一致。
因此概率恰好等于门槛 $\tau$ 时,只需把这个概率代入。对 $0<\tau<1$,门槛处的分数为:
$$z=\ln\!\left(\frac{\tau}{1-\tau}\right).$$
把 $\tau=0.3$ 代入,$1-\tau=0.7$,胜算约 0.4286,自然对数约 −0.8473。令原来的分数等于这个常数,得到 $0.8x_1+0.5x_2\approx3.1527$。边界平行移到左下,R 的分数 −0.6 高于 −0.8473,进入提醒一侧。这个等式也解释了「逻辑回归」的名字:模型用加权求和来刻画对数胜算,再把它变回分类概率。
线性可分与异或(XOR)
若存在一条直线能把两类样本全分对,就说它们在当前二维特征里线性可分。分不开时依然可以训练逻辑回归并做概率预测,只是这类边界可能留下一些分类错误。训练实验中的 10 单就有这样的情况:超时的 $(3,2)$ 和 $(5,0)$ 中点是准时的 $(4,1)$。
换个只有两个开关的例子。异或规则是「恰好有一个开关打开才输出 1」。两个输入同为 0 或同为 1 时输出 0。对角线上是同一类。
为什么任何一条直线都分不开?一条按加权求和与偏置算出的中点分数,总是两端分数的平均值,因为横、纵坐标都取了平均,加一次偏置的结果也一样。$(0,1)$ 和 $(1,0)$ 若都在提醒一侧,它们的中点 $(0.5,0.5)$ 也必须达到门槛。但 $(0,0)$ 和 $(1,1)$ 若都在另一侧,同一个中点又必须低于门槛。这两个要求互相冲突。
换一种特征,或让模型学特征
对 XOR,把两个开关记作 $x_1,x_2$,增加交互特征 $u=x_1x_2$。只有两个都打开时,$u$ 才是 1。试用分数 $z=x_1+x_2-2u-0.5$。前两项给每个开启的开关加 1,第三项在两个都开时扣掉 2,再减 0.5:
| 输入 | 交互特征 $u$ | 分数 $z$ | 阈值 0.5 下的类别 |
|---|---|---|---|
| (0, 0) | 0 | $0+0-0-0.5=-0.5$ | 0 |
| (0, 1) | 0 | $0+1-0-0.5=0.5$ | 1 |
| (1, 0) | 0 | $1+0-0-0.5=0.5$ | 1 |
| (1, 1) | 1 | $1+1-2-0.5=-0.5$ | 0 |
在 $(x_1,x_2,u)$ 这个新空间里,分数仍是加权求和。在原来的二维输入上,交互项允许分界发生弯曲。
神经网络可以在隐藏层用非线性激活学习新的表示,再在这些表示上做判断。只堆加权求和与偏置,会合并成一次加权求和与偏置。XOR 是说明这种限制的小例子。
某些二分类网络会用单个 Sigmoid 输出,实际用什么输出层取决于任务和损失。接下来可在 神经网络一课看隐藏层怎样解决 XOR,在 反向传播一课看同一条链式法则怎样穿过多层。
随手练 9边界在原始输入上分不开 XOR。哪项操作能让这个线性打分模型表示 XOR?
看答案与解析
答案 C。若两个开关都开,交互项是 1,用它额外扣 2 分,就能让 (1,1) 落到负类一侧。阈值只会平移原边界。
参考资料与示例口径
- Sigmoid、伯努利似然和梯度采用逻辑回归的标准推导。P、Q、R 以及后续订单和成本为本课构造。Stanford CS229 讲义第 2 章、Google MLCC · Sigmoid
- 指数、对数、导数、偏导和链式法则的微型课程。OpenStax · 指数与对数、指数与对数的导数、链式法则、偏导数
- 阈值、校准和库实现。scikit-learn · 调整分类阈值、概率校准、LogisticRegression 1.7
- 本页异或图按二元输入重新绘制。线性模型在原始输入上无法表示异或的机制,可读 Goodfellow 等《深度学习》第 6.1 节。
下一课回归损失函数会回到预计用时,从误差走到一次参数更新。随后回归输出层比较同一个 Sigmoid 在两种任务中的用法。概率回归与目标变换进一步讨论怎样输出一个分布,之后的决策树会用另一种规则来分类。