03c · 回归输出层:模型应该输出什么
⏱ 阅读约 38 分钟 · 动手实践另计
模型算出 −5 分钟,错在哪一步?
一笔 2 km 的订单实际用了 18 分钟。取演示权重 −3 分/km、偏置 1 分,先算原始分数,再把它换成预测时间。
- 输入距离2 km
- 原始分数−3 × 2 + 1 = −5
- 输出映射Softplus(−5) × 1 分钟
- 正值预测约 0.0067 分钟
- 与 18 分钟比较损失 ≈ 323.76 分钟²
训练回传 原始分数 映射 预测 损失
损失斜率 −35.9866 × 映射斜率 0.006693 ≈ −0.2409
约 0.4 秒,范围合规,预测仍然很差。下面用这笔订单看输出范围和训练信号怎样一起变。
1. 负数来自哪里
上一章直接把加权和当作预测。距离乘权重再加偏置,可以得到负分。分数怎么换成分钟,取决于输出规则。
把加权和写成原始分数 z,再单独写预测值 ŷ。f 表示输出映射,也就是把分数换成任务所需数值的规则。
$$z=wx+b,\qquad \widehat{y}=f(z)$$
例中 x=2 km,权重 w=−3 分/km,偏置 b=1 分。代入得 z=−3×2+1=−5 分。这个分数没有时间单位,分钟是在映射时乘进去的。
实际时间 y 和预测时间 ŷ 的差距由平方来计量。记单笔损失为 ℓ,读作小写 L。 03b 的单样本平方误差
$$\ell=(\widehat{y}-y)^2$$
这笔订单实际用了 18 分钟。预测减去实际为 0.006715…−18≈−17.993285 分钟,再平方得到 约 323.76 分钟²。下一节先只改变输出规则,看哪些值能够交付。
2. 先看恒等映射与硬截断
如果目标允许负值,原始分数可以直接按目标单位读。比如预测气温变化,负数就表示降温。
恒等映射(Identity)让输出的数值与输入相同。以每分对应一分钟计,−5 仍给出 −5 分钟。斜率为 1,纠错信号照常传回,预测仍可能越界。
$$f_{\mathrm{id}}(z)=z$$
如果目标是必须落在 [0,1] 内的比例,越界的预测该落在哪里?
硬截断(Clamp)让区间内的值通过,越界则贴到最近端点。把 z 先抬到不小于 0,再压到不大于 1。
$$f_{\mathrm{clamp}}(z)=\min(1,\max(0,z))$$
把 −1、0.25、2 代进去,分别得到 0、0.25、1,两个端点都能取到。恰好在端点处,左右斜率不同,训练工具返回的值取决于实现。 PyTorch 的截断定义
配送时间若只保留下界,规则就简化成 max(0,z),也叫整流线性单元(ReLU)。−5 和 −2 都变成 0,往上挪一点也仍是 0。梯度经过这一段会乘以 0。
先想一下 · 目标允许负值,该从哪种映射试起?
例如预测气温变化,降温是有效的负值。恒等映射允许它,而且斜率是 1。把负值压成 0 会把降温和没变化混为一谈。
3. Softplus:让负分得到正值
硬下界把负分挤到同一个点。能否让负分仍保有差别,同时让预测严格为正?
Softplus 先对分数取指数,再加 1,最后取自然对数。对任何有限 z,e^z>0,所以加 1 后得到的 u>1,而 ln u>0。自然对数以 e≈2.71828 为底。可回看 03a 的指数与对数。
$$u=1+e^z,\qquad f_{\mathrm{sp}}(z)=\ln u$$
这个公式也常写作 log(1+e^z),这里的 log 指自然对数。 PyTorch 的 Softplus 定义(取 β=1)
- 取指数e⁻⁵ ≈ 0.006738
- 加 1u ≈ 1.006738
- 取自然对数ln u ≈ 0.006715
每单位乘上 1 分钟,就得到首屏的预测。负分越低,输出越接近 0。很大的正分使加上的 1 相对很小,取对数后输出接近原始分数。
看完图,先预测 · 把 −2 降到 −5,两条线各怎样变?
硬下界两次都给 0,负半轴的斜率也是 0。Softplus 从约 0.1269 降到 0.0067,两个预测都大于 0,且 −5 附近更平。
f′ₛₚ(z) 表示 Softplus 输出的局部斜率。z → u 的斜率是 e^z,u → ln u 的斜率是 1/u。两段相乘后,最后一步把分子和分母同除以 e^z。 OpenStax 的指数与对数求导
$$ \begin{aligned} f_{\mathrm{sp}}'(z) &= \frac{1}{u}\cdot e^z \\ &= \frac{e^z}{1+e^z} \\ &= \frac{1}{1+e^{-z}} . \end{aligned} $$
在 z=−5,映射斜率 1/(1+e⁵)≈0.006693 分钟/分。损失斜率 2(0.006715…−18)≈−35.9866 分钟,两者相乘约 −0.2409 分钟²/分。负号表示局部提高原始分数会减小损失,接近零的映射斜率使这股信号很弱。下一节会用到同一个斜率函数。
4. Sigmoid:把分数放进一个区间
配送评分有上下界,Softplus 只能守住下界。可以先在 0 到 1 之间找到一个相对位置,再把它搬到 20 到 100 分的刻度上。
Sigmoid(S 形映射)把原始分数 z 变成相对位置 s。对有限 z,分母始终大于 1,因而 0<s<1。z=0 时,e⁰=1,所以 s=1/(1+1)=0.5。 Google 机器学习课程的 Sigmoid 定义
$$s=\sigma(z)=\frac{1}{1+e^{-z}}$$
设 a 为下界,c 为上界,且 a<c。先乘区间宽度,再加下界。用 b 表示上界的资料会写成 a+(b-a)σ(z),本章的 b 仍表示模型偏置。
$$\widehat{y}=a+(c-a)s$$
代入下界 20、宽度 80 和位置 0.5,得到 20+80×0.5=60 分。有限 z 只能得到开区间 (20,100) 内的值。真实标签常取端点时要检查端点误差。极端输入在浮点计算中可能因舍入显示为端点。
斜率怎样得到? 先算分母,再取倒数。
- 原始分数z
- 取负、取指数、加 1,斜率 −e⁻ᶻq = 1 + e⁻ᶻ
- 取倒数,斜率 −1/q²s = 1/q
两段的斜率相乘,两个负号抵消。把分子 e^{-z} 写成 q−1,就能拆出 s 和 1−s。 03a 的倒数求导
$$ \begin{aligned} \sigma'(z) &= (-1/q^2)(-e^{-z}) \\ &= (1/q)\,(q-1)/q \\ &= s(1-s) . \end{aligned} $$
加下界只移动曲线,乘宽度会把斜率放大同样倍数。
$$\frac{d\widehat{y}}{dz}=(c-a)s(1-s)$$
在 z=0,s=0.5,评分的斜率为 80×0.5×0.5=20 评分/分数。
先算一个新范围 · 30~70 分,z=0 时预测与斜率是多少?
预测是 30+40×0.5=50 分,斜率是 40×0.5×0.5=10 评分/分数。范围缩窄了一半,中点处的斜率也缩小一半。
5. 用同一组输入比较四种映射
每张图横轴都是原始分数 z,圆点对应 −2、0、3。纵轴按任务分别标注,判断斜率时要一起看刻度。图只展示有限输入的一段,预测的完整范围写在图注里。
范围回答「能输出什么」。斜率决定训练信号经过这一段时会乘多少。
6. 从预测的斜率算到训练信号
把两笔评分记录的真实值都设成 80 分。离真实值更远的一笔,训练时会收到更大的纠错信号吗?
饱和发生在 Sigmoid 接近两端、曲线变平的地方。此时原始分数挪一点,预测几乎不动,乘回来的梯度也可能很小。
记 ℓ 为单样本平方误差。∂ℓ/∂ŷ 是损失对预测的斜率,dŷ/dz 是预测对原始分数的斜率。03b 的链式法则把这两段相乘。评分跨度是 80,所以映射斜率带有 80 这个因子。 OpenStax 的链式法则
$$ \begin{aligned} \frac{\partial\ell}{\partial\widehat{y}} &= 2(\widehat{y}-y) \\ \frac{d\widehat{y}}{dz} &= 80s(1-s) \\ \frac{\partial\ell}{\partial z} &= \frac{\partial\ell}{\partial\widehat{y}}\, \frac{d\widehat{y}}{dz}. \end{aligned} $$
中部 z=0。 s=0.5,预测 20+80×0.5=60。两段斜率分别是 2(60−80)=−40 和 80×0.5×0.5=20,相乘为 −800。
左端 z=−6。 s≈0.002473,预测约 20.198。损失斜率 2(20.198−80)≈−119.604,映射斜率 80×0.002473×(1−0.002473)≈0.1973。用未舍入的值相乘,得到 约 −23.60。
现在把这两笔记录合成一批。每笔损失对批均值各占一半。
- 只看第一条∂ℓ₁/∂z₁ = −800
- 批量有两条总和 ÷ 2
- 批均值对第一条原始分数的梯度∂L/∂z₁ = −400
MSE 是 n 个标量预测的平方误差平均值。其他样本分数固定时,zᵢ 只改变自己的损失 ℓᵢ,因此批均值的梯度多乘一次 1/n。第一笔由 −800÷2 得到 −400。 PyTorch 的 MSE 平均规则
$$ \begin{aligned} L_{\mathrm{MSE}} &= (\ell_1+\cdots+\ell_n)/n \\ \frac{\partial L_{\mathrm{MSE}}}{\partial z_{i}} &= \frac{1}{n}\frac{\partial\ell_{i}}{\partial z_{i}} . \end{aligned} $$
权重和偏置会影响多条预测。求参数梯度时,还要合并每条路径的贡献。
7. 同样交付 1,为什么训练不同
仍用区间 [0,1],真实值是 y=0.8,原始分数是 z=2。两种做法都交付 1。截断放在损失前和只放在交付端,训练路径有什么区别?
- 训练用原始值 2。
- 训练损失 (2−0.8)² = 1.44。
- 映射斜率为 1,传回 2(2−0.8)×1 = 2.4。
- 交付时才把 2 截到 1。
- 先把 2 截到 1,再算损失。
- 训练损失 (1−0.8)² = 0.04。
- 2 在平坦的越界段,传回 2(1−0.8)×0 = 0。
- 交付仍按同一规则,输出 1。
训练计算图记录哪些运算通向损失。训练内 clamp 把这条路径的梯度乘成 0,单靠这条路径无法把 2 拉回区间。只在交付时截断的结果仍要纳入业务评估。
换个输入试试 · 若 z=0.5、y=0.8,两种梯度还不同吗?
0.5 在区间内,两条路径的训练预测都是 0.5,局部斜率都是 1。损失为 0.09,梯度都是 2(0.5−0.8)×1=−0.6。
- 预测进入损失的斜率2 × (
prediction−y) - 乘输出映射的斜率×
slope - 得到原始分数的梯度
gradient
用 Python 3 运行下方代码。max(0,z) 先抬到下界,min(1,...) 再限制上界。循环用同一个平方误差公式计算两条路径。 Python 的 min 和 max
用 Python 核对两条路径
z = 2.0
y = 0.8
delivered = min(1.0, max(0.0, z))
if z in (0.0, 1.0):
raise ValueError("请取非端点的原始分数。")
clamp_slope = 1.0 if 0.0 < z < 1.0 else 0.0
for name, prediction, slope in (
("预测后 clip", z, 1.0),
("训练内 clamp", delivered, clamp_slope),
):
loss = (prediction - y) ** 2
gradient = 2 * (prediction - y) * slope
print(f"{name}: 交付={delivered:g}, "
f"损失={loss:.2f}, 梯度={gradient:.1f}")
两行都交付 1,训练损失和梯度分别是 1.44、2.4 与 0.04、0.0。可以把输入改成区间内的 0.5,对照上面的练习。程序在端点停止,端点的斜率取决于具体框架约定。
8. 标签和交付边界
模型给出 Sigmoid 值 0.5,用户看到的会是 50% 还是 60 分?先看标签告诉模型要预测什么。
03a 的标签记录是否超时,分类可用二元交叉熵训练。配送评分表示连续大小,20 到 21 的变化有数值意义。回归的损失要反映这种误差代价。 Google 机器学习课程的逻辑回归损失
边界也有来源。物理限制和交付规则能提出明确要求,训练集目前出现的最小值或最大值则可能随数据变动。交付才截断时,分别检查越界频率、边界误差和最终交付指标。
真实标签常取端点时,检查饱和和端点误差。直接计算很大的指数可能溢出,实际计算宜用提供数值稳定性的 Softplus 实现。03d 会进一步说明计数和不确定性任务怎样核对分布假设。
9. 用新输入检查理解
- 一款设备的读数变化可正可负。用恒等还是硬下界?说出范围和训练代价。
- 评分范围为 30 到 70,原始分数很大时,输出能达到 70 吗?梯度怎样变?
- 预测需要交付在 [0,1]。若
z=−1、y=0.3,分别算预测后 clip 和训练内 clamp 的训练损失与梯度。
展开答案和回看位置
03d · 概率回归与目标变换 把正值映射用到分布参数上,是进阶选读。主线下一章是 04 · 决策树。