跳到主要内容
🏠 总目录📚 本教程 03c · 回归输出层:模型应该输出什么 ← →

03c · 回归输出层:模型应该输出什么

⏱ 阅读约 38 分钟 · 动手实践另计

模型算出 −5 分钟,错在哪一步?

一笔 2 km 的订单实际用了 18 分钟。取演示权重 −3 分/km、偏置 1 分,先算原始分数,再把它换成预测时间。

这笔订单怎样得到预测和损失
  1. 输入距离2 km
  2. 原始分数−3 × 2 + 1 = −5
  3. 输出映射Softplus(−5) × 1 分钟
  4. 正值预测约 0.0067 分钟
  5. 与 18 分钟比较损失 ≈ 323.76 分钟²

训练回传 原始分数 映射 预测 损失
损失斜率 −35.9866 × 映射斜率 0.006693 ≈ −0.2409

约 0.4 秒,范围合规,预测仍然很差。下面用这笔订单看输出范围和训练信号怎样一起变。

1. 负数来自哪里

上一章直接把加权和当作预测。距离乘权重再加偏置,可以得到负分。分数怎么换成分钟,取决于输出规则。

同一个分数,两条输出路径沿两条线读到结果。原始分数可以为负,配送时长有自己的取值范围。
同一个分数,两条输出路径 原始分数 z = −5 直接按分钟读经 Softplus 再换单位 −5 分钟约 0.0067 分钟 超出范围严格大于 0

把加权和写成原始分数 z,再单独写预测值 ŷ。f 表示输出映射,也就是把分数换成任务所需数值的规则。

$$z=wx+b,\qquad \widehat{y}=f(z)$$

例中 x=2 km,权重 w=−3 分/km,偏置 b=1 分。代入得 z=−3×2+1=−5 分。这个分数没有时间单位,分钟是在映射时乘进去的。

实际时间 y 和预测时间 ŷ 的差距由平方来计量。记单笔损失为 ℓ,读作小写 L。 03b 的单样本平方误差

$$\ell=(\widehat{y}-y)^2$$

这笔订单实际用了 18 分钟。预测减去实际为 0.006715…−18≈−17.993285 分钟,再平方得到 约 323.76 分钟²。下一节先只改变输出规则,看哪些值能够交付。

2. 先看恒等映射与硬截断

如果目标允许负值,原始分数可以直接按目标单位读。比如预测气温变化,负数就表示降温。

恒等映射(Identity)让输出的数值与输入相同。以每分对应一分钟计,−5 仍给出 −5 分钟。斜率为 1,纠错信号照常传回,预测仍可能越界。

$$f_{\mathrm{id}}(z)=z$$

如果目标是必须落在 [0,1] 内的比例,越界的预测该落在哪里?

把数值限制在 [0,1] 后,哪里还能传回变化?横轴是截断前的值,纵轴是截断后的值。两段水平线都意味着输入小幅变化时,输出不变。
把数值限制在 [0,1] 后,哪里还能传回变化? 截断后的值截断前的值 z 01 −1012 斜率 0斜率 1斜率 0 0.25 → 0.25

硬截断(Clamp)让区间内的值通过,越界则贴到最近端点。把 z 先抬到不小于 0,再压到不大于 1。

$$f_{\mathrm{clamp}}(z)=\min(1,\max(0,z))$$

把 −1、0.25、2 代进去,分别得到 0、0.25、1,两个端点都能取到。恰好在端点处,左右斜率不同,训练工具返回的值取决于实现。 PyTorch 的截断定义

配送时间若只保留下界,规则就简化成 max(0,z),也叫整流线性单元(ReLU)。−5 和 −2 都变成 0,往上挪一点也仍是 0。梯度经过这一段会乘以 0。

先想一下 · 目标允许负值,该从哪种映射试起?

例如预测气温变化,降温是有效的负值。恒等映射允许它,而且斜率是 1。把负值压成 0 会把降温和没变化混为一谈。

3. Softplus:让负分得到正值

硬下界把负分挤到同一个点。能否让负分仍保有差别,同时让预测严格为正?

同一个负分,硬下界和 Softplus 怎样变化虚线是硬下界,实线是 Softplus。−2 时,虚线输出 0,实线约为 0.1269。正向看右端,两条线的斜率都接近 1。
同一个负分,硬下界和 Softplus 怎样变化 输出(分钟)z 02468 −6−2038

Softplus 先对分数取指数,再加 1,最后取自然对数。对任何有限 z,e^z>0,所以加 1 后得到的 u>1,而 ln u>0。自然对数以 e≈2.71828 为底。可回看 03a 的指数与对数。

$$u=1+e^z,\qquad f_{\mathrm{sp}}(z)=\ln u$$

这个公式也常写作 log(1+e^z),这里的 log 指自然对数。 PyTorch 的 Softplus 定义(取 β=1)

把 −5 分换成正数的三步
  1. 取指数e⁻⁵ ≈ 0.006738
  2. 加 1u ≈ 1.006738
  3. 取自然对数ln u ≈ 0.006715

每单位乘上 1 分钟,就得到首屏的预测。负分越低,输出越接近 0。很大的正分使加上的 1 相对很小,取对数后输出接近原始分数。

看完图,先预测 · 把 −2 降到 −5,两条线各怎样变?

硬下界两次都给 0,负半轴的斜率也是 0。Softplus 从约 0.1269 降到 0.0067,两个预测都大于 0,且 −5 附近更平。

f′ₛₚ(z) 表示 Softplus 输出的局部斜率。z → u 的斜率是 e^z,u → ln u 的斜率是 1/u。两段相乘后,最后一步把分子和分母同除以 e^z。 OpenStax 的指数与对数求导

$$ \begin{aligned} f_{\mathrm{sp}}'(z) &= \frac{1}{u}\cdot e^z \\ &= \frac{e^z}{1+e^z} \\ &= \frac{1}{1+e^{-z}} . \end{aligned} $$

在 z=−5,映射斜率 1/(1+e⁵)≈0.006693 分钟/分。损失斜率 2(0.006715…−18)≈−35.9866 分钟,两者相乘约 −0.2409 分钟²/分。负号表示局部提高原始分数会减小损失,接近零的映射斜率使这股信号很弱。下一节会用到同一个斜率函数。

4. Sigmoid:把分数放进一个区间

配送评分有上下界,Softplus 只能守住下界。可以先在 0 到 1 之间找到一个相对位置,再把它搬到 20 到 100 分的刻度上。

把相对位置换成评分中点 0.5 对应 60 分。空心端点表示有限原始分数无法得到 20 或 100 分。
从相对位置的开区间换到评分开区间 相对位置 s 00.51 ↓ 乘 80,再加 20 2060100 配送评分

Sigmoid(S 形映射)把原始分数 z 变成相对位置 s。对有限 z,分母始终大于 1,因而 0<s<1。z=0 时,e⁰=1,所以 s=1/(1+1)=0.5。 Google 机器学习课程的 Sigmoid 定义

$$s=\sigma(z)=\frac{1}{1+e^{-z}}$$

设 a 为下界,c 为上界,且 a<c。先乘区间宽度,再加下界。用 b 表示上界的资料会写成 a+(b-a)σ(z),本章的 b 仍表示模型偏置。

$$\widehat{y}=a+(c-a)s$$

代入下界 20、宽度 80 和位置 0.5,得到 20+80×0.5=60 分。有限 z 只能得到开区间 (20,100) 内的值。真实标签常取端点时要检查端点误差。极端输入在浮点计算中可能因舍入显示为端点。

斜率怎样得到? 先算分母,再取倒数。

沿计算顺序找出两个斜率
  1. 原始分数z
  2. 取负、取指数、加 1,斜率 −e⁻ᶻq = 1 + e⁻ᶻ
  3. 取倒数,斜率 −1/q²s = 1/q

两段的斜率相乘,两个负号抵消。把分子 e^{-z} 写成 q−1,就能拆出 s 和 1−s。 03a 的倒数求导

$$ \begin{aligned} \sigma'(z) &= (-1/q^2)(-e^{-z}) \\ &= (1/q)\,(q-1)/q \\ &= s(1-s) . \end{aligned} $$

加下界只移动曲线,乘宽度会把斜率放大同样倍数。

$$\frac{d\widehat{y}}{dz}=(c-a)s(1-s)$$

在 z=0,s=0.5,评分的斜率为 80×0.5×0.5=20 评分/分数。

先算一个新范围 · 30~70 分,z=0 时预测与斜率是多少?

预测是 30+40×0.5=50 分,斜率是 40×0.5×0.5=10 评分/分数。范围缩窄了一半,中点处的斜率也缩小一半。

5. 用同一组输入比较四种映射

每张图横轴都是原始分数 z,圆点对应 −2、0、3。纵轴按任务分别标注,判断斜率时要一起看刻度。图只展示有限输入的一段,预测的完整范围写在图注里。

恒等映射范围:任意实数。斜率为 1,预测可能越界。样本:−2 → −2,0 → 0,3 → 3。
恒等映射 输出(目标单位)z −6−2038 −6−2038
Softplus范围:严格正值。0 不可达,很负时梯度小。样本:−2 → 0.1269,0 → 0.6931,3 → 3.0486。
Softplus 输出(分钟)z 02468 −6−2038
Sigmoid范围:(0,1)。两个端点不可达,两端梯度趋近 0。样本:−2 → 0.1192,0 → 0.5000,3 → 0.9526。
Sigmoid 输出(相对位置)z 00.51 −6−2038
缩放 Sigmoid范围:(20,100) 分。两个端点不可达,两端梯度趋近 0。样本:−2 → 29.54,0 → 60,3 → 96.21。
缩放 Sigmoid 输出(评分)z 2060100 −6−2038

范围回答「能输出什么」。斜率决定训练信号经过这一段时会乘多少。

6. 从预测的斜率算到训练信号

把两笔评分记录的真实值都设成 80 分。离真实值更远的一笔,训练时会收到更大的纠错信号吗?

误差更大时,梯度仍可能更小横条长度表示原始分数梯度的绝对值。两条梯度都为负,短条意味着训练收到的纠错信号更弱。
误差更大时,梯度仍可能更小 z = 0 预测 60,偏差 20 z = −6 预测约 20.198,偏差约 59.802 23.60 800

饱和发生在 Sigmoid 接近两端、曲线变平的地方。此时原始分数挪一点,预测几乎不动,乘回来的梯度也可能很小。

记 ℓ 为单样本平方误差。∂ℓ/∂ŷ 是损失对预测的斜率,dŷ/dz 是预测对原始分数的斜率。03b 的链式法则把这两段相乘。评分跨度是 80,所以映射斜率带有 80 这个因子。 OpenStax 的链式法则

$$ \begin{aligned} \frac{\partial\ell}{\partial\widehat{y}} &= 2(\widehat{y}-y) \\ \frac{d\widehat{y}}{dz} &= 80s(1-s) \\ \frac{\partial\ell}{\partial z} &= \frac{\partial\ell}{\partial\widehat{y}}\, \frac{d\widehat{y}}{dz}. \end{aligned} $$

中部 z=0。 s=0.5,预测 20+80×0.5=60。两段斜率分别是 2(60−80)=−40 和 80×0.5×0.5=20,相乘为 −800。

左端 z=−6。 s≈0.002473,预测约 20.198。损失斜率 2(20.198−80)≈−119.604,映射斜率 80×0.002473×(1−0.002473)≈0.1973。用未舍入的值相乘,得到 约 −23.60。

现在把这两笔记录合成一批。每笔损失对批均值各占一半。

平均两条记录,第一条的梯度怎样变
  1. 只看第一条∂ℓ₁/∂z₁ = −800
  2. 批量有两条总和 ÷ 2
  3. 批均值对第一条原始分数的梯度∂L/∂z₁ = −400

MSE 是 n 个标量预测的平方误差平均值。其他样本分数固定时,zᵢ 只改变自己的损失 ℓᵢ,因此批均值的梯度多乘一次 1/n。第一笔由 −800÷2 得到 −400。 PyTorch 的 MSE 平均规则

$$ \begin{aligned} L_{\mathrm{MSE}} &= (\ell_1+\cdots+\ell_n)/n \\ \frac{\partial L_{\mathrm{MSE}}}{\partial z_{i}} &= \frac{1}{n}\frac{\partial\ell_{i}}{\partial z_{i}} . \end{aligned} $$

权重和偏置会影响多条预测。求参数梯度时,还要合并每条路径的贡献。

7. 同样交付 1,为什么训练不同

仍用区间 [0,1],真实值是 y=0.8,原始分数是 z=2。两种做法都交付 1。截断放在损失前和只放在交付端,训练路径有什么区别?

沿着两条路径,算到训练梯度
预测后 clip
  1. 训练用原始值 2。
  2. 训练损失 (2−0.8)² = 1.44。
  3. 映射斜率为 1,传回 2(2−0.8)×1 = 2.4。
  4. 交付时才把 2 截到 1。
训练内 clamp
  1. 先把 2 截到 1,再算损失。
  2. 训练损失 (1−0.8)² = 0.04。
  3. 2 在平坦的越界段,传回 2(1−0.8)×0 = 0。
  4. 交付仍按同一规则,输出 1。

训练计算图记录哪些运算通向损失。训练内 clamp 把这条路径的梯度乘成 0,单靠这条路径无法把 2 拉回区间。只在交付时截断的结果仍要纳入业务评估。

换个输入试试 · 若 z=0.5、y=0.8,两种梯度还不同吗?

0.5 在区间内,两条路径的训练预测都是 0.5,局部斜率都是 1。损失为 0.09,梯度都是 2(0.5−0.8)×1=−0.6。

把两条训练路径对到同一段代码
  1. 预测进入损失的斜率2 × (prediction − y)
  2. 乘输出映射的斜率× slope
  3. 得到原始分数的梯度gradient

用 Python 3 运行下方代码。max(0,z) 先抬到下界,min(1,...) 再限制上界。循环用同一个平方误差公式计算两条路径。 Python 的 min 和 max

用 Python 核对两条路径
z = 2.0
y = 0.8
delivered = min(1.0, max(0.0, z))
if z in (0.0, 1.0):
    raise ValueError("请取非端点的原始分数。")
clamp_slope = 1.0 if 0.0 < z < 1.0 else 0.0

for name, prediction, slope in (
    ("预测后 clip", z, 1.0),
    ("训练内 clamp", delivered, clamp_slope),
):
    loss = (prediction - y) ** 2
    gradient = 2 * (prediction - y) * slope
    print(f"{name}: 交付={delivered:g}, "
          f"损失={loss:.2f}, 梯度={gradient:.1f}")

两行都交付 1,训练损失和梯度分别是 1.44、2.4 与 0.04、0.0。可以把输入改成区间内的 0.5,对照上面的练习。程序在端点停止,端点的斜率取决于具体框架约定。

模型给出 Sigmoid 值 0.5,用户看到的会是 50% 还是 60 分?先看标签告诉模型要预测什么。

同一个 0.5 可以代表什么?从顶部沿两条路径读。输出的意思由标签和最后的换算规则决定。
同一个 0.5 可以代表什么? 同一个 Sigmoid 值 0.5 标签:是否超时标签:20~100 分 超时概率 50%配送评分 60 分 直接读作概率20 + 80 × 0.5

03a 的标签记录是否超时,分类可用二元交叉熵训练。配送评分表示连续大小,20 到 21 的变化有数值意义。回归的损失要反映这种误差代价。 Google 机器学习课程的逻辑回归损失

边界也有来源。物理限制和交付规则能提出明确要求,训练集目前出现的最小值或最大值则可能随数据变动。交付才截断时,分别检查越界频率、边界误差和最终交付指标。

真实标签常取端点时,检查饱和和端点误差。直接计算很大的指数可能溢出,实际计算宜用提供数值稳定性的 Softplus 实现。03d 会进一步说明计数和不确定性任务怎样核对分布假设。

9. 用新输入检查理解

  1. 一款设备的读数变化可正可负。用恒等还是硬下界?说出范围和训练代价。
  2. 评分范围为 30 到 70,原始分数很大时,输出能达到 70 吗?梯度怎样变?
  3. 预测需要交付在 [0,1]。若 z=−1、y=0.3,分别算预测后 clip 和训练内 clamp 的训练损失与梯度。
展开答案和回看位置
  1. 恒等保留正负,斜率为 1。硬下界会把负变化压成 0。需要复习时回到第 2 节。
  2. 有限输入下输出趋近 70,数学上始终低于 70。s 趋近 1,s(1−s) 趋近 0。回到第 4 节数轴。
  3. 两种都交付 0。预测后 clip 用 −1 算训练损失,得到 (−1−0.3)²=1.69,梯度为 2(−1−0.3)=−2.6。训练内 clamp 用 0 算损失,得到 0.09,再乘越界区的斜率 0,梯度为 0。回到第 7 节双路径。

03d · 概率回归与目标变换 把正值映射用到分布参数上,是进阶选读。主线下一章是 04 · 决策树。

打卡记录保存在你的浏览器里,首页能看到总进度