跳到主要内容
🏠 总目录📚 本教程 03b · 回归损失函数:模型如何衡量错误 ← →

03b · 回归损失函数:模型如何衡量错误

⏱ 阅读约 38 分钟 · 动手实践另计

订单 A 实际 20 分钟 模型预测 18 分钟

差了多少?猜早还是猜晚?怎样把这次错误变成可以优化的数字?

先看四份外卖订单

03 的直线已经会猜几分钟送达。03a把问题换成会不会超时。本章回到分钟数,先问怎么评价一次预测,再用评价结果改一次模型。

这些是本课自拟的演示订单。用 y 表示实际分钟数,ŷ(读作「y 帽」)表示预测分钟数。先比较 A 和 B。

同一条分钟刻度。A 从预测18向右到实际20,残差正2。B 从预测32向左到实际30,残差负2。
沿箭头从预测走到实际。两单都差 2 分钟,方向相反。
查四份订单的完整数据
订单 实际 → 预测(分钟) 实际减预测(分钟)
A 20 → 18 +2
B 30 → 32 −2
C 25 → 20 +5
D 40 → 38 +2

残差保留方向

从预测走到实际的带方向差值叫残差(Residual)。本章约定 r = y − ŷ,单位是分钟。

$$r = y - \hat y$$

A 单实际减预测是 20 − 18 = +2,说明猜早了。B 单是 30 − 32 = −2,说明猜晚了。若一笔订单实际和预测都是 25 分钟,残差为 0。

先想一想:只拿 A、B 两单,把残差平均,会觉得模型有多准?

看反馈

平均残差是 (2−2)÷2=0,可两单各猜错了 2 分钟。正负号能告诉我们偏向哪边。要衡量错了多少,还需要一个不会互相抵消的评分。

从单笔平方误差到 MSE

猜中得 0 分,猜得越远罚分越高。把残差乘自己,A 的 +2 和 B 的 −2 都变成 4,也就不会抵消。

这叫单笔平方误差(Squared Error),记作 L。偏差翻倍时,平方罚分变成四倍。

$$L = (y - \hat y)^2 = r^2$$

四份订单怎样用一个数计分?沿图从单笔计算走到批量平均。

把四笔平方误差合成一个分数
订单 残差(分钟) 平方误差(分钟²)
A 20−18 = +2 2² = 4
B 30−32 = −2 (−2)² = 4
C 25−20 = +5 5² = 25
D 40−38 = +2 2² = 4

求和 4+4+25+4 = 37 分钟²
除以 4 项 37÷4 = 9.25 分钟²

平均后的分数叫均方误差(Mean Squared Error,MSE)。式中 i 是订单编号,Σ 表示逐项相加。每单只预测一个数,所以这里的元素数 n 等于订单数。

$$\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat y_i)^2$$

4 是 A 单的平方误差,37 是总平方误差,9.25 是平均平方误差。它们的单位都是分钟²,不能把 9.25 读成平均差了 9.25 分钟。

用代码库时,怎样确认到底除以几

reduction 是把多个损失元素合并为一个数的方式。同一批元素的 reduction=sum 得 37,reduction=mean 得 9.25。固定元素数、仅比较这个损失时,两者的最优点相同,梯度相差固定倍数。

若 4 个样本各有 3 个输出,按所有元素取平均会除以 12。使用库函数时确认实际的归约范围。PyTorch MSELoss 的归约定义

为什么还要 MAE

C 单的实际时间如果从 25 分钟误录成 50 分钟,一条记录会把评分拉高多少?

C 单预测 20 分钟。实际从 25 被误录为 50,平方误差由 25 变 900 分钟平方,是原来的 36 倍。绝对误差由 5 变 30 分钟,是原来的 6 倍。
每组条形使用自己的单位和刻度。比较同组的倍数。

绝对值 |r| 只量距离,单位仍是分钟。C 单原来是 |25−20|=5,误录后是 |50−20|=30。把所有订单的距离取平均,得到平均绝对误差(Mean Absolute Error,MAE)。

$$\operatorname{MAE}=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat y_i|$$

原来的四单有 MAE = (2+2+5+2)÷4 = 2.75 分钟。若 C 单误录,两种规则都加重罚分,但放大的速度不同。

如果每多错一分钟的代价近似相同,可以试绝对误差。如果偏差越大、额外一分钟越贵,可以试平方误差。先核对可疑标签,再用验证集比较。Google 机器学习速成课程 · MSE 与 MAE

Huber 在阈值处换一种罚法

能否兼顾小误差处的平滑和大误差处的线性增长?图中以 δ=2 分钟 比较三种罚法。

三张图共用残差横轴。平方误差越远越陡,绝对误差为两段直线且零点有尖角,Huber在负2至正2分钟内弯曲,两侧各接一条直线,接合处斜率连续。纵轴单位分别为分钟平方、分钟、分钟平方。
看曲线的形状和边界。三图的纵轴单位与刻度分别标出。

Huber 损失(Huber Loss)用阈值 δ(读作 delta)切换罚法。Lδ(r) 是单笔罚分,δ 和 r 用分钟,结果用分钟²。|r| 是残差的距离,δ 必须大于 0。

Lδ(r)={ 12r2|r|≤δ δ(|r|−δ2)|r|>δ
Huber 怎样从边界接上直线
边界的起点
到 |r|=δ 时,半平方是 δ²÷2,沿误差距离的斜率是 δ。A 单恰在 δ=2 的边界,罚分为 2 分钟²。
超过边界的增量
每多错 1 分钟加 δ。C 单的 |r|=5,比阈值多 3 分钟,增量为 2×3=6 分钟²。
外侧罚分
起点 + 增量 = δ²÷2 + δ(|r|−δ) = δ(|r|−δ/2)。C 单得到 2+6=8 分钟²。

外侧从同一高度、以同一斜率接上,所以边界连续。改用秒时,δ=2 分钟对应 120 秒。可以按误差尺度选几个 δ,再在验证集上比较。Huber 原论文 · PyTorch HuberLoss 的分段定义

残差回答「偏哪边」,损失回答「偏这么远要罚多少」。比较不同损失时看形状和业务代价。接下来固定平方误差,观察把预测往两边挪动时罚分怎样变。

从 18 到 18.1,量一次局部斜率

还是 A 单,实际 y 固定在 20 分钟。预测 ŷ 从 18 改到 18.1,残差从 2 变成 1.9,平方损失从 4 变成 3.61。

横轴是预测分钟,纵轴是平方损失分钟平方。同一份A单,预测18时损失4,预测18.1时损失3.61。预测向右移0.1,损失下移0.39。
局部放大,纵轴从 3.4 分钟²起。预测增加 0.1 分钟,损失减少 0.39 分钟²,平均变化率为 −3.9。

两点间的平均斜率是「损失改变量 ÷ 预测改变量」。把步子缩小,观察它趋近什么值。

从两次有限小步到起点斜率
多预测 0.1 分钟
(3.61−4)/(18.1−18)=−3.9
多预测 0.01 分钟
新损失 1.99²=3.9601,斜率 (3.9601−4)÷0.01=−3.99。
多预测 h 分钟
当 h ≠ 0,新残差为 r−h。差商 [(r−h)²−r²]÷h,展开后为 (−2rh+h²)÷h = −2r+h。

让 h 越来越接近 0,平均斜率就趋近 −2r。这个极限叫当前位置的导数(Derivative)。OpenStax · 差商与导数

$$\frac{\partial L}{\partial\hat y}=-2(y-\hat y)=-2r$$

∂L/∂ŷ 表示实际值固定时,损失对预测的局部变化率。A 单 r=2,导数是 −4 分钟(分钟² ÷ 分钟)。负号表示从起点稍微提高预测,损失就会下降。

可回看 02a 的小步试探 或 03a 的差商演示。

变化率沿两条路传给参数

知道预测该往哪边变之后,直线的哪个参数该动?模型预测 ŷ = wx+b。距离 x 是已知的,训练会修改每公里增加的分钟数 w 和基准分钟数 b。

换一笔演示订单。x=2 公里,y=10 分钟,初始 w=3 分钟/公里、b=1 分钟。先用 3×2+1 得到预测 7,再算 10−7=3 和 3²=9。

从预测到损失,再把斜率传给两个参数 前向算出预测7、残差3、损失9。预测斜率负6,乘距离2得到权重梯度负12,乘1得到偏置梯度负6。更新后预测7.30,损失7.29。 预测 7 → 残差 3 → 损失 9 损失对预测的斜率 −2×3 = −6 权重 w 的路径 乘距离 x=2 ∂L/∂w = −6×2 = −12 偏置 b 的路径 乘 1 ∂L/∂b = −6×1 = −6 更新后 预测 7.30 → 损失 7.29
先算预测对每个参数的斜率,再和损失对预测的斜率相乘。权重这条路乘 2 得 −12,偏置这条路乘 1 得 −6。更新后重新计分。

固定其他参数,只动一个参数得到它的偏导数(Partial Derivative)。把 w 和 b 的偏导放在一起就是梯度(Gradient)。

例如 w 多 0.01,预测先多 0.01×2=0.02 分钟,损失在起点附近约少 6×0.02=0.12 分钟²。把两段局部变化率相乘,用的是链式法则。OpenStax · 链式法则

$$\frac{\partial L}{\partial w}=\frac{\partial L}{\partial\hat y}\,x$$

$$\frac{\partial L}{\partial b}=\frac{\partial L}{\partial\hat y}\cdot 1$$

同一个 w 用于很多单。进入批量训练时,对每单先走完相应的参数路径,再按所用的损失规则合并各单贡献。MSE 下还要除以 n。

更新一次,再算一遍损失

两条梯度都算出来了。学习率(Learning Rate) η 决定沿反方向走多大一步。这里取 η=0.01,先用同一组旧参数算完两个梯度,再一起更新。

从旧参数走一步,再回到同一单验算
改参数
w_new = 3−0.01×(−12) = 3.12 分钟/公里。
b_new = 1−0.01×(−6) = 1.06 分钟。
重新预测
ŷ_new = 3.12×2+1.06 = 7.30 分钟。
重新计分
L_new = (10−7.30)² = 7.29 分钟²,比原来的 9 低。

减去负梯度使参数增加,预测朝 10 移动。这一步只验证了本单在当前步长下的结果。换数据、单位或步长,都要重新判断。讲义用半平方损失,少一个系数 2,更新顺序相同。Stanford CS229 · 线性回归的梯度下降

用 Python 复算这一步

图中的每步对应下方的变量。整段可直接运行,只用 Python 基本运算。Python 语言参考 · 增量赋值

手算步骤在代码里的位置
先用旧参数计分
prediction 是 wx+b,loss 是残差的平方。
沿两条路径求斜率
prediction_slope 是 −2r。乘 distance 或 1,分别得到两条参数梯度。
更新后复算
两次 -= 表示减去学习率乘梯度。new_prediction 与 new_loss 对应 7.30 与 7.29。
distance = 2.0
actual = 10.0
weight, bias = 3.0, 1.0
learning_rate = 0.01

prediction = weight * distance + bias
residual = actual - prediction
loss = residual ** 2

prediction_slope = -2 * residual
weight_slope = prediction_slope * distance
bias_slope = prediction_slope * 1
weight -= learning_rate * weight_slope
bias -= learning_rate * bias_slope

new_prediction = weight * distance + bias
new_loss = (actual - new_prediction) ** 2
print(f"{prediction:.2f} -> {new_prediction:.2f}")
print(f"{loss:.2f} -> {new_loss:.2f}")

第一行输出 7.00 → 7.30,第二行输出 9.00 → 7.29。把学习率设成 0,两行左右数值就相同。

现在已能用平方损失完成一次更新。接下来看同一条梯度路径怎样随损失函数改变,以及遇到大误差时应检查什么。

异常值怎样影响梯度

五笔订单的演示残差是 1、−1、2、−2、30 分钟。残差为 30 的订单能占到这批预测梯度的多大份额?

百分比条按全批预测梯度绝对值之和计算。残差 30 的订单在 MSE 下占 83.33%,在 MAE 下占 20%,在 Huber(δ=2 分钟)下占 25%。
斜线段是残差 30 的订单,整条是该损失下预测梯度绝对值总和。Huber 取 δ=2 分钟。

平方损失的预测梯度绝对值随误差距离增大。MAE 在非零残差处梯度大小固定,Huber 在阈值外封顶。

图中量的是预测梯度。算参数 w 的贡献时,还要乘各单的 x,再按符号相加。

展开损失的斜率与五单对照

单笔平方误差的预测斜率是 −2r。绝对误差在 r>0 时为 −1,r<0 时为 +1。

r=0 处有尖角,两侧斜率不同。次梯度可在两侧斜率围出的区间选值。PyTorch 的自动微分实现对凸函数取绝对值最小的次梯度,这里是 0。PyTorch · 不可导点的处理

Huber 小误差段是半平方,对 r 求导得到 r,再乘残差对预测的斜率 −1,得到 −r。外侧对 |r| 的斜率固定为 δ。

下式 sign(r) 表示 r 的符号,r 为正取 +1,为负取 −1。整式是损失对预测的导数,单位为分钟。

∂Lδ∂y^={ −r|r|≤δ −δsign(r)|r|>δ

在 δ=2 时,r=+2 的两段都接到 −2,r=−2 的两段都接到 +2。

若 r=+5,平方误差的斜率为 −10,绝对误差为 −1,Huber 为 −2。大误差继续增加时,Huber 的这段斜率大小仍是 2。

用新的一批演示残差 [1,−1,2,−2,30] 分开观察批量平均。把五个单笔斜率的绝对值各除以 5。问残差 30 的绝对预测梯度占绝对值总和的多少。

损失 五单绝对值(批量平均) 异常单 ÷ 合计
MSE 0.4、0.4、0.8、0.8、12 12÷14.4 ≈ 83.33%
MAE 0.2、0.2、0.2、0.2、0.2 0.2÷1 = 20%
Huber 0.2、0.2、0.4、0.4、0.4 0.4÷1.6 = 25%

每项取值规则是 MSE:2|r|/5,MAE:1÷5,Huber:min(|r|, 2)÷5。min 表示取两个数中较小的那个。

遇到可疑大误差,先查标签。若确实要重罚大偏差,就用验证集比较。三种损失都对正负残差对称,早到和晚到代价不同时需要另外定义评价方式。

只能猜一个数时该猜什么

五单实际用了 14、15、16、17、60 分钟。如果把最后一单改成 80 分钟,代表五单的那个数字该怎么变?

两条数轴使用相同尺度。五单为 14、15、16、17、60。把 60 改成 80 后,中位数仍是 16,均值从 24.4 变成 28.4。
从上到下比较。右端增加 20 分钟,均值增加 20÷5=4 分钟。排在第三的订单仍是 16 分钟。

只用一个值预测所有样本时,最小化 MSE 选样本均值,最小化 MAE 选样本中位数。

展开均值、中位数与最优值的理由

换五份实际送达时间 [14,15,16,17,60],模型看不到特征,每单都只能猜同一个 c(分钟)。

统一预测 MSE(分钟²) MAE(分钟)
16 (4+1+0+1+1936)÷5 = 388.4 (2+1+0+1+44)÷5 = 9.6
24.4 (108.16+88.36+70.56+54.76+1267.36)÷5 = 317.84 (10.4+9.4+8.4+7.4+35.6)÷5 = 14.24

平方误差的平均对 c 求导,得到 2Σ(c−yᵢ)/n = 2(c−平均值)。均值左侧导数为负,右侧为正,所以在均值处最小。60 增大就会拉高均值。

看绝对误差时,把 c 向右移动一小步。左边每单增加同样的距离,右边每单减少同样的距离。

  • 到 16 之前,左 2 右 3,再向右会减少总距离。
  • 越过 16 之后,左 3 右 2,再向右会增加总距离。

所以 16 是这批数据的最小点。若样本数为偶数,排序后的中间两个值之间都可取最小值。UC Berkeley SticiGui · 均值与中位数各自最小化什么

总结与检查

现在你可以把一次预测走完:先写带方向的残差,用损失评分,找预测改变时的斜率,把斜率传给 w 与 b,更新后再算一次。

综合题。 距离 x=3 公里、实际 y=20 分钟,w=5、b=2。用单笔平方误差和学习率 0.01,求原预测、损失、两条参数梯度、更新后预测和损失。

展开完整答案

原预测 5×3+2=17,残差 20−17=3,损失 9。预测斜率是 −6,权重梯度 −6×3=−18,偏置梯度 −6×1=−6。

新 w=5.18,新 b=2.06,预测为 5.18×3+2.06=17.60,损失为 (20−17.60)²=5.76。

解释题。 四单的 MSE 要除以几?异常值示例里的 83.33% 能直接当作对 w 的贡献吗?如果分钟改成秒,为什么也要换算 δ?

检查解释

四单各预测一个数,共 4 个元素,所以除以 4。83.33% 量的是绝对预测梯度占比。对 w 的梯度还需乘各单距离,并按符号合并。

δ 与残差单位相同,2 分钟的阈值应换成 120 秒,切换规则才会发生在同一处。

下一节 03c · 回归输出层会用 ŷ=f(z) 限制预测范围。带着这里的两段变化率去看:如果中间又多一段,梯度怎样传回去?03d是进阶选读。

打卡记录保存在你的浏览器里,首页能看到总进度