03b · 回归损失函数:模型如何衡量错误
⏱ 阅读约 38 分钟 · 动手实践另计
差了多少?猜早还是猜晚?怎样把这次错误变成可以优化的数字?
先看四份外卖订单
03 的直线已经会猜几分钟送达。03a把问题换成会不会超时。本章回到分钟数,先问怎么评价一次预测,再用评价结果改一次模型。
这些是本课自拟的演示订单。用 y 表示实际分钟数,ŷ(读作「y 帽」)表示预测分钟数。先比较 A 和 B。
查四份订单的完整数据
| 订单 | 实际 → 预测(分钟) | 实际减预测(分钟) |
|---|---|---|
| A | 20 → 18 | +2 |
| B | 30 → 32 | −2 |
| C | 25 → 20 | +5 |
| D | 40 → 38 | +2 |
残差保留方向
从预测走到实际的带方向差值叫残差(Residual)。本章约定 r = y − ŷ,单位是分钟。
$$r = y - \hat y$$
A 单实际减预测是 20 − 18 = +2,说明猜早了。B 单是 30 − 32 = −2,说明猜晚了。若一笔订单实际和预测都是 25 分钟,残差为 0。
先想一想:只拿 A、B 两单,把残差平均,会觉得模型有多准?
看反馈
平均残差是 (2−2)÷2=0,可两单各猜错了 2 分钟。正负号能告诉我们偏向哪边。要衡量错了多少,还需要一个不会互相抵消的评分。
从单笔平方误差到 MSE
猜中得 0 分,猜得越远罚分越高。把残差乘自己,A 的 +2 和 B 的 −2 都变成 4,也就不会抵消。
这叫单笔平方误差(Squared Error),记作 L。偏差翻倍时,平方罚分变成四倍。
$$L = (y - \hat y)^2 = r^2$$
四份订单怎样用一个数计分?沿图从单笔计算走到批量平均。
| 订单 | 残差(分钟) | 平方误差(分钟²) |
|---|---|---|
| A | 20−18 = +2 | 2² = 4 |
| B | 30−32 = −2 | (−2)² = 4 |
| C | 25−20 = +5 | 5² = 25 |
| D | 40−38 = +2 | 2² = 4 |
求和 4+4+25+4 = 37 分钟²
除以 4 项 37÷4 = 9.25 分钟²
平均后的分数叫均方误差(Mean Squared Error,MSE)。式中 i 是订单编号,Σ 表示逐项相加。每单只预测一个数,所以这里的元素数 n 等于订单数。
$$\operatorname{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat y_i)^2$$
4 是 A 单的平方误差,37 是总平方误差,9.25 是平均平方误差。它们的单位都是分钟²,不能把 9.25 读成平均差了 9.25 分钟。
用代码库时,怎样确认到底除以几
reduction 是把多个损失元素合并为一个数的方式。同一批元素的 reduction=sum 得 37,reduction=mean 得 9.25。固定元素数、仅比较这个损失时,两者的最优点相同,梯度相差固定倍数。
若 4 个样本各有 3 个输出,按所有元素取平均会除以 12。使用库函数时确认实际的归约范围。PyTorch MSELoss 的归约定义
为什么还要 MAE
C 单的实际时间如果从 25 分钟误录成 50 分钟,一条记录会把评分拉高多少?
绝对值 |r| 只量距离,单位仍是分钟。C 单原来是 |25−20|=5,误录后是 |50−20|=30。把所有订单的距离取平均,得到平均绝对误差(Mean Absolute Error,MAE)。
$$\operatorname{MAE}=\frac{1}{n}\sum_{i=1}^{n}|y_i-\hat y_i|$$
原来的四单有 MAE = (2+2+5+2)÷4 = 2.75 分钟。若 C 单误录,两种规则都加重罚分,但放大的速度不同。
如果每多错一分钟的代价近似相同,可以试绝对误差。如果偏差越大、额外一分钟越贵,可以试平方误差。先核对可疑标签,再用验证集比较。Google 机器学习速成课程 · MSE 与 MAE
Huber 在阈值处换一种罚法
能否兼顾小误差处的平滑和大误差处的线性增长?图中以 δ=2 分钟 比较三种罚法。
Huber 损失(Huber Loss)用阈值 δ(读作 delta)切换罚法。Lδ(r) 是单笔罚分,δ 和 r 用分钟,结果用分钟²。|r| 是残差的距离,δ 必须大于 0。
- 边界的起点
- 到 |r|=δ 时,半平方是 δ²÷2,沿误差距离的斜率是 δ。A 单恰在 δ=2 的边界,罚分为 2 分钟²。
- 超过边界的增量
- 每多错 1 分钟加 δ。C 单的 |r|=5,比阈值多 3 分钟,增量为 2×3=6 分钟²。
- 外侧罚分
- 起点 + 增量 = δ²÷2 + δ(|r|−δ) = δ(|r|−δ/2)。C 单得到 2+6=8 分钟²。
外侧从同一高度、以同一斜率接上,所以边界连续。改用秒时,δ=2 分钟对应 120 秒。可以按误差尺度选几个 δ,再在验证集上比较。Huber 原论文 · PyTorch HuberLoss 的分段定义
残差回答「偏哪边」,损失回答「偏这么远要罚多少」。比较不同损失时看形状和业务代价。接下来固定平方误差,观察把预测往两边挪动时罚分怎样变。
从 18 到 18.1,量一次局部斜率
还是 A 单,实际 y 固定在 20 分钟。预测 ŷ 从 18 改到 18.1,残差从 2 变成 1.9,平方损失从 4 变成 3.61。
两点间的平均斜率是「损失改变量 ÷ 预测改变量」。把步子缩小,观察它趋近什么值。
- 多预测 0.1 分钟
- (3.61−4)/(18.1−18)=−3.9
- 多预测 0.01 分钟
- 新损失 1.99²=3.9601,斜率 (3.9601−4)÷0.01=−3.99。
- 多预测 h 分钟
- 当 h ≠ 0,新残差为 r−h。差商 [(r−h)²−r²]÷h,展开后为 (−2rh+h²)÷h = −2r+h。
让 h 越来越接近 0,平均斜率就趋近 −2r。这个极限叫当前位置的导数(Derivative)。OpenStax · 差商与导数
$$\frac{\partial L}{\partial\hat y}=-2(y-\hat y)=-2r$$
∂L/∂ŷ 表示实际值固定时,损失对预测的局部变化率。A 单 r=2,导数是 −4 分钟(分钟² ÷ 分钟)。负号表示从起点稍微提高预测,损失就会下降。
变化率沿两条路传给参数
知道预测该往哪边变之后,直线的哪个参数该动?模型预测 ŷ = wx+b。距离 x 是已知的,训练会修改每公里增加的分钟数 w 和基准分钟数 b。
换一笔演示订单。x=2 公里,y=10 分钟,初始 w=3 分钟/公里、b=1 分钟。先用 3×2+1 得到预测 7,再算 10−7=3 和 3²=9。
固定其他参数,只动一个参数得到它的偏导数(Partial Derivative)。把 w 和 b 的偏导放在一起就是梯度(Gradient)。
例如 w 多 0.01,预测先多 0.01×2=0.02 分钟,损失在起点附近约少 6×0.02=0.12 分钟²。把两段局部变化率相乘,用的是链式法则。OpenStax · 链式法则
$$\frac{\partial L}{\partial w}=\frac{\partial L}{\partial\hat y}\,x$$
$$\frac{\partial L}{\partial b}=\frac{\partial L}{\partial\hat y}\cdot 1$$
同一个 w 用于很多单。进入批量训练时,对每单先走完相应的参数路径,再按所用的损失规则合并各单贡献。MSE 下还要除以 n。
更新一次,再算一遍损失
两条梯度都算出来了。学习率(Learning Rate) η 决定沿反方向走多大一步。这里取 η=0.01,先用同一组旧参数算完两个梯度,再一起更新。
- 改参数
- w_new = 3−0.01×(−12) = 3.12 分钟/公里。
b_new = 1−0.01×(−6) = 1.06 分钟。 - 重新预测
- ŷ_new = 3.12×2+1.06 = 7.30 分钟。
- 重新计分
- L_new = (10−7.30)² = 7.29 分钟²,比原来的 9 低。
减去负梯度使参数增加,预测朝 10 移动。这一步只验证了本单在当前步长下的结果。换数据、单位或步长,都要重新判断。讲义用半平方损失,少一个系数 2,更新顺序相同。Stanford CS229 · 线性回归的梯度下降
用 Python 复算这一步
图中的每步对应下方的变量。整段可直接运行,只用 Python 基本运算。Python 语言参考 · 增量赋值
- 先用旧参数计分
prediction是 wx+b,loss是残差的平方。- 沿两条路径求斜率
prediction_slope是 −2r。乘distance或 1,分别得到两条参数梯度。- 更新后复算
- 两次
-=表示减去学习率乘梯度。new_prediction与new_loss对应 7.30 与 7.29。
distance = 2.0
actual = 10.0
weight, bias = 3.0, 1.0
learning_rate = 0.01
prediction = weight * distance + bias
residual = actual - prediction
loss = residual ** 2
prediction_slope = -2 * residual
weight_slope = prediction_slope * distance
bias_slope = prediction_slope * 1
weight -= learning_rate * weight_slope
bias -= learning_rate * bias_slope
new_prediction = weight * distance + bias
new_loss = (actual - new_prediction) ** 2
print(f"{prediction:.2f} -> {new_prediction:.2f}")
print(f"{loss:.2f} -> {new_loss:.2f}")
第一行输出 7.00 → 7.30,第二行输出 9.00 → 7.29。把学习率设成 0,两行左右数值就相同。
现在已能用平方损失完成一次更新。接下来看同一条梯度路径怎样随损失函数改变,以及遇到大误差时应检查什么。
异常值怎样影响梯度
五笔订单的演示残差是 1、−1、2、−2、30 分钟。残差为 30 的订单能占到这批预测梯度的多大份额?
平方损失的预测梯度绝对值随误差距离增大。MAE 在非零残差处梯度大小固定,Huber 在阈值外封顶。
图中量的是预测梯度。算参数 w 的贡献时,还要乘各单的 x,再按符号相加。
展开损失的斜率与五单对照
单笔平方误差的预测斜率是 −2r。绝对误差在 r>0 时为 −1,r<0 时为 +1。
r=0 处有尖角,两侧斜率不同。次梯度可在两侧斜率围出的区间选值。PyTorch 的自动微分实现对凸函数取绝对值最小的次梯度,这里是 0。PyTorch · 不可导点的处理
Huber 小误差段是半平方,对 r 求导得到 r,再乘残差对预测的斜率 −1,得到 −r。外侧对 |r| 的斜率固定为 δ。
下式 sign(r) 表示 r 的符号,r 为正取 +1,为负取 −1。整式是损失对预测的导数,单位为分钟。
在 δ=2 时,r=+2 的两段都接到 −2,r=−2 的两段都接到 +2。
若 r=+5,平方误差的斜率为 −10,绝对误差为 −1,Huber 为 −2。大误差继续增加时,Huber 的这段斜率大小仍是 2。
用新的一批演示残差 [1,−1,2,−2,30] 分开观察批量平均。把五个单笔斜率的绝对值各除以 5。问残差 30 的绝对预测梯度占绝对值总和的多少。
| 损失 | 五单绝对值(批量平均) | 异常单 ÷ 合计 |
|---|---|---|
| MSE | 0.4、0.4、0.8、0.8、12 | 12÷14.4 ≈ 83.33% |
| MAE | 0.2、0.2、0.2、0.2、0.2 | 0.2÷1 = 20% |
| Huber | 0.2、0.2、0.4、0.4、0.4 | 0.4÷1.6 = 25% |
每项取值规则是 MSE:2|r|/5,MAE:1÷5,Huber:min(|r|, 2)÷5。min 表示取两个数中较小的那个。
遇到可疑大误差,先查标签。若确实要重罚大偏差,就用验证集比较。三种损失都对正负残差对称,早到和晚到代价不同时需要另外定义评价方式。
只能猜一个数时该猜什么
五单实际用了 14、15、16、17、60 分钟。如果把最后一单改成 80 分钟,代表五单的那个数字该怎么变?
只用一个值预测所有样本时,最小化 MSE 选样本均值,最小化 MAE 选样本中位数。
展开均值、中位数与最优值的理由
换五份实际送达时间 [14,15,16,17,60],模型看不到特征,每单都只能猜同一个 c(分钟)。
| 统一预测 | MSE(分钟²) | MAE(分钟) |
|---|---|---|
| 16 | (4+1+0+1+1936)÷5 = 388.4 | (2+1+0+1+44)÷5 = 9.6 |
| 24.4 | (108.16+88.36+70.56+54.76+1267.36)÷5 = 317.84 | (10.4+9.4+8.4+7.4+35.6)÷5 = 14.24 |
平方误差的平均对 c 求导,得到 2Σ(c−yᵢ)/n = 2(c−平均值)。均值左侧导数为负,右侧为正,所以在均值处最小。60 增大就会拉高均值。
看绝对误差时,把 c 向右移动一小步。左边每单增加同样的距离,右边每单减少同样的距离。
- 到 16 之前,左 2 右 3,再向右会减少总距离。
- 越过 16 之后,左 3 右 2,再向右会增加总距离。
所以 16 是这批数据的最小点。若样本数为偶数,排序后的中间两个值之间都可取最小值。UC Berkeley SticiGui · 均值与中位数各自最小化什么
总结与检查
现在你可以把一次预测走完:先写带方向的残差,用损失评分,找预测改变时的斜率,把斜率传给 w 与 b,更新后再算一次。
综合题。 距离 x=3 公里、实际 y=20 分钟,w=5、b=2。用单笔平方误差和学习率 0.01,求原预测、损失、两条参数梯度、更新后预测和损失。
展开完整答案
原预测 5×3+2=17,残差 20−17=3,损失 9。预测斜率是 −6,权重梯度 −6×3=−18,偏置梯度 −6×1=−6。
新 w=5.18,新 b=2.06,预测为 5.18×3+2.06=17.60,损失为 (20−17.60)²=5.76。
解释题。 四单的 MSE 要除以几?异常值示例里的 83.33% 能直接当作对 w 的贡献吗?如果分钟改成秒,为什么也要换算 δ?
检查解释
四单各预测一个数,共 4 个元素,所以除以 4。83.33% 量的是绝对预测梯度占比。对 w 的梯度还需乘各单距离,并按符号合并。
δ 与残差单位相同,2 分钟的阈值应换成 120 秒,切换规则才会发生在同一处。
下一节 03c · 回归输出层会用 ŷ=f(z) 限制预测范围。带着这里的两段变化率去看:如果中间又多一段,梯度怎样传回去?03d是进阶选读。