跳到主要内容
🏠 总目录📚 本教程 03d · 概率回归与目标变换(进阶选读) ← →

03d · 概率回归与目标变换(进阶选读)

⏱ 阅读约 45 分钟 · 动手实践另计

都预测 30 分钟,哪组更容易猜准?

同样平均 30 分钟的两组配送时间 市中心为 28、30、32 分钟。郊区为 15、25、50 分钟。两组均值为 30,郊区跨度更大。 均值 30 市中心 郊区 15 20 30 40 50 分钟
演示数据,每个点代表一单。市中心 28、30、32 分钟,郊区 15、25、50 分钟。

两组平均都是 30 分钟。郊区的结果离 30 更远,只报平均值会漏掉这层差异。我们还可以描述结果有多分散,也就是这次预测有多大不确定性。

0. 本章用到的基础

本章用到 03b 的残差和平方损失,以及 03c 把原始输出映射成正数的做法。读高斯前,可先用下一节的三单回顾均值和标准差。

1. 先算出两组结果有多分散

怎样比较两组的分散程度?把每单都减去平均的 30 分钟。市中心的 −2 和 +2 会互相抵消,直接平均偏差就看不出分散程度。

从偏差算到标准差市中心三单的手算。依次减去均值、平方、平均,再开平方。
  1. 减去均值28 − 30 = −2
    30 − 30 = 0
    32 − 30 = 2(分钟)
  2. 平方再平均(−2)²、0²、2² → 4、0、4
    (4 + 0 + 4) ÷ 3
    ≈ 2.67 分钟²
  3. 开平方√(8/3) ≈ 1.63 分钟

把同类配送条件下下一单的分钟数记作随机变量(Random Variable)Y。它有哪些可能值、各有多常见,由概率分布(Probability Distribution)描述。这里是演示数据,手算时把每组的三个值各当成概率为 1/3 的可能结果。

均值(Mean)是按概率加权的平均。市中心为 (28 + 30 + 32) ÷ 3,郊区为 (15 + 25 + 50) ÷ 3,都是 30 分钟。平方偏差的平均叫方差(Variance),开平方后叫标准差(Standard Deviation),单位回到分钟。

郊区按同一步骤得到偏差 −15、−5、20。方差为 (225 + 25 + 400) ÷ 3 ≈ 216.67 分钟²,标准差约 14.72 分钟。接下来用连续曲线表示这种分散程度。

参阅 MIT 概率教材的离散均值与方差。

2. 高斯回归 · 描述每单送达时间的不确定性

假设相似订单的分钟数大多靠近中心,两侧逐渐变少,而且形状大致对称。可以试用高斯分布(Gaussian Distribution,也叫正态分布)描述这些结果。模型根据一单的特征给出中心 μ 和标准差 σ,两者都用分钟表示。

均值相同、标准差不同的高斯曲线 两条曲线的均值都是 28 分钟。实线标准差 1 分钟,虚线标准差 2 分钟。虚线曲线下 28 到 30 分钟的阴影表示该区间的概率。 概率密度 σ = 1 分钟 σ = 2 分钟 22 26 28 30 34 中心 实测 分钟
两条曲线都以 28 分钟为中心。σ = 1 的实线更窄,σ = 2 的虚线更宽。阴影表示 28 到 30 分钟之间的概率,约为 34%。

横轴是分钟,纵轴是概率密度(Probability Density)。整个曲线下的面积为 1。要问「送达时间在 28 到 30 分钟之间的概率」,就看这段区间的面积。曲线在恰好 30 分钟处的高度是密度,单位是每分钟。单点的面积为 0。

用 v 表示方差,v = σ²,单位为分钟²。给定中心 μ、方差 v 时,观测值 y(分钟)在曲线上的高度写作 p(y | μ, v)。竖线右边是已给定的参数。先算离中心的平方距离相对方差有多大:

$$q=\frac{(y-\mu)^2}{2v}$$

离中心越远,q 越大,e 的负 q 次方越小。再乘 1/√(2πv),使整条曲线下面积为 1,就得到高斯密度:

$$p(y\mid\mu,v)=\frac{\exp(-q)}{\sqrt{2\pi v}}$$

这里 exp 是以自然常数 e 为底的指数函数,π 是圆周率。平方根项同时调整曲线高度与宽度,要求 v > 0。高斯曲线在所有实数上都有密度。送达时间若偏斜明显,或模型给了负分钟数不可忽略的概率,需要检验这项假设。

参阅 NIST 的正态密度与分布函数。

一单的特征怎样变成一条曲线?先读模型输入,再比较两个输出各控制什么。

这单的特征 → 同一个回归模型

中心

第一个输出 → μ(分钟)→ 决定曲线的位置

宽度

第二个输出 s → Softplus(s) + ε → 方差 v(分钟²)→ 决定曲线的宽度

03c 的 Softplus 把任意 s 映射为正数,可对照 PyTorch 的定义。再加一个小正数 ε,给训练用的方差设置数值下界。

3. 用高斯负对数似然训练

实际送达时间已经知道。训练要找一组模型参数,使这些观测在它预测的曲线上得到较高的密度。

两单的密度怎样变成一个损失?两项演示密度的单位都是每分钟。假设两单在给定各自输入后独立。
  1. 先相乘0.2 × 0.1 = 0.02
  2. 取自然对数ln(0.02) = ln(0.2) + ln(0.1)
    ≈ −1.6094 − 2.3026 = −3.9120
  3. 最后取负−(−3.9120) = 3.9120

把给定观测的密度乘积用来给模型参数打分,叫似然(Likelihood)。取 ln 把小数连乘改成相加,而且保持大小顺序。加负号后,模型改为最小化负对数似然(Negative Log-Likelihood,NLL)。

参阅 MIT 的对数似然与连续分布示例。

对上一节的密度取负对数。分母的平方根变成正的 ½ ln(2πv),分子 exp(−q) 贡献正的 q。把乘积 2πv 的对数拆开:

$$\mathrm{NLL}=\tfrac12\ln(2\pi)+\tfrac12\ln v+q$$

在这个高斯损失里,常数项不随模型参数变化。方差增大时,½ ln v 增大,平方距离项 q 却变小。方差固定时,q 就是按固定系数缩放的平方误差,接回 03b。

手算一单。 真实 y = 30 分钟,模型给 μ = 28 分钟、v = 4 分钟²(σ = 2 分钟)。这些是演示参数。

高斯 NLL · 同一单的逐步计算先用真实值和模型参数算平方距离项,再代入损失。
平方项

q = (30 − 28)² ÷ (2 × 4) = 0.5

代入

NLL = ½ ln(2π) + ½ ln 4 + 0.5

化简

NLL ≈ 0.9189385 + 0.6931472 + 0.5

结果

NLL ≈ 2.1121

如果只改成 v = 1 分钟²,那么 q = 4 ÷ 2 = 2,½ ln 1 = 0,NLL ≈ 0.9189 + 0 + 2 = 2.9189。实际 y 距中心 2 分钟,图上的窄曲线在这里给了更小的密度。

传给 PyTorch GaussianNLLLoss 的是方差 v。默认 full=False 省略常数 ½ ln(2π)。reduction 决定怎样聚合各单的损失,例如 mean 取平均。

若交付的是 80% 预测区间,还要在留出的 100 单中数有几单落入各自的区间。落入约 80 单,样本覆盖率就接近目标。单次结果会随样本波动。

换一个输入 · y = 31、μ = 28、v = 9 时,NLL 是多少?

q = (31 − 28)² ÷ (2 × 9) = 0.5。完整 NLL ≈ 0.9189385 + 1.0986123 + 0.5 = 2.5176。这次差了 3 分钟,正好是一个标准差。与上一题的 q 相同,方差项更大。

带走。 连续目标可同时交付中心和宽度,并用留出数据检查区间。接下来换个问题。要预测的是每个时间窗有几单,结果只能是整数,该用什么分布?

4. 泊松回归 · 给固定时间窗的订单数建模

把每次观察固定为 10 分钟,例如 12:00–12:10。Y 是这一窗的随机订单数,y 是实际数出的订单数。它可以是 0、1、2……。泊松分布(Poisson Distribution)给每个整数一个概率。

泊松分布的整数计数概率 固定十分钟观察窗,期望 2 单。整数 0 到 7 各有一根概率柱,3 单的概率约 18.04%。 概率 0% 10% 20% 30% 0 1 2 3 4 5 6 7 18.04% 每 10 分钟的订单数
当每 10 分钟的期望计数为 2,恰好 3 单的概率约为 18.04%。图画到 7 单,8 单及以上的概率合计约 0.11%。

λ(lambda)是给定类似输入条件时,每 10 分钟的期望订单数。本页取 λ > 0。它可为 2.5,意思是很多类似窗口的长期平均为 2.5 单。每个窗口实际数出的 y 仍是整数。在泊松模型里,给定同样条件的计数方差在数值上也等于 λ。

$$P(Y=y\mid\lambda)=\frac{e^{-\lambda}\lambda^y}{y!}$$ $$y\in\{0,1,2,\ldots\}$$

这是泊松的概率质量函数(Probability Mass Function,PMF)。它是一种对固定窗口事件计数的分布假设。λ 的 y 次方除以 y! 决定各柱的相对高度。乘上 e 的负 λ 次方后,所有概率加起来为 1。这里 y! 是阶乘,3! = 3 × 2 × 1 = 6,0! = 1。

先算概率。 λ = 2 时,观察到 y = 3 的概率是 e⁻² × 2³ ÷ 3! ≈ 0.135335 × 8 ÷ 6 ≈ 0.1804。这表示在模型假设下,大约 18% 的同类十分钟窗会有 3 单。

参阅 NIST 的泊松概率质量函数。

估计了 λ 之后,还要检查同类窗口里的计数是否大致独立、均值和方差是否接近。下面比较分开看和混在一起看的结果。

把低峰与高峰合并,方差多了什么?从上到下看低峰、高峰和合并。每个点代表一个十分钟窗,虚线标该组均值。右侧是均值(单)和总体方差(单²)。
分开与合并时的订单数分布 低峰四窗计数 0、0、2、2,均值和总体方差均为 1。高峰四窗计数 2、2、6、6,均值和总体方差均为 4。合并后均值 2.5,总体方差 4.75。横轴单位是单每十分钟。 低峰四窗 均值 1 方差 1 高峰四窗 均值 4 方差 4 合并八窗 均值 2.5 方差 4.75 0 1 2 3 4 5 6 单 / 10 分钟

演示计数。低峰为 0、0、2、2,高峰为 2、2、6、6。合并后均值 2.5 单,方差 4.75 单²。

合并后,组间差异也计入方差。均值接近方差只是泊松假设的一项检查。

参阅 MIT 概率教材的全方差定理。

按相似条件分组后,如果实际方差仍明显高于泊松模型的方差,就叫过度离散,可以比较负二项模型。零单偏多或相邻窗强相关,也要重新检验模型。

5. 用 log-rate 计算泊松损失

沿用 03c 的思路,模型原始输出 z 可为任意实数。把它解释为对数计数率(log-rate),用 λ = exp(z) 得到正的期望计数。比如 z = ln 2 ≈ 0.6931,λ = 2。实际标签 y 仍保留为原始整数。

泊松概率由三项相乘或相除得到。训练需要给较低的实际计数概率更大的损失。对概率取负对数,逐项看它们在损失里变成什么:

泊松概率的三项怎样进入损失?固定 y,按顺序比较每个概率因子和取负对数后的结果。
指数项

e 的负 λ 次方 → +λ,也就是 exp(z)

幂项

λ 的 y 次方 → −y ln λ,也就是 −yz

阶乘分母

除以 y! → +ln(y!),只随标签 y 变化

把三项加起来,再把 z = ln λ 代入:

$$\mathrm{NLL}(y,z)=e^z-yz+\ln(y!)$$

沿用同一个窗口。 这个十分钟窗内,真实 y = 3,λ = 2,z = ln 2。常数项为 ln(3!) = ln 6 ≈ 1.7918。

泊松 NLL · 同一窗口的逐步计算实际 3 单,预测平均 2 单。把三个项依次代入。
代入

NLL = 2 − 3 ln 2 + ln 6

化简

NLL ≈ 2 − 2.079442 + 1.791759

结果

NLL ≈ 1.7123,在最后一步舍入。也可以直接对未舍入的概率取负对数。

只训练参数时可去掉只由 y 决定的 ln(y!),留下约 −0.0794。去掉常数会平移损失数值,模型参数的最优点保持一致。

PyTorch PoissonNLLLoss 默认 log_input=True,传 z。使用 log_input=False 时传 λ,框架在对数内加 eps 以避免 ln 0。

手算使用精确的 ln(y!)。框架的 full=True 对 y > 1 加的是 Stirling(斯特林)近似。比较两份损失数值时,先确认它们用了相同的常数约定。

换一个输入 · 预测每窗 3 单,实际 1 单,概率和 NLL 是多少?

z = ln 3,y = 1,1! = 1。概率是 e⁻³ × 3 ≈ 0.1494。完整 NLL = 3 − ln 3 + ln 1 ≈ 1.9014。这一题的常数项恰好为 0。

带走。 计数从固定观察窗开始,模型对 z 取指数来得到 λ。接下来回到每单分钟数。如果业务更关心多等一倍,改变的应该是训练标签的刻度。

6. 对数目标 · 让翻倍的误差可比较

多数订单 10–30 分钟,少数拖到 100 分钟,形成右侧较长的长尾(Long Tail)。如果业务关心「是否比预期多等一倍」,20→40 和 40→80 应当有同样的差距。直接按分钟算,差距分别是 20 和 40。

两次翻倍在原尺度和对数尺度的距离 20 到 40 分钟和 40 到 80 分钟分别差 20 和 40 分钟,取自然对数后两段都差 ln 2。 原单位(分钟) 取自然对数后 +20 +40 20 40 80 + ln 2 + ln 2 ln 20 ln 40 ln 80
20→40 与 40→80 都是翻倍。自然对数把两个差距都变成 ln 2 ≈ 0.6931。

令 Y 表示以分钟计量的送达时间数值。训练和交付使用同一单位,取自然对数之前要求 Y > 0。接近零的值会变成很大的负数,零无法取对数。遇到 0 或混用秒和分钟,应先理解记录方式和任务,再选择变换。

$$T=\ln Y$$

T 是变换后的训练标签。训练用恒等输出预测 T,并在 log 尺度算 MSE。交付时把预测值取指数回到分钟。log 尺度的残差是 ln(实际分钟数 ÷ 预测分钟数),所以平方损失会同等惩罚相同的倍数偏差。

参阅 OpenStax 的对数商法则。

泊松 · 转换模型输出

训练标签 y 保留整数

特征 → 原始输出 z → exp(z) → 期望单数 λ

对数目标 · 转换训练标签

分钟数 Y → ln(Y) → 标签 T

特征 → 预测 T → exp(预测值) → 分钟数

看清取对数发生在哪一侧。泊松路线改变输出参数的表示。对数目标改变模型学习的标签。
同样三单,三种算法交付不同的数输入都是 10、20、80 分钟。逐行读计算顺序和还原结果。
算术平均

先加再除以 3。
(10 + 20 + 80) ÷ 3 ≈ 36.67 分钟。

几何平均

先取 ln 得 2.3026、2.9957、4.3820。
平均约 3.2268,取 exp 得 25.20 分钟,等于把 10 × 20 × 80 开三次方。

中位数

先排序,再取中间一单。
结果为 20 分钟。

和 03b 的平方损失 一样,MSE 的理想预测是同类输入下的标签平均。对数目标的训练标签是 ln Y,因此求出的是 log 标签的平均。记订单特征为 X,一组具体特征值为 x:

$$m(x)=E[\ln Y\mid X=x]$$

E[⋯] 表示按概率取平均,竖线表示只看输入特征为 x 的这一类。还原的 exp(m(x)) 是几何中心,跟原单位均值可能有差距。可对照 NIST 的几何平均定义和均值与中位数。

指数函数向上弯。对同一类输入,Jensen 不等式给出 exp(E[ln Y]) ≤ E[Y]。期望存在且 Y 有波动时,不等号严格成立。

对数正态下怎样修正? 如果验证发现同类订单的 ln Y 可用高斯分布描述,Y 就是对数正态(Log-normal)。假设 log 均值 μ = ln 20,方差 σ² = 0.25。

  • 交付中位数。 对称的高斯中心就是中位数,取指数保持顺序。exp(μ) = 20 分钟。
  • 交付均值。 对数正态的公式来自对 exp(t) 按高斯密度积分。exp(μ + σ²/2) = 20 × exp(0.125) ≈ 22.66 分钟。

在原单位上检验交付结果。均值修正式依赖同类条件下的对数正态假设与方差。可对照 NIST 的对数正态分布公式。

换一个输入 · 两单耗时为 8 和 32 分钟,log 平均还原是多少?

几何平均是 √(8 × 32) = 16 分钟。直接算原单位均值是 (8 + 32) ÷ 2 = 20 分钟。如果用于预计总耗时,先确认下游需要的是原单位均值。

带走。 取对数改变了训练在比较的误差,也改变了预测还原后的统计含义。下一节对照三种方法各自交付的量,以及需要验证的条件。

7. 按问题、输出和验证来选

问题
连续值,只需中心预测(03b–03c)
输出
恒等或 Softplus,配合选定的回归损失
必须验证
误差代价、异常值、输出范围
问题
连续值,需要区间
输出
高斯中心和方差,再算所需区间
必须验证
残差形状、方差及区间覆盖率
问题
固定窗口内的整数计数
输出
泊松 log-rate,取指数得到期望计数
必须验证
条件均值与方差、零值、时间依赖
问题
正值长尾,倍数误差更重要
输出
预测 log 标签,再按交付目标还原
必须验证
原单位误差、还原后统计量的含义

8. 检查你要交付什么

先判断要用什么模型

你要分别交付「下一单的 80% 送达区间」、「未来 10 分钟的平均订单数」和「在正值长尾数据上按倍数比较预测」。各选什么模型?你会先检查哪条假设?

展开要点
  • 连续区间可以从高斯回归出发,检查留出数据的覆盖率,并查看高斯假设是否合适。
  • 十分钟平均订单数可从泊松回归出发,确认观察窗长度一致,λ 是期望计数,检查同类窗口内的均值和方差。
  • 倍数误差可用 log 目标,确认标签严格为正,并回到原单位检查交付的统计量。

用 Python 复算三条路线

用 Python 标准库 math 复算前面的数值,无需额外依赖。先看每组代码在复算哪一步。

手算步骤如何对应 Python?从上到下,把变量和结果对应到各自的手算示例。
高斯

y、mean、variance → gaussian_nll → 2.1121

泊松

count、log_rate → rate → probability、poisson_nll → 0.1804、1.7123

对数目标

minutes → geometric_mean → 25.20 分钟。log-normal 假设单独计算 log_normal_mean → 22.66 分钟。

from math import exp, factorial, log, pi

y, mean, variance = 30, 28, 4
squared_error = (y - mean) ** 2
gaussian_nll = 0.5 * (
    log(2 * pi) + log(variance)
    + squared_error / variance
)

count, log_rate = 3, log(2)
rate = exp(log_rate)
numerator = exp(-rate) * rate ** count
probability = numerator / factorial(count)
poisson_nll = -log(probability)

minutes = [10, 20, 80]
log_sum = sum(log(t) for t in minutes)
avg_log = log_sum / len(minutes)
geometric_mean = exp(avg_log)
log_normal_mean = exp(log(20) + 0.25 / 2)

print("Gaussian NLL:", f"{gaussian_nll:.4f}")
print(
    "Poisson probability: "
    f"{probability:.4f}; "
    f"NLL: {poisson_nll:.4f}"
)
print(
    "Geometric mean: "
    f"{geometric_mean:.2f} min"
)
print(
    "Log-normal mean: "
    f"{log_normal_mean:.2f} min"
)

将输出与上图逐行核对。试着只改 variance 或 count,观察哪一行变化。

实际使用前

确认损失输入的单位、是否包含常数、怎样聚合。回到业务问题,检查最后交付的是平均、某个区间还是一种误差尺度,以及留出的数据是否支持你的判断。

下一节主线:04 · 决策树与集成学习,看模型如何通过提问来缩小判断范围。

打卡记录保存在你的浏览器里,首页能看到总进度