03d · 概率回归与目标变换(进阶选读)
⏱ 阅读约 45 分钟 · 动手实践另计
都预测 30 分钟,哪组更容易猜准?
两组平均都是 30 分钟。郊区的结果离 30 更远,只报平均值会漏掉这层差异。我们还可以描述结果有多分散,也就是这次预测有多大不确定性。
0. 本章用到的基础
本章用到 03b 的残差和平方损失,以及 03c 把原始输出映射成正数的做法。读高斯前,可先用下一节的三单回顾均值和标准差。
1. 先算出两组结果有多分散
怎样比较两组的分散程度?把每单都减去平均的 30 分钟。市中心的 −2 和 +2 会互相抵消,直接平均偏差就看不出分散程度。
- 减去均值28 − 30 = −2
30 − 30 = 0
32 − 30 = 2(分钟) - 平方再平均(−2)²、0²、2² → 4、0、4
(4 + 0 + 4) ÷ 3
≈ 2.67 分钟² - 开平方√(8/3) ≈ 1.63 分钟
把同类配送条件下下一单的分钟数记作随机变量(Random Variable)Y。它有哪些可能值、各有多常见,由概率分布(Probability Distribution)描述。这里是演示数据,手算时把每组的三个值各当成概率为 1/3 的可能结果。
均值(Mean)是按概率加权的平均。市中心为 (28 + 30 + 32) ÷ 3,郊区为 (15 + 25 + 50) ÷ 3,都是 30 分钟。平方偏差的平均叫方差(Variance),开平方后叫标准差(Standard Deviation),单位回到分钟。
郊区按同一步骤得到偏差 −15、−5、20。方差为 (225 + 25 + 400) ÷ 3 ≈ 216.67 分钟²,标准差约 14.72 分钟。接下来用连续曲线表示这种分散程度。
参阅 MIT 概率教材的离散均值与方差。
2. 高斯回归 · 描述每单送达时间的不确定性
假设相似订单的分钟数大多靠近中心,两侧逐渐变少,而且形状大致对称。可以试用高斯分布(Gaussian Distribution,也叫正态分布)描述这些结果。模型根据一单的特征给出中心 μ 和标准差 σ,两者都用分钟表示。
横轴是分钟,纵轴是概率密度(Probability Density)。整个曲线下的面积为 1。要问「送达时间在 28 到 30 分钟之间的概率」,就看这段区间的面积。曲线在恰好 30 分钟处的高度是密度,单位是每分钟。单点的面积为 0。
用 v 表示方差,v = σ²,单位为分钟²。给定中心 μ、方差 v 时,观测值 y(分钟)在曲线上的高度写作 p(y | μ, v)。竖线右边是已给定的参数。先算离中心的平方距离相对方差有多大:
$$q=\frac{(y-\mu)^2}{2v}$$
离中心越远,q 越大,e 的负 q 次方越小。再乘 1/√(2πv),使整条曲线下面积为 1,就得到高斯密度:
$$p(y\mid\mu,v)=\frac{\exp(-q)}{\sqrt{2\pi v}}$$
这里 exp 是以自然常数 e 为底的指数函数,π 是圆周率。平方根项同时调整曲线高度与宽度,要求 v > 0。高斯曲线在所有实数上都有密度。送达时间若偏斜明显,或模型给了负分钟数不可忽略的概率,需要检验这项假设。
参阅 NIST 的正态密度与分布函数。
这单的特征 → 同一个回归模型
- 中心
第一个输出 → μ(分钟)→ 决定曲线的位置
- 宽度
第二个输出 s → Softplus(s) + ε → 方差 v(分钟²)→ 决定曲线的宽度
03c 的 Softplus 把任意 s 映射为正数,可对照 PyTorch 的定义。再加一个小正数 ε,给训练用的方差设置数值下界。
3. 用高斯负对数似然训练
实际送达时间已经知道。训练要找一组模型参数,使这些观测在它预测的曲线上得到较高的密度。
- 先相乘0.2 × 0.1 = 0.02
- 取自然对数ln(0.02) = ln(0.2) + ln(0.1)
≈ −1.6094 − 2.3026 = −3.9120 - 最后取负−(−3.9120) = 3.9120
把给定观测的密度乘积用来给模型参数打分,叫似然(Likelihood)。取 ln 把小数连乘改成相加,而且保持大小顺序。加负号后,模型改为最小化负对数似然(Negative Log-Likelihood,NLL)。
参阅 MIT 的对数似然与连续分布示例。
对上一节的密度取负对数。分母的平方根变成正的 ½ ln(2πv),分子 exp(−q) 贡献正的 q。把乘积 2πv 的对数拆开:
$$\mathrm{NLL}=\tfrac12\ln(2\pi)+\tfrac12\ln v+q$$
在这个高斯损失里,常数项不随模型参数变化。方差增大时,½ ln v 增大,平方距离项 q 却变小。方差固定时,q 就是按固定系数缩放的平方误差,接回 03b。
手算一单。 真实 y = 30 分钟,模型给 μ = 28 分钟、v = 4 分钟²(σ = 2 分钟)。这些是演示参数。
- 平方项
q = (30 − 28)² ÷ (2 × 4) = 0.5
- 代入
NLL = ½ ln(2π) + ½ ln 4 + 0.5
- 化简
NLL ≈ 0.9189385 + 0.6931472 + 0.5
- 结果
NLL ≈ 2.1121
如果只改成 v = 1 分钟²,那么 q = 4 ÷ 2 = 2,½ ln 1 = 0,NLL ≈ 0.9189 + 0 + 2 = 2.9189。实际 y 距中心 2 分钟,图上的窄曲线在这里给了更小的密度。
传给 PyTorch GaussianNLLLoss 的是方差 v。默认 full=False 省略常数 ½ ln(2π)。reduction 决定怎样聚合各单的损失,例如 mean 取平均。
若交付的是 80% 预测区间,还要在留出的 100 单中数有几单落入各自的区间。落入约 80 单,样本覆盖率就接近目标。单次结果会随样本波动。
换一个输入 · y = 31、μ = 28、v = 9 时,NLL 是多少?
q = (31 − 28)² ÷ (2 × 9) = 0.5。完整 NLL ≈ 0.9189385 + 1.0986123 + 0.5 = 2.5176。这次差了 3 分钟,正好是一个标准差。与上一题的 q 相同,方差项更大。
带走。 连续目标可同时交付中心和宽度,并用留出数据检查区间。接下来换个问题。要预测的是每个时间窗有几单,结果只能是整数,该用什么分布?
4. 泊松回归 · 给固定时间窗的订单数建模
把每次观察固定为 10 分钟,例如 12:00–12:10。Y 是这一窗的随机订单数,y 是实际数出的订单数。它可以是 0、1、2……。泊松分布(Poisson Distribution)给每个整数一个概率。
λ(lambda)是给定类似输入条件时,每 10 分钟的期望订单数。本页取 λ > 0。它可为 2.5,意思是很多类似窗口的长期平均为 2.5 单。每个窗口实际数出的 y 仍是整数。在泊松模型里,给定同样条件的计数方差在数值上也等于 λ。
这是泊松的概率质量函数(Probability Mass Function,PMF)。它是一种对固定窗口事件计数的分布假设。λ 的 y 次方除以 y! 决定各柱的相对高度。乘上 e 的负 λ 次方后,所有概率加起来为 1。这里 y! 是阶乘,3! = 3 × 2 × 1 = 6,0! = 1。
先算概率。 λ = 2 时,观察到 y = 3 的概率是 e⁻² × 2³ ÷ 3! ≈ 0.135335 × 8 ÷ 6 ≈ 0.1804。这表示在模型假设下,大约 18% 的同类十分钟窗会有 3 单。
参阅 NIST 的泊松概率质量函数。
估计了 λ 之后,还要检查同类窗口里的计数是否大致独立、均值和方差是否接近。下面比较分开看和混在一起看的结果。
演示计数。低峰为 0、0、2、2,高峰为 2、2、6、6。合并后均值 2.5 单,方差 4.75 单²。
合并后,组间差异也计入方差。均值接近方差只是泊松假设的一项检查。
参阅 MIT 概率教材的全方差定理。
按相似条件分组后,如果实际方差仍明显高于泊松模型的方差,就叫过度离散,可以比较负二项模型。零单偏多或相邻窗强相关,也要重新检验模型。
5. 用 log-rate 计算泊松损失
沿用 03c 的思路,模型原始输出 z 可为任意实数。把它解释为对数计数率(log-rate),用 λ = exp(z) 得到正的期望计数。比如 z = ln 2 ≈ 0.6931,λ = 2。实际标签 y 仍保留为原始整数。
泊松概率由三项相乘或相除得到。训练需要给较低的实际计数概率更大的损失。对概率取负对数,逐项看它们在损失里变成什么:
- 指数项
e 的负 λ 次方 → +λ,也就是 exp(z)
- 幂项
λ 的 y 次方 → −y ln λ,也就是 −yz
- 阶乘分母
除以 y! → +ln(y!),只随标签 y 变化
把三项加起来,再把 z = ln λ 代入:
$$\mathrm{NLL}(y,z)=e^z-yz+\ln(y!)$$
沿用同一个窗口。 这个十分钟窗内,真实 y = 3,λ = 2,z = ln 2。常数项为 ln(3!) = ln 6 ≈ 1.7918。
- 代入
NLL = 2 − 3 ln 2 + ln 6
- 化简
NLL ≈ 2 − 2.079442 + 1.791759
- 结果
NLL ≈ 1.7123,在最后一步舍入。也可以直接对未舍入的概率取负对数。
只训练参数时可去掉只由 y 决定的 ln(y!),留下约 −0.0794。去掉常数会平移损失数值,模型参数的最优点保持一致。
PyTorch PoissonNLLLoss 默认 log_input=True,传 z。使用 log_input=False 时传 λ,框架在对数内加 eps 以避免 ln 0。
手算使用精确的 ln(y!)。框架的 full=True 对 y > 1 加的是 Stirling(斯特林)近似。比较两份损失数值时,先确认它们用了相同的常数约定。
换一个输入 · 预测每窗 3 单,实际 1 单,概率和 NLL 是多少?
z = ln 3,y = 1,1! = 1。概率是 e⁻³ × 3 ≈ 0.1494。完整 NLL = 3 − ln 3 + ln 1 ≈ 1.9014。这一题的常数项恰好为 0。
带走。 计数从固定观察窗开始,模型对 z 取指数来得到 λ。接下来回到每单分钟数。如果业务更关心多等一倍,改变的应该是训练标签的刻度。
6. 对数目标 · 让翻倍的误差可比较
多数订单 10–30 分钟,少数拖到 100 分钟,形成右侧较长的长尾(Long Tail)。如果业务关心「是否比预期多等一倍」,20→40 和 40→80 应当有同样的差距。直接按分钟算,差距分别是 20 和 40。
令 Y 表示以分钟计量的送达时间数值。训练和交付使用同一单位,取自然对数之前要求 Y > 0。接近零的值会变成很大的负数,零无法取对数。遇到 0 或混用秒和分钟,应先理解记录方式和任务,再选择变换。
$$T=\ln Y$$
T 是变换后的训练标签。训练用恒等输出预测 T,并在 log 尺度算 MSE。交付时把预测值取指数回到分钟。log 尺度的残差是 ln(实际分钟数 ÷ 预测分钟数),所以平方损失会同等惩罚相同的倍数偏差。
参阅 OpenStax 的对数商法则。
训练标签 y 保留整数
特征 → 原始输出 z → exp(z) → 期望单数 λ
分钟数 Y → ln(Y) → 标签 T
特征 → 预测 T → exp(预测值) → 分钟数
- 算术平均
先加再除以 3。
(10 + 20 + 80) ÷ 3 ≈ 36.67 分钟。- 几何平均
先取 ln 得 2.3026、2.9957、4.3820。
平均约 3.2268,取 exp 得 25.20 分钟,等于把 10 × 20 × 80 开三次方。- 中位数
先排序,再取中间一单。
结果为 20 分钟。
和 03b 的平方损失 一样,MSE 的理想预测是同类输入下的标签平均。对数目标的训练标签是 ln Y,因此求出的是 log 标签的平均。记订单特征为 X,一组具体特征值为 x:
$$m(x)=E[\ln Y\mid X=x]$$
E[⋯] 表示按概率取平均,竖线表示只看输入特征为 x 的这一类。还原的 exp(m(x)) 是几何中心,跟原单位均值可能有差距。可对照 NIST 的几何平均定义和均值与中位数。
指数函数向上弯。对同一类输入,Jensen 不等式给出 exp(E[ln Y]) ≤ E[Y]。期望存在且 Y 有波动时,不等号严格成立。
对数正态下怎样修正? 如果验证发现同类订单的 ln Y 可用高斯分布描述,Y 就是对数正态(Log-normal)。假设 log 均值 μ = ln 20,方差 σ² = 0.25。
- 交付中位数。 对称的高斯中心就是中位数,取指数保持顺序。exp(μ) = 20 分钟。
- 交付均值。 对数正态的公式来自对 exp(t) 按高斯密度积分。exp(μ + σ²/2) = 20 × exp(0.125) ≈ 22.66 分钟。
在原单位上检验交付结果。均值修正式依赖同类条件下的对数正态假设与方差。可对照 NIST 的对数正态分布公式。
换一个输入 · 两单耗时为 8 和 32 分钟,log 平均还原是多少?
几何平均是 √(8 × 32) = 16 分钟。直接算原单位均值是 (8 + 32) ÷ 2 = 20 分钟。如果用于预计总耗时,先确认下游需要的是原单位均值。
带走。 取对数改变了训练在比较的误差,也改变了预测还原后的统计含义。下一节对照三种方法各自交付的量,以及需要验证的条件。
7. 按问题、输出和验证来选
- 问题
- 连续值,只需中心预测(03b–03c)
- 输出
- 恒等或 Softplus,配合选定的回归损失
- 必须验证
- 误差代价、异常值、输出范围
- 问题
- 连续值,需要区间
- 输出
- 高斯中心和方差,再算所需区间
- 必须验证
- 残差形状、方差及区间覆盖率
- 问题
- 固定窗口内的整数计数
- 输出
- 泊松 log-rate,取指数得到期望计数
- 必须验证
- 条件均值与方差、零值、时间依赖
- 问题
- 正值长尾,倍数误差更重要
- 输出
- 预测 log 标签,再按交付目标还原
- 必须验证
- 原单位误差、还原后统计量的含义
8. 检查你要交付什么
先判断要用什么模型
你要分别交付「下一单的 80% 送达区间」、「未来 10 分钟的平均订单数」和「在正值长尾数据上按倍数比较预测」。各选什么模型?你会先检查哪条假设?
展开要点
- 连续区间可以从高斯回归出发,检查留出数据的覆盖率,并查看高斯假设是否合适。
- 十分钟平均订单数可从泊松回归出发,确认观察窗长度一致,λ 是期望计数,检查同类窗口内的均值和方差。
- 倍数误差可用 log 目标,确认标签严格为正,并回到原单位检查交付的统计量。
用 Python 复算三条路线
用 Python 标准库 math 复算前面的数值,无需额外依赖。先看每组代码在复算哪一步。
- 高斯
y、mean、variance → gaussian_nll → 2.1121
- 泊松
count、log_rate → rate → probability、poisson_nll → 0.1804、1.7123
- 对数目标
minutes → geometric_mean → 25.20 分钟。log-normal 假设单独计算 log_normal_mean → 22.66 分钟。
from math import exp, factorial, log, pi
y, mean, variance = 30, 28, 4
squared_error = (y - mean) ** 2
gaussian_nll = 0.5 * (
log(2 * pi) + log(variance)
+ squared_error / variance
)
count, log_rate = 3, log(2)
rate = exp(log_rate)
numerator = exp(-rate) * rate ** count
probability = numerator / factorial(count)
poisson_nll = -log(probability)
minutes = [10, 20, 80]
log_sum = sum(log(t) for t in minutes)
avg_log = log_sum / len(minutes)
geometric_mean = exp(avg_log)
log_normal_mean = exp(log(20) + 0.25 / 2)
print("Gaussian NLL:", f"{gaussian_nll:.4f}")
print(
"Poisson probability: "
f"{probability:.4f}; "
f"NLL: {poisson_nll:.4f}"
)
print(
"Geometric mean: "
f"{geometric_mean:.2f} min"
)
print(
"Log-normal mean: "
f"{log_normal_mean:.2f} min"
)
将输出与上图逐行核对。试着只改 variance 或 count,观察哪一行变化。
实际使用前
确认损失输入的单位、是否包含常数、怎样聚合。回到业务问题,检查最后交付的是平均、某个区间还是一种误差尺度,以及留出的数据是否支持你的判断。
下一节主线:04 · 决策树与集成学习,看模型如何通过提问来缩小判断范围。