跳到主要内容
🏠 总目录📚 本教程 03 · 线性回归 ← →
📑 本页目录(点开跳转)

03 / 线性回归 · 从单特征到多特征

一个特征不够,
就给每个特征一个权重。

距离、下雨、排队都会影响用时,怎么一起算?

单特征模型用“一个特征 × 一个权重 + 偏置”得到预测;本章把它扩展为多个特征的加权求和,再完整走一遍预测、损失、梯度和参数更新。

会手算一单的预测,跟着残差改一次参数,再用同一批订单观察标准化前后的训练。

03 · 线性回归:从一个特征到多个特征

⏱ 9 分钟 | 🧭 主线 | ✋ 手算 | 🔨 有代码(纯 Python)


🎯 一句话

02a 从距离出发,用一条直线预测配送时间。这一课保留同一套训练步骤,给下雨和排队也各加一个权重。

单特征模型的手动训练(可选回顾)


🛵 一、从一个特征到三个特征

B 和 D 都送 2 km,但分别花了 16 和 20 分钟。只看距离会给这两单相同的预测,所以我们把下雨和排队也记下来。

三个输入怎样合成用时 三个输入怎样合成用时 距离 × 距离权重 下雨 × 下雨权重 排队 × 排队权重 三个贡献相加,再加偏置 预测用时(分钟)
沿三条输入往下读。每项乘积都换成分钟,才能放到一起加。依据:Google 多特征线性回归
六条训练订单
订单距离
(km)
下雨
(0/1)
排队
(单)
用时
(分钟)
A10013
B20016
C40022
D21020
E30425
F31632

A、B、C 都是晴天、排队 0 单,可以先观察距离的关系。下雨记 1,晴天记 0,让天气也能参与乘法。

$$\hat y = w_1x_1 + w_2x_2 + w_3x_3 + b$$

带帽子的 $\hat y$ 是预测用时,单位是分钟。下标 $1,2,3$ 按顺序对应距离、下雨、排队。$x_j$ 是第 $j$ 项的输入,$w_j$ 是它每增加一个单位时的预测变化,$b$ 是三个输入都为 0 时的预测。

先用演示参数 3 分钟/km、4 分钟、1.5 分钟/单和 10 分钟,代入 F 单的 3 km、下雨、排队 6 单。

F 单的四项贡献
项代入贡献(分钟)
距离3 × 39
下雨4 × 14
排队1.5 × 69
偏置1010

四项加起来是 9 + 4 + 9 + 10 = 32 分钟。这组参数是为六单演示设定的,接下来会看到怎样从订单数据学出它们。


🔍 二、每个权重在说什么

看到下雨的权重是 4,怎样在订单里找到这 4 分钟?先固定距离和排队,只换天气。

只换天气,预测差多少? 只换天气,预测差多少? B · 晴 D · 雨 16 20 +4 分钟 0 预测用时(分钟)
B、D 都是 2 km、排队 0 单。沿两条横条看末端,预测差值正好是下雨权重。依据:scikit-learn 系数解读

其他特征固定时,正权重让预测随该特征增大而升高,负权重让预测降低。排队权重的单位是分钟/单,下雨权重则是晴到雨的预测差,两者要在可比的尺度上看。

当距离、下雨、排队都是 0,模型预测 $b=10$ 分钟。可以把这理解为示例里的基础用时,表里没有这样的订单供直接测量。

4 分钟是模型里的条件关系。雨天可能骑得慢,也可能订单变多、骑手更忙,仅凭权重分不出哪条机制导致了变化。


🔁 三、多个特征怎么训练:预测、算损失、算梯度、更新参数

假设还在用距离规则 $\hat y=3x_1+10$,另外两个权重先置为 0。D、E、F 都猜少了。要改哪几个参数,各改多少?

一轮训练怎样走完
  1. 预测当前权重与偏置 → 每单预测值
  2. 算损失预测与实际相减,平方后平均
  3. 算梯度对四个参数分别求斜率
  4. 更新用新参数回到第一步
顺着编号读。每轮先算齐四个斜率,再一起更新。依据:Google 梯度下降

第 $i$ 单的残差是 $r_i=y_i-\hat y_i$,也就是实际分钟数减预测分钟数。下标 $i$ 是订单编号。正残差表示猜少了。

起点规则在六单上的表现
订单预测
(分钟)
实际
(分钟)
残差
(分钟)
平方
(分钟²)
A131300
B161600
C222200
D1620416
E1925636
F193213169

直接相加会让正负残差抵消。把每单残差平方再平均,就得到均方误差(Mean Squared Error,MSE)。

$$L=\frac{r_1^2+\cdots+r_n^2}{n}$$

$L$ 是这批订单的损失,$n$ 是订单数。这里 $n=6$,所以 $L=(0+0+0+16+36+169)/6=221/6\approx36.833$ 分钟²。

先只试着动下雨权重。D 单的下雨值是 1,权重动 0.1,预测就跟着动 0.1 分钟。

只挪下雨权重,D 单会怎样? 只挪下雨权重,D 单会怎样? D 单平方误差(分钟²) 17 16 15 16.81 16.00 15.21 −0.1 0 +0.1 下雨权重(分钟)
从左往右,其他参数不变。D 单预测依次为 15.9、16、16.1 分钟,离实际 20 分钟越来越近。依据:Google 梯度下降

D 单从权重 −0.1 到 +0.1 的平均斜率是 $(15.21-16.81)/0.2=-8$。

一般地,权重微调 $\Delta$ 时,预测增加 $x\Delta$,残差从 $r$ 变为 $r-x\Delta$。平方后减去原来的 $r^2$,再除以 $\Delta$,得到 $-2rx+x^2\Delta$。当微调趋近 0,斜率就是 $-2rx$。

对同一个参数,把六单的斜率贡献取平均,得到它的梯度分量。例如 D 单对下雨权重贡献 $-2\times4\times1=-8$,对排队权重贡献 $-2\times4\times0=0$。改偏置会让每单预测同幅变化,所以把偏置对应的 $x$ 当成 1。

各单对四个梯度的贡献
订单距离权重下雨权重排队权重偏置
A、B、C0000
D−16−80−8
E−360−48−12
F−78−26−156−26
除以 6−21.667−5.667−34−7.667

四个斜率都是负的,这一步四个参数都要调大。以排队权重为例,用演示学习率 $\eta=0.05$,执行新参数 = 旧参数 − 学习率 × 梯度分量,得到 $0-0.05\times(-34)=1.7$ 分钟/单。

其余三个参数也用同一份旧预测计算,更新后距离权重约为 4.083,下雨权重约为 0.283,偏置约为 10.383。重新预测六单,MSE 约为 8.861 分钟²。

本页的纯 Python 实验从全零参数开始重复这套步骤。pred 算预测,loss 算 MSE,grad_w 和 grad_b 算梯度,再更新 w 和 b。代码里的 err 是预测减实际,所以梯度项写成 2 * e * x[j]。


📐 四、标准化:先把特征放到同一把尺子上

原始数据中,排队列最大是 6,下雨列最大是 1。更新某个权重时,特征值会乘进梯度。各列尺度差很多,学习率可能被较陡的方向限制。

同一个距离,换一把尺子 同一个距离,换一把尺子 原始距离(km) 标准化距离(无单位) 1 −1.57 2.5 0 4(C 单) +1.57
从上轴的均值 2.5 km 对到下轴的 0,再沿同样方向找到 C 单。依据:scikit-learn StandardScaler

标准化值 =(原始值 − 该列平均值)÷ 该列标准差

距离列平均值是 2.5 km,标准差约 0.957 km。C 单先算 $4-2.5=1.5$ km,再算 $1.5\div0.957\approx1.57$。公里约掉了,结果表示高于平均值约 1.57 个标准差。

各列分别计算。先减平均值使中心为 0,再除以正的标准差来换刻度,列内大小顺序保持不变。标准差为 0 的常量列无法按这个式子相除,本例三列的标准差都大于 0。

🔎 标准差怎么算(距离这一列)
  1. 平均:(1 + 2 + 4 + 2 + 3 + 3) ÷ 6 = 2.5
  2. 每个距离减平均:−1.5、−0.5、1.5、−0.5、0.5、0.5
  3. 平方,去掉正负号:2.25、0.25、2.25、0.25、0.25、0.25
  4. 再平均:5.5 ÷ 6 ≈ 0.9167
  5. 开根号,换回 km 单位:√0.9167 ≈ 0.957

意思:0.957 km 是这些距离偏离平均值的均方根。先取平方的平均,再开根号。

六单各列的最小值和最大值
列原始范围标准化后
距离1 至 4 km−1.57 至 1.57
下雨0 至 1−0.71 至 1.41
排队0 至 6 单−0.69 至 1.79
达到同一损失门槛要几步? 达到同一损失门槛要几步? 原始 · 学习率 0.05 560 步 标准化 · 学习率 0.3 9 步 0 200 400 600 步
两条横条共用步数刻度。两次都用六条订单、从零参数出发、在训练 MSE 低于 0.0001 时停止。条长来自本页代码复算。依据:Google 特征缩放

这对步数比较包含了不同的学习率。它只说明本例两组设置的表现。实际能用多大的学习率,还取决于特征之间的关系和损失曲面的形状。

标准化后的权重可比较模型中各特征增加一个标准差时的预测变化。这个实验里,排队对应的 3.63 分钟最大,含义限定在这组数据、这个模型和其他特征固定的条件下。

🔎 这三个数怎么换回 3、4、1.5

原权重乘以该列标准差,就换成每一个标准差对应的分钟数。距离是 3 × 0.957 ≈ 2.87,下雨是 4 × 0.471 ≈ 1.89,排队是 1.5 × 2.427 ≈ 3.64。训练在损失门槛处停下,所以代码输出略有出入。

反过来,标准化权重除以该列标准差即可换回每原单位的变化。例如排队约为 3.63 ÷ 2.427 ≈ 1.50 分钟/单。

先分数据,再复用同一把尺子
  1. 训练数据各列计算均值、标准差,再转换训练值
  2. 测试数据直接用训练集的均值、标准差转换
测试数据参与估计统计量会造成数据泄漏。依据:scikit-learn 数据泄漏

05 · 评估与过拟合会用数据划分进一步解释泄漏。树模型(04)通常按特征阈值切分,对这类保持顺序的缩放一般不敏感。参见 scikit-learn 决策树

用下面的纯 Python 代码复现两次训练。六单全部用于演示拟合过程,比较的是训练损失。

# 每单:(距离 km, 是否下雨 0/1, 店里排队单数) → 实际用时(分钟)
X = [(1, 0, 0), (2, 0, 0), (4, 0, 0), (2, 1, 0), (3, 0, 4), (3, 1, 6)]
y = [13, 16, 22, 20, 25, 32]

def train(X, y, lr, max_steps=5000):
    n, k = len(X), len(X[0])
    w, b = [0.0] * k, 0.0
    for step in range(max_steps):
        pred = [sum(w[j] * x[j] for j in range(k)) + b for x in X]
        err = [p - t for p, t in zip(pred, y)]
        loss = sum(e * e for e in err) / n
        if loss < 0.0001:                    # 误差已经很小,停下
            return step, w, b
        grad_w = [sum(2 * e * x[j] for e, x in zip(err, X)) / n for j in range(k)]
        grad_b = sum(2 * e for e in err) / n
        w = [w[j] - lr * grad_w[j] for j in range(k)]
        b = b - lr * grad_b
    return max_steps, w, b

steps, w, b = train(X, y, lr=0.05)
print("原始特征:", steps, "步", [round(v, 2) for v in w], round(b, 2))

# 标准化:每一列减去平均值,再除以标准差(只用训练数据算)
cols = list(zip(*X))
mean = [sum(c) / len(c) for c in cols]
std = [(sum((v - m) ** 2 for v in c) / len(c)) ** 0.5 for c, m in zip(cols, mean)]
Xs = [[(x[j] - mean[j]) / std[j] for j in range(3)] for x in X]

steps, w, b = train(Xs, y, lr=0.3)
print("标准化后:", steps, "步", [round(v, 2) for v in w], round(b, 2))
print("换回原单位:", [round(w[j] / std[j], 2) for j in range(3)])

运行结果:

原始特征: 560 步 [3.01, 4.01, 1.5] 9.97
标准化后: 9 步 [2.88, 1.89, 3.63] 21.33
换回原单位: [3.01, 4.01, 1.5]

两次都逼近了演示参数。标准化模型的偏置是各列取训练均值时的预测(约 21.33 分钟),原模型的偏置是各列取 0 时的预测。两套偏置要在各自的输入刻度下解读。


🧰 五、实际工作中:一行 sklearn

上面用循环找参数。对这组订单,也可以用 scikit-learn 的普通最小二乘直接拟合。

从订单到拟合参数
  1. 输入X 每行是一单,y 是实际分钟数
  2. 拟合fit(X, y) 让训练残差平方和最小
  3. 读出coef_ 按 X 列顺序,intercept_ 是偏置
读到的四个数可直接代回第一节的预测式。依据:scikit-learn LinearRegression

这段接着上面的 Python 示例运行,沿用其中的 X、y,需要安装 scikit-learn。

from sklearn.linear_model import LinearRegression

model = LinearRegression().fit(X, y)   # X、y 是本页表格中的 A–F 六条订单
print(model.coef_, model.intercept_)

输出约为 [3. 4. 1.5] 和 10.0。对固定的六单,把残差平方和除以 6 就是 MSE,所以两个方法在找同一个最小点。梯度下降在门槛处停下,参数值会略有差异。

样本很多时,也可以用 SGDRegressor 等迭代方法。它对特征尺度敏感。参见 scikit-learn 的 SGD 实践说明


🧩 六、直线什么时候不够用

假设超过 5 km 就要换骑手接力,多花 8 分钟。只给模型距离这一列,它还能把八条订单都拟合好吗?

一条直线跨不过跳变 一条直线跨不过跳变 用时(分钟) 0 10 20 30 40 1 2 3 4 5 6 7 8 超过 5 km 接力 订单 拟合直线 距离(km)
看 5 和 6 km 两个圆点相对虚线的位置。虚线是同一组演示订单的最小二乘拟合。依据:scikit-learn 最小二乘

演示订单按 $10+3d$ 分钟生成,$d$ 是距离(km)。当 $d>5$,再加 8 分钟。第 5 km 的用时是 $10+3\times5=25$ 分钟,第 6 km 则是 $10+3\times6+8=36$ 分钟。

最小二乘拟合的斜率约 4.43 分钟/km,每多 1 km 都只能增加同样的分钟数,所以跳变两侧分别高估和低估。若已知接力规则,可以加一列「超过 5 km」,满足记 1,否则记 0。这样距离项继续描述每公里变化,新特征专门描述那 8 分钟的跳变。16 · 特征工程基础会继续讲如何构造这类特征。延伸阅读:ISLR §7.2 阶跃函数

也可以用决策树在距离阈值处分开拟合,或在后面探索神经网络。参见 scikit-learn 的树模型说明


✅ 检查点

前 4 题是计算题。共 5 题:5 道单选。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 规则是「用时 = 3 × 距离 + 4 × 下雨 + 1.5 × 排队单数 + 10」。一单 2 km、下雨、排队 3 单,预测多少分钟?

看答案与解析

答案:A

3 × 2 + 4 × 1 + 1.5 × 3 + 10 = 6 + 4 + 4.5 + 10 = 24.5 分钟。

单选2. 两单的预测是 20 和 30 分钟,实际是 22 和 27 分钟。残差(实际 − 预测)和 MSE 是多少?

看答案与解析

答案:B

残差 = 实际 − 预测:22 − 20 = 2,27 − 30 = −3;MSE = (4 + 9) / 2 = 6.5。

单选3. 预测规则是“用时 = 3 × 距离 + 4 × 下雨 + 1.5 × 排队单数 + 10”。两单的距离和天气一样,一单排队 2 单,一单排队 6 单。用时差几分钟?

看答案与解析

答案:C

差 4 单 × 1.5 = 6 分钟。

单选4. 某一列的平均值是 5、标准差是 2。数值 9 和数值 5 标准化后各是多少?

看答案与解析

答案:B

(9 − 5) / 2 = 2;(5 − 5) / 2 = 0,正好等于平均值时就是 0。

单选5. 不标准化时,学习率稍大就发散,学习率小了又要几百步。原因是?

看答案与解析

答案:C

特征的数字范围差很多,学习率只能迁就数字大的特征,数字小的特征就挪得很慢。标准化后各列尺度接近,学习率可以放大。


本节回顾

  • 线性回归:每个特征一个权重,加权求和再加偏置,预测一个数。
  • 权重的意思:其他特征不变时,这个特征每多 1,预测多多少。它不是因果结论。
  • 训练:反复执行“预测 → 算损失 → 算梯度 → 更新参数”;每个权重和偏置都有自己的梯度,分别沿让损失下降的方向挪一小步。
  • 标准化:减平均值、除标准差,只用训练数据算。本例用标准化数据配合更大的学习率,达到同一训练损失门槛所需步数更少。

下一节 👉 03a · 逻辑回归与分类:不问“要多少分钟”,改问“会不会超时”。

打卡记录保存在你的浏览器里,首页能看到总进度