📑 本页目录(点开跳转)
03 / 线性回归 · 从单特征到多特征
一个特征不够,
就给每个特征一个权重。
距离、下雨、排队都会影响用时,怎么一起算?
单特征模型用“一个特征 × 一个权重 + 偏置”得到预测;本章把它扩展为多个特征的加权求和,再完整走一遍预测、损失、梯度和参数更新。
会手算一单的预测,跟着残差改一次参数,再用同一批订单观察标准化前后的训练。
03 · 线性回归:从一个特征到多个特征
⏱ 9 分钟 | 🧭 主线 | ✋ 手算 | 🔨 有代码(纯 Python)
🎯 一句话
02a 从距离出发,用一条直线预测配送时间。这一课保留同一套训练步骤,给下雨和排队也各加一个权重。
🛵 一、从一个特征到三个特征
B 和 D 都送 2 km,但分别花了 16 和 20 分钟。只看距离会给这两单相同的预测,所以我们把下雨和排队也记下来。
| 订单 | 距离 (km) | 下雨 (0/1) | 排队 (单) | 用时 (分钟) |
|---|---|---|---|---|
| A | 1 | 0 | 0 | 13 |
| B | 2 | 0 | 0 | 16 |
| C | 4 | 0 | 0 | 22 |
| D | 2 | 1 | 0 | 20 |
| E | 3 | 0 | 4 | 25 |
| F | 3 | 1 | 6 | 32 |
A、B、C 都是晴天、排队 0 单,可以先观察距离的关系。下雨记 1,晴天记 0,让天气也能参与乘法。
$$\hat y = w_1x_1 + w_2x_2 + w_3x_3 + b$$
带帽子的 $\hat y$ 是预测用时,单位是分钟。下标 $1,2,3$ 按顺序对应距离、下雨、排队。$x_j$ 是第 $j$ 项的输入,$w_j$ 是它每增加一个单位时的预测变化,$b$ 是三个输入都为 0 时的预测。
先用演示参数 3 分钟/km、4 分钟、1.5 分钟/单和 10 分钟,代入 F 单的 3 km、下雨、排队 6 单。
| 项 | 代入 | 贡献(分钟) |
|---|---|---|
| 距离 | 3 × 3 | 9 |
| 下雨 | 4 × 1 | 4 |
| 排队 | 1.5 × 6 | 9 |
| 偏置 | 10 | 10 |
四项加起来是 9 + 4 + 9 + 10 = 32 分钟。这组参数是为六单演示设定的,接下来会看到怎样从订单数据学出它们。
🔍 二、每个权重在说什么
看到下雨的权重是 4,怎样在订单里找到这 4 分钟?先固定距离和排队,只换天气。
其他特征固定时,正权重让预测随该特征增大而升高,负权重让预测降低。排队权重的单位是分钟/单,下雨权重则是晴到雨的预测差,两者要在可比的尺度上看。
当距离、下雨、排队都是 0,模型预测 $b=10$ 分钟。可以把这理解为示例里的基础用时,表里没有这样的订单供直接测量。
4 分钟是模型里的条件关系。雨天可能骑得慢,也可能订单变多、骑手更忙,仅凭权重分不出哪条机制导致了变化。
🔁 三、多个特征怎么训练:预测、算损失、算梯度、更新参数
假设还在用距离规则 $\hat y=3x_1+10$,另外两个权重先置为 0。D、E、F 都猜少了。要改哪几个参数,各改多少?
- 预测当前权重与偏置 → 每单预测值
- 算损失预测与实际相减,平方后平均
- 算梯度对四个参数分别求斜率
- 更新用新参数回到第一步
第 $i$ 单的残差是 $r_i=y_i-\hat y_i$,也就是实际分钟数减预测分钟数。下标 $i$ 是订单编号。正残差表示猜少了。
| 订单 | 预测 (分钟) | 实际 (分钟) | 残差 (分钟) | 平方 (分钟²) |
|---|---|---|---|---|
| A | 13 | 13 | 0 | 0 |
| B | 16 | 16 | 0 | 0 |
| C | 22 | 22 | 0 | 0 |
| D | 16 | 20 | 4 | 16 |
| E | 19 | 25 | 6 | 36 |
| F | 19 | 32 | 13 | 169 |
直接相加会让正负残差抵消。把每单残差平方再平均,就得到均方误差(Mean Squared Error,MSE)。
$$L=\frac{r_1^2+\cdots+r_n^2}{n}$$
$L$ 是这批订单的损失,$n$ 是订单数。这里 $n=6$,所以 $L=(0+0+0+16+36+169)/6=221/6\approx36.833$ 分钟²。
先只试着动下雨权重。D 单的下雨值是 1,权重动 0.1,预测就跟着动 0.1 分钟。
D 单从权重 −0.1 到 +0.1 的平均斜率是 $(15.21-16.81)/0.2=-8$。
一般地,权重微调 $\Delta$ 时,预测增加 $x\Delta$,残差从 $r$ 变为 $r-x\Delta$。平方后减去原来的 $r^2$,再除以 $\Delta$,得到 $-2rx+x^2\Delta$。当微调趋近 0,斜率就是 $-2rx$。
对同一个参数,把六单的斜率贡献取平均,得到它的梯度分量。例如 D 单对下雨权重贡献 $-2\times4\times1=-8$,对排队权重贡献 $-2\times4\times0=0$。改偏置会让每单预测同幅变化,所以把偏置对应的 $x$ 当成 1。
| 订单 | 距离权重 | 下雨权重 | 排队权重 | 偏置 |
|---|---|---|---|---|
| A、B、C | 0 | 0 | 0 | 0 |
| D | −16 | −8 | 0 | −8 |
| E | −36 | 0 | −48 | −12 |
| F | −78 | −26 | −156 | −26 |
| 除以 6 | −21.667 | −5.667 | −34 | −7.667 |
四个斜率都是负的,这一步四个参数都要调大。以排队权重为例,用演示学习率 $\eta=0.05$,执行新参数 = 旧参数 − 学习率 × 梯度分量,得到 $0-0.05\times(-34)=1.7$ 分钟/单。
其余三个参数也用同一份旧预测计算,更新后距离权重约为 4.083,下雨权重约为 0.283,偏置约为 10.383。重新预测六单,MSE 约为 8.861 分钟²。
本页的纯 Python 实验从全零参数开始重复这套步骤。pred 算预测,loss 算 MSE,grad_w 和 grad_b 算梯度,再更新 w 和 b。代码里的 err 是预测减实际,所以梯度项写成 2 * e * x[j]。
📐 四、标准化:先把特征放到同一把尺子上
原始数据中,排队列最大是 6,下雨列最大是 1。更新某个权重时,特征值会乘进梯度。各列尺度差很多,学习率可能被较陡的方向限制。
标准化值 =(原始值 − 该列平均值)÷ 该列标准差
距离列平均值是 2.5 km,标准差约 0.957 km。C 单先算 $4-2.5=1.5$ km,再算 $1.5\div0.957\approx1.57$。公里约掉了,结果表示高于平均值约 1.57 个标准差。
各列分别计算。先减平均值使中心为 0,再除以正的标准差来换刻度,列内大小顺序保持不变。标准差为 0 的常量列无法按这个式子相除,本例三列的标准差都大于 0。
🔎 标准差怎么算(距离这一列)
- 平均:(1 + 2 + 4 + 2 + 3 + 3) ÷ 6 = 2.5
- 每个距离减平均:−1.5、−0.5、1.5、−0.5、0.5、0.5
- 平方,去掉正负号:2.25、0.25、2.25、0.25、0.25、0.25
- 再平均:5.5 ÷ 6 ≈ 0.9167
- 开根号,换回 km 单位:√0.9167 ≈ 0.957
意思:0.957 km 是这些距离偏离平均值的均方根。先取平方的平均,再开根号。
| 列 | 原始范围 | 标准化后 |
|---|---|---|
| 距离 | 1 至 4 km | −1.57 至 1.57 |
| 下雨 | 0 至 1 | −0.71 至 1.41 |
| 排队 | 0 至 6 单 | −0.69 至 1.79 |
这对步数比较包含了不同的学习率。它只说明本例两组设置的表现。实际能用多大的学习率,还取决于特征之间的关系和损失曲面的形状。
标准化后的权重可比较模型中各特征增加一个标准差时的预测变化。这个实验里,排队对应的 3.63 分钟最大,含义限定在这组数据、这个模型和其他特征固定的条件下。
🔎 这三个数怎么换回 3、4、1.5
原权重乘以该列标准差,就换成每一个标准差对应的分钟数。距离是 3 × 0.957 ≈ 2.87,下雨是 4 × 0.471 ≈ 1.89,排队是 1.5 × 2.427 ≈ 3.64。训练在损失门槛处停下,所以代码输出略有出入。
反过来,标准化权重除以该列标准差即可换回每原单位的变化。例如排队约为 3.63 ÷ 2.427 ≈ 1.50 分钟/单。
- 训练数据各列计算均值、标准差,再转换训练值
- 测试数据直接用训练集的均值、标准差转换
05 · 评估与过拟合会用数据划分进一步解释泄漏。树模型(04)通常按特征阈值切分,对这类保持顺序的缩放一般不敏感。参见 scikit-learn 决策树
用下面的纯 Python 代码复现两次训练。六单全部用于演示拟合过程,比较的是训练损失。
# 每单:(距离 km, 是否下雨 0/1, 店里排队单数) → 实际用时(分钟)
X = [(1, 0, 0), (2, 0, 0), (4, 0, 0), (2, 1, 0), (3, 0, 4), (3, 1, 6)]
y = [13, 16, 22, 20, 25, 32]
def train(X, y, lr, max_steps=5000):
n, k = len(X), len(X[0])
w, b = [0.0] * k, 0.0
for step in range(max_steps):
pred = [sum(w[j] * x[j] for j in range(k)) + b for x in X]
err = [p - t for p, t in zip(pred, y)]
loss = sum(e * e for e in err) / n
if loss < 0.0001: # 误差已经很小,停下
return step, w, b
grad_w = [sum(2 * e * x[j] for e, x in zip(err, X)) / n for j in range(k)]
grad_b = sum(2 * e for e in err) / n
w = [w[j] - lr * grad_w[j] for j in range(k)]
b = b - lr * grad_b
return max_steps, w, b
steps, w, b = train(X, y, lr=0.05)
print("原始特征:", steps, "步", [round(v, 2) for v in w], round(b, 2))
# 标准化:每一列减去平均值,再除以标准差(只用训练数据算)
cols = list(zip(*X))
mean = [sum(c) / len(c) for c in cols]
std = [(sum((v - m) ** 2 for v in c) / len(c)) ** 0.5 for c, m in zip(cols, mean)]
Xs = [[(x[j] - mean[j]) / std[j] for j in range(3)] for x in X]
steps, w, b = train(Xs, y, lr=0.3)
print("标准化后:", steps, "步", [round(v, 2) for v in w], round(b, 2))
print("换回原单位:", [round(w[j] / std[j], 2) for j in range(3)])
运行结果:
原始特征: 560 步 [3.01, 4.01, 1.5] 9.97
标准化后: 9 步 [2.88, 1.89, 3.63] 21.33
换回原单位: [3.01, 4.01, 1.5]
两次都逼近了演示参数。标准化模型的偏置是各列取训练均值时的预测(约 21.33 分钟),原模型的偏置是各列取 0 时的预测。两套偏置要在各自的输入刻度下解读。
🧰 五、实际工作中:一行 sklearn
上面用循环找参数。对这组订单,也可以用 scikit-learn 的普通最小二乘直接拟合。
- 输入X 每行是一单,y 是实际分钟数
- 拟合fit(X, y) 让训练残差平方和最小
- 读出coef_ 按 X 列顺序,intercept_ 是偏置
这段接着上面的 Python 示例运行,沿用其中的 X、y,需要安装 scikit-learn。
from sklearn.linear_model import LinearRegression
model = LinearRegression().fit(X, y) # X、y 是本页表格中的 A–F 六条订单
print(model.coef_, model.intercept_)
输出约为 [3. 4. 1.5] 和 10.0。对固定的六单,把残差平方和除以 6 就是 MSE,所以两个方法在找同一个最小点。梯度下降在门槛处停下,参数值会略有差异。
样本很多时,也可以用 SGDRegressor 等迭代方法。它对特征尺度敏感。参见 scikit-learn 的 SGD 实践说明
🧩 六、直线什么时候不够用
假设超过 5 km 就要换骑手接力,多花 8 分钟。只给模型距离这一列,它还能把八条订单都拟合好吗?
演示订单按 $10+3d$ 分钟生成,$d$ 是距离(km)。当 $d>5$,再加 8 分钟。第 5 km 的用时是 $10+3\times5=25$ 分钟,第 6 km 则是 $10+3\times6+8=36$ 分钟。
最小二乘拟合的斜率约 4.43 分钟/km,每多 1 km 都只能增加同样的分钟数,所以跳变两侧分别高估和低估。若已知接力规则,可以加一列「超过 5 km」,满足记 1,否则记 0。这样距离项继续描述每公里变化,新特征专门描述那 8 分钟的跳变。16 · 特征工程基础会继续讲如何构造这类特征。延伸阅读:ISLR §7.2 阶跃函数
也可以用决策树在距离阈值处分开拟合,或在后面探索神经网络。参见 scikit-learn 的树模型说明
✅ 检查点
前 4 题是计算题。共 5 题:5 道单选。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 规则是「用时 = 3 × 距离 + 4 × 下雨 + 1.5 × 排队单数 + 10」。一单 2 km、下雨、排队 3 单,预测多少分钟?
看答案与解析
答案:A
3 × 2 + 4 × 1 + 1.5 × 3 + 10 = 6 + 4 + 4.5 + 10 = 24.5 分钟。
单选2. 两单的预测是 20 和 30 分钟,实际是 22 和 27 分钟。残差(实际 − 预测)和 MSE 是多少?
看答案与解析
答案:B
残差 = 实际 − 预测:22 − 20 = 2,27 − 30 = −3;MSE = (4 + 9) / 2 = 6.5。
单选3. 预测规则是“用时 = 3 × 距离 + 4 × 下雨 + 1.5 × 排队单数 + 10”。两单的距离和天气一样,一单排队 2 单,一单排队 6 单。用时差几分钟?
看答案与解析
答案:C
差 4 单 × 1.5 = 6 分钟。
单选4. 某一列的平均值是 5、标准差是 2。数值 9 和数值 5 标准化后各是多少?
看答案与解析
答案:B
(9 − 5) / 2 = 2;(5 − 5) / 2 = 0,正好等于平均值时就是 0。
单选5. 不标准化时,学习率稍大就发散,学习率小了又要几百步。原因是?
看答案与解析
答案:C
特征的数字范围差很多,学习率只能迁就数字大的特征,数字小的特征就挪得很慢。标准化后各列尺度接近,学习率可以放大。
本节回顾
- 线性回归:每个特征一个权重,加权求和再加偏置,预测一个数。
- 权重的意思:其他特征不变时,这个特征每多 1,预测多多少。它不是因果结论。
- 训练:反复执行“预测 → 算损失 → 算梯度 → 更新参数”;每个权重和偏置都有自己的梯度,分别沿让损失下降的方向挪一小步。
- 标准化:减平均值、除标准差,只用训练数据算。本例用标准化数据配合更大的学习率,达到同一训练损失门槛所需步数更少。
下一节 👉 03a · 逻辑回归与分类:不问“要多少分钟”,改问“会不会超时”。