📑 本页目录(点开跳转)
02A / 先动手,再起名字
机器不是一开始就会,
是一点点挪对的。
机器到底是怎么“学”的?
用 3 单外卖数据,亲手猜规则、算误差、往对的方向挪一步,再让十几行代码替你重复几百遍。
能用自己的话说清“训练”在做什么,会手算预测、误差和下一步该往哪边调。
02a · 手动训练一个模型
⏱ 7 分钟 | 🧭 主线 | ✋ 手算 | 🔨 有代码(纯 Python,不用装任何库)
🎯 一句话
机器学习的“学”,就是先随便猜一个规则,算出错了多少,再往让错误变小的方向挪一点点,重复很多遍。
02 讲了机器学习在干什么,这一页带你亲手做一遍。先做,再起名字。
🛵 一、先猜一个规则
外卖 App 要在下单时告诉你“大约多久送到”。手上有 3 单历史记录,先随便猜一个规则:每公里 1 分钟。
图内可左右滑动;需要时可放大阅读。
📏 二、把“错了多少”变成一个数
要比较哪条规则更好,先把三单的差合成一个数:
图内可左右滑动;需要时可放大阅读。
🔧 三、手动调规则:为什么需要两个数
“每公里 1 分钟”太少了。接着调,看三次尝试里竖虚线(差距)怎么变:
图内可左右滑动;需要时可放大阅读。
💡 只调“每公里几分钟”,怎么调都对不齐。就算 0 公里,商家也要出餐,规则还缺一个起点。
给这两个数起名字,规则写成 $\hat y = w\,x + b$:w 是权重(每公里几分钟,这里是 3),b 是偏置(0 公里时的起点,这里是 10),ŷ 是预测值。w 和 b 合称参数,训练就是找让损失最小的参数。
👉 四、挪一点,看损失怎么变
先假装不知道答案。数据一多,眼睛就看不出 w 该是几了。现在只知道 w = 1,问题是:该调大还是调小?一次只动一个旋钮,先把 b 固定在 10。下图按 ①→⑤ 的顺序走一遍:
图内可左右滑动;需要时可放大阅读。
这个“往哪边、有多陡”的数,就叫梯度:负号表示该把 w 调大,坡度为 0 的地方就是答案。
b 也一样:固定 w = 3,从 b = 9 往两边挪 0.1,损失分别是 1.21 和 0.81,坡度 (0.81 − 1.21) ÷ 0.2 = −2,所以 b 也该调大。有几个参数,就各量一个坡。
🔎 细节:导数、为什么两边都挪
- 固定 b = 10 时,这三单的损失正好是 $7(w-3)^2$,碗底在 w = 3。
- “挪一点看变化”在数学上叫导数:$\frac{dL}{dw} = 14(w-3)$,w = 1 时等于 −28,和上面估出的一样。
- 只往一边挪 0.1 也能估,但会稍有偏差:往右得 −27.3,往左得 −28.7。两边各挪一次再相除,误差更小。
- 真正的程序不会真的去挪,而是直接用导数公式算梯度,第 08 章讲它怎么对很多参数一次算完。
🚶 五、让机器自己挪:梯度下降
第四节量出了坡度,接下来决定每次挪多少:
图内可左右滑动;需要时可放大阅读。
学习率定得不好会怎样?
图内可左右滑动;需要时可放大阅读。
- 太大(0.2):一步冲过碗底,越跳越远,训练时损失越来越大。
- 太小(0.005):方向对,但走得很慢。怎么挑学习率,第 09 章专门讲。
💻 六、十几行代码:让机器从 0 开始自己学
下面把前面的手算交给 Python,w 和 b 一起学,都从 0 开始。复制到任何能运行 Python 的地方即可,不用装任何库:
data = [(1, 13), (2, 16), (4, 22)] # (距离 km, 送达用时 分钟)
w, b = 0.0, 0.0 # 先随便猜:每公里 0 分钟,出餐 0 分钟
lr = 0.05 # 学习率:每次挪多大一步
for step in range(501):
# 1. 用当前的 w、b 预测,算出平均平方误差(损失)
errors = [(w * x + b) - y for x, y in data] # 预测 − 实际,正好是残差的相反数
loss = sum(e * e for e in errors) / len(data)
if step % 100 == 0:
print(f"第 {step:4d} 步 w = {w:.3f} b = {b:.3f} 损失 = {loss:.4f}")
# 2. 梯度:w、b 各往哪边挪损失会变小,坡有多陡
grad_w = sum(2 * e * x for e, (x, y) in zip(errors, data)) / len(data)
grad_b = sum(2 * e for e in errors) / len(data)
# 3. 朝让损失变小的方向挪一小步
w = w - lr * grad_w
b = b - lr * grad_b
运行结果:
第 0 步 w = 0.000 b = 0.000 损失 = 303.0000
第 100 步 w = 3.367 b = 8.929 损失 = 0.2555
第 200 步 w = 3.049 b = 9.857 损失 = 0.0045
第 300 步 w = 3.007 b = 9.981 损失 = 0.0001
第 400 步 w = 3.001 b = 9.997 损失 = 0.0000
第 500 步 w = 3.000 b = 10.000 损失 = 0.0000
怎么读这段输出:
- 第 0 步什么都没学,损失 303:三单分别差 13、16、22 分钟,平方平均就是 303。
- 第 100 步 w 冲到了 3.367,超过 3,因为那时 b 还不够大,只能先让 w 多扛一点。后面 b 慢慢追上来,w 又退回 3。
- 500 步后 w = 3、b = 10,正是我们手动找到的规则。没有人告诉它答案,它是自己挪过去的。
试试看:
- 把
lr改成 0.2,看损失会怎样。 - 改成 0.005,看 500 步能走到哪。
🏷️ 七、刚才做的事,在书上叫什么
图内可左右滑动;需要时可放大阅读。
| 你刚才做的事 | 它的名字 | 后面在哪里展开 |
|---|---|---|
| 输入距离、对照实际用时 | 特征、标签 | 03 线性回归 |
| 实际 − 猜的 | 残差 | 03、03b |
| 把三单的错合成一个数 | 损失函数(MSE) | 03、03b |
| 每公里几分钟、出餐起点 | 参数:权重 w、偏置 b | 03 |
| 挪一点看损失变大还是变小 | 梯度(导数) | 08 反向传播 |
| 沿着坡一步步往下挪 | 梯度下降 | 09 优化器 |
| 每一步挪多远 | 学习率 η | 09 |
| 重复几百遍,直到损失不再变小 | 训练 | 全书 |
✅ 检查点
都是计算题,手边放个计算器。共 5 题:5 道单选。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 规则是「用时 = 2 × 距离 + 5」。一单 3 公里,实际 19 分钟。预测和残差(实际 − 预测)是多少?
看答案与解析
答案:D
预测 2 × 3 + 5 = 11 分钟;残差 = 实际 − 预测 = 19 − 11 = 8,猜少了 8 分钟。
单选2. 三单的残差是 −2、1、4。MSE 和 MAE 各是多少?
看答案与解析
答案:A
MSE = (4 + 1 + 16) / 3 = 7;MAE = (2 + 1 + 4) / 3 ≈ 2.33。
单选3. w = 2 时损失是 7,w = 2.1 时是 5.67,w = 1.9 时是 8.47。w 该往哪边调?坡度大约多少?
看答案与解析
答案:C
往大调,因为往右挪损失变小。坡度 ≈ (5.67 − 8.47) / 0.2 = −14。
单选4. 在 w = 2 处梯度是 −14,学习率 η = 0.05。下一步的 w 是多少?
看答案与解析
答案:B
2 − 0.05 × (−14) = 2 + 0.7 = 2.7。
单选5. 训练时损失一轮比一轮大,打印出来的 w 一会儿正一会儿负。最可能是什么问题?
看答案与解析
答案:A
学习率太大,每一步都冲过碗底、越跳越远。把学习率调小。
本节回顾
⚡ 走神救援
- 训练四步:预测 → 算损失 → 算梯度 → 挪一小步,然后重复。
- 损失:把所有错误合成一个数,越小越好。本页用 MSE,也就是平方再平均。
- w 和 b:w 是每单位输入带来多少影响,b 是输入为 0 时的起点。
- 梯度:挪一点看损失怎么变。正负号告诉方向,大小告诉坡有多陡。
- 学习率:太大越跳越远,太小走不动。
下一节 👉 03 · 线性模型:同样的办法,从一个特征扩展到很多个特征。