跳到主要内容
🏠 总目录📚 本教程 02a · 手动训练一个模型 ← →
📑 本页目录(点开跳转)

02A / 先动手,再起名字

机器不是一开始就会,
是一点点挪对的。

机器到底是怎么“学”的?

用 3 单外卖数据,亲手猜规则、算误差、往对的方向挪一步,再让十几行代码替你重复几百遍。

能用自己的话说清“训练”在做什么,会手算预测、误差和下一步该往哪边调。

02a · 手动训练一个模型

⏱ 7 分钟 | 🧭 主线 | ✋ 手算 | 🔨 有代码(纯 Python,不用装任何库)


🎯 一句话

机器学习的“学”,就是先随便猜一个规则,算出错了多少,再往让错误变小的方向挪一点点,重复很多遍。

02 讲了机器学习在干什么,这一页带你亲手做一遍。先做,再起名字。


🛵 一、先猜一个规则

外卖 App 要在下单时告诉你“大约多久送到”。手上有 3 单历史记录,先随便猜一个规则:每公里 1 分钟。

图内可左右滑动;需要时可放大阅读。

第一次猜规则第一次猜:用时 = 1 × 距离距离(km)分钟1020猜的规则:1 × 距离A:13 分钟121B:16 分钟142C:22 分钟184输入(特征):距离模型能看到的信息标签:实际用时 13、16、22历史上已经知道的答案残差 = 实际 − 猜的12、14、18:正数 = 猜少了
蓝点是实际用时,橘线是猜的规则,竖虚线上的数是差距。三单都猜早了很多。

📏 二、把“错了多少”变成一个数

要比较哪条规则更好,先把三单的差合成一个数:

图内可左右滑动;需要时可放大阅读。

把差合成损失把三单的差合成一个数:这个数叫损失办法一:取绝对值再平均叫 MAE;负数先去掉负号|12|12|14|14|18|18→ (12 + 14 + 18) ÷ 3 ≈ 14.7办法二:平方再平均叫 MSE(本页用它)12²14414²19618²324→ 664 ÷ 3 ≈ 221.3方块宽度 = 罚多少:差 18 罚 324,是差 12(罚 144)的 2 倍多合成规则叫损失函数,算出的数叫损失,越小越好。
平方会放大大错误,模型会优先改正离谱的单;它也是一条光滑曲线,后面“挪一点”更好算。两种损失各适合什么任务,见 03b。

🔧 三、手动调规则:为什么需要两个数

“每公里 1 分钟”太少了。接着调,看三次尝试里竖虚线(差距)怎么变:

图内可左右滑动;需要时可放大阅读。

三次猜测与误差只调一个数对不齐,加上起点才全对真实用时猜的规则差距① 用时 = 3 × 距离三单都早了 10 分钟102030124距离(km)MSE = 100② 用时 = 5.5 × 距离C 对了,A、B 又早了102030124距离(km)MSE ≈ 27.1③ 用时 = 3 × 距离 + 10三单全对102030124距离(km)MSE = 0
竖虚线是每单的差距:越短越好。

💡 只调“每公里几分钟”,怎么调都对不齐。就算 0 公里,商家也要出餐,规则还缺一个起点。

给这两个数起名字,规则写成 $\hat y = w\,x + b$:w 是权重(每公里几分钟,这里是 3),b 是偏置(0 公里时的起点,这里是 10),ŷ 是预测值。w 和 b 合称参数,训练就是找让损失最小的参数。


👉 四、挪一点,看损失怎么变

先假装不知道答案。数据一多,眼睛就看不出 w 该是几了。现在只知道 w = 1,问题是:该调大还是调小?一次只动一个旋钮,先把 b 固定在 10。下图按 ①→⑤ 的顺序走一遍:

图内可左右滑动;需要时可放大阅读。

挪一点看损失的五个步骤挪一点,看损失怎么变(b 先固定为 10,只调 w)① w = 1 时,先算一次损失1 km2 km4 km预测线:1 × 距离 + 10−2−4−8差 −2、−4、−8 → 平方 4、16、64损失 = (4 + 16 + 64) ÷ 3 = 28② 往两边各挪 0.1,用同样方法再算30.87w = 0.928w = 125.27w = 1.1③ 往右挪,损失变小→ 把 w 调大④ 量坡度:高度变化 ÷ 水平距离⑤ 换个位置再量:越接近答案,坡越缓放大看 w = 0.9 到 1.1 这一小段水平走了 0.2降了 5.630.8725.27坡度 = −5.6 ÷ 0.2 = −2801234坡度 −28坡度 −14坡度 0:碗底坡度从 −28 → −14 → 0,碗底就是答案 w = 3
每根柱、每个点的损失,都按 ① 的方法算出。

这个“往哪边、有多陡”的数,就叫梯度:负号表示该把 w 调大,坡度为 0 的地方就是答案。

b 也一样:固定 w = 3,从 b = 9 往两边挪 0.1,损失分别是 1.21 和 0.81,坡度 (0.81 − 1.21) ÷ 0.2 = −2,所以 b 也该调大。有几个参数,就各量一个坡。

🔎 细节:导数、为什么两边都挪
  • 固定 b = 10 时,这三单的损失正好是 $7(w-3)^2$,碗底在 w = 3。
  • “挪一点看变化”在数学上叫导数:$\frac{dL}{dw} = 14(w-3)$,w = 1 时等于 −28,和上面估出的一样。
  • 只往一边挪 0.1 也能估,但会稍有偏差:往右得 −27.3,往左得 −28.7。两边各挪一次再相除,误差更小。
  • 真正的程序不会真的去挪,而是直接用导数公式算梯度,第 08 章讲它怎么对很多参数一次算完。

🚶 五、让机器自己挪:梯度下降

第四节量出了坡度,接下来决定每次挪多少:

图内可左右滑动;需要时可放大阅读。

梯度下降逐步示意让机器自己挪:每一步都沿着坡往下走新的 w = 旧的 w − η × 坡度η(学习率)= 0.05:每步挪多远第一步:1 − 0.05 × (−28)   = 1 + 1.4 = 2.4坡度是负的 → 减负数 = 加 → w 变大w:1 → 2.4 → 2.82 → 2.946步子:+1.4 → +0.42 → +0.126坡越缓,步子自动越小01234w(b 固定为 10)起点 w = 1第一步 +1.4到底附近
坡度用第四节的办法量(这个例子里正好等于 14 ×(w − 3))。这个“沿着坡一步步往下走”的过程叫梯度下降。

学习率定得不好会怎样?

图内可左右滑动;需要时可放大阅读。

三种学习率的轨迹学习率 η:每一步挪多远新的 w = 旧的 w − η × 梯度;梯度用第四节的 14 ×(w − 3)η = 0.05:三步到底附近w:1 → 2.4 → 2.82 → 2.95η = 0.2:越跳越远(发散)w:1 → 6.6 → −3.48 → 14.7 …η = 0.005:十步才到 w ≈ 2w:1 → 1.14 → 1.27 … → 2.03
同一个碗、同一个起点 w = 1。步子合适,几步就到底;太大,每一步都跳过头而且越跳越高;太小,走很久还在半山腰。
  • 太大(0.2):一步冲过碗底,越跳越远,训练时损失越来越大。
  • 太小(0.005):方向对,但走得很慢。怎么挑学习率,第 09 章专门讲。

💻 六、十几行代码:让机器从 0 开始自己学

下面把前面的手算交给 Python,w 和 b 一起学,都从 0 开始。复制到任何能运行 Python 的地方即可,不用装任何库:

data = [(1, 13), (2, 16), (4, 22)]   # (距离 km, 送达用时 分钟)
w, b = 0.0, 0.0                      # 先随便猜:每公里 0 分钟,出餐 0 分钟
lr = 0.05                            # 学习率:每次挪多大一步

for step in range(501):
    # 1. 用当前的 w、b 预测,算出平均平方误差(损失)
    errors = [(w * x + b) - y for x, y in data]   # 预测 − 实际,正好是残差的相反数
    loss = sum(e * e for e in errors) / len(data)
    if step % 100 == 0:
        print(f"第 {step:4d} 步  w = {w:.3f}  b = {b:.3f}  损失 = {loss:.4f}")
    # 2. 梯度:w、b 各往哪边挪损失会变小,坡有多陡
    grad_w = sum(2 * e * x for e, (x, y) in zip(errors, data)) / len(data)
    grad_b = sum(2 * e for e in errors) / len(data)
    # 3. 朝让损失变小的方向挪一小步
    w = w - lr * grad_w
    b = b - lr * grad_b

运行结果:

第    0 步  w = 0.000  b = 0.000  损失 = 303.0000
第  100 步  w = 3.367  b = 8.929  损失 = 0.2555
第  200 步  w = 3.049  b = 9.857  损失 = 0.0045
第  300 步  w = 3.007  b = 9.981  损失 = 0.0001
第  400 步  w = 3.001  b = 9.997  损失 = 0.0000
第  500 步  w = 3.000  b = 10.000  损失 = 0.0000

怎么读这段输出:

  • 第 0 步什么都没学,损失 303:三单分别差 13、16、22 分钟,平方平均就是 303。
  • 第 100 步 w 冲到了 3.367,超过 3,因为那时 b 还不够大,只能先让 w 多扛一点。后面 b 慢慢追上来,w 又退回 3。
  • 500 步后 w = 3、b = 10,正是我们手动找到的规则。没有人告诉它答案,它是自己挪过去的。

试试看:

  • 把 lr 改成 0.2,看损失会怎样。
  • 改成 0.005,看 500 步能走到哪。

🏷️ 七、刚才做的事,在书上叫什么

图内可左右滑动;需要时可放大阅读。

训练循环四步训练 = 把这四步重复很多遍① 预测用当前 w、b 算用时② 算损失错了多少,合成一个数③ 算梯度往哪边挪、坡多陡④ 挪一小步w ← w − η × 梯度重复,直到损失几乎不再变小
你在本页手动做过每一步;代码只是让机器替你重复几百遍。
你刚才做的事它的名字后面在哪里展开
输入距离、对照实际用时特征、标签03 线性回归
实际 − 猜的残差03、03b
把三单的错合成一个数损失函数(MSE)03、03b
每公里几分钟、出餐起点参数:权重 w、偏置 b03
挪一点看损失变大还是变小梯度(导数)08 反向传播
沿着坡一步步往下挪梯度下降09 优化器
每一步挪多远学习率 η09
重复几百遍,直到损失不再变小训练全书

✅ 检查点

都是计算题,手边放个计算器。共 5 题:5 道单选。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 规则是「用时 = 2 × 距离 + 5」。一单 3 公里,实际 19 分钟。预测和残差(实际 − 预测)是多少?

看答案与解析

答案:D

预测 2 × 3 + 5 = 11 分钟;残差 = 实际 − 预测 = 19 − 11 = 8,猜少了 8 分钟。

单选2. 三单的残差是 −2、1、4。MSE 和 MAE 各是多少?

看答案与解析

答案:A

MSE = (4 + 1 + 16) / 3 = 7;MAE = (2 + 1 + 4) / 3 ≈ 2.33。

单选3. w = 2 时损失是 7,w = 2.1 时是 5.67,w = 1.9 时是 8.47。w 该往哪边调?坡度大约多少?

看答案与解析

答案:C

往大调,因为往右挪损失变小。坡度 ≈ (5.67 − 8.47) / 0.2 = −14。

单选4. 在 w = 2 处梯度是 −14,学习率 η = 0.05。下一步的 w 是多少?

看答案与解析

答案:B

2 − 0.05 × (−14) = 2 + 0.7 = 2.7。

单选5. 训练时损失一轮比一轮大,打印出来的 w 一会儿正一会儿负。最可能是什么问题?

看答案与解析

答案:A

学习率太大,每一步都冲过碗底、越跳越远。把学习率调小。


本节回顾

⚡ 走神救援

  • 训练四步:预测 → 算损失 → 算梯度 → 挪一小步,然后重复。
  • 损失:把所有错误合成一个数,越小越好。本页用 MSE,也就是平方再平均。
  • w 和 b:w 是每单位输入带来多少影响,b 是输入为 0 时的起点。
  • 梯度:挪一点看损失怎么变。正负号告诉方向,大小告诉坡有多陡。
  • 学习率:太大越跳越远,太小走不动。

下一节 👉 03 · 线性模型:同样的办法,从一个特征扩展到很多个特征。

打卡记录保存在你的浏览器里,首页能看到总进度