跳到主要内容
🏠 总目录📚 本教程 01 · 10分钟训第一个模型 ← →
📑 本页目录(点开跳转)

01 / 第一次训练模型

训练时全对,
换一份数据还行吗?

同一个模型,为什么有两份成绩?

这一页先教你看懂分数,再带你运行一个完整模型。暂时不会写 Python,也可以先看例子。

读懂两份分数,并能说明只改树深度时,训练与测试为什么可能走势不同。

今天不用把所有代码都学会

先弄清:模型看过哪些数据?分数又是在哪些数据上算的?

🎯 先看结果:同一个模型,两份成绩

我们让一棵决策树根据一条记录的测量值,预测它属于哪一类。模型就是这样一个从输入得到预测的程序;训练是用已有记录和答案调整它的规则。

先不用理解树怎么长。只看它在两份数据上的表现:

训练集:它学过的 398 条

100.0%

398 条全部答对。

这说明它能很好地拟合这份训练数据。

测试集:训练没用过的 171 条

91.8%

答对 157 条,答错 14 条。

换一份数据,成绩没有保持满分。

准确率就是“答对的条数 ÷ 总条数”。这里的 91.8% 是 157 ÷ 171 取一位小数,不是模型对每一条预测都有 91.8% 的把握。

现在先带走这一点:训练集满分,不保证新数据也能答对。

想知道模型能否用于没见过的数据,就要留出一份不参与训练的数据来检查。

这些数字来自下方完整程序的实际运行,不是示意数字。本次用 Python 3.12、NumPy 2.2.6、scikit-learn 1.7.2,固定数据划分的随机种子为 42。

训练集有 398 条记录,测试集有 171 条,后者未用于训练。

🧩 先认识数据:输入是什么,答案又是什么?

这里用 scikit-learn 随库提供的一份乳腺癌测量数据。它包含 569 条样本记录,每条有 30 个细胞核测量特征,以及已知类别。我们只用它学习数据处理与评估,这个练习不能用于医疗判断。数据集说明

把它想成一张表:一行是一条记录,一列是一种测量值。 例如,其中有细胞核的半径、周长和面积。输入不是病历文字,也不是一张图片。

代码里的名字 装的是什么 在这个例子里怎么用
X:特征(Feature) 569 行、30 列测量值 提供给模型,用来做预测
y:标签(Label) 与 569 行一一对应的已知答案 0 表示恶性,1 表示良性;这是类别编号,不是大小评分

为什么要拆成训练集和测试集?

如果学习和检查都用同一份题目,满分可能只说明它适应了这些题,不能检验它遇到新题时的表现。

本例先拆分,再训练。两份数据各有不同用途:

阶段 模型可以用什么 暂时不能用什么
训练 398 条记录的特征和标签,用来学习规则 测试集不能拿来拟合模型或计算标准化规则
测试 把 171 条记录的特征交给已训练好的模型,再将预测与已知标签对照 不能看完结果又用这些标签继续训练,还称它们是独立测试数据

X_tr / y_tr 是训练用的输入和答案,X_te / y_te 是测试用的输入和答案。后缀只是为了方便认名字。

我们这一遍的四步:拿到数据 → 分开训练与测试 → 用训练集拟合 → 在留出数据上评估。 这是入门实验的最小流程,不是实际项目的全部工作。

🔨 运行完整示例:先看见输出,再回来读代码

如果现在不想安装软件,可以直接去读懂结果。 动手部分适合已经能够打开终端、保存文本文件的读者;下面把运行位置和命令列出来,不要求你先读懂每一行。

1. 准备一个能运行 Python 的地方

终端是输入命令并查看运行结果的窗口,例如 Windows 的 PowerShell,或编辑器里的 Terminal。安装命令写在那里,不写进 .py 文件,也不写在 Python 的 >>> 提示符后。

先在终端运行:

python --version

看到 Python 的版本号,才能继续。如果提示“找不到命令”,说明当前终端还不能调用 Python;先按 Python 官方安装与运行指南配置好,或暂时回到本页的结果部分。macOS / Linux 若使用 python3,将下文的 python 一并替换为 python3。

创建一个空文件夹 first-model,用编辑器打开它,并在这个文件夹中打开终端。下面的命令给这个练习建立独立环境,避免改动你其他项目的库。

Windows:创建环境并安装依赖

在 PowerShell 中依次运行。安装时需要联网;数据已随库提供,不用另找数据文件。

python -m venv .venv
.\.venv\Scripts\python.exe -m pip install numpy==2.2.6 scikit-learn==1.7.2

后面运行程序也使用 .\.venv\Scripts\python.exe,这样安装和运行使用的是同一个环境,无需手动激活。

macOS / Linux:创建环境并安装依赖

在终端中依次运行。安装时需要联网;后面用这个环境里的 Python 运行程序。

python3 -m venv .venv
.venv/bin/python -m pip install numpy==2.2.6 scikit-learn==1.7.2

2. 保存并运行下面这个完整程序

在刚才的文件夹中新建 first_model.py,复制下面整段代码进去并保存。不要把文件命名为 sklearn.py,否则会与库同名。

这段原始完整示例先比较逻辑回归和决策树,最后观察树深度的影响。最后一段会反复展示同一测试集上的分数,仅用于教学观察,不能据此选出并宣称“最优模型”。 如何规范地选参数,见下方的边界说明。

# -*- coding: utf-8 -*-
"""10 分钟训练你的第一个模型 —— 不用下载任何数据"""
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.preprocessing import StandardScaler

# ===== 第 1 步:拿数据(sklearn 自带,569 个肿瘤样本,30 个特征)=====
X, y = load_breast_cancer(return_X_y=True)
print(f"数据形状:{X.shape}  →  {X.shape[0]} 个样本,每个 {X.shape[1]} 个特征")
print(f"标签:{set(y)}   (0=恶性, 1=良性)")

# ===== 第 2 步:切分 —— 训练集用来学,测试集用来考试 =====
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y)
print(f"训练集 {len(X_tr)} 个,测试集 {len(X_te)} 个")

# ===== 第 3 步:训练两个模型 =====
# 模型A:逻辑回归(线性模型,需要标准化)
scaler = StandardScaler().fit(X_tr)
lr = LogisticRegression(max_iter=1000)
lr.fit(scaler.transform(X_tr), y_tr)

# 模型B:决策树,故意不限制深度
tree = DecisionTreeClassifier(random_state=42)
tree.fit(X_tr, y_tr)

# ===== 第 4 步:看结果 =====
print("\n" + "=" * 46)
print(f"{'模型':<16}{'训练集':>10}{'测试集':>10}{'差距':>10}")
print("=" * 46)
for name, m, Xa, Xb in [
    ("逻辑回归", lr, scaler.transform(X_tr), scaler.transform(X_te)),
    ("决策树(无限制)", tree, X_tr, X_te),
]:
    tr = m.score(Xa, y_tr)
    te = m.score(Xb, y_te)
    print(f"{name:<16}{tr:>9.1%}{te:>10.1%}{tr-te:>10.1%}")
print("=" * 46)

# ===== 第 5 步:给决策树限制深度,再看 =====
print("\n决策树深度对效果的影响:")
print(f"{'最大深度':<10}{'训练集':>10}{'测试集':>10}{'差距':>10}")
for d in [1, 2, 3, 5, 10, None]:
    t = DecisionTreeClassifier(max_depth=d, random_state=42).fit(X_tr, y_tr)
    tr, te = t.score(X_tr, y_tr), t.score(X_te, y_te)
    label = str(d) if d else "不限制"
    print(f"{label:<10}{tr:>9.1%}{te:>10.1%}{tr-te:>10.1%}")

保存后,在同一终端运行。选与你系统对应的一条:

Windows:

.\.venv\Scripts\python.exe first_model.py

macOS / Linux:

.venv/bin/python first_model.py

3. 怎样知道这一轮跑通了?

终端会先显示数据形状 (569, 30),再显示训练集 398 条、测试集 171 条,最后出现两种模型的成绩和不同树深度的成绩。

没有出现时,先按实际提示找原因,不必重新理解整章:

你看到了什么 先检查这一件事
提示找不到 first_model.py 文件是否保存?终端是否开在文件所在的文件夹?注意不要保存成 .py.txt
提示 No module named sklearn 是否用同一个 .venv 里的 Python 安装和运行?安装命令是否成功完成?
安装命令出现语法错误,前面有 >>> 你在 Python 交互提示符里。输入 exit() 返回终端,再输入安装命令

如果成功看见输出,就已经完成了“跑通”这一步。 不代表你现在必须会解释每个参数;下面再把分数读明白。

🔍 读懂结果:这些分数能说明什么?

先看这张表。差距 = 训练集准确率 − 测试集准确率,单位是百分点;负数表示测试集反而更高。数字来自本次复跑,换一次划分会变。

模型 训练集准确率 测试集准确率 差距(百分点)
逻辑回归 98.7% 98.8% −0.1
决策树(无限制) 100.0% 91.8% 8.2

① 决策树:训练满分,测试集少对了一些

决策树用一连串判断把记录分组,例如检查某个测量值是否超过阈值。树越深,能连续追问的层数越多。这一次它把训练用的 398 条全部分对,换到没参与训练的 171 条,只答对 157 条。

过拟合指模型对训练数据适应得过头,连这批样本的偶然特点也学了进去,因而不能同样好地推广到新数据。训练很好、测试集明显较差,是值得继续检查的迹象。

② 逻辑回归:这一次测试集表现更好

名字里虽然有“回归”,这里用的是分类:把测量值做加权组合来判断,边界比无限制的树更受约束。第 3 章再展开它怎样计算。

对这份数据、这次划分和当前设置,更复杂的模型没有带来更好的测试成绩。 这一句就是本次比较能下的全部结论。

⚠️ 别误读:三条常见误读(需要时再展开)
  • 8.2 只是本次的分数差,不是通用的“过拟合程度”,也不代表树什么规律都没学到。
  • −0.1 来自两份不同样本的有限波动,不是“负的过拟合”。
  • 换一次划分数字会变;这里也没比较其他设置,不能推出“简单模型总是更好”。

只改变树的深度,观察训练分数和测试分数是否一起变好。

继续读:代码里为什么多了一步标准化?

这份乳腺癌数据里,细胞核的半径和面积不是同一种单位,数值较大不代表它对分类更重要。

标准化把各列调整到更接近的尺度,让逻辑回归更容易完成训练;StandardScaler 就是负责这一步的工具。StandardScaler 文档

规则只从训练集计算一次,测试集使用同一套规则。 不能用测试集重新 fit,否则测试数据也参与了预处理规则的确定。树按单个特征的阈值切分,本例不需要这一步。

可选:它具体怎样调整数值?

对每一列,先减去训练集这一列的平均值,再除以训练集这一列的标准差。标准差可以先理解为“这一列的数值有多分散”;本工具会专门处理没有变化的列,避免除以零。

这会影响求解参数的过程,也会影响逻辑回归默认的正则化——训练时给参数加的一种约束。05a 再展开,不需要现在掌握。

🧪 只改树深度:训练更好,测试也会更好吗?

深度可以先理解为树最多允许连续问多少层问题。max_depth=1 只允许一层;None 表示不设置这个深度上限,不是“有无限个节点”。

先预测:从深度 5 改到 10,训练分数可能提高;测试分数一定也会提高吗?再看原程序最后一段的运行结果:

最大深度 训练集准确率 测试集准确率 差距(百分点)
1 92.7% 91.2% 1.5
2 96.5% 91.8% 4.7
3 98.0% 92.4% 5.6
5 99.5% 93.0% 6.5
10 100.0% 91.8% 8.2
不限制 100.0% 91.8% 8.2

图内可左右滑动;需要时可放大阅读。

树深度与两份准确率:本次实跑记录100%95%90%准确率123510不限制最大深度(按候选顺序等距排列)训练集测试集
树深度与准确率

先看深度 5 到 10:训练从 99.5% 升到 100%,测试却从 93.0% 降到 91.8%。它说明本次增加深度没有改善留出表现,不证明深度 5 是所有数据上的最佳选择。

为什么不能直接选表里测试分数最高的深度?

一旦根据这张表选参数,这份测试集就参与了选择过程,不能再当作完全独立的最终检查。

正式选模型时,应从训练数据中再划出一份验证集,用它比较设置;或者使用交叉验证,让训练数据内部轮流留出一部分来比较。设置确定后,再用未参与选择的测试集做最终评估。第 5 章会一步步展开。评估与参数选择的官方说明

所以此处不找一个万能“拐点”。我们只验证一个问题:增加模型复杂度,是否必然让新数据上的成绩更好?答案是否定的。

🎮 自己验证:一次只改一件事

下面三项都保留为可选实验,不必一次做完。它们用于观察模型与分数怎样变化,不用于从已经反复查看的测试集里挑“冠军”。

A. 换一次划分,看看分数会不会变

先保存种子为 42 的原结果。然后只改 train_test_split 里的 random_state,依次试 0、1、2;树自身的 random_state=42 暂时不动,方便区分“换数据划分”和“换模型随机性”。

记录什么: 每次两种模型的测试准确率。几次划分可以让你看到波动,但还不足以严格证明 0.5 个百分点的提升有统计意义;更完整的比较方法在第 5 章。

B. 把测试比例从 0.3 改为 0.5

这会同时减少训练样本、增加测试样本。观察两种模型的训练和测试分数怎样变化,不预设差距必然更大或更小。

记录什么: 新的训练/测试条数,以及两份准确率。这里不只是“多考几条题”,可用于学习的数据也变少了。

C. 换成随机森林,比较同一份划分

随机森林组合多棵树的预测。先不用学习内部原理,只看看在同样数据上,它与一棵无限制决策树的成绩有什么不同。

想换模型时再展开:随机森林对照的独立完整程序

复制到另一个文件 forest_compare.py。依赖与主示例相同,用同一个环境运行;无需先执行前面的程序,也不要将它拼到前一个代码块中。

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier

X, y = load_breast_cancer(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y)

models = [
    ("一棵决策树", DecisionTreeClassifier(random_state=42)),
    ("随机森林", RandomForestClassifier(n_estimators=100, random_state=42)),
]
for name, model in models:
    model.fit(X_tr, y_tr)
    train = model.score(X_tr, y_tr)
    test = model.score(X_te, y_te)
    print(f"{name}:训练 {train:.1%},测试 {test:.1%},差距 {(train-test)*100:.1f} 个百分点")

把前面运行命令末尾的 first_model.py 换成 forest_compare.py 即可。记录两份分数,不预设随机森林一定胜出。 这次对照只能说明当前设置下的结果。

每个小实验的完成标志: 说清改了什么、哪份分数变了、这次结果还不能证明什么。没有提高分数,也可以是有用的观察。

🔗 这一章连到哪里

去哪 为什么
ML 基础 03a:逻辑回归与分类 想进一步理解逻辑回归怎样组合输入、作出判断(先读 02a、03 更顺)
ML 基础 05:评估与过拟合 想学会用验证集选设置、判断分数差异是否可信
推荐算法 01 想看“用数据给出预测”的另一种任务:给用户推荐电影
智能体 01 想比较另一种可运行程序:不使用 API Key 的 Agent 示例;它不是本章的必修后续
Kaggle 25 已有基础后,查看更完整的实验流程模板

如果已经读过这些板块,可以回看三个联系;第一次接触时可以跳过:

  • 推荐任务的时间切分: 用较早的数据学习、较晚的数据检查,避免训练时偷看到未来。
  • 正则化: 在学习时增加约束的一种方式,但不是过拟合的万能解药。
  • 竞赛的两份成绩: 自己的交叉验证分数与榜单分数不一致,还可能来自划分差异和数据分布变化,不能全归为一个原因。

✅ 检查点:不背定义,试着做三个判断

先凭直觉判断,再看解释。共 3 题:3 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

判断1. 训练准确率 100%,就可以直接说这个模型很好。

看答案与解析

答案:错误

不能。它说明模型能拟合训练样本,还需要检查未参与训练和选择的数据。只用学过的数据打分,无法回答“遇到新数据会怎样”。

本页的四步就是为此安排的:拿数据、切分、训练、在留出数据上评估。这里的差距值得检查,但不能单凭一个差值判定所有原因。

判断2. 深度从 5 加到 10,训练分数提高了、测试分数却下降——这说明更复杂不一定更好。

看答案与解析

答案:正确

不能。本次从深度 5 到 10,训练分数提高了,测试分数却下降了;这是“更复杂不一定更好”的具体例子。

反过来,也不能因为深度 5 的测试分数最高,就把它当作普遍最优。正式选择应使用验证集或交叉验证,独立测试集留到选择完成后。

判断3. 这次逻辑回归比树好,说明简单模型总是更好。

看答案与解析

答案:错误

不能。我们只比较了这份数据、当前划分和这些设置。简单规则适合这次任务,不意味着复杂模型没有价值,也不意味着任何简单规则都会学到真实规律。

可以进一步换划分、换模型做对照,但每次只改一个因素,并记录比较条件。


本节回顾

⚡ 走神救援

回来时,先接上这三件事

  • 训练集用来学习;要了解新数据上的表现,还得用未参与训练和选择的数据检查。
  • 本次树在训练集满分,测试集约 91.8%;训练成绩不能替代新数据上的成绩。
  • 想继续实验,就保留原结果、一次只改一项;正式选参数使用验证集,不反复挑测试最高分。

下一节 👉 02-机器学习到底在干什么.md

打卡记录保存在你的浏览器里,首页能看到总进度