先分清预测什么，
再看公式怎么做。

03 · 线性模型：一切的起点

⏱ 26 分钟 ｜ ⭐ 核心 ｜ 🔨 有代码

🎯 一句话

线性模型就是 y = w₁x₁ + w₂x₂ + ... + b ——给每个特征配一个权重，加起来。 简单到不像个「AI」，但神经网络的许多层都包含这样的加权求和，再接非线性等运算，所以值得理解。

📈 一、线性回归：预测一个数

💡 不要把权重当成因果结论。 “楼龄权重为负”表示在这个模型里、其他特征不变时，楼龄增加会让预测房价降低；这是模型中的反向关系，不等于楼龄本身单独造成房价下降。 损失函数（第 2 章三要素之二）—— 均方误差 MSE：

$$\mathcal{L} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$$

💡 人话：每个样本预测差多少，平方后取平均。平方的作用是让大误差被重罚，且处处可导（方便求梯度）。

🎯 二、逻辑回归：预测一个概率

问题：分类要输出 0~1 的概率，但线性输出是任意实数。

解法：外面套一个 Sigmoid 把它压进 0~1：

$$\hat{p} = \sigma(w^\top x + b), \quad \sigma(z) = \frac{1}{1+e^{-z}}$$

损失函数 —— 交叉熵（不是 MSE！）：

$$\mathcal{L} = -\frac{1}{n}\sum \left[ y\log\hat{p} + (1-y)\log(1-\hat{p}) \right]$$

💡 人话：真实是 1，模型说 0.9 → 罚得轻；说 0.01 → 罚到飞起。 它专门重罚「很自信但错了」的预测。

⚠️ 为什么二分类通常优先用交叉熵：Sigmoid 配 MSE 时，自信但错误的饱和预测可能得到很小的梯度，纠错变慢；并不是分类绝对不能用 MSE。 单样本二元交叉熵对 Sigmoid 前的分数 z 求导，结果是 (预测概率 − 真实标签)；按 n 个样本取平均时还要除以 n。这不保证深层网络的所有梯度都不会消失。

⭐ 既然是经典考点，它多半会以「写一下」而不是「说一下」的形式出现： 🔗 附录 C 第 10 题把这句话写成了 10 行纯 numpy 的逻辑回归（在 breast_cancer 上跑到 98.2%， sklearn 是 98.8%），第 1 题是它的多分类版本—— softmax + 交叉熵的反向就是 $p-\text{onehot}(y)$，和这里的 (预测 − 真实) 是同一件事。 那边还回答了两个这里没展开的追问：为什么逻辑回归可以零初始化而神经网络不行、为什么偏置不加 L2。

🔗 重要连接：逻辑回归 = 一层神经网络 + Sigmoid。 你在推荐算法第 8 章见的所有深度模型，最后一层都是它。

🧪 第二遍实战：正则化怎么防过拟合

⚠️ 三、常用的预处理：标准化

线性模型对特征尺度极度敏感：

一句话结论：先标准化，再训练。 这会让正则化公平、梯度下降也更容易直接朝正确方向走。 ⚠️ 最经典的坑：

# ❌ 错误：用全部数据算均值方差 → 测试集信息泄漏进训练
scaler.fit(X)                    # X 包含测试集！

# ✅ 正确：只用训练集拟合，再变换两边
scaler.fit(X_train)
X_train_s = scaler.transform(X_train)
X_test_s  = scaler.transform(X_test)

🔗 这是推荐算法第 3 章「数据泄漏」在预处理环节的版本。 树模型通常不需要标准化。尺度差异较大的数值特征，在线性模型和神经网络里通常值得先缩放，但不是所有模型、所有输入都必须使用 StandardScaler。常数列也不能变成标准差 1。

🧪 第二遍实战：看正则化怎么起作用

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3,
                                          random_state=42, stratify=y)
sc = StandardScaler().fit(X_tr)          # ⭐ 只 fit 训练集
Xtr, Xte = sc.transform(X_tr), sc.transform(X_te)

print(f"{'正则强度C':<12}{'训练集':>9}{'测试集':>9}{'权重绝对值和':>14}{'零权重数':>9}")
print("-" * 56)
# C 是 λ 的倒数：C 越小 = 正则越强
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
    m = LogisticRegression(C=C, max_iter=5000).fit(Xtr, y_tr)
    w = m.coef_[0]
    print(f"{C:<12}{m.score(Xtr,y_tr):>8.1%}{m.score(Xte,y_te):>9.1%}"
          f"{np.abs(w).sum():>14.1f}{(np.abs(w)<1e-4).sum():>9}")

print("\n用 L1 正则做特征选择：")
print(f"{'C':<12}{'测试集':>9}{'被选中的特征数':>16}")
print("-" * 40)
for C in [0.01, 0.05, 0.1, 1]:
    # l1_ratio=1 即纯 L1（sklearn 1.8+ 的新写法；老版本用 penalty="l1"）
    m = LogisticRegression(C=C, l1_ratio=1, solver="saga",
                           max_iter=20000).fit(Xtr, y_tr)
    n_used = (np.abs(m.coef_[0]) > 1e-6).sum()
    print(f"{C:<12}{m.score(Xte,y_te):>8.1%}{n_used:>13} / 30")

🧩 线性模型的能力边界

这个局限直接催生了神经网络（第 7 章）——给线性模型套上非线性激活并堆叠起来，就能画任意曲线。

✅ 检查点

1. 线性回归和逻辑回归的区别？各用什么损失函数？
2. 为什么分类不用 MSE 而用交叉熵？
3. L1 和 L2 正则的区别？各什么时候用？
4. 为什么限制权重大小能防过拟合？
5. 标准化时最经典的坑是什么？哪类模型不需要标准化？

🛑 可以停在这里

⚡ 走神救援

• 线性回归：预测一个数，用 MSE；逻辑回归：预测概率，用 Sigmoid + 交叉熵。
• 分类别用 MSE：Sigmoid 配 MSE 会让“错得很离谱”的样本梯度反而变小；交叉熵专门重罚自信但错误的预测。
• 缩放要避免泄漏：只用训练集估计均值和标准差；数值型线性模型和神经网络常受益，树模型通常不需要。
• 正则化是第二遍重点：L2 默认让所有权重变小；L1 会把一部分权重压成 0，顺便筛特征。
• 能力边界：一条直线画不出 XOR；加上非线性并堆叠，才走到神经网络。

下一节 👉 04-决策树与集成学习.md