04 · 非参数方法：把数据本身当模型

⏱ 26 分钟 ｜ ⭐ 核心概念

🎯 一句话

参数方法先假定一个函数形式（比如"它是条直线"）再去拟合； 非参数方法不做这个假设，直接把训练数据本身当成模型。

⚠️ 名字有误导：「非参数」不是「没有参数」，而是「参数的数量随数据增长」。

⚖️ 一、两种范式的根本区别

💡 一句话记忆：

参数方法把知识【压缩进权重】里；非参数方法把知识【留在数据】里。

🔬 用偏差-方差看这个区别（第 8 章的预告）

   参数方法：假设限制了模型能表达的函数
             → 偏差可能很大（如果假设错了）
             → 但方差小（参数少，不容易被数据抖动带偏）

   非参数方法：几乎不限制
             → 偏差小（n→∞ 时能逼近真实函数，这叫【一致性】）
             → 但方差大（对数据非常敏感）

🔑 所以选择的本质是：你对函数形式的假设，有多大把握是对的？ 有把握 → 参数方法（用假设换方差）；没把握且数据多 → 非参数方法。

🎯 二、kNN：最纯粹的非参数方法

   训练阶段：把数据存起来。完。      ← 所以叫【惰性学习】lazy learning
   预测阶段：
     ① 找出离查询点最近的 K 个训练样本
     ② 分类 → 投票；回归 → 取平均

K 的作用就是偏差-方差旋钮

   K = 1        每个点只听最近的那一个邻居
                → 决策边界极其锯齿
                → 训练误差 = 0（每个点的最近邻就是自己！）
                → 高方差、低偏差 → 【过拟合】

   K = n        所有点都听全体平均
                → 决策边界消失，输出常数
                → 低方差、高偏差 → 【欠拟合】

   K 适中       ✅

⚠️ 一个容易被忽略的细节：K=1 时训练误差恒为 0， 因为每个训练点的最近邻就是它自己。 这是「训练误差完全没有参考价值」的最极端例子——必须用交叉验证选 K。

🔗 这和基础教程第 1 章 那张「决策树深度表」是同一个现象—— 每个模型都有一个控制复杂度的旋钮，你要找的永远是那个拐点。

四个实践要点

⚡ 预测慢怎么办

   朴素 kNN：每次预测要和【全部 n 个】训练点算距离 → O(nd)

   加速手段：
   ├─ KD-Tree / Ball-Tree   低维（d < 20）时有效，高维退化成暴力
   ├─ ANN 近似最近邻 ⭐      HNSW / IVF —— 牺牲一点精度换几百倍速度
   └─ 降维后再检索           先 PCA 再 kNN

🔗 这就是推荐算法里向量检索要解决的问题—— RAG、向量数据库、以图搜图，本质都是「大规模 kNN 怎么做快」。

🌾 三、从 kNN 到核密度估计

   kNN 的加权版本：不是"取最近 K 个"，而是"所有点都算，但按距离加权"

   权重函数 = 1/d            →  简单反比
   权重函数 = exp(−d²/2h²)   →  高斯核 ⭐

                    ↑ 这个"权重函数"就叫【核 kernel】

核密度估计（KDE）：把每个数据点想象成一个小钟形，全部叠加起来：

$$\hat p(x) = \frac{1}{nh^d}\sum_{i=1}^n K\left(\frac{x - x_i}{h}\right)$$

   数据点：   ·      ·  ·        ·
              ↓      ↓  ↓        ↓
   每点放一个钟形：
             ╱╲    ╱╲╱╲        ╱╲
   叠加后：  ╱  ╲__╱      ╲____╱  ╲    ← 估计出的概率密度

💡 一个重要的观察：

「离得近的样本更重要」这个朴素想法，正式化之后就是核方法。

h（带宽）控制"多远算近"——它又是一个偏差-方差旋钮：

⚠️ 注意术语撞车：这里的「核」（加权函数）和第 6 章 SVM 的「核」 （内积替换）名字一样但含义不同——虽然数学上有联系（RBF 核两边都用）。

🌲 四、决策树：介于两者之间

   决策树的结构（切几刀、切在哪）由【数据】决定  → 非参数的一面
   但训练完之后可以【丢掉数据】               → 参数的一面

   → 通常归为非参数方法，但和 kNN 很不同

💡 惰性学习的一个隐藏优势：增量更新几乎免费。 这在推荐系统的物品冷启动等场景里很有价值——新物品直接进索引就能被检索到。

🔬 五、非参数方法的理论性质

一致性（Consistency）

n → ∞ 时，kNN 的误差收敛到贝叶斯最优误差（在合适条件下）。

💡 人话：数据足够多时，kNN 能达到理论上的最好水平——不管真实函数多复杂。

条件（了解即可）：

   K → ∞      （邻居数要增加，否则方差降不下来）
   K/n → 0    （但增长要比 n 慢，否则偏差上升）

   ⭐ 实践中常取 K ≈ √n

⚠️ 但"足够多"是多少？

   一致性是【渐近】性质，它不告诉你有限样本下的表现

   而 kNN 的收敛速率随维度【指数级】变慢：
   要达到同样精度，d 维需要的样本数 ∝ ε^(−d)

   → d = 20 时，你永远等不到"足够多"  💀

🔗 这正是第 5 章维度灾难的另一种表述—— 非参数方法的理论优势（能逼近任意函数）在高维下变成了空头支票。

⚖️ 六、什么时候该用非参数方法

🔑 核心权衡： 参数方法用「假设」换「效率和小样本表现」； 非参数方法用「数据量」换「不做假设的自由」。

假设对了，参数方法赢；假设错了且数据够多，非参数方法赢。

🔗 七、和站内其他章的关系

💡 一个有意思的连接：你在推荐算法里学的 ItemCF， 换个说法就是「在物品的共现向量空间里做 kNN」。 而 ANN 索引解决的正是本章说的"预测慢"， 向量数据库的整个行业，本质是在给 kNN 做工程优化。

✅ 检查点

1. 「非参数」的准确含义是什么？（不是"没有参数"）
2. 用偏差-方差解释参数 vs 非参数的区别。
3. kNN 的 K 控制什么？K=1 时训练误差是多少？这说明什么？
4. 为什么 kNN 必须标准化而树模型不用？
5. 核密度估计里的 h 控制什么？和 K 是什么关系？
6. 惰性学习有什么隐藏优势？
7. kNN 的"一致性"是什么？为什么在高维下是空头支票？
8. 参数 vs 非参数的核心权衡是什么？

🛑 可以停在这里

⚡ 走神救援

⚠️「非参数」不是「没有参数」，而是「参数的数量随数据增长」，真正的含义是不预设函数形式。参数方法先假定 f 的形式再拟合：训练完可以丢掉数据、预测快 O(d)，但假设错了就是系统性偏差；非参数方法直接把数据本身当模型：必须全存下、预测慢 O(nd)、方差大，但数据够多就能逼近任意函数。参数方法把知识压进权重里，非参数方法把知识留在数据里；选择的本质是——你对函数形式的假设有多大把握。kNN 最纯粹：训练只是把数据存起来（惰性学习），预测时找最近 K 个投票或取平均。K 是偏差-方差旋钮：K=1 过拟合，⚠️且训练误差恒为 0（每个点的最近邻就是它自己）——这是「训练误差完全没有参考价值」的最极端例子，必须用交叉验证选 K；K=n 则输出常数、欠拟合。⭐必须标准化（kNN 靠距离，尺度大的特征会主导；树模型不需要）；加权投票就通向了核方法。预测慢的解法：KD-Tree 只在低维（d 小于 20）有效、高维退化成暴力，得上 ANN 近似最近邻，牺牲一点精度换几百倍速度——向量数据库本质就是「大规模 kNN 怎么做快」。推到极致就是核密度估计，带宽 h 又是同一个偏差-方差旋钮（h 小毛刺多，h 大过度平滑）。⚠️这里的「核」是加权函数，和第 6 章的「核」不同。💡惰性学习的隐藏优势是增量更新几乎免费，利于冷启动。理论上 kNN 有一致性：n→∞ 时误差收敛到贝叶斯最优（实践常取 K ≈ √n）。⚠️但这是渐近性质：收敛速率随维度指数级变慢，同样精度下 d 维需要的样本数 ∝ ε^(−d)，d=20 时永远等不到「足够多」——这个优势在高维下就是空头支票。权衡：参数方法用「假设」换效率和小样本表现，非参数方法用「数据量」换不做假设的自由。

下一节 👉 05-维度灾难.md ⭐⭐⭐