一棵树不够，
可以一起投票，也可以接着纠错。

04a · 集成学习与 GBDT

⏱ 34 分钟 ｜ ⭐ 集成的收益全部来自成员之间的「差异」

🎯 一句话

一棵树很弱（上一章那个 91.8%）， 但把几百棵弱树按正确方式组合起来，就是表格数据上至今难以撼动的最强模型 —— XGBoost / LightGBM 的全部秘密就在这。

📍 组合方式分三条完全不同的路：Bagging（并行，降方差）、Boosting（串行，降偏差）、 Stacking（分层）。⭐ 而它们组合的每一棵树，都是上一章那个 CART。

🌳 三、集成学习：三种组合方式

单棵树不稳定又易过拟合。把很多棵组合起来——但怎么组合，分成三条完全不同的路线：

🔗 Kaggle 第 3 章模型融合 讲的就是 ③ 的各种实战技巧。

🌲 四、随机森林：Bagging + 双重随机

💡 核心直觉：集成的收益来自成员之间的「差异」。全都一样的树，平均一百次还是那棵树。

优点：几乎不用调参、不易过拟合、能给特征重要性、可并行 缺点：精度通常略输 Boosting、模型体积大

🚀 五、GBDT：Boosting 的核心思想

这是本章最重要的部分——Kaggle 的主力算法。

它在做什么

💡 人话：

每棵新树不预测答案本身，而是预测「前面所有树加起来还差多少」。 像考试订正错题：第一遍做完，专门针对错的部分再学一遍，反复迭代。

数学上：每棵新树拟合的是损失函数的负梯度（所以叫「梯度」提升）。 用 MSE 损失时，负梯度恰好就是残差——上面那个直觉是严格成立的。

三个关键超参（调参时主要动这三个）

🔑 最重要的一条调参直觉： learning_rate 和 n_estimators 是一对——学习率减半，树的数量大致要翻倍。 先固定 lr=0.1 调其他参数，最后再降 lr、加树数换取最后那点精度。

为什么 GBDT 的树要浅？

🚪 这里有一句话故意没讲完

「每棵新树拟合负梯度」——⭐ 负梯度只告诉你往哪个方向走，没告诉你该走多远。 GBDT 用 learning_rate 把步子统一压小，是绕开这个问题而不是解决它。

👉 04b · XGBoost 的推导：从负梯度到闭式解 该去的时候：要面试（「XGBoost 为什么用二阶泰勒展开」是必考）、要自定义损失函数、或者想知道 LightGBM 凭什么快、CatBoost 在防什么。 可以先不去的时候：只想会调参把分刷上去 —— 直接跳 Kaggle 第 1 章，那里有现成模板。 ⚠️ 但三巨头对比表在 04b，而且在那里它是推出来的不是背的。

🔨 动手：亲眼看集成的威力

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import (RandomForestClassifier,
                              GradientBoostingClassifier, BaggingClassifier)
import numpy as np

X, y = load_breast_cancer(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3,
                                          random_state=42, stratify=y)

print(f"{'模型':<22}{'训练集':>9}{'测试集':>9}")
for name, m in [
    ("单棵决策树",        DecisionTreeClassifier(random_state=0)),
    ("Bagging(100棵)",   BaggingClassifier(n_estimators=100, random_state=0)),
    ("随机森林(100棵)",   RandomForestClassifier(n_estimators=100, random_state=0)),
    ("GBDT(100棵,深度3)", GradientBoostingClassifier(n_estimators=100,
                                                    max_depth=3, random_state=0)),
]:
    m.fit(X_tr, y_tr)
    print(f"{name:<22}{m.score(X_tr,y_tr):>8.1%}{m.score(X_te,y_te):>9.1%}")

print("\nGBDT：学习率与树数量的配合")
print(f"{'树数':<8}{'学习率':<10}{'测试集':>9}")
for n, lr in [(10,0.1),(50,0.1),(200,0.1),(500,0.1),(500,0.01)]:
    m = GradientBoostingClassifier(n_estimators=n, learning_rate=lr,
                                   max_depth=3, random_state=0).fit(X_tr, y_tr)
    print(f"{n:<8}{lr:<10}{m.score(X_te,y_te):>8.1%}")

print("\n特征重要性 Top5：")
rf = RandomForestClassifier(n_estimators=200, random_state=0).fit(X_tr, y_tr)
names = load_breast_cancer().feature_names
for i in np.argsort(-rf.feature_importances_)[:5]:
    print(f"  {names[i]:<25} {rf.feature_importances_[i]:.3f}")

实测结果：

💡 注意：所有集成模型训练集都是 100%，但测试集比单棵树高 2–3.5%。 训练集 100% 不等于过拟合——关键看测试集有没有跟着掉。

⚠️ 特征重要性的三个坑

树模型能给特征重要性，但别太当真：

⭐ 第一个坑的根就是第二节那件事：信息增益、增益率、基尼全都偏爱取值多的特征（用户 ID 的信息增益能到满分 1.000）。 CART 靠「只能二叉」把病压住了，但取值多 = 候选切分点多 = 被选中的机会多，这个偏向从来没被真正消除。

✅ 更可靠的做法：Permutation Importance（打乱某列看性能掉多少）或 SHAP。

🔗 和站内其他章的关系

看完这一章，接着往哪走：

✅ 检查点

1. Bagging 和 Boosting 的根本区别？各降低什么？
2. 随机森林为什么要「随机选特征」？只做 Bootstrap 不够吗？
3. GBDT 里每棵新树学的是什么？为什么树要比随机森林浅？
4. learning_rate 和 n_estimators 是什么关系？调参该先动哪个？
5. 实测里所有集成模型训练集都是 100%，这算过拟合吗？该看哪个数？
6. 特征重要性有哪三个坑？其中「偏向高基数特征」的根在哪一章？

🛑 可以停在这里

到这里表格数据的主力你已经会用了：三条组合路线、随机森林的两次随机、GBDT 的三个旋钮， 外加特征重要性那三个坑。⭐ 只想把分刷上去的话，这些已经够了。

⚠️ 什么时候看下一页：你想知道「每棵新树拟合负梯度」后面那半句 —— 负梯度只给方向不给步长，而 XGBoost 怎么把它变成一个有闭式解的问题。

⚡ 走神救援

下一节 👉 04b-XGBoost的推导.md