09 · 特征重要性的三种谎言

⏱ 46 分钟 ｜ ⭐ 全站 39 页在用它，这一章讲它什么时候骗你

🎯 一句话

「特征重要性」不是一个东西，是三类算法， 它们回答的是三个不同的问题，而且每一类都有它系统性说谎的场景。

🎭 一、三类算法，三个不同的问题

🔑 这个表决定了它们各自的用武之地： 线上排查时你常常没有标签 → 只能用 ③（这就是 SHAP 在生产环境重要的原因）。 选特征时你有标签 → 用 ② 最可靠。 ① 快但最不可信 —— 下面讲为什么。

💀 二、谎言一：树模型内建重要性偏向高基数特征

这不是 bug，是这类指标的定义决定的。

⚠️ 实践后果：用内建重要性做特征筛选，会系统性地留下高基数噪声、砍掉有用的二值特征。 🔗 Kaggle 01 建议用 permutation importance 而不是自带的，就是这个原因。

怎么验证你的模型有没有这个问题（一个 5 分钟的实验）：

import pandas as pd
import numpy as np

# ⭐ 加一列纯随机噪声，看它的重要性排到第几
X["__random_noise__"] = np.random.rand(len(X))
model.fit(X, y)
imp = pd.Series(model.feature_importances_, index=X.columns).sort_values(ascending=False)
rank = list(imp.index).index("__random_noise__")
print(f"纯噪声排在第 {rank+1} / {len(imp)} 位")
# 如果它排进了前 1/3 → 你的重要性排序不可信

⭐ 这个「噪声哨兵」技巧值得固化进流程： 凡是重要性低于纯噪声的特征，基本可以删掉。

💀 三、谎言二：特征相关时，重要性会被稀释或误导

这对三类算法都成立，但表现不同：

三个应对办法：

💡 实践建议：先算一次特征相关矩阵，相关系数 > 0.8 的成对标出来。 之后看任何重要性排名时，都要记得这些组的存在。

💀 四、谎言三：全局重要性掩盖子群里的反向效应

⭐ 这是第 14 章辛普森悖论在特征归因上的形态。 只看一张全局重要性图，等于假设所有人群的机制是一样的。

对策：关键特征一定要分人群看（新老、渠道、地域）， 或者直接用 SHAP 看依赖图（第 10 章）。

🔨 五、置换重要性：怎么用对

# 🧩 骨架：`model` 来自你自己的代码，这一段只看写法
from sklearn.inspection import permutation_importance

r = permutation_importance(
    model, X_val, y_val,
    n_repeats=10,          # ⭐ 必须重复多次，单次噪声很大
    scoring="roc_auc",     # ⭐ 用你真正关心的指标，不是默认的
    random_state=0,
)
for i in r.importances_mean.argsort()[::-1][:10]:
    print(f"{X_val.columns[i]:<28}{r.importances_mean[i]:.4f} "
          f"± {r.importances_std[i]:.4f}")

⚠️ 四个必须注意的点：

⭐ 一个判读技巧：看 mean 有没有超过 std 的两倍。 没超过的，那个"重要性"很可能只是噪声。

🧭 六、什么时候用哪个（决策表）

💀 七、一个真实的"按重要性砍特征"事故

三种谎言里第一种造成的损失，长这个样子：

事后分析砍掉的都是什么：

他们后来改的做法（结果好很多）：

⭐ 第 ④ 步"每砍一组重训一次"是关键： 重要性排名只能告诉你"从哪开始砍"，不能告诉你"砍到哪为止"。 后者只有真删掉重训才知道。这一步贵，但它是唯一诚实的。

🎯 八、两个比"谎言"更隐蔽的陷阱

前面三种是算法本身的问题。下面两个是用法上的，而且更常见。

⚠️ 陷阱一：重要性排名会漂，但你的监控用的是旧排名

⭐ 对策：把"重新计算重要性"绑进重训流程。 每次重训后重新排一次，并且对比上次的排名 —— 排名的剧烈变化本身就是一个值得看的信号（可能意味着数据分布或业务逻辑变了）。

⚠️ 陷阱二：重要性高 ≠ 值得监控

一个能直接用的排序公式：

$$\text{监控优先级}_i \;=\; \underbrace{\text{重要性}_i}_{\text{坏了影响多大}} \times \underbrace{\text{历史波动/故障率}_i}_{\text{有多容易坏}}$$

⭐ 这条公式解决了一个很实际的问题： "该监控哪 10 个特征"不是一个纯建模问题，是「影响 × 概率」的风险问题。 只按重要性排，你会把监控名额浪费在那些根本不会坏的特征上。

🔨 分组置换重要性（应对谎言二，可直接跑）

import numpy as np, pandas as pd
from scipy.cluster.hierarchy import linkage, fcluster
from scipy.spatial.distance import squareform
from sklearn.metrics import roc_auc_score

def grouped_permutation_importance(model, X, y, thr=0.8, n_repeats=5, seed=0):
    """把 |相关系数| > thr 的特征聚成组，整组一起打乱。⭐ 破解「相关特征互相掩盖」"""
    corr = X.corr(numeric_only=True).abs().fillna(0)
    # ⭐ 距离 = 1 - |r|，层次聚类后按阈值切
    d = squareform(1 - corr.values, checks=False)
    labels = fcluster(linkage(d, method="average"), t=1 - thr, criterion="distance")

    rng = np.random.default_rng(seed)
    base = roc_auc_score(y, model.predict_proba(X)[:, 1])
    out = []
    for gid, cols in pd.Series(labels, index=corr.columns).groupby(labels):
        cols = list(cols.index)
        drops = []
        for _ in range(n_repeats):
            Xp = X.copy()
            perm = rng.permutation(len(Xp))
            Xp[cols] = Xp[cols].values[perm]          # ⭐ 整组用同一个置换，保留组内相关结构
            drops.append(base - roc_auc_score(y, model.predict_proba(Xp)[:, 1]))
        out.append((",".join(cols[:3]) + ("…" if len(cols) > 3 else ""),
                    len(cols), np.mean(drops), np.std(drops)))
    return pd.DataFrame(out, columns=["组", "特征数", "重要性", "std"]) \
             .sort_values("重要性", ascending=False)

⭐ 注意注释里那一行：整组必须用同一个置换下标。 如果每列各自独立打乱，组内的相关结构就被破坏了 —— 那衡量的就不再是"这组信息的价值"，而混进了"打破相关性"的额外影响。

⚠️ 特征重要性的七个坑：

⚠️ 九、最后一条，也是最重要的一条

所有特征重要性都是「相关性」，不是「因果」。

💡 一个经典的反例：

🔗 想从「重要」走到「有因果作用」，需要第 13 章的工具。 这是本教程里最容易被误用的一个边界，请记牢。

🔗 十、和站内其他章的关系

✅ 检查点

1. 三类特征重要性各回答什么问题？哪一类不需要标签？
2. 树模型内建重要性偏向什么样的特征？为什么？
3. 「噪声哨兵」实验怎么做？怎么判读？
4. 特征相关时，置换重要性会怎样？三个应对办法是什么？
5. 全局重要性掩盖了什么？举那个使用时长的例子。
6. 置换重要性的四个注意点是什么？
7. 怎么判断一个置换重要性是不是噪声？
8. 「联系客服次数重要」那个例子说明了什么边界？
9. 那个"砍特征"事故里，被砍掉的特征有什么共同点？改进后的五步做法是什么？哪一步最关键？
10. 「重要性排名会漂」为什么对第 5 章的 Top-5 监控是个问题？对策是什么？
11. 为什么「重要性高」不等于「值得监控」？监控优先级该怎么排？
12. 分组置换时，为什么整组必须用同一个置换下标？

🛑 可以停在这里

⚡ 走神救援

⭐ 「特征重要性」是三类算法在回答三个不同的问题：内建（训练时用得多吗——免费，但最不可信）、置换（打乱后性能掉多少——需要标签，筛特征最可靠）、SHAP（单条预测里贡献多少——⭐ 不需要标签，所以线上排查只能用它）。

💀 谎言一：树内建重要性偏向高基数特征（取值多，碰巧找到好分裂点的机会就大）。后果是留下高基数噪声、砍掉有用的二值特征。⭐ 处方是噪声哨兵：加一列纯随机噪声看它排第几——排进前三分之一就说明这个排序不可信，而重要性低于噪声的特征可以删。

💀 谎言二：特征相关时两个都被低估（打乱一个还能从另一个拿到信息），于是可能把两个都删了然后暴跌——解法是分组置换或先按相关性聚类。 💀 谎言三：全局重要性掩盖子群反向效应（同一个特征对新用户为正、对老用户为负，一平均就被盖掉）——关键特征必须分人群看。

⭐⭐ 最重要的边界：所有特征重要性都是相关性，不是因果。 「联系客服次数很重要」是因为用户要流失了才去联系客服，因果方向反了——按它去减少客服入口，只会让流失更快。

💀 那次事故正是谎言一的完整形态：按默认重要性砍掉排名靠后的一批特征，砍掉的全是二值特征、留下的全是高基数噪声，指标当场掉下来。⭐ 改进后的流程是噪声哨兵 → 置换 → 按相关性分组 → 每砍一组重训一次 → 掉幅超过阈值就停，特征砍掉一半多而指标几乎没动、延迟腰斩。⭐ 一句话：排名只告诉你从哪开始砍，不告诉你砍到哪为止。

两个更隐蔽的陷阱：⚠️ 重要性排名会漂，而你的 Top-5 监控用的是训练时的旧排名——把重算重要性绑进重训，排名剧变本身就是信号；⭐ 重要性高不等于值得监控——监控优先级是重要性乘以历史故障率，那个排第一的特征可能永远不会坏。

下一节 👉 10-SHAP能做什么不能做什么.md