09 · 特征重要性的三种谎言

   ⭐ 关键区别：

   ① 看的是【训练过程】       → 和你现在的数据无关
   ② 看的是【模型性能】       → 需要有标签
   ③ 看的是【单条预测的构成】 → 不需要标签  ⭐

   现象：把「用户ID」这种几乎唯一的特征扔进 GBDT
        → 它的重要性经常排第一  💀

   原因：树在选分裂点时，取值越多的特征
        【碰巧能找到一个好分裂点】的机会就越大
        → gain 被系统性高估

import pandas as pd
import numpy as np

# ⭐ 加一列纯随机噪声，看它的重要性排到第几
X["__random_noise__"] = np.random.rand(len(X))
model.fit(X, y)
imp = pd.Series(model.feature_importances_, index=X.columns).sort_values(ascending=False)
rank = list(imp.index).index("__random_noise__")
print(f"纯噪声排在第 {rank+1} / {len(imp)} 位")
# 如果它排进了前 1/3 → 你的重要性排序不可信

   假设 f1 和 f2 高度相关（比如「年收入」和「月收入」）

   置换重要性的表现：
   打乱 f1 → 模型还能从 f2 拿到信息 → 性能几乎不掉
   打乱 f2 → 同理
   → 【两个都显示不重要】  💀

   → 你可能把两个都删了，然后性能暴跌

   ① 分组置换 ⭐ —— 把相关特征作为一组一起打乱
   ② 先聚类：算特征相关矩阵，把高相关的归组，按组看重要性
   ③ 逐个删除法：真删掉重训，看性能变化（最准，最贵）

   全局看：「使用时长」重要性排第 3，方向是正的（用得多→留存高）

   分人群看：
   · 新用户：使用时长 ↑ → 留存 ↑     （正）
   · 老用户：使用时长 ↑ → 留存 ↓     ⭐（负！可能是在反复找不到东西）

   → 平均之后，负的被正的盖掉了
   → 你完全看不到老用户那个反向信号

from sklearn.inspection import permutation_importance

r = permutation_importance(
    model, X_val, y_val,
    n_repeats=10,          # ⭐ 必须重复多次，单次噪声很大
    scoring="roc_auc",     # ⭐ 用你真正关心的指标，不是默认的
    random_state=0,
)
for i in r.importances_mean.argsort()[::-1][:10]:
    print(f"{X_val.columns[i]:<28}{r.importances_mean[i]:.4f} "
          f"± {r.importances_std[i]:.4f}")

   某电商 CTR 模型，特征从 180 个膨胀到 340 个，推理延迟从 18ms 涨到 41ms
   → 决定砍特征，目标是砍掉一半

   做法：用 LightGBM 的 feature_importances_（默认 split gain）排序
        砍掉排名后 170 的特征，重训

   结果：AUC 0.812 → 0.784（−0.028），线上 CTR −2.1%   💀

   ⭐ 一眼就能看出的规律：被砍的全是【二值特征】，留下的全是【高基数特征】
      —— 这正是谎言一预测的结果

   ① 先加一列纯噪声，跑一次「噪声哨兵」        → 发现噪声排到第 44 名 🔴
   ② 换成 permutation importance，n_repeats=10
   ③ 先算相关矩阵，把 |r| > 0.8 的特征聚成组，【按组算重要性】
   ④ 从最不重要的一组开始，【每砍一组重训一次】看 AUC
   ⑤ 砍到 AUC 掉幅 > 0.002 就停

   最终：340 → 156 个特征，AUC 0.812 → 0.809（−0.003），延迟 41ms → 21ms  ✅

   [第 5 章](05-该监控什么.html)建议「只监控 Top-5 重要特征」
   → 但那个 Top-5 是【训练时】算出来的

   半年后：
   · 业务变了，某个当时排第 30 的特征现在实际排第 2
   · 你的监控还盯着当初那五个
   → 真正重要的那个特征坏了，没人知道  💀

   特征 A：重要性排第 1，但它是「用户注册天数」——
           每天 +1，极其稳定，一百年也不会出问题

   特征 B：重要性排第 12，但它来自一个每天要 join 五张表的实时管道，
           过去半年坏过三次

   ⭐ 该重点盯哪个？显然是 B。

import numpy as np, pandas as pd
from scipy.cluster.hierarchy import linkage, fcluster
from scipy.spatial.distance import squareform
from sklearn.metrics import roc_auc_score

def grouped_permutation_importance(model, X, y, thr=0.8, n_repeats=5, seed=0):
    """把 |相关系数| > thr 的特征聚成组，整组一起打乱。⭐ 破解「相关特征互相掩盖」"""
    corr = X.corr(numeric_only=True).abs().fillna(0)
    # ⭐ 距离 = 1 - |r|，层次聚类后按阈值切
    d = squareform(1 - corr.values, checks=False)
    labels = fcluster(linkage(d, method="average"), t=1 - thr, criterion="distance")

    rng = np.random.default_rng(seed)
    base = roc_auc_score(y, model.predict_proba(X)[:, 1])
    out = []
    for gid, cols in pd.Series(labels, index=corr.columns).groupby(labels):
        cols = list(cols.index)
        drops = []
        for _ in range(n_repeats):
            Xp = X.copy()
            perm = rng.permutation(len(Xp))
            Xp[cols] = Xp[cols].values[perm]          # ⭐ 整组用同一个置换，保留组内相关结构
            drops.append(base - roc_auc_score(y, model.predict_proba(Xp)[:, 1]))
        out.append((",".join(cols[:3]) + ("…" if len(cols) > 3 else ""),
                    len(cols), np.mean(drops), np.std(drops)))
    return pd.DataFrame(out, columns=["组", "特征数", "重要性", "std"]) \
             .sort_values("重要性", ascending=False)

   模型说「特征 X 重要」的意思是：
   「在我学到的这个函数里，X 的变化会影响输出」

   它【不】意味着：
   · 现实中改变 X 会改变结果       ← 这是因果，需要第 13 章的方法
   · X 是原因而不是结果            ← 可能反了

   预测「用户是否会流失」，发现「联系客服次数」重要性很高、方向为正
   → 结论：「让用户少联系客服就能降低流失」？❌

   真相：用户是【因为要流失了（遇到问题）】才联系客服
   → 因果方向反了
   → 按这个结论去「减少客服入口」，只会让流失更快  💀