10 · SHAP：能做什么、不能做什么

⏱ 42 分钟 ｜ ⭐ 线上排查的主力工具

🎯 一句话

SHAP 把一条预测拆成「基准值 + 每个特征的贡献」，而且这些贡献严格加起来等于预测值。 它是唯一能解释单条预测、又不需要标签的工具 —— 这两条让它成为线上排查的主力。

🧮 一、它在算什么

$$\text{预测值} = \underbrace{\phi_0}_{\text{基准（全体平均预测）}} + \sum_{i} \phi_i$$

💡 人话：

「这个用户的评分是 0.83。全体平均是 0.40， 其中 +0.25 来自他的会员身份，+0.15 来自浏览时长，−0.02 来自地域…… 加起来正好 0.83。」

φᵢ 怎么来的（Shapley 值的直觉）

💡 为什么要「对所有顺序取平均」：因为特征之间有交互。 「会员身份」在已知「浏览时长很高」时的边际贡献， 和在什么都不知道时是不一样的。取平均是为了公平分配交互带来的收益。

⚠️ 代价：所有顺序有 n! 种，精确计算是指数级的。 实际都用近似 —— 这正是下一节要说的。

🔧 二、三种实现，别用错

⭐ 一个关键事实：只有 TreeSHAP 是精确且快的。 树模型能利用树结构在多项式时间内精确算出 Shapley 值 —— 这是 SHAP 在工业界（大量用 GBDT）流行的直接原因。

⚠️ 如果你用 KernelSHAP 解释一个大模型，它可能要跑几分钟一条 —— 线上排查用不了。

import numpy as np
import shap

# 树模型：首选
explainer = shap.TreeExplainer(model)
sv = explainer.shap_values(X_sample)      # ⭐ 快且精确

# 验证可加性（值得跑一次确认没用错）
recon = explainer.expected_value + sv.sum(axis=1)
assert np.allclose(recon, model.predict(X_sample, raw_score=True), atol=1e-6)

⚠️ 一个高频错误：分类模型要注意你解释的是 logit 还是概率。 TreeSHAP 默认在 raw score（logit）空间做分解 —— 可加性在 logit 上成立，在概率上不成立（因为中间隔了个 sigmoid）。

👍 三、SHAP 能做的四件事

① 解释单条预测 ⭐ —— 线上排查的核心用法

② 找出异常预测的原因

🔗 这是第 11 章排查手册里最有效的一步。

③ 依赖图：看特征的真实作用形态

④ 全局重要性（取绝对值平均）

$$\text{全局重要性}_i = \frac{1}{n}\sum_{j=1}^{n}|\phi_i^{(j)}|$$

⚠️ 注意要取绝对值：否则正负会抵消，一个强特征可能显示为 0。

❌ 四、SHAP 不能做的三件事（边界）

① 它不是因果

🔑 一句话记住：SHAP 解释的是模型，不是世界。 模型学错了，SHAP 会忠实地把那个错误解释给你听。 🔗 因果问题 → 第 13 章

② 特征相关时，归因会「串味」

对策：结合相关矩阵一起看，高相关的特征当成一组解读（和第 9 章同一个建议）。

③ 它解释不了「模型没学到的东西」

🚀 五、线上用 SHAP 的三个工程注意

⭐ 第三条容易被忽略：如果你的背景集是半年前的训练集， 而线上流量已经漂移了，那个「基准值」就不再有意义 —— 所有 SHAP 值都会有一个系统性的偏移。 定期更新背景集。

🔨 六、把"对比异常批次"写成代码

第三节说这是排查里最有效的一步。它值得一段完整的实现。

import numpy as np, pandas as pd, shap

def shap_diff(model, X_normal, X_abnormal, top=10):
    """找出「异常批次」相对「正常批次」是哪些特征的贡献变了。
       ⭐ 这是线上排查最有效的一步：它直接指向出问题的特征"""
    ex = shap.TreeExplainer(model)
    sv_n = ex.shap_values(X_normal)
    sv_a = ex.shap_values(X_abnormal)

    rows = []
    for i, c in enumerate(X_normal.columns):
        dn, da = sv_n[:, i].mean(), sv_a[:, i].mean()      # ⭐ 不取绝对值：方向很重要
        rows.append({
            "特征": c,
            "正常均贡献": round(dn, 4),
            "异常均贡献": round(da, 4),
            "贡献变化": round(da - dn, 4),                  # ⭐ 排查看的是【这一列】
            "特征值变化": round(X_abnormal[c].mean() - X_normal[c].mean(), 4),
        })
    df = pd.DataFrame(rows)
    df["排序键"] = df["贡献变化"].abs()
    return df.sort_values("排序键", ascending=False).head(top).drop(columns="排序键")

⭐ 注意最后两列要一起看： - 贡献变化大 + 特征值变化大 → 这个特征的数据出问题了（查上游） - 贡献变化大 + 特征值几乎没变 → 💀 模型换版本了，或者特征顺序错位（第 4 章）

这两种情况的处理完全不同，而只看其中一列区分不出来。

⚡ 性能：什么规模下用什么

💀 七、SHAP 最常见的误用：被当成因果拿去做产品决策

第四节的边界①很抽象。这是它在现实里长的样子：

为什么会这样：

⭐ 第三层最容易被忽略，也最深： 你按 SHAP 的结论去改产品，会改变数据分布，从而让那个结论失效。 这和第 7 章的完播率事故是同一个机制（Goodhart）， 只不过这次是人在优化那个指标，而不是模型。

🔑 一句可以直接用的话术（在会议上很有用）： 「SHAP 告诉我们模型在用什么，不告诉我们改变什么会有用。 想知道后者，只有做实验。」 🔗 能做实验 → 第 12 章；不能做 → 第 13 章。

⚠️ SHAP 使用的七个坑：

💡 最后一条值得展开：单条 SHAP 只告诉你"这条预测是怎么构成的"， 不告诉你"这个构成正不正常"。 用户问"我为什么被拒"时，前者就够； 但排查线上问题时，你要的永远是"和平时比变了什么"。

🧭 八、和第 9 章合起来：一张选择表

🔗 九、和站内其他章的关系

✅ 检查点

1. SHAP 的可加性是什么？为什么它值钱？
2. Shapley 值的直觉是什么？为什么要对所有顺序取平均？
3. 三种实现里哪个是精确且快的？这解释了什么现象？
4. 分类模型用 SHAP 时最容易犯什么错？
5. SHAP 能做的四件事？哪两件是排查时最有用的？
6. 为什么说「SHAP 解释的是模型，不是世界」？
7. 特征相关时 SHAP 会怎样？
8. 背景数据集选错了会有什么后果？
9. 做异常批次 SHAP 对比时，为什么「贡献变化」和「特征值变化」两列要一起看？各自指向什么？
10. TreeSHAP 和 KernelSHAP 的速度差多少？这决定了什么？
11. 「加购次数」那个事故里，真实的因果结构是什么？三层损失分别是什么？
12. 为什么说「你按 SHAP 的结论改产品，会让那个结论失效」？
13. 「只解释单条不看批次对比」为什么是个坑？

🛑 可以停在这里

⚡ 走神救援

⭐ SHAP = 把一条预测拆成「基准 + 每个特征的贡献」，且严格加起来等于预测值。 它是唯一能解释单条、又不需要标签的工具，所以是线上排查主力。

三种实现里只有 TreeSHAP 又精确又快——这就是 SHAP 在工业界流行的直接原因（大家都用 GBDT）。KernelSHAP 单条要几秒，线上用不了，两者差四个数量级，这是「能不能用」的区别。

⭐ 排查最有效的一步是「异常批次 vs 正常批次」的 SHAP 对比，而且要同时看两列：贡献变了、特征值也变了 = 输入出问题，去查上游；贡献变了但特征值没变 = 💀 模型换了版本或特征顺序错位。

❌ 三条边界：它不是因果（SHAP 解释的是模型，不是世界——模型学错了它会忠实地把错误解释给你听）、特征相关时归因会串味、没进特征的因素它永远不会提。

💀 最常见的误用是把 SHAP 当因果做产品决策：看到「加购贡献第二」就加了三个加购入口，结果加购涨了、复购反而跌。真相是购买意愿同时导致加购和复购，两者是同一个原因的两个结果。

⭐ 记住这句话：「SHAP 告诉我们模型在用什么，不告诉我们改变什么会有用。」

下一节 👉 11-从告警到根因.md ⭐