07 · 异常值是错还是真

⏱ 48 分钟 ｜ ⭐ 删掉真实的极端值，等于把风控模型的信号删了

🎯 一句话

「异常值」这个词把两种完全相反的东西混成了一个。 一种是录入错误（该修该删），一种是真实的极端事件（恰恰是你最想要的信号）。 这一章不教你怎么"检测异常值"—— 检测很简单， 难的是检测出来之后那个判断：这条到底是错的，还是真的。

🧨 一、先把两种东西分开

同样是「金额 = 8,400,000」这一行 —— 它可能是下面两种完全相反的东西：

💀 这是本章唯一需要记住的事： 在风控、故障预测、医疗、异常检测这些场景里，「异常值」和「正样本」是同一批数据。 一个无脑的 3σ 清洗 步骤，删的不是噪声，是你的全部信号。

为什么这个错误特别容易犯：因为「去异常值」在几乎所有数据清洗教程里都被写成 一个默认步骤，而不是一个需要论证的决策。它长得像 dropna() 一样人畜无害。

🔍 二、判断「错还是真」的五个问题

检测方法只负责把可疑的行捞出来，捞出来之后按这个顺序问：

   ① 它在物理上/业务上可能吗？
      · 年龄 187 岁、订单金额为负、经纬度在海里 → 一定是错
      · 单笔 840 万、连续 300 次点击     → 可能是真的
      ⭐ 只有这一条能给出确定答案，先用它

   ② 同一行的其他字段自洽吗？          ⭐⭐ 最有用的一条
      · 金额 840 万，但商品是"9.9 元包邮" → 错
      · 金额 840 万，商户类目是"大宗贸易" → 真

   ③ 换个单位/量纲就正常了吗？
      · 除以 100 之后落回正常范围 → 单位混用（分 vs 元）
      · 正好是 32767 / 65535 / 2147483647 → 溢出截断

   ④ 它在时间上是孤立的还是成片的？
      · 孤立一条 → 更像录入错误
      · 某一天集中出现几百条 → 上游变更、口径变了、或真的出事了
      ⭐ 成片出现基本不是"异常值"，是数据事故或真实事件

   ⑤ 它和标签的关系是什么？            ⭐⭐ 建模时最关键的一条
      · 极端值里的正样本率远高于总体 → 这是信号，绝对不能删
      · 极端值里正负样本比例和总体一样 → 大概率是噪声

⭐ 第 ⑤ 条应该写成一段代码，在任何清洗动作之前跑一次。 它只要三行，却能拦住本章那个 380 万的事故。

② 和 ⑤ 落成代码长这样：

import numpy as np

def outlier_label_profile(x, y, q=0.999):
    """极端值里的正样本率 vs 总体正样本率。
    x: 待检查的数值特征   y: 0/1 标签"""
    x, y = np.asarray(x, float), np.asarray(y, int)
    thr = np.nanquantile(x, q)
    hi = x > thr
    base = y.mean()
    ext = y[hi].mean() if hi.sum() else float("nan")
    return {
        "阈值": round(float(thr), 2),
        "极端值条数": int(hi.sum()),
        "总体正样本率": round(float(base), 5),
        "极端值正样本率": round(float(ext), 5),
        # ⭐ 这个倍数 > 3 就说明极端值是信号，任何"删除"都要重新论证
        "富集倍数": round(float(ext / base), 2) if base > 0 else float("nan"),
    }

# ⭐ 规矩：清洗脚本里每一处会丢弃数据的地方，都要先打印这个 profile

🛠️ 三、四种检测方法与各自的失效场景

先说结论，再看实测：

实测（10,000 条对数正态"交易额"，人为混入 5 条"单位写错乘 100"）：

💀 IQR 那一行是重点：这份数据里一条错误都没有的时候， IQR 依然会把 7.71% 的正常交易判成"异常"。 而先取对数之后，同一份干净数据只有 0.33% 被判为异常。 对偏态数据，「换个尺度」比「换个算法」有用得多。

3σ 的掩蔽效应，实测更吓人（同一份数据，逐步增加录入错误的条数）：

⭐ 掩蔽效应（masking）一句话： 异常值参与了阈值的计算，所以异常值越多，阈值被抬得越高，越抓不住。 干净数据的 3σ 上界是 3,248；混进 50 条错误后变成 21,530（涨了 6.6 倍）， 有 11 条错误就这样被自己抬高的阈值放过去了。 所以只要用均值和标准差，就必须迭代：删一轮、重算、再删一轮。 或者干脆改用中位数和 MAD（它们不被极端值带偏）。

能跑的对比代码：

import numpy as np
from sklearn.ensemble import IsolationForest

def detect(x, contamination=0.001):
    """四种方法各标一遍，返回布尔掩码，方便直接对比谁标了谁"""
    x = np.asarray(x, float)
    out = {}
    mu, sd = x.mean(), x.std()
    out["3sigma"] = x > mu + 3 * sd

    q1, q3 = np.percentile(x, [25, 75])
    out["iqr"] = x > q3 + 1.5 * (q3 - q1)

    med = np.median(x)
    mad = np.median(np.abs(x - med)) + 1e-12
    out["mad"] = 0.6745 * (x - med) / mad > 3.5     # ⭐ 中位数版，不怕污染

    lx = np.log(np.clip(x, 1e-9, None))             # ⭐ 偏态数据先换尺度
    out["log3sigma"] = lx > lx.mean() + 3 * lx.std()

    iso = IsolationForest(contamination=contamination,
                          random_state=0).fit(x.reshape(-1, 1))
    out["iforest"] = iso.predict(x.reshape(-1, 1)) == -1
    return out

def sigma_clip(x, k=3, rounds=5):
    """⭐ 破解掩蔽效应：迭代地删、重算，直到不再变化"""
    x = np.asarray(x, float)
    keep = np.ones(len(x), bool)
    for _ in range(rounds):
        mu, sd = x[keep].mean(), x[keep].std()
        new = np.abs(x - mu) <= k * sd
        if (new == keep).all():
            break
        keep = new
    return ~keep      # True = 被判为异常

# 实测：10000 条对数正态 + 5 条"乘了100"的录入错误
#   3sigma 标 9 条 / IQR 标 773 条(!) / MAD 标 787 条 / log+3sigma 标 17 条
#   —— 干净数据上 IQR 也会标 7.71%，取对数后降到 0.33%

⚠️ 孤立森林的 contamination 不是"它检测出来的比例"，是"你要求它挑出来的比例"。 你填 0.05，它一定会给你 5%，哪怕数据完全干净。 它是一个排序器，不是一个判定器 —— 只能用它的分数排序，然后人去看 Top-N。

💀 四、事故复盘：那个被删掉的 380 万

发生了什么

   系统：小额消费信贷的交易反欺诈模型
   规模：日均 240 万笔交易，欺诈率约 0.12%（每天约 2,900 笔）
   管道：特征工程前有一步"去异常值"，对 12 个金额类特征做 3σ 处理

一次例行重构里，有人把这一步从「截断到 3σ 边界」改成了「删除整行」—— 理由写在 PR 描述里，看起来还挺合理："截断会造成边界堆积，影响分布，直接删更干净。"

金额特征的 3σ 上界是 4.3 万元。而真实欺诈的金额分布是这样的：

结果：训练集里的欺诈样本从 8.7 万条降到 6.1 万条， 其中单笔 ≥5 万的大额欺诈只剩下 4%。

为什么没被发现（三条，每条都很典型）

   ① 被删的行只占总样本的 0.31%
      —— 任何"删除率"类的粗粒度检查都不会响
      💀 因为分母是 240 万笔正常交易，而欺诈本来就只有 0.12%

   ② 离线 AUC 从 0.947 → 0.941（-0.006）
      —— 落在周与周之间的正常波动区间内，没人多看一眼
      💀 AUC 是全局排序指标，对"最右边那一小撮"极不敏感 ⭐

   ③ 灰度期两周，大额欺诈一天只有几十笔
      —— 样本量根本不足以在两周内看出差别

代价

   上线 5 周后风控月报才发现异常：

   单笔 ≥5 万元的欺诈漏放金额
     上线前：月均  41 万元
     上线后：月均 306 万元
     累计多损失 ≈ 380 万元

   ⭐ 而同期【整体拦截率】只从 2.31% 掉到 2.24%（-0.07 pp）
      —— 在所有告警阈值之内。
      因为大额欺诈只占【笔数】的 1.7%，却占了【金额】的 43%。

💀 这个事故的本质： 口径错配。 模型按「笔数」优化和监控，损失按「金额」结算。 被删掉的那批样本，在笔数口径下是 0.31% 的噪声， 在金额口径下是 43% 的风险敞口。

该补什么

⭐ 最后一条是最省事、也最值钱的改法： 不要在清洗层做删除，只在清洗层做标记。 清洗层不知道下游要干嘛 —— 风控模型要那些极端值，销量预测模型不要。 同一份数据，两个模型的"异常值"定义就是不一样的。

🧰 五、处置手册：检测出来之后怎么办

⭐ 截断（winsorize）和删除的区别值得单独强调： 截断保留了「这一条存在」和「它很大」这两个信息，只丢掉了「有多大」； 删除把三个信息一起丢了，还顺带改变了样本量和类别比例。 如果非要选一个默认动作，永远选截断，不选删除。

不同模型对极端值的敏感度差很多，这决定了你要不要处理：

💡 一个立刻能用的结论： 如果你用的是 GBDT，绝大多数"去异常值"的步骤可以直接删掉。 它带来的收益接近 0，带来的事故风险却是本章那种。

最后，一个必须区分的情况：

⚠️ 成片出现的"异常值"不是异常值。 昨天 0 条、今天 3,000 条 —— 这不是数据质量问题， 这是上游变更、口径变更，或者真的出事了。 该做的是查第 8 章的时效性与一致性断言， 以及《模型上线之后》的漂移监控，而不是把这 3,000 条清掉。

🔗 这一章连到哪里

✅ 检查点

1. 「异常值」被混成一个词的两种东西分别是什么？各自该怎么处理？
2. 判断「错还是真」的五个问题是哪些？哪一条能给出确定答案？哪一条在建模时最关键？
3. 3σ 的两个失效场景是什么？「掩蔽效应」是怎么回事，实测里混入 50 条错误后阈值变成了多少、漏掉了几条？
4. 干净的对数正态数据上，IQR 会把百分之多少判成异常？取对数之后是多少？这说明什么？
5. 孤立森林的 contamination 参数意味着什么？它应该被当成判定器还是排序器？
6. 那个 380 万的事故里，被删的样本只占 0.31%，为什么后果这么大？为什么 AUC 没看出来？
7. 事故复盘里"最省事也最值钱"的那条改法是什么？为什么清洗层不该做删除？
8. 截断和删除的区别是什么？为什么默认该选截断？
9. 哪类模型基本不怕极端值？这对"要不要做去异常值"意味着什么？
10. 昨天 0 条、今天 3,000 条极端值 —— 该怎么处理？

🛑 可以停在这里

⚡ 走神救援

⭐⭐「异常值」混了两种相反的东西：录入错误（该修该删）和真实极端事件（正是你的信号）。💀在风控/故障预测/医疗/异常检测里，异常值和正样本是同一批数据，一个默认的 3σ 清洗步骤删的就是全部信号 —— 它危险就危险在长得像 dropna() 一样人畜无害。判断「错还是真」问五个问题：①物理/业务上可能吗（只有这条给确定答案）②同行其他字段自洽吗 ③换单位就正常了吗（除以 100 落回正常 = 分/元混用；正好 32767/65535 = 溢出）④孤立还是成片（成片出现的不是异常值，是上游变更或真出事了，不许清掉）⑤⭐⭐和标签什么关系 —— 极端值的正样本富集倍数 >3 就绝不能删，这三行代码该跑在每一个丢弃数据的地方之前。检测方法各有失效场景：3σ 怕偏态、更怕⭐⭐掩蔽效应（异常值参与阈值计算，越多阈值被抬得越高：干净数据上界 3,248，混进 50 条错误后变 21,530，涨 6.6 倍，只抓到 39/50）——破解靠迭代 sigma-clip 或改用中位数+MAD；💀IQR 在干净的对数正态数据上就会把 7.71% 判成异常，而先取对数再判只有 0.33% ——对偏态数据换尺度比换算法有用得多；⚠️孤立森林的 contamination 是"你要它挑多少"不是"它查出多少"，它只是排序器不是判定器，而且不给理由。💀事故：反欺诈管道把 3σ「截断」改成「删除整行」，上界 4.3 万，而团伙套现类欺诈有 31% 超过它 —— 欺诈样本从 8.7 万降到 6.1 万，大额欺诈只剩 4%。没被发现是因为被删的只占总样本 0.31%、AUC 只掉 0.006（全局排序指标对最右边一小撮极不敏感）、灰度两周样本量根本不够。5 周后月报才看出来：单笔 ≥5 万的漏放从 41 万/月涨到 306 万/月，累计多损失 380 万，而整体拦截率只掉 0.07pp（2.31%→2.24%），在所有阈值之内。根因是⭐口径错配 —— 模型按笔数优化，损失按金额结算：大额欺诈占笔数 1.7%、占金额 43%。改法四条，最值钱的是⭐⭐清洗层只打标记不做删除（清洗层不知道下游要干嘛，风控要极端值、销量预测不要）。处置手册：确认是错就修/置缺失/删行留 id；确认是真就留着+标记，模型怕重尾就换尺度或分位截断；判断不了也留着，⚠️「因为不确定所以删掉」是最坏的选择。⭐截断永远优于删除（截断只丢"有多大"，删除连"存在"和样本量、类别比例一起改了）。最后：GBDT 基本不怕极端值（只用序关系分裂），所以用 GBDT 时大多数去异常值步骤可以直接删掉；线性模型、KNN/K-means/PCA、神经网络才真的怕。

下一节 👉 08-数据质量怎么量.md