📑 本页目录(点开跳转)
07 · 异常值是错还是真
数据这一关 / 07
极端值该删,还是它正是要找的信号?
先区分录入错误和真实极端事件,再查检测方法各自失效的条件。
能用五个问题组织核查,并把检测结果接回原处置手册。
⏱ 42 分钟 | ⭐ 删掉真实的极端值,等于把风控模型的信号删了
🎯 一句话
「异常值」这个词把两种完全相反的东西混成了一个。 一种是录入错误(该修该删),一种是真实的极端事件(恰恰是你最想要的信号)。 这一章不教你怎么"检测异常值"—— 检测很简单, 难的是检测出来之后那个判断:这条到底是错的,还是真的。
🧨 一、先把两种东西分开
同样是「金额 = 8,400,000」这一行 —— 它可能是下面两种完全相反的东西:
| 情况 A:录入错误 | 情况 B:真实极端事件 |
|---|---|
| 单位写错了(元 ↔ 分) | 这是个大客户 |
| 多按了两个 0 | 这是一笔团伙套现 |
| 默认值 999999 混进来 | 这是双十一那天 |
| 传感器坏了返回 -9999 | 这是一次真实的系统雪崩 |
| 该做的:修正 / 删除 / 回溯上游 | 该做的:先保留原始记录并标记,按任务评估处理方式 ⭐ 真实极端事件可能包含重要信号,但不等于正样本 |
💀 这是本章唯一需要记住的事: 在风控、故障预测、医疗、异常检测这些场景里,真实极端事件可能包含重要信号,但「异常值」不等于「正样本」。 未经核实就做
3σ 清洗,可能删掉任务需要的真实事件。
为什么这个错误特别容易犯:因为「去异常值」在几乎所有数据清洗教程里都被写成
一个默认步骤,而不是一个需要论证的决策。它长得像 dropna() 一样人畜无害。
🔍 二、判断「错还是真」的五个问题
检测方法只负责把可疑的行捞出来,捞出来之后按这个顺序问:
流程图
⭐ 第 ⑤ 条可以用描述性统计辅助调查,不能替代真实性核查或处理方案验证。 只在训练数据内探索标签关系、拟合阈值;用与业务一致的时间 / 分组切分验证处理前后的任务质量与稳定性,不用最终测试集标签选择清洗规则。
边际比例为何不够?下面是四种组合等频的手工反例:极端值标记 E、分组 Z,标签 Y = E XOR Z。
| E | Z | Y |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
极端组与总体正样本率都为 1/2,但给定 Z 时,E 能完全确定 Y。因此,边际比例相同不代表没有预测信息。反过来,比例高也可能来自采集偏差、标签泄漏或错误记录,不能证明数值真实;已确认的单位 / 录入错误仍应修正,即使它的正样本率很高。先核对业务单位、原始来源和采集机制,再在训练内分析分群与交互,最后在正确切分的验证集比较保留、修正、截断或删除的影响。
下面的代码只描述第 ⑤ 条的边际比例;它不能核实第 ② 条的字段自洽,也不能自动决定删留:
import numpy as np
def outlier_label_profile(x, y, q=0.999):
"""极端值里的正样本率 vs 总体正样本率。
x: 待检查的数值特征 y: 0/1 标签"""
x, y = np.asarray(x, float), np.asarray(y, int)
thr = np.nanquantile(x, q)
hi = x > thr
base = y.mean()
ext = y[hi].mean() if hi.sum() else float("nan")
return {
"阈值": round(float(thr), 2),
"极端值条数": int(hi.sum()),
"总体正样本率": round(float(base), 5),
"极端值正样本率": round(float(ext), 5),
# 描述性线索:没有通用的 > 3 判定线;高低都不能单独证明真实性或预测价值
"富集倍数": round(float(ext / base), 2) if base > 0 else float("nan"),
}
# 仅在训练数据内探索;同时核对来源、样本量、分群与交互,再做正确切分验证
🛠️ 三、四种检测方法与各自的失效场景
先说结论,再看实测:
| 方法 | 适用 | 💀 什么时候会骗你 |
|---|---|---|
| 3σ | 近似正态、单峰、无极端污染 | 偏态分布(金额、时长、播放量)几乎全错;掩蔽效应:异常值自己把 σ 抬高,把自己藏起来 ⭐ |
| IQR (1.5×) | 比 3σ 稳健,仍假设大致对称 | 长尾分布上会把 7~10% 的正常数据判成异常 ⭐ |
| MAD / robust z | 抗污染最好的单变量方法 | 同样怕重尾;对多峰分布无意义 |
| 孤立森林等无监督 | 多维、说不清规则时 | contamination 是你拍的,它只会照着这个比例给你挑出那么多;不给理由,无法判断"错还是真" |
| 业务规则 | ⭐ 最可靠 | 覆盖不全,且要人来写、要维护 |
实测(10,000 条对数正态"交易额",人为混入 5 条"单位写错乘 100"):
| 方法 | 上界 | 标出条数 | 其中真的是错误 |
|---|---|---|---|
| 3σ | 10,747 | 9 | 5 |
| IQR ×1.5 | 1,650 | 773 💀 | 5 |
| MAD | — | 787 💀 | 5 |
| 先取对数再 3σ | 8,043 | 17 ⭐ | 5 |
| 孤立森林 (contamination=0.001) | — | 10 | 5 |
💀 IQR 那一行是重点:这份数据里一条错误都没有的时候, IQR 依然会把 7.71% 的正常交易判成"异常"。 而先取对数之后,同一份干净数据只有 0.33% 被判为异常。 对偏态数据,「换个尺度」比「换个算法」有用得多。
3σ 的掩蔽效应,实测更吓人(同一份数据,逐步增加录入错误的条数):
| 混入错误数 | 算出来的 σ | 3σ 上界 | 抓到几个 |
|---|---|---|---|
| 0(干净) | 864 | 3,248 | — |
| 5 | 3,347 | 10,747 | 5 / 5 |
| 20 | 2,300 | 7,634 | 18 / 20 |
| 50 | 6,864 | 21,530 | 39 / 50 💀 |
⭐ 掩蔽效应(masking)一句话: 异常值参与了阈值的计算,所以异常值越多,阈值被抬得越高,越抓不住。 干净数据的 3σ 上界是 3,248;混进 50 条错误后变成 21,530(涨了 6.6 倍), 有 11 条错误就这样被自己抬高的阈值放过去了。 所以只要用均值和标准差,就必须迭代:删一轮、重算、再删一轮。 或者干脆改用中位数和 MAD(它们不被极端值带偏)。
能跑的对比代码:
import numpy as np
from sklearn.ensemble import IsolationForest
def detect(x, contamination=0.001):
"""四种方法各标一遍,返回布尔掩码,方便直接对比谁标了谁"""
x = np.asarray(x, float)
out = {}
mu, sd = x.mean(), x.std()
out["3sigma"] = x > mu + 3 * sd
q1, q3 = np.percentile(x, [25, 75])
out["iqr"] = x > q3 + 1.5 * (q3 - q1)
med = np.median(x)
mad = np.median(np.abs(x - med)) + 1e-12
out["mad"] = 0.6745 * (x - med) / mad > 3.5 # ⭐ 中位数版,不怕污染
lx = np.log(np.clip(x, 1e-9, None)) # ⭐ 偏态数据先换尺度
out["log3sigma"] = lx > lx.mean() + 3 * lx.std()
iso = IsolationForest(contamination=contamination,
random_state=0).fit(x.reshape(-1, 1))
out["iforest"] = iso.predict(x.reshape(-1, 1)) == -1
return out
def sigma_clip(x, k=3, rounds=5):
"""⭐ 破解掩蔽效应:迭代地删、重算,直到不再变化"""
x = np.asarray(x, float)
keep = np.ones(len(x), bool)
for _ in range(rounds):
mu, sd = x[keep].mean(), x[keep].std()
new = np.abs(x - mu) <= k * sd
if (new == keep).all():
break
keep = new
return ~keep # True = 被判为异常
# 实测:10000 条对数正态 + 5 条"乘了100"的录入错误
# 3sigma 标 9 条 / IQR 标 773 条(!) / MAD 标 787 条 / log+3sigma 标 17 条
# —— 干净数据上 IQR 也会标 7.71%,取对数后降到 0.33%
⚠️ 孤立森林的
contamination不是"它检测出来的比例",是"你要求它挑出来的比例"。 你填 0.05,它一定会给你 5%,哪怕数据完全干净。 它是一个排序器,不是一个判定器 —— 只能用它的分数排序,然后人去看 Top-N。
💀 四、事故复盘:那个被删掉的 380 万
发生了什么
对照
系统:小额消费信贷的交易反欺诈模型
规模:日均 240 万笔交易,欺诈率约 0.12%(每天约 2,900 笔)
管道:特征工程前有一步"去异常值",对 12 个金额类特征做 3σ 处理
一次例行重构里,有人把这一步从「截断到 3σ 边界」改成了「删除整行」—— 理由写在 PR 描述里,看起来还挺合理:"截断会造成边界堆积,影响分布,直接删更干净。"
金额特征的 3σ 上界是 4.3 万元。而真实欺诈的金额分布是这样的:
| 欺诈类型 | 占欺诈笔数 | 金额中位数 | 超过 4.3 万的比例 |
|---|---|---|---|
| 盗刷 | 71% | 1.8 万 | 6% |
| 团伙套现 | 17% | 6.9 万 | 31% |
| 其他 | 12% | 0.9 万 | 2% |
结果:训练集里的欺诈样本从 8.7 万条降到 6.1 万条, 其中单笔 ≥5 万的大额欺诈只剩下 4%。
为什么没被发现(三条,每条都很典型)
因果链
代价
上线 5 周后风控月报才发现异常:
单笔 ≥5 万元的欺诈漏放金额
| 时点 | 单笔 ≥5 万元的欺诈漏放金额 |
|---|---|
| 上线前 | 月均 41 万元 |
| 上线后 | 月均 306 万元 |
为什么整体指标没有报警
- 累计多损失 ≈ 380 万元
- ⭐ 而同期【整体拦截率】只从 2.31% 掉到 2.24%(-0.07 pp)—— 在所有告警阈值之内。
- 因为大额欺诈只占【笔数】的 1.7%,却占了【金额】的 43%。
💀 这个事故的本质: 口径错配。 模型按「笔数」优化和监控,损失按「金额」结算。 被删掉的那批样本,在笔数口径下是 0.31% 的噪声, 在金额口径下是 43% 的风险敞口。
该补什么
| 缺失 | 补上之后 |
|---|---|
| 清洗步骤没有分标签统计 | 在训练数据内记录极端值的样本量、标签比例与分群 / 交互;富集倍数仅作线索,没有通用 > 3 判定线。核查单位、来源与采集机制,在正确切分验证中比较处理方案 ⭐ |
| 清洗步骤没有留痕 | 每个清洗规则输出「删了多少行、删了哪些行的 id」,进质量报告(第 8 章) |
| 监控只有笔数口径 | 金额类业务同时看金额加权的指标;损失怎么结算,指标就怎么算 ⭐ |
| 默认动作是"删除" | 改成打标记(加一列 is_outlier),删不删由下游模型的训练脚本决定 ⭐ |
⭐ 最后一条是最省事、也最值钱的改法: 不要在清洗层做删除,只在清洗层做标记。 清洗层不知道下游要干嘛 —— 风控模型要那些极端值,销量预测模型不要。 同一份数据,两个模型的"异常值"定义就是不一样的。
🧰 五、处置手册:检测出来之后怎么办
- 能修 → 修(单位换算、去掉多打的 0、查上游)
- 不能修但字段可空 → 置为缺失,交给第 5 章处理
- 不能修且整行不可信 → 删行,⭐ 但要记录 id
- ⭐ 默认动作:留着 + 加一列
is_outlier - 模型怕重尾 → 换尺度(log / 分位数变换)
- 个别算法怕 → 分位截断(winsorize 到 1%/99%)
- 它自成一类 → 单独建模 / 单独一条业务规则
- ⭐ 也留着 + 标记,并把它送进抽样人工核查队列
- ⚠️ 不要"因为不确定所以删掉" —— 那是最坏的选择
⭐ 截断(winsorize)和删除的区别值得单独强调: 截断保留了「这一条存在」和「它很大」这两个信息,只丢掉了「有多大」; 删除把三个信息一起丢了,还顺带改变了样本量和类别比例。 如果非要选一个默认动作,永远选截断,不选删除。
不同模型对极端值的敏感度差很多,这决定了你要不要处理:
| 模型 | 怕不怕极端值 | 说明 |
|---|---|---|
| 线性回归 / 逻辑回归 | 很怕 | 平方损失被单点主导;系数会被拽走 |
| 树模型 / GBDT | 基本不怕 | 只用序关系分裂;极端值和"很大"没区别 ⭐ |
| KNN / K-means / PCA | 很怕 | 全都基于距离,量纲被极端值主导 |
| 神经网络 | 怕(尤其没归一化时) | 梯度爆炸、BN 统计量被带偏 |
💡 一个立刻能用的结论: 如果你用的是 GBDT,绝大多数"去异常值"的步骤可以直接删掉。 它带来的收益接近 0,带来的事故风险却是本章那种。
最后,一个必须区分的情况:
⚠️ 成片出现的"异常值"不是异常值。 昨天 0 条、今天 3,000 条 —— 这不是数据质量问题, 这是上游变更、口径变更,或者真的出事了。 该做的是查第 8 章的时效性与一致性断言, 以及《模型上线之后》的漂移监控,而不是把这 3,000 条清掉。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 第 5 章 · 缺失不是一种东西 | 「置为缺失」之后的处理在那一章;填法选错会把偏差喂进模型 |
| 第 8 章 · 数据质量怎么量 | 把「极端值比例」「删除率」变成可执行断言和门禁 |
| 第 15 章 · 采样偏差 | 删掉极端值就是一次人为的采样偏差,后果和那一章讲的一模一样 |
| Kaggle 01 · 数据策略与特征工程 | 竞赛视角对异常值更激进(分位截断随便用)—— 因为竞赛的评测集和训练集同分布,而线上不是 |
| 上线之后 06 · 数据漂移与概念漂移 | 「成片出现的异常值」多半是漂移或上游事故,处理方式完全不同 |
| ML基础 16 · 特征工程基础 | log 变换、分位数变换、分箱的具体做法 |
✅ 检查点
- 「异常值」被混成一个词的两种东西分别是什么?各自该怎么处理?
- 判断「错还是真」的五个问题是哪些?哪一条能给出确定答案?哪一条在建模时最关键?
- 3σ 的两个失效场景是什么?「掩蔽效应」是怎么回事,实测里混入 50 条错误后阈值变成了多少、漏掉了几条?
- 干净的对数正态数据上,IQR 会把百分之多少判成异常?取对数之后是多少?这说明什么?
- 孤立森林的
contamination参数意味着什么?它应该被当成判定器还是排序器? - 那个 380 万的事故里,被删的样本只占 0.31%,为什么后果这么大?为什么 AUC 没看出来?
- 事故复盘里"最省事也最值钱"的那条改法是什么?为什么清洗层不该做删除?
- 截断和删除的区别是什么?为什么默认该选截断?
- 哪类模型基本不怕极端值?这对"要不要做去异常值"意味着什么?
- 昨天 0 条、今天 3,000 条极端值 —— 该怎么处理?
👀 答案
- 录入错误(核实后修正 / 删除 / 回溯上游)和真实极端事件(先保留原始记录并标记,再按任务验证)。真实极端事件可能有重要信号,但「异常值」不等于「正样本」,不能仅凭标签比例决定删留。
- ①物理/业务上可能吗 ②同行其他字段自洽吗 ③换单位就正常了吗 ④时间上孤立还是成片 ⑤和标签什么关系。只有 ① 能给确定答案(年龄 187 岁一定是错),所以先用它;⑤ 只提供调查线索:比例高不证明真实,比例相同也可能有交互信息(见 XOR 反例)。核对单位、来源和采集机制,在训练内分析分群与交互,并比较正确切分验证下的任务质量与稳定性;已确认的错误即使标签比例高也应修正。
- 失效场景:偏态分布(金额、时长、播放量)和掩蔽效应。掩蔽效应是异常值参与了阈值计算,越多就把阈值抬得越高:干净数据 3σ 上界 3,248,混入 50 条错误后变成 21,530(涨 6.6 倍),只抓到 39/50,漏了 11 条。破解办法是迭代 sigma-clip,或改用中位数 + MAD。
- 7.71%;取对数后 0.33%。说明对偏态数据,「换个尺度」比「换个算法」有用得多。
- 它是「你要求它挑出来的比例」,不是「它检测出来的比例」 —— 填 0.05 它一定给你 5%,哪怕数据全干净。所以只能当排序器(按分数排序、人看 Top-N),不能当判定器;而且它不给理由,没法判断"错还是真"。
- 因为口径错配:模型按「笔数」优化和监控,损失按「金额」结算。被删的大额欺诈只占笔数的 1.7%,却占金额的 43%。AUC 没看出来是因为AUC 是全局排序指标,对最右边那一小撮极不敏感 —— 只掉了 0.006(0.947→0.941),落在正常波动内;整体拦截率也只掉 0.07pp(2.31%→2.24%),在所有告警阈值之内。累计多损失约 380 万元。
- 清洗层只做标记(加一列
is_outlier),不做删除,删不删交给下游训练脚本决定。因为清洗层不知道下游要干嘛 —— 风控模型要那些极端值,销量预测模型不要,同一份数据两个模型的"异常值"定义就不一样。 - 截断保留了「这一条存在」和「它很大」,只丢掉「有多大」;删除把三个信息一起丢了,还改变了样本量和类别比例。所以默认永远选截断。
- 树模型 / GBDT 基本不怕(只用序关系分裂)。意味着用 GBDT 时绝大多数"去异常值"步骤可以直接删掉 —— 收益接近 0,事故风险却是本章那种。
- 不要清掉。 成片出现不是数据质量问题,是上游变更、口径变更,或者真的出事了,该去查时效性/一致性断言和漂移监控。
本节回顾
⚡ 走神救援
⭐ 「异常值」可能是录入错误,也可能是真实极端事件;真实不等于有用,异常也不等于正样本。 未核实就默认做 3σ 删除,可能损失任务需要的事件。先查业务单位、来源与采集机制;已确认的错误即使正样本率高也应修正。
判断「错还是真」问五个问题,⭐ 只有第一个(物理或业务上可不可能)给确定答案;第四个最容易忽略:成片出现的不是异常值,是上游变更或者真出事了,不许清掉;第五个看标签关系,但边际标签比例只作线索:高不证明真实,相同不证明没信号。在训练内检查样本量、分群与交互,再用正确切分验证比较处理前后任务质量与稳定性,不用最终测试集标签挑规则。
检测方法各有失效场景:⭐ 3σ 最怕掩蔽效应——异常值自己参与阈值计算,越多阈值被抬得越高,于是漏掉大半;破解靠迭代裁剪或改用中位数加 MAD。💀 IQR 在干净的对数正态数据上就会误判将近一成,⭐ 对偏态数据换尺度(先取对数)比换算法有用得多。⚠️ 孤立森林的 contamination 是「你要它挑多少」不是「它查出多少」——它只是排序器,不是判定器。
💀 事故的形状:清洗从「截断」改成「删除整行」,而那类欺诈有三成超过上界。⭐ 没被发现是因为三层同时失灵:删掉的占比极小、AUC 只掉零点几个千分点(全局排序指标对最右边一小撮极不敏感)、灰度样本量根本不够。根因是 ⭐ 口径错配——模型按笔数优化,损失按金额结算。
两条处方:⭐ 清洗层只打标记不做删除(它不知道下游要干嘛)、⭐ 截断永远优于删除(截断只丢「有多大」,删除连「存在」都丢了)。最后:GBDT 基本不怕极端值,怕的是线性模型、KNN、PCA 和神经网络。
下一节 👉 08-数据质量怎么量.md