数据泄露与外部数据利用

⏱ 30 分钟 ｜ ⭐⭐ 最贵的一类错误

🎯 一句话

数据泄露是竞赛里最贵的错误——因为它看起来像成功。分数很高，你高高兴兴提交，然后 LB 崩掉。这一章把泄露分成目标泄露、时间泄露、测试集泄露三类，每一类都给出识别信号和排查方法。

一、数据泄露概述

1.1 什么是数据泄露

1.2 数据泄露分类

二、目标泄露

2.1 常见目标泄露场景

2.2 目标泄露检测方法

2.3 防止目标泄露的Pipeline

1. 划分训练集/验证集
2. 在训练集上fit所有转换器(Scaler/Encoder/Imputer)
3. 用fit好的转换器transform验证集
4. 在训练集上做特征选择
5. 用选出的特征训练模型
6. 在验证集上评估

三、时间泄露

3.1 时间泄露场景

3.2 时序赛正确验证方式

3.3 Embargo与Purged CV

四、测试集泄露

4.1 训练集与测试集重叠检测

4.2 重叠样本的利用策略

4.3 测试集分布探测

五、外部数据利用

5.1 外部数据使用原则

5.2 外部数据类型

5.3 外部数据有效性验证

5.4 外部数据常见陷阱

六、对抗验证实战

6.1 对抗验证流程

1. 给训练集打标签0，测试集打标签1
2. 合并训练集和测试集
3. 训练二分类器(如LightGBM)区分训练/测试
4. 分析AUC:
   - AUC ≈ 0.5: 训练/测试分布一致，随机划分即可
   - AUC > 0.7: 分布差异大，需要调整验证策略
   - AUC > 0.9: 分布差异极大，需要重采样
5. 利用预测概率:
   - 训练样本被预测为测试集的概率越高，越接近测试集分布
   - 用这个概率做样本权重或重采样

6.2 对抗验证的应用

6.3 对抗验证的局限

七、伪标签策略

7.1 伪标签基本流程

1. 用训练集训练模型
2. 对测试集推理，得到预测概率
3. 选择高置信度(如>0.95)的测试样本
4. 将这些样本加入训练集(用预测值作为标签)
5. 重新训练模型
6. 重复2~5(迭代式伪标签)

7.2 伪标签策略对比

7.3 伪标签注意事项

八、合规边界

8.1 合规与违规的判断

8.2 灰色地带

🔗 这一章连到哪里

✅ 检查点

1. 为什么说数据泄露是「最贵」的错误？
2. 目标泄露的典型信号是什么？怎么快速排查？
3. 时间泄露有哪些隐蔽的形式？
4. 什么是测试集泄露？在什么情况下它是「允许利用」的？
5. 对抗验证怎么用来发现泄露和分布问题？
6. 外部数据的合规边界在哪？

🛑 可以停在这里

⚡ 走神救援
⭐数据泄露是最贵的错误，因为它看起来像成功——其他错误一眼能看见，泄露给你的是漂亮的分数，你基于它做所有后续决策直到提交才发现全错。目标泄露的信号：CV 飙到不合理的高度 + 某一个特征占了绝大部分重要性；排查：把最高的那个特征拿掉重跑，断崖下跌就是它，再确认「预测时点真能拿到吗」。时间泄露的隐蔽形式：用了预测时点之后的统计量、随机 KFold 切时序、标签用未来一段时间算而训练验证紧挨着（需要 embargo）、全局归一化用了测试集统计量、ID 本身编码了时间顺序。测试集特征（不含标签）做半监督/伪标签通常允许（要先确认规则），而利用文件元数据、ID 规律属于灰色地带甚至禁止。⭐对抗验证：训分类器区分训练集/测试集，AUC>0.5 说明分布不同，看它的特征重要性能揪出元凶特征，还能挑「最像测试集」的样本做验证集。外部数据看三条：规则怎么写、数据许可证、是否造成不公平优势。