📑 本页目录(点开跳转)
赛题理解与数据分析
Kaggle竞赛方法论 / 13
匿名字段里,哪些是时间、目标或评分权重?
从原匿名分析、时间字段、Response 与 Weight 条目查数据含义,再看时序成分和指标。
能组织数据核查问题,定位元数据、时序变换和评分定义。
⏱ 30 分钟 | ⭐⭐ 时序/结构化赛的第一步
🎯 一句话
结构化竞赛里,最快拉开差距的从来不是模型,是「你比别人更早看懂这份数据是什么」。这一章讲的就是那套看数据的方法——尤其是面对匿名特征时怎么反推它们的含义,以及时间字段里藏着的信息和陷阱。
一、结构化竞赛的通用解题流程
| 维度 | 说明 |
|---|---|
| 标准流程 | 赛题理解 → 数据分析 → 特征工程 → 模型构建 → 验证打分 → 模型集成 |
| 初期策略 | 比赛初期先把完整路线走通,能够成功提交,了解比赛全貌后再深入每个细节 |
| 重要性分配 | 数据理解与特征工程占50%,模型集成占30%,模型与超参数调优占20% |
| 核心原则 | 结构化比赛对计算资源友好,CPU即可运行,适合入门学习 |
二、匿名数据的分析方法
| 维度 | 说明 |
|---|---|
| 匿名含义 | 字段含义未给出,但字段本身仍有内容和规律,需要根据分布和属性进行分析 |
| 分析维度 | 字段自身分布、字段与标签的分布关系、字段属性(如时间窗口、指标类型) |
| 相关性分析 | 找到相关性后,可将多个字段组合进行联合分析,构造新特征 |
| 特征分组 | 匿名特征可能成组出现,不同组的编码方式和特征提取方式可能不同,需分类处理 |
三、时间字段与周期分析
| 维度 | 说明 |
|---|---|
| Date字段 | 表示第几天,训练集中通常从0到499取值,500天约等于两年的工作日周期(250天/年) |
| Tsid字段 | 表示具体时间的次序,是累计值而非每天清零,可用于反推原始日期 |
| 日期反推价值 | 若能反推具体日期,可分析节假日、特殊事件对交易的影响 |
| 趋势突变点 | 按Date分组统计特征均值,可能发现某个时间节点前后走势完全不同(如第85天),需决定是否剔除突变前数据 |
| 交易机会密度 | 按天统计交易机会数量,可判断数据粒度(秒级/分钟级),大部分交易日机会数介于2500到5000之间 |
四、Response字段与多标签训练
| 维度 | 说明 |
|---|---|
| Response字段 | 通常有多个(如response_1到response_4及最终response),分别表示不同时间维度的收益 |
| 仅训练集可用 | Response字段只在训练集中出现,测试集中没有 |
| 多标签训练 | 可同时对多个Response字段进行分类训练,相当于增加正则化,稳定模型表现 |
| Loss权重调节 | 不同时间维度的Response重要性不同,可尝试为不同Response分配不同的Loss权重 |
| 相关性注意 | 不同时间维度的Response相关性较大,但并非简单求和关系 |
五、Weight字段与评分逻辑
| 维度 | 说明 |
|---|---|
| 评分公式 | 最终得分 = sum(weight_i * response_i * action_i) / sqrt(sum(weight_i^2)),平摊到每年(除以sqrt(250)) |
| Weight含义 | 可理解为仓位比例或交易金额,训练集和测试集中都包含 |
| Weight为零的处理 | Weight为零时收益为零,训练时可筛选Weight非零的样本参与训练 |
| Weight与Response分离 | 不建议将Weight和Response简单相乘后预测 |
| Action决策 | Response为正时Action应为1(买入/持有),Response为负时Action应为0(卖出/空仓) |
六、特征元数据(features.csv)的利用
| 维度 | 说明 |
|---|---|
| Tag标签体系 | features.csv为每个特征打了Tag标签,相当于One-Hot编码 |
| 特征分类 | 根据Tag可将130个特征分类,理解哪些特征相关、哪些可组合构造新特征 |
| 时间窗口Tag | 区分特征描述的是过去1天、10天还是30天的信息 |
| 指标类型Tag | 区分特征是否与volume、price等指标相关 |
| 构造新特征 | 基于Tag分类,可对同组特征进行交叉、聚合等操作构造新特征 |
七、数据理解的核心要点
| 维度 | 说明 |
|---|---|
| 每条记录含义 | 训练集每行代表一次交易机会,而非某只股票的固定时序记录 |
| 多股票混合 | 数据集可能包含市场上所有股票触发了交易规则的时刻 |
| Feature_0假设 | 特征0有可能是买入/卖出方向的标志 |
| 策略已触发 | 比赛数据集本质是量化公司的交易系统已触发了策略,选手只需判断具体交易动作 |
| 未来收益预测 | Response往往是用未来一段时间的收益来计算,而非过去 |
八、时间序列预测的分类维度
| 维度 | 说明 |
|---|---|
| 按变量数 | 单变量(仅预测一个序列)vs 多变量(同时预测多个相关序列);多变量可拆分为多个单变量问题分别建模 |
| 按预测步长 | 单步预测(仅预测下一个时间点)vs 多步预测(预测未来多个时间点);多步预测常用递归策略或直接多输出策略 |
| 按序列数量 | 单序列 vs 多序列(成千上万条序列);多序列场景下数据预处理非常繁杂 |
| 按预测类型 | 点预测(输出单一值)vs 区间预测(输出置信区间) |
| 变量类型 | 动态变量(随时间变化)vs 静态变量(不随时间变化);DNN模型中需将静态和动态数据分开输入 |
九、时间序列数据的成分分解
| 维度 | 说明 |
|---|---|
| 固有值(Level) | 序列数据本身的数据大小程度;可通过历史中位数或鲁棒性均值衡量 |
| 趋势性(Trend) | 随时间变化的序列变化模式,可为线性或非线性的增加/减少行为;是时间序列预测最大的难题之一 |
| 季节性(Seasonality) | 序列数据随时间变化的重复模式或周期行为,如周度/月度/季度的周期规律 |
| 周期性(Cycle) | 发生频率低于季节性波动,且没有固定变化周期,如经济周期 |
| 噪声(Noise) | 模型无法解释的残差部分 |
| 注意事项 | 并非所有时间序列都同时存在趋势性、周期性和季节性 |
十、GBT模型对趋势性的捕获局限
| 维度 | 说明 |
|---|---|
| 核心问题 | 这里讨论常数叶、轴对齐切分的树: 当时间等特征 x 超出训练已见区间时, 输入仍落到现有叶,不会自动延续持续增长的趋势。 能否捕获季节性还取决于特征与数据。 |
| 根本原因 | 须区分标签 y 的范围: 单棵平方误差回归树以叶内标签均值预测 (非负样本权重时为加权均值), 因此在训练标签范围内。 GBT 则将初始分数与多棵树的实数叶权重相加 (含学习率缩放),并非直接相加梯度, 不受同一标签范围约束。 |
| 影响 | 未来趋势持续上升而模型未表达趋势时,可能低估; 即使某次 GBT 输出超过训练标签最大值, 也不代表会按趋势外推。 |
| 解决方案 | 可先用适合预测期的趋势模型,再用树学残差并还原; 趋势部分本身也须检验。 只换成 NN 不自动获得外推能力, 应通过时间验证比较候选方案。 |
十一、Offset+Log变换(时序数据标准化)
| 维度 | 说明 |
|---|---|
| 问题背景 | 多序列时间序列数据中,不同序列的量纲差异极大 |
| 核心方法 | log(1 + offset * x),其中offset为放缩系数(如0.5) |
| 与log1p的区别 | log1p是 log(1 + x),offset+log引入了可调的放缩系数 |
| 代码示例 | train_log = np.log1p(offset * train_raw),预测还原:pred = np.expm1(pred_log) / offset |
| 核心优势 | 通过调整offset参数,可灵活控制不同序列间量纲差异的压缩程度 |
十二、固有值去除(时序数据去量纲)
| 维度 | 说明 |
|---|---|
| 核心思想 | 在offset+log变换之后,减去每个序列的历史中位数,去除序列的固有值 |
| 实现方式 | train_normalized = train_log - median_per_series |
| 预测还原 | pred_log = pred_normalized + median_per_series,再通过 np.expm1() 和除以offset还原 |
| 核心优势 | 将不同量纲序列的差异压缩到极小范围,使模型更容易学习到波动模式而非绝对大小 |
十三、SMAPE评价指标
| 维度 | 说明 |
|---|---|
| 公式 | 本节选用绝对值分母版本。 对 $n>0$,$S=\frac{1}{n}\sum_{i=1}^{n}s_i$。 当 $|y_i|+|\hat y_i|>0$ 时,$s_i=\frac{2|y_i-\hat y_i|}{|y_i|+|\hat y_i|}$。 $S$ 是比例值,百分数为 $(100S)\%$。 |
| 与MAE/MAPE的关系 | MAE 无固定上界;MAPE 在真实值为 0 时有除零问题。 本节 SMAPE 的分母为真实值与预测值的绝对值之和。 有界但仍对小量级样本敏感,不能一概称为更鲁棒。 |
| 除零处理 | 双方均为 0 时原式为 0/0;本节本地约定该项取 0。 此为教学约定,非已核实的比赛官方规则。 |
| 值域 | 比例值 $S\in[0,2]$,对应 0%~200%,值越小越好。 双方为零按本节约定计 0。 |
Kaggle Web Traffic 的官方评分实现及双方为零规则尚未独立取得;本节公式不冒充该比赛已核实的评分器。实际参赛应以对应官方评分器为准。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| ML基础 04b XGBoost 的推导 | ⭐ 常数叶树在同一叶内输出不变,难以自然延续特征域外趋势;但提升树加法输出可以超出训练标签范围,两者的区别见本章 ✅ 答案。 |
| ML基础 04 决策树与集成学习 | GBT 本身怎么长出来的原理版:分裂准则、随机森林、GBDT(⚠️ 那一章不讲取值范围和外推) |
| ML基础 16 特征工程基础 | 时间字段、周期性、目标变换在这里有原理版 |
| ML基础 13 RNN 与序列建模 | 序列任务的四种形态;⭐ 以及一条对打榜直接有用的结论:时间序列预测上树模型常比 LSTM 强,LSTM 只配当对比基线(⚠️ 那一章不做趋势/季节/噪声的成分拆解,那部分看本章上面那张表) |
✅ 检查点
- 拿到一个结构化赛题,前三步该做什么?
- 面对完全匿名的特征(feature_0...feature_129),有哪些反推手段?
- 时间字段除了「拆成年月日时」,还能挖出什么?
- weight 字段(样本权重)在竞赛里意味着什么?权重为 0 的样本该丢掉吗?
- 为什么树模型(GBT)对趋势性的捕获有天然局限?怎么补救?
- SMAPE 这类指标有什么坑?
👀 答案
- ①看清评价指标(它决定了你优化什么、以及后处理该怎么做)②确认数据的时间/分组结构(这决定验证集怎么切,切错全白费)③看目标变量的分布(是否长尾、是否不均衡、有没有异常值)。⭐ 注意这三步都在建模之前。
- ①看分布形态(离散/连续、取值范围、是否有明显的分箱痕迹)②看和目标的相关性及单调性 ③看特征之间的相关矩阵——高度相关的一组往往是同源衍生 ④看随时间的变化(有些是静态属性,有些是滚动统计)⑤看缺失模式(缺失是否和某个时间段或某类样本绑定)。
- ①周期性(小时/星期/月份,且要用 sin/cos 编码保持环形)②相对时间(距上次事件多久、距某个关键节点多久)——常比绝对时间有用得多 ③时间窗口聚合(近1/7/30天的统计)④数据本身的时间边界(训练集和测试集是否时间不重叠,这决定验证策略)。
- 通常意味着该样本在最终评分里的占比。⚠️权重为 0 的样本不计分,但不一定该丢掉——它们仍然携带特征分布和模式的信息,可以用于训练但不用于评估。正确做法是分别试「丢掉」和「保留但不计入验证分数」两种方案,用 CV 决定。
- 常数叶树对超出已见范围的特征 x仍按现有切分落叶,不能自动沿趋势延续。单棵均值叶回归树的预测在训练标签 y范围内,但不能把这推广成 GBT 的输出限制。手设初始分数为 0,两棵树在某输入上的叶贡献均为 0.7(已含学习率),总分为 1.4;即使训练标签在 [0,1],加法形式也没有该范围约束。这是复算函数形式的教学例,未训练模型。补救可采用趋势模型+树的残差模型,并用时间验证检验;输出超过标签上界不等于学会趋势外推。依据:scikit-learn 叶均值定义、XGBoost 加法模型。
- ①比较方向须先固定误差口径,不能无条件说“预测偏小能刷分”。固定 $y=100$、绝对误差同为 50,预测 50 得 $2\times50/(100+50)\approx66.67\%$,预测 150 得 $2\times50/(100+150)=40\%$;此例低估反而罚得更重,不推出普遍的最优预测策略。②本节绝对值分母版本的单项有界:由 $|y-\hat y|\le|y|+|\hat y|$,分母非零时 $0\le s_i\le2$;$y=0,\hat y=1$ 得 200%,双方为零依本节约定得 0。③小量级敏感、不光滑与无界是不同问题:零附近的相对变化可能影响很大,双方零点还存在不连续,但单项不会超过 200%。可以比较平滑的训练代理损失;在分母加平滑项会改变指标,最终验证和提交评分必须保留对应评分器的原始定义,不能静默替换。
本节回顾
先记住这几件事
- 建模前先看指标、目标分布与时间或分组结构。
- 用分布、相关性、缺失和时间变化理解匿名特征,而不是盲目衍生。
- 预测任务的外推需求与指标特性会影响建模和后处理选择。