🏠 总目录📚 本教程 13 · 赛题理解与数据分析 ← →
📑 本页目录(点开跳转)

赛题理解与数据分析

Kaggle竞赛方法论 / 13

匿名字段里,哪些是时间、目标或评分权重?

从原匿名分析、时间字段、Response 与 Weight 条目查数据含义,再看时序成分和指标。

能组织数据核查问题,定位元数据、时序变换和评分定义。

⏱ 30 分钟 | ⭐⭐ 时序/结构化赛的第一步


🎯 一句话

结构化竞赛里,最快拉开差距的从来不是模型,是「你比别人更早看懂这份数据是什么」。这一章讲的就是那套看数据的方法——尤其是面对匿名特征时怎么反推它们的含义,以及时间字段里藏着的信息和陷阱。


一、结构化竞赛的通用解题流程

维度 说明
标准流程 赛题理解 → 数据分析 → 特征工程 → 模型构建 → 验证打分 → 模型集成
初期策略 比赛初期先把完整路线走通,能够成功提交,了解比赛全貌后再深入每个细节
重要性分配 数据理解与特征工程占50%,模型集成占30%,模型与超参数调优占20%
核心原则 结构化比赛对计算资源友好,CPU即可运行,适合入门学习

二、匿名数据的分析方法

维度 说明
匿名含义 字段含义未给出,但字段本身仍有内容和规律,需要根据分布和属性进行分析
分析维度 字段自身分布、字段与标签的分布关系、字段属性(如时间窗口、指标类型)
相关性分析 找到相关性后,可将多个字段组合进行联合分析,构造新特征
特征分组 匿名特征可能成组出现,不同组的编码方式和特征提取方式可能不同,需分类处理

三、时间字段与周期分析

维度 说明
Date字段 表示第几天,训练集中通常从0到499取值,500天约等于两年的工作日周期(250天/年)
Tsid字段 表示具体时间的次序,是累计值而非每天清零,可用于反推原始日期
日期反推价值 若能反推具体日期,可分析节假日、特殊事件对交易的影响
趋势突变点 按Date分组统计特征均值,可能发现某个时间节点前后走势完全不同(如第85天),需决定是否剔除突变前数据
交易机会密度 按天统计交易机会数量,可判断数据粒度(秒级/分钟级),大部分交易日机会数介于2500到5000之间

四、Response字段与多标签训练

维度 说明
Response字段 通常有多个(如response_1到response_4及最终response),分别表示不同时间维度的收益
仅训练集可用 Response字段只在训练集中出现,测试集中没有
多标签训练 可同时对多个Response字段进行分类训练,相当于增加正则化,稳定模型表现
Loss权重调节 不同时间维度的Response重要性不同,可尝试为不同Response分配不同的Loss权重
相关性注意 不同时间维度的Response相关性较大,但并非简单求和关系

五、Weight字段与评分逻辑

维度 说明
评分公式 最终得分 = sum(weight_i * response_i * action_i) / sqrt(sum(weight_i^2)),平摊到每年(除以sqrt(250))
Weight含义 可理解为仓位比例或交易金额,训练集和测试集中都包含
Weight为零的处理 Weight为零时收益为零,训练时可筛选Weight非零的样本参与训练
Weight与Response分离 不建议将Weight和Response简单相乘后预测
Action决策 Response为正时Action应为1(买入/持有),Response为负时Action应为0(卖出/空仓)

六、特征元数据(features.csv)的利用

维度 说明
Tag标签体系 features.csv为每个特征打了Tag标签,相当于One-Hot编码
特征分类 根据Tag可将130个特征分类,理解哪些特征相关、哪些可组合构造新特征
时间窗口Tag 区分特征描述的是过去1天、10天还是30天的信息
指标类型Tag 区分特征是否与volume、price等指标相关
构造新特征 基于Tag分类,可对同组特征进行交叉、聚合等操作构造新特征

七、数据理解的核心要点

维度 说明
每条记录含义 训练集每行代表一次交易机会,而非某只股票的固定时序记录
多股票混合 数据集可能包含市场上所有股票触发了交易规则的时刻
Feature_0假设 特征0有可能是买入/卖出方向的标志
策略已触发 比赛数据集本质是量化公司的交易系统已触发了策略,选手只需判断具体交易动作
未来收益预测 Response往往是用未来一段时间的收益来计算,而非过去

八、时间序列预测的分类维度

维度 说明
按变量数 单变量(仅预测一个序列)vs 多变量(同时预测多个相关序列);多变量可拆分为多个单变量问题分别建模
按预测步长 单步预测(仅预测下一个时间点)vs 多步预测(预测未来多个时间点);多步预测常用递归策略或直接多输出策略
按序列数量 单序列 vs 多序列(成千上万条序列);多序列场景下数据预处理非常繁杂
按预测类型 点预测(输出单一值)vs 区间预测(输出置信区间)
变量类型 动态变量(随时间变化)vs 静态变量(不随时间变化);DNN模型中需将静态和动态数据分开输入

九、时间序列数据的成分分解

维度 说明
固有值(Level) 序列数据本身的数据大小程度;可通过历史中位数或鲁棒性均值衡量
趋势性(Trend) 随时间变化的序列变化模式,可为线性或非线性的增加/减少行为;是时间序列预测最大的难题之一
季节性(Seasonality) 序列数据随时间变化的重复模式或周期行为,如周度/月度/季度的周期规律
周期性(Cycle) 发生频率低于季节性波动,且没有固定变化周期,如经济周期
噪声(Noise) 模型无法解释的残差部分
注意事项 并非所有时间序列都同时存在趋势性、周期性和季节性

十、GBT模型对趋势性的捕获局限

维度 说明
核心问题 这里讨论常数叶、轴对齐切分的树:
当时间等特征 x 超出训练已见区间时,
输入仍落到现有叶,不会自动延续持续增长的趋势。
能否捕获季节性还取决于特征与数据。
根本原因 须区分标签 y 的范围:
单棵平方误差回归树以叶内标签均值预测
(非负样本权重时为加权均值),
因此在训练标签范围内。
GBT 则将初始分数与多棵树的实数叶权重相加
(含学习率缩放),并非直接相加梯度,
不受同一标签范围约束。
影响 未来趋势持续上升而模型未表达趋势时,可能低估;
即使某次 GBT 输出超过训练标签最大值,
也不代表会按趋势外推。
解决方案 可先用适合预测期的趋势模型,再用树学残差并还原;
趋势部分本身也须检验。
只换成 NN 不自动获得外推能力,
应通过时间验证比较候选方案。

十一、Offset+Log变换(时序数据标准化)

维度 说明
问题背景 多序列时间序列数据中,不同序列的量纲差异极大
核心方法 log(1 + offset * x),其中offset为放缩系数(如0.5)
与log1p的区别 log1p是 log(1 + x),offset+log引入了可调的放缩系数
代码示例 train_log = np.log1p(offset * train_raw),预测还原:pred = np.expm1(pred_log) / offset
核心优势 通过调整offset参数,可灵活控制不同序列间量纲差异的压缩程度

十二、固有值去除(时序数据去量纲)

维度 说明
核心思想 在offset+log变换之后,减去每个序列的历史中位数,去除序列的固有值
实现方式 train_normalized = train_log - median_per_series
预测还原 pred_log = pred_normalized + median_per_series,再通过 np.expm1() 和除以offset还原
核心优势 将不同量纲序列的差异压缩到极小范围,使模型更容易学习到波动模式而非绝对大小

十三、SMAPE评价指标

维度 说明
公式 本节选用绝对值分母版本。
对 $n>0$,$S=\frac{1}{n}\sum_{i=1}^{n}s_i$。
当 $|y_i|+|\hat y_i|>0$ 时,$s_i=\frac{2|y_i-\hat y_i|}{|y_i|+|\hat y_i|}$。
$S$ 是比例值,百分数为 $(100S)\%$。
与MAE/MAPE的关系 MAE 无固定上界;MAPE 在真实值为 0 时有除零问题。
本节 SMAPE 的分母为真实值与预测值的绝对值之和。
有界但仍对小量级样本敏感,不能一概称为更鲁棒。
除零处理 双方均为 0 时原式为 0/0;本节本地约定该项取 0。
此为教学约定,非已核实的比赛官方规则。
值域 比例值 $S\in[0,2]$,对应 0%~200%,值越小越好。
双方为零按本节约定计 0。

Kaggle Web Traffic 的官方评分实现及双方为零规则尚未独立取得;本节公式不冒充该比赛已核实的评分器。实际参赛应以对应官方评分器为准。


🔗 这一章连到哪里

去哪为什么
ML基础 04b XGBoost 的推导⭐ 常数叶树在同一叶内输出不变,难以自然延续特征域外趋势;但提升树加法输出可以超出训练标签范围,两者的区别见本章 ✅ 答案。
ML基础 04 决策树与集成学习GBT 本身怎么长出来的原理版:分裂准则、随机森林、GBDT(⚠️ 那一章不讲取值范围和外推)
ML基础 16 特征工程基础时间字段、周期性、目标变换在这里有原理版
ML基础 13 RNN 与序列建模序列任务的四种形态;⭐ 以及一条对打榜直接有用的结论:时间序列预测上树模型常比 LSTM 强,LSTM 只配当对比基线(⚠️ 那一章不做趋势/季节/噪声的成分拆解,那部分看本章上面那张表)

✅ 检查点

  1. 拿到一个结构化赛题,前三步该做什么?
  2. 面对完全匿名的特征(feature_0...feature_129),有哪些反推手段?
  3. 时间字段除了「拆成年月日时」,还能挖出什么?
  4. weight 字段(样本权重)在竞赛里意味着什么?权重为 0 的样本该丢掉吗?
  5. 为什么树模型(GBT)对趋势性的捕获有天然局限?怎么补救?
  6. SMAPE 这类指标有什么坑?
👀 答案
  1. ①看清评价指标(它决定了你优化什么、以及后处理该怎么做)②确认数据的时间/分组结构(这决定验证集怎么切,切错全白费)③看目标变量的分布(是否长尾、是否不均衡、有没有异常值)。⭐ 注意这三步都在建模之前。
  2. ①看分布形态(离散/连续、取值范围、是否有明显的分箱痕迹)②看和目标的相关性及单调性 ③看特征之间的相关矩阵——高度相关的一组往往是同源衍生 ④看随时间的变化(有些是静态属性,有些是滚动统计)⑤看缺失模式(缺失是否和某个时间段或某类样本绑定)。
  3. ①周期性(小时/星期/月份,且要用 sin/cos 编码保持环形)②相对时间(距上次事件多久、距某个关键节点多久)——常比绝对时间有用得多 ③时间窗口聚合(近1/7/30天的统计)④数据本身的时间边界(训练集和测试集是否时间不重叠,这决定验证策略)。
  4. 通常意味着该样本在最终评分里的占比。⚠️权重为 0 的样本不计分,但不一定该丢掉——它们仍然携带特征分布和模式的信息,可以用于训练但不用于评估。正确做法是分别试「丢掉」和「保留但不计入验证分数」两种方案,用 CV 决定。
  5. 常数叶树对超出已见范围的特征 x仍按现有切分落叶,不能自动沿趋势延续。单棵均值叶回归树的预测在训练标签 y范围内,但不能把这推广成 GBT 的输出限制。手设初始分数为 0,两棵树在某输入上的叶贡献均为 0.7(已含学习率),总分为 1.4;即使训练标签在 [0,1],加法形式也没有该范围约束。这是复算函数形式的教学例,未训练模型。补救可采用趋势模型+树的残差模型,并用时间验证检验;输出超过标签上界不等于学会趋势外推。依据:scikit-learn 叶均值定义、XGBoost 加法模型。
  6. ①比较方向须先固定误差口径,不能无条件说“预测偏小能刷分”。固定 $y=100$、绝对误差同为 50,预测 50 得 $2\times50/(100+50)\approx66.67\%$,预测 150 得 $2\times50/(100+150)=40\%$;此例低估反而罚得更重,不推出普遍的最优预测策略。②本节绝对值分母版本的单项有界:由 $|y-\hat y|\le|y|+|\hat y|$,分母非零时 $0\le s_i\le2$;$y=0,\hat y=1$ 得 200%,双方为零依本节约定得 0。③小量级敏感、不光滑与无界是不同问题:零附近的相对变化可能影响很大,双方零点还存在不连续,但单项不会超过 200%。可以比较平滑的训练代理损失;在分母加平滑项会改变指标,最终验证和提交评分必须保留对应评分器的原始定义,不能静默替换。

本节回顾

先记住这几件事

  • 建模前先看指标、目标分布与时间或分组结构。
  • 用分布、相关性、缺失和时间变化理解匿名特征,而不是盲目衍生。
  • 预测任务的外推需求与指标特性会影响建模和后处理选择。
打卡记录保存在你的浏览器里,首页能看到总进度