📑 本页目录(点开跳转)
建模方法与策略
Kaggle竞赛方法论 / 14
离线验证,真的模拟了要预测的未来吗?
沿原时间序列交叉验证、滚动特征与建模策略查阅;任务可用信息与条件需分别核对。
能先定位验证划分,再查树模型、深度模型与复合预测的原前提。
⏱ 35 分钟 | ⭐ 时序竞赛的建模主线
🎯 一句话
时间序列「竞赛」和教科书里的时间序列「预测」不是一回事。教科书讲 ARIMA、平稳性检验;竞赛里赢的通常是「把时序问题转成有监督学习问题,然后用树模型 + 大量滚动特征」。这一章讲的就是这条主线,以及什么时候深度学习才真的值得上。
一、时间序列竞赛与传统时序建模的差异
| 维度 |
说明 |
| 传统时序建模 |
对单一时间序列进行预测,强调时间依赖性 |
| 竞赛时序建模 |
数据集中包含多只股票的交易机会混合,每条记录是一次交易机会而非固定时序 |
| 核心区别 |
竞赛中不是对某只股票做连续预测,而是对触发交易规则的时刻做行为判断 |
| 建模目标 |
预测Action(买入/卖出/持有),而非直接预测价格或收益率 |
二、Action标签的构建策略
| 维度 |
说明 |
| Baseline方法 |
Response > 0 时 Action = 1,否则 Action = 0 |
| 回归方法 |
直接对Response进行回归预测,再根据回归结果推导Action,比简单阈值更精细 |
| 多标签分类 |
同时对多个时间维度的Response进行分类,利用不同时间尺度的信息 |
| 强化学习思路 |
构建强化学习模型最大化评分指标,但在当前数据量下有监督方法更有效 |
| 优化方向 |
可尝试将Weight * Response作为额外输出目标,与Response预测联合优化 |
三、时间序列交叉验证策略
| 维度 |
说明 |
| 时序划分原则 |
目标为预测未来时,按时间与信息可用时点划分训练和验证 |
| 滚动窗口验证 |
用前N天训练,后M天验证,逐步滚动,模拟真实交易场景 |
| 扩展窗口验证 |
训练集随时间扩展(如第1-100天、第1-200天、第1-300天),验证集紧随其后 |
| Gap设置 |
按预测期与标签可用时点选择Gap;间隔不能代替特征泄漏检查 |
| 多折验证 |
每一折训练先于验证且同折不交叉;不同折训练窗口可以重叠或逐次扩展 |
时序样本切分策略(带Gap)
| 维度 |
说明 |
| 时序划分原则 |
预测未来时,按时间与信息可用时点划分 |
| Gap设置 |
必要时在训练与验证之间留间隔,同时核对标签与特征可用时点 |
| Web Traffic实例 |
训练数据截止到9月10日,测试数据从9月13日开始,中间有3天Gap |
| Gap的影响 |
Gap应服务于部署与标签延迟假设,不是所有序列必需的固定天数 |
| 滚动窗口 |
用前N天训练,后M天验证,逐步滚动模拟真实预测场景 |
同折不穿越,不代表跨折训练互斥。扩展窗口会复用过去数据;每折的缩放、填补、特征选择等仍只能在该折训练部分拟合。
可跳过:两折索引与树模型外推边界
| 折 | 训练索引 | Gap / 验证索引 |
|---|
| 1 | 0–3 | 留4;验证5、6 |
| 2 | 0–5 | 留6;验证7、8 |
这是等间隔、按时间排序且训练标签届时已可用的手设索引,Gap=1个样本,不是1个自然日。第二折训练包含第一折部分验证时段的已知历史,这是滚动评估的正常做法;每次仍须早于本折预测时点。真实预测期、标签延迟或重叠目标可能要求不同Gap/隔离;不规则时间轴要按时间段另行定义。依据:TimeSeriesSplit 官方定义与gap参数。
特征域外趋势,与训练标签范围是两件事。常数叶、轴对齐切分的树对超出已见特征范围的输入通常仍落到现有叶中,不能自然延续线性趋势;但不能把这写成“所有GBT预测必在训练标签最小/最大值之间”。提升树按实数叶权重相加,不等同单棵均值叶回归树。
手设两棵树在某输入上的叶输出各为0.7,求和即1.4;即使训练标签曾在[0,1],加法形式本身没有自动的[0,1]约束。这是说明函数形式的算例,不是实际训练出的模型或收益实验。需要非负/概率等约束时,应明确目标、链接函数或后处理并独立验证;“换成NN”也不自动保证趋势外推。依据:XGBoost 官方加法模型与实数叶权重。
四、树模型在时序竞赛中的应用
| 维度 |
说明 |
| LightGBM |
处理结构化数据效率高,支持时序交叉验证(lgb.cv),可输出每折AUC及方差 |
| XGBoost |
与LightGBM类似,正则化更强,适合小数据集 |
| CatBoost |
自动处理类别特征,对匿名特征有一定优势 |
| 特征重要性 |
树模型可输出特征重要性,辅助理解哪些特征对预测最有价值 |
| 时序特性 |
树模型本身不捕捉时间依赖,需通过特征工程引入时间信息 |
五、深度学习模型在时序竞赛中的应用
| 维度 |
说明 |
| LSTM/GRU |
捕捉时间序列的长期依赖关系,适合单只股票的连续预测 |
| Transformer |
自注意力机制可捕捉全局时间依赖,但需要大量数据 |
| MLP |
简单多层感知机,对每条记录独立预测,不依赖时间顺序 |
| 混合模型 |
树模型 + 深度学习模型集成,利用各自优势 |
| 资源考量 |
深度学习需要GPU,树模型CPU即可,根据资源选择 |
六、特征工程在时序竞赛中的关键作用
| 维度 |
说明 |
| 滞后特征 |
构造过去N天的特征值作为当前预测的输入 |
| 滚动统计 |
计算过去N天的均值、标准差、最大/最小值等统计量 |
| 时间差特征 |
计算当前时刻与上次交易的时间间隔 |
| 交叉特征 |
多个特征之间的交互(如特征0 * 特征1、特征0 / 特征2) |
| Tag分组特征 |
根据features.csv的Tag标签,对同组特征进行聚合 |
趋势特征衍生
| 维度 |
说明 |
| 核心思想 |
用短期统计量与长期统计量的差值/比值来表征趋势强度 |
| 短期-长期差值 |
trend_feature = recent_week_median - historical_median |
| 短期-长期比值 |
trend_ratio = recent_week_median / historical_median |
| 典型应用 |
Web Traffic TOP8方案中,计算不同周流量中位数减去历史112天中位数 |
| 核心优势 |
将趋势信息显式编码为特征,弥补GBT等模型对趋势捕获能力不足的问题 |
七、模型集成在时序竞赛中的重要性
| 维度 |
说明 |
| 集成收益 |
模型集成占30%重要性,超过超参数调优(20%) |
| 多样性来源 |
不同模型结构(树模型+深度学习)、不同超参数、不同随机种子、不同Fold |
| 简单投票 |
两个得分5000+的模型直接投票/平均,可得到6000+的分数 |
| 加权平均 |
根据各模型在验证集上的表现分配权重 |
| Stacking |
将Base模型的预测结果作为Meta模型的输入特征 |
八、复合预测策略(简单模型+复杂模型)
| 维度 |
说明 |
| 核心思想 |
将复杂模型与简单模型结合,简单模型拟合趋势/固有值,复杂模型拟合残差 |
| 典型组合一 |
线性回归拟合趋势 → 残差用NN或GBT拟合 |
| 典型组合二 |
移动平均/中位数模型拟合固有值 → 残差用DNN拟合 |
| 典型组合三 |
ARIMA/Prophet拟合趋势+季节性 → 残差用GBT拟合 |
| 中位数模型+DNN |
Web Traffic TOP8方案的核心策略 |
| 预测还原 |
final_pred = simple_model_pred + complex_model_residual_pred |
| 核心优势 |
简单模型处理趋势/固有值,复杂模型专注于残差中的非线性模式 |
九、SMAPE作为损失函数
| 维度 |
说明 |
| 核心原则 |
损失函数应与评价指标一致,使模型直接面向评价指标优化 |
| 实现方式 |
当比赛评价指标为SMAPE时,NN模型的损失函数直接设为SMAPE |
| 代码示例 |
loss = 2 * torch.abs(y_pred - y_true) / (torch.abs(y_pred) + torch.abs(y_true) + eps) |
| 除零保护 |
分母加入极小值eps(如1e-8)防止除零 |
| 核心优势 |
模型优化方向与评价标准完全一致 |
十、DNN时序架构(多输入+Skip Connection)
| 维度 |
说明 |
| 多输入设计 |
main_input(动态特征)+ side_input(静态特征)+ aux_input(辅助特征),需使用Keras Functional API |
| Skip Connection |
将concat后的原始输入x0与经过Dense层后的x通过短接连接 |
| 网络结构 |
Dense → BN → Dropout → Dense → BN → Dropout,常规全连接堆叠 |
| Embedding处理 |
类别特征经Embedding后需Flatten才能与数值特征Concatenate |
| 动态特征选择 |
Web Traffic TOP8方案中DNN仅使用8个趋势型动态特征,效果出奇地好 |
| 架构建议 |
参考Kaggle上类似场景的NN结构,直接迁移并微调 |
十一、取整技巧(整数型目标变量后处理)
| 维度 |
说明 |
| 问题背景 |
流量/销量等目标变量本质是整数,但NN回归输出为浮点数 |
| 阈值截断 |
预测值小于offset*offset时直接置为0,消除极小预测值 |
| 取整操作 |
对最终预测结果做 round() 取整 |
| 效果 |
Web Traffic方案中,取整后SMAPE显著降低 |
| 核心优势 |
零成本的后处理技巧,对整数型目标变量的预测任务普遍有效 |
十二、神经网络交叉验证集成
| 维度 |
说明 |
| 核心思路 |
训练多个NN模型(不同随机种子/不同fold),对预测结果取中位数 |
| Web Traffic实例 |
设置NBAG=20,训练20个NN模型,最终取20个预测结果的中位数 |
| 与Snapshot Ensemble |
Snapshot Ensemble是另一种NN集成方法:训练100轮,取最后10轮的模型快照做集成 |
| NN的随机性问题 |
NN训练过程中随机性对结果影响明显,集成可有效降低方差 |
| 实现方式 |
final_pred = np.median(predictions, axis=0) |
十三、时序竞赛的做赛节奏
| 维度 |
说明 |
| 初期 |
赛题理解 + Baseline跑通,精度收益最大 |
| 中期 |
数据分析 + 特征工程 + 模型选择,持续精度提升 |
| 后期 |
模型集成 + 超参数调优,精度收益逐渐减小 |
| 调参时机 |
调参应放在最后阶段,不是首要步骤 |
| 验证优先 |
每次尝试都应在验证集上评估,确认有效后再提交线上 |
十四、深度学习时序模型进阶
N-BEATS
| 维度 |
说明 |
| 核心思想 |
纯前向网络堆叠,每层包含两个残差分支:趋势分支(多项式)和季节性分支(傅里叶) |
| 双残差结构 |
层间残差连接(反向) + 层内残差连接(前向) |
| 可解释性 |
趋势和季节性分量可单独可视化 |
| 竞赛表现 |
M4竞赛冠军方案,单变量预测SOTA |
| 适用场景 |
单变量时序预测,趋势和季节性明显的序列 |
N-HiTS
| 维度 |
说明 |
| 核心改进 |
在N-BEATS基础上引入多速率信号采样和层级结构 |
| 多速率 |
不同层处理不同频率的信号(高层低频/趋势,低层高频/细节) |
| 优势 |
比N-BEATS参数更少,长序列预测更准确 |
| 适用场景 |
长序列多步预测 |
PatchTST
| 维度 |
说明 |
| 核心思想 |
将时序数据切分为Patch(类似ViT对图像的处理),用Transformer建模 |
| Patch切分 |
将长度L的序列切为N个长度P的Patch,步长S |
| 通道独立 |
每个变量独立建模,避免多变量间的噪声干扰 |
| 优势 |
比传统Transformer时序模型更高效,长序列预测SOTA |
| 适用场景 |
多变量长序列预测 |
TimesNet
| 维度 |
说明 |
| 核心思想 |
将1D时序变换为2D张量,用2D卷积捕捉多周期内和周期间变化 |
| FFT周期发现 |
用快速傅里叶变换自动发现序列中的主要周期 |
| 2D卷积 |
在2D张量上用Inception模块提取特征 |
| 优势 |
同时捕捉周期内模式(行方向)和周期间模式(列方向) |
| 竞赛表现 |
2023年时序预测榜单SOTA |
| 模型 |
核心改进 |
适用场景 |
| Informer |
ProbSparse注意力,O(LlogL)复杂度 |
长序列预测 |
| Autoformer |
自相关机制替代自注意力,分解趋势+季节 |
趋势季节性明显 |
| FEDformer |
频域注意力,傅里叶/小波变换 |
频域特征明显 |
时序深度模型选择决策
| 场景 |
推荐模型 |
理由 |
| 短序列单变量 |
LSTM / N-BEATS |
成熟稳定 |
| 长序列多步预测 |
PatchTST / N-HiTS |
长序列SOTA |
| 多周期序列 |
TimesNet |
自动发现周期 |
| 多变量预测 |
PatchTST(通道独立) |
避免变量间噪声 |
| 趋势季节性明显 |
Autoformer / N-BEATS |
显式分解趋势季节 |
| 快速实验 |
LSTM / GRU |
实现简单 |
🔗 这一章连到哪里
✅ 检查点
- 时序竞赛和传统时序建模最大的差异是什么?
- 把时序问题转成监督学习问题时,最关键的设计是什么?
- 时序交叉验证为什么不能用随机 KFold?正确的做法有哪些?
- 什么时候深度学习模型在时序竞赛里才真的比树模型强?
- 「复合预测策略」(简单模型 + 复杂模型)是什么思路?
- 整数型目标变量的取整技巧有什么讲究?
👀 答案
- 传统时序建模关注单条序列的统计性质(平稳性、自相关、季节分解),竞赛通常是成百上千条序列 + 大量协变量,此时「跨序列共享模式」比「单序列建模」更重要——所以主流做法是把它当成有监督学习:每一行是「某序列在某时刻」,特征是历史的滚动统计。
- 特征只能用预测时点之前的信息,且要和预测的时间跨度对齐。具体说:如果要预测未来 7 天,那么构造特征时必须模拟「站在 7 天前」的信息状态,不能用到那 7 天内的任何数据。⚠️ 这是时序竞赛最高频的泄漏来源,比随机 KFold 还隐蔽。
- 因为随机 KFold 会用未来预测过去。正确做法:①TimeSeriesSplit(滚动或扩展窗口,训练永远在验证之前)②Purged K-Fold + Embargo(训练和验证之间留空档,因为标签是用未来一段时间算的,紧邻的样本信息重叠)③验证集的时间跨度要和测试集一致。
- ①序列数量非常多且共享强模式(能学到跨序列的表示)②有丰富的协变量特别是非结构化的(文本、图像)③需要长程依赖而滚动特征表达不了 ④多步预测且要建模步间依赖。⚠️ 中小规模的纯数值时序,树模型 + 好特征通常仍然更强且更省事。
- 用简单模型(如移动平均、线性趋势)先抓住主体规律,再用复杂模型学它的残差。好处:①简单模型的部分天然能外推(补上了树模型不能外推的短板)②整体更稳,复杂模型只需要学「偏差」这个更简单的目标 ③出问题时容易定位是哪一层的问题。
- 不要无脑四舍五入。取整的最优阈值取决于评价指标的不对称性——比如 SMAPE 或某些偏向低估的指标下,向下取整可能系统性更优。正确做法:在验证集上搜索取整的偏移量(如 round(x + δ),扫 δ ∈ [−0.5, 0.5]),⭐ 这是一个几乎零成本、经常有效的后处理。
本节回顾
先记住这几件事
- 把时序转成监督学习时,特征只能使用预测时点之前可获得的信息。
- 验证窗口与预测跨度要对应,存在重叠信息时处理边界隔离。
- 趋势、残差与跨序列模式可以分别建模,再用同一验证方案比较。
打卡记录保存在你的浏览器里,首页能看到总进度