跳到主要内容
🏠 总目录📚 本教程 16 · 特征工程基础 ← →
📑 本页目录(点开跳转)

16 / 先运行,再对照

先问预测那一刻,
这个信息拿得到吗?

预测未来时,哪些信息当时已经知道?

好特征不仅要有用,还必须在真实预测时可获得;预处理也只能在训练数据上拟合。

按预测时点审查特征可用性,把拟合、编码与筛选限定在正确的折和时间范围。

先抓住一个具体结果

过去 7 天,与未来 7 天

预测明天是否流失,可以使用预测时点之前 7 天的行为。把之后 7 天的行为填进特征,即使分数大涨,也是偷看未来。

16 · 特征工程基础

⏱ 28 分钟 | ⭐ 表格数据的胜负手


🎯 一句话

「数据和特征决定了上限,模型只是逼近这个上限。」 在表格数据上,好特征带来的提升通常远大于换模型。


🧭 零、特征工程的两条心法

操作步骤

  1. 你在做的事:把【模型学不到的知识】喂给它
  2. 模型能自己学的:单调关系、简单阈值、(树模型)低阶交互
  3. 模型学不到的: 你的领域知识
  4. · "这个字段是身份证号,前 6 位是地区"
  5. · "订单金额除以商品数才是真正有意义的量"
  6. · "凌晨 3 点下单的用户和白天的是两类人"
  7. ⭐ 特征工程的价值 = 你知道多少模型不知道的事

操作步骤

  1. 特征工程的效率法则:先广后深
  2. ❌ 精雕细琢 3 个特征,每个花 2 小时
  3. ✅ 快速造 30 个特征,跑一遍 CV,留下有用的 10 个 ⭐
  4. 理由:你对"哪个特征有用"的直觉【经常是错的】,
  5. 让数据告诉你,比你想更快

⚠️ 但"造 30 个特征"必须配一条纪律: 每加一批特征就跑一次 CV 并记录,否则加到第 30 个时你不知道是哪个在起作用(甚至有的在拖后腿)。


🧹 一、数据清洗:先把地基弄干净

缺失值

策略 什么时候用
删行 缺失极少(<1%)
删列 该列缺失 >50% 且没有业务含义
均值/中位数填充 数值特征,用中位数更稳(抗离群值)
众数填充 类别特征
单独当一类 ⭐ 缺失本身有意义("未填写收入"可能就是信号)
树模型直接不管 ⭐ LightGBM/XGBoost 原生支持缺失值,且能学到"缺失往哪边走"
# 🧩 骨架:`df` 来自你自己的代码,这一段只看写法
# ⭐ 加一列"是否缺失",常常比填充值本身更有用
df["income_missing"] = df["income"].isna().astype(int)
df["income"] = df["income"].fillna(df["income"].median())

离群值

关键信息

  • 先问:它是【错误】还是【真实的极端值】?
  • 错误(年龄=999)→ 修正或删除
  • 真实(土豪用户)→ 别删!用变换压缩:log1p、分位数裁剪

🔢 二、数值特征的四种变换

变换 做什么 什么时候用
标准化 按训练列统计量做 (x−μ_train)/σ_train 距离/梯度/正则受量纲影响时常用(见第3章),仍需按模型与验证结果选择
MinMax缩放(按列) 先减训练列最小值,再除以训练列极差;非恒定训练列映到[0,1] 需要约定训练范围时;新样本可能越界,异常值仍影响极值
log1p ⭐ log(1+x) 长尾分布(金额、播放量、点赞数)
分箱 连续值切成区间 想让模型学非线性;或减少离群值影响

“归一化”先问沿哪条轴做。上表MinMax和标准化都按列(特征)使用训练集统计量;Normalizer(norm="l2")则对每行(样本)除以自身长度,不学习训练列的均值或极值。后者保留方向、去掉整体长度,适合方向有意义且特征量纲可比较的场景,不是MinMax的另一个名字。

同叫归一化,算的不是一件事

按列MinMax:训练这一列只有0和10,固定范围设为[0,1]。训练值映到0和1;新样本20仍用训练极值,得到 $(20-0)/(10-0)=2$,不会自动落回[0,1]。clip=True才把它截到1,但这会丢掉越界幅度,也不解决分布漂移。

按行L2:对一行 $(3,4)$,长度为 $\sqrt{3^2+4^2}=5$,所以变为 $(0.6,0.8)$,长度为1。这里没有查别的样本;它既不把每列极值映到0/1,也不让每列均值变0。

边界一起记:只在训练部分(交叉验证时是当前训练折)fit列统计,再原样transform验证/未来样本;标准化不等于变成高斯分布。异常值会影响均值、方差及MinMax极值,可比较用中位数/IQR的 RobustScaler。常数列不能手除以0:StandardScaler用缩放因子1,默认中心化后训练常数列为0;MinMax也要使用库的常数列处理或移除无信息列。按行L2遇零向量应保留零或明确其他约定,不能直接套除法。

🔗 先回看第3章标准化,实战流程接Kaggle数据策略与特征工程;不要为选缩放器在全量数据上fit。

📚 缩放术语与API边界

核对 预处理指南、StandardScaler、MinMaxScaler、Normalizer与RobustScaler。上面两个算例是给定数值的教学手算,不是模型效果测量。

import numpy as np, pandas as pd

df["log_amount"] = np.log1p(df["amount"])              # 长尾必备
df["age_bin"] = pd.qcut(df["age"], q=10, labels=False, duplicates="drop")  # 等频分箱

🔗 推荐算法第 7 章讲的分箱→Embedding,就是这个思路在深度模型里的版本。


🏷️ 三、类别特征(最容易出事的地方)

编码 做法 注意
One-Hot 每个取值一列 名义类别的候选;类别数、稀疏支持与资源开销需验证
Label/序数编码 映射成 0,1,2... 真实有序变量可按顺序编码;名义类别的任意编号会引入伪顺序,普通阈值树也受影响
目标编码 ⭐ 用该类别的目标均值代替 效果好但极易泄漏,见下
频次编码 用出现次数代替 不使用标签,但频次统计仍须限定训练集及预测时点
Embedding 学一个低维向量 按任务、样本覆盖与预算比较;整数是查表索引,不强加数值距离(推荐算法第7章)

💀 目标编码的泄漏陷阱

结果对照

❌ 错误:用全部数据算每个类别的目标均值
每一行都"看到"了自己的标签→严重泄漏→CV 虚高、上线崩
✅ 正确:K 折内部编码(Out-of-Fold)
算第 i 折的编码时,只用其他 K−1 折的数据
+ 平滑:样本少的类别向全局均值收缩
# 带平滑的 OOF 目标编码
import numpy as np
def target_encode_oof(df, col, target, n_splits=5, smooth=20):
    from sklearn.model_selection import KFold
    # 先验与类别统计均只使用当前训练折
    oof = np.full(len(df), np.nan)
    for tr_idx, va_idx in KFold(n_splits, shuffle=True, random_state=0).split(df):
        global_mean = df.iloc[tr_idx][target].mean(); stats = df.iloc[tr_idx].groupby(col)[target].agg(["mean", "count"])
        # 平滑:count 少时向当前训练折均值靠拢
        smoothed = (stats["mean"]*stats["count"] + global_mean*smooth) / (stats["count"]+smooth)
        oof[va_idx] = df.iloc[va_idx][col].map(smoothed).fillna(global_mean).values
    return oof

此函数只给当前训练子集生成 OOF 特征。做外层交叉验证时须在每个外层训练折内重做;外层验证/测试只能使用该训练折拟合的类别映射及先验。示例 KFold 适用于独立样本;时序、用户分组需改用相应切分。

🔗 这是第 5 章数据泄漏在特征工程里最常见的形态。 Kaggle 第 1 章有更多目标编码变体。


⏰ 四、时间特征

过去的事件,也要在预测时已经可用

沿时间从上往下读:过去 → 现在预测 → 未来评估。

  1. t₀ 之前 · 过去 7 天候选特征:这段时间的行为,而且记录在 t₀ 前已经到达并可供系统读取。
  2. t₀ · 做出预测在这个时点冻结可用信息;特征的拟合、编码和筛选仍须遵守正文的训练集与折内约定。
  3. t₀ 之后 · 未来 7 天后续形成的结果用于定义本例的标签和事后评估,不能倒填到 t₀ 的特征里。

还有一类延迟:一条行为虽然发生在 t₀ 前,如果直到 t₀ 后才到达系统,也不能作为这次预测当时已知的信息。

这是说明信息边界的假设时间线,不是所有任务固定使用的窗口。正文开头的“预测明天是否流失”采用它自己的标签定义;本图另用未来 7 天的结果作标签示例,两者都必须先固定预测时点和实际可用时间。本图不替代下文的 OOF、as-of 与折内拟合条件,也不表示已经运行实验或获得分数提升。
# 🧩 骨架:`df` 来自你自己的代码,这一段只看写法
import numpy as np
df["hour"]      = df["ts"].dt.hour
df["dayofweek"] = df["ts"].dt.dayofweek
df["is_weekend"]= df["dayofweek"].isin([5,6]).astype(int)

# ⭐ 周期性特征要用 sin/cos,否则 23点 和 0点 在模型看来差了 23
df["hour_sin"] = np.sin(2*np.pi*df["hour"]/24)
df["hour_cos"] = np.cos(2*np.pi*df["hour"]/24)

# ⭐ 时间差比绝对时间更有用
df["days_since_signup"] = (df["ts"] - df["signup_ts"]).dt.days

⚠️ 时间特征是数据泄漏重灾区:任何"未来才知道"的统计量都不能用(第 5 章)。


🔧 五、构造特征:四个通用套路

操作步骤

  1. 比值/差值 单价 = 总价/数量 利润率 = 利润/收入
  2. 聚合统计 ⭐ 每个用户的:订单数、金额均值/最大/标准差、类目数
  3. 交叉组合 性别×类目、城市×时段(第7章说的非线性,树模型能自动学一部分)
  4. 时间窗口 ⭐ 近1天/7天/30天的行为统计(同时给多个窗口,让模型自己选)

💡 聚合统计是表格竞赛提分最猛的一类特征——把一对多的关系(用户→多条订单)压成一行。

🔨 聚合统计的标准写法(照抄改字段名就能用)

# 前提:orders 已按每条预测记录的 as-of 时点过滤,只含该时点可得的历史订单
agg = orders.groupby("user_id").agg(
    n_orders   = ("amount", "count"),
    amt_sum    = ("amount", "sum"),
    amt_mean   = ("amount", "mean"),
    amt_max    = ("amount", "max"),
    amt_std    = ("amount", "std"),          # ⭐ 波动性常被忽略但很有用
    n_category = ("category", "nunique"),    # ⭐ 多样性
    last_ts    = ("ts", "max"),
)
# ⭐ 再造二阶特征:比值往往比原始统计量更强
agg["amt_max_over_mean"] = agg["amt_max"] / (agg["amt_mean"] + 1e-9)
agg["days_since_last"]   = (NOW - agg["last_ts"]).dt.days

df = df.merge(agg, on="user_id", how="left")

填补值、频次、分箱边界等统计均在当前训练折拟合,再用于验证/测试;不可在整个数据表先计算后切分。订单聚合对每条预测记录分别遵守 as-of 截止时间。

🔑 三个最容易被漏掉但很有信息量的聚合: std(波动性)、nunique(多样性)、max/mean(集中度)。 大多数人只做 count/sum/mean 就停了。

📐 一个通用的"造特征"提问清单

卡住不知道造什么时,对每个字段问这五个问题:

流程图

① 它和别的字段【相除】有意义吗?→单价、频率、占比
② 它有【时间维度】吗?→距今多久、近N天统计、趋势
③ 它是【一对多】的吗?→聚合统计(上面那套)
④ 它的【分布】是长尾的吗?→log1p
⑤ 它和【全局/分组均值】的差是多少?→"这个用户比同城用户高多少"⭐

💡 第 ⑤ 条特别值得记:「相对于某个群体的偏离」常常比绝对值更有预测力。 月薪 2 万在北京很普通,在小城市是高收入——模型看不到这个上下文,除非你造出来。


📊 六、特征筛选

方法 说明
覆盖率 高缺失率列列为检查候选;先验证稀有信号与缺失模式再删
方差过滤 近常数只列为调查或过滤候选;先核稀有事件信号、量纲尺度与模型/任务,再用独立验证判断是否删除
相关性 相关系数 >0.95 只列为冗余调查候选;两列仍可能联合含信号,删列需验证
模型重要性 GBDT 的 importance(⚠️ 有第 4 章说的三个坑)
Permutation Importance ⭐ 固定模型,在留出验证集按指定指标重复打乱单列;相关列可掩盖贡献,需结合特征组诊断
消融实验 去掉单列或特征组后重新拟合,固定划分、指标和训练预算比较;相关替代与交互影响结果,没有普遍最可靠排名

筛选结论依赖具体模型、指标、验证数据和训练配置,不是特征的固有价值排名。相关特征可能互相替代,单列低重要性不证明整组无用;按组诊断也须明确置换规则或重新拟合方式,并检查划分与重复结果。参考官方类别编码说明与置换重要性及相关特征限制。

⚠️ 特征筛选必须放进 Pipeline / 在 CV 内部做——否则就是第 5 章那个 76.5% 的假象。


🔗 和站内其他章的关系

相关的地方 这里的对应
Kaggle 第 1 章数据策略与特征工程 本章的竞赛实战加强版
推荐算法第 7 章特征工程 本章 + 推荐场景特有的(行为序列、实时统计)
第 5 章数据泄漏 目标编码、时间特征是最常见的泄漏源
第 3 章标准化 数值变换的一种

✅ 检查点

共 9 题:8 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。

单选1. 特征工程的价值来自哪里?

看答案与解析

答案:B

价值 = 你知道多少模型不知道的事(领域知识)。"先广后深"是因为你对"哪个特征有用"的直觉经常是错的,快速造 30 个跑 CV 比精雕细琢 3 个更快找到有用的。纪律:每加一批就跑一次 CV 并记录,否则不知道是哪个在起作用(甚至有的在拖后腿)。

单选2. 「先广后深」配套的纪律是什么?

看答案与解析

答案:A

价值 = 你知道多少模型不知道的事(领域知识)。"先广后深"是因为你对"哪个特征有用"的直觉经常是错的,快速造 30 个跑 CV 比精雕细琢 3 个更快找到有用的。纪律:每加一批就跑一次 CV 并记录,否则不知道是哪个在起作用(甚至有的在拖后腿)。

单选3. 为什么「加一列是否缺失」常常有用?

看答案与解析

答案:D

删行/删列/统计量填充/单独当一类/树模型直接不管。因为"缺失"本身可能携带信息(没填收入的可能是特定人群),填充会抹掉这个信号。

判断4. 名义类别编成 0、1、2 之后,普通阈值树不会受到这个任意顺序的影响。

看答案与解析

答案:错误

名义类别的0,1,2编号只是标识,直接作为数值会引入伪顺序;普通阈值树也会沿该顺序切分。真实有序变量可用与含义一致的顺序,但整数间距不自动有等距意义。无序类别可比较one-hot、原生类别处理或合适的Embedding;Embedding的整数仅作查表索引。选择要看模型、任务、样本覆盖及验证结果。

单选5. 目标编码怎么防泄漏?

看答案与解析

答案:B

K 折内部编码(OOF):算某一折的编码时只用其他折的数据;再加平滑,让样本少的类别向当前训练折均值收缩。

单选6. 为什么小时特征要用 sin/cos?

看答案与解析

答案:C

直接用 0-23 的话,23 点和 0 点在数值上差 23,但实际只差 1 小时。sin/cos 编码保留了周期性。

单选7. 聚合统计里最容易被漏掉的三个是?

看答案与解析

答案:B

std(波动性)、nunique(多样性)、max/mean(集中度)。大多数人只做 count/sum/mean 就停了。

单选8. 「造特征提问清单」第 ⑤ 条是什么?

看答案与解析

答案:D

「相对于某个群体的偏离」(这个用户比同城用户高多少)。因为绝对值缺少上下文——月薪 2 万在北京很普通、在小城市是高收入,模型看不到这个上下文除非你造出来。

单选9. 为什么特征筛选必须在 CV 内部做?

看答案与解析

答案:C

因为在全量数据上筛选会让特征选择看到验证集的标签 → 数据泄漏 → 就是第 5 章那个纯噪声数据跑出 76.5% 的假象。


本节回顾

好特征不仅要有用,还必须在真实预测时可获得;预处理也只能在训练数据上拟合。

⚡ 走神救援

先记住这几件事

  • 先明确预测发生的时点,再判断每个特征是否真的可用。
  • 数值、类别、缺失和时间特征分别处理;编码与缩放只在训练部分拟合。
  • 聚合与目标编码容易泄漏,必须配合正确的划分与交叉验证。
  • 一次添加一组特征,用验证结果判断价值,并保留可复现的处理流程。

下一节 👉 17-实战项目.md

打卡记录保存在你的浏览器里,首页能看到总进度