📑 本页目录(点开跳转)
16 / 先运行,再对照
先问预测那一刻,
这个信息拿得到吗?
预测未来时,哪些信息当时已经知道?
好特征不仅要有用,还必须在真实预测时可获得;预处理也只能在训练数据上拟合。
按预测时点审查特征可用性,把拟合、编码与筛选限定在正确的折和时间范围。
先抓住一个具体结果
过去 7 天,与未来 7 天
预测明天是否流失,可以使用预测时点之前 7 天的行为。把之后 7 天的行为填进特征,即使分数大涨,也是偷看未来。
16 · 特征工程基础
⏱ 28 分钟 | ⭐ 表格数据的胜负手
🎯 一句话
「数据和特征决定了上限,模型只是逼近这个上限。」 在表格数据上,好特征带来的提升通常远大于换模型。
🧭 零、特征工程的两条心法
操作步骤
- 你在做的事:把【模型学不到的知识】喂给它
- 模型能自己学的:单调关系、简单阈值、(树模型)低阶交互
- 模型学不到的: 你的领域知识
- · "这个字段是身份证号,前 6 位是地区"
- · "订单金额除以商品数才是真正有意义的量"
- · "凌晨 3 点下单的用户和白天的是两类人"
- ⭐ 特征工程的价值 = 你知道多少模型不知道的事
操作步骤
- 特征工程的效率法则:先广后深
- ❌ 精雕细琢 3 个特征,每个花 2 小时
- ✅ 快速造 30 个特征,跑一遍 CV,留下有用的 10 个 ⭐
- 理由:你对"哪个特征有用"的直觉【经常是错的】,
- 让数据告诉你,比你想更快
⚠️ 但"造 30 个特征"必须配一条纪律: 每加一批特征就跑一次 CV 并记录,否则加到第 30 个时你不知道是哪个在起作用(甚至有的在拖后腿)。
🧹 一、数据清洗:先把地基弄干净
缺失值
| 策略 | 什么时候用 |
|---|---|
| 删行 | 缺失极少(<1%) |
| 删列 | 该列缺失 >50% 且没有业务含义 |
| 均值/中位数填充 | 数值特征,用中位数更稳(抗离群值) |
| 众数填充 | 类别特征 |
| 单独当一类 ⭐ | 缺失本身有意义("未填写收入"可能就是信号) |
| 树模型直接不管 ⭐ | LightGBM/XGBoost 原生支持缺失值,且能学到"缺失往哪边走" |
# 🧩 骨架:`df` 来自你自己的代码,这一段只看写法
# ⭐ 加一列"是否缺失",常常比填充值本身更有用
df["income_missing"] = df["income"].isna().astype(int)
df["income"] = df["income"].fillna(df["income"].median())
离群值
关键信息
- 先问:它是【错误】还是【真实的极端值】?
- 错误(年龄=999)→ 修正或删除
- 真实(土豪用户)→ 别删!用变换压缩:log1p、分位数裁剪
🔢 二、数值特征的四种变换
| 变换 | 做什么 | 什么时候用 |
|---|---|---|
| 标准化 | 按训练列统计量做 (x−μ_train)/σ_train | 距离/梯度/正则受量纲影响时常用(见第3章),仍需按模型与验证结果选择 |
| MinMax缩放(按列) | 先减训练列最小值,再除以训练列极差;非恒定训练列映到[0,1] | 需要约定训练范围时;新样本可能越界,异常值仍影响极值 |
| log1p ⭐ | log(1+x) | 长尾分布(金额、播放量、点赞数) |
| 分箱 | 连续值切成区间 | 想让模型学非线性;或减少离群值影响 |
“归一化”先问沿哪条轴做。上表MinMax和标准化都按列(特征)使用训练集统计量;Normalizer(norm="l2")则对每行(样本)除以自身长度,不学习训练列的均值或极值。后者保留方向、去掉整体长度,适合方向有意义且特征量纲可比较的场景,不是MinMax的另一个名字。
同叫归一化,算的不是一件事
按列MinMax:训练这一列只有0和10,固定范围设为[0,1]。训练值映到0和1;新样本20仍用训练极值,得到 $(20-0)/(10-0)=2$,不会自动落回[0,1]。clip=True才把它截到1,但这会丢掉越界幅度,也不解决分布漂移。
按行L2:对一行 $(3,4)$,长度为 $\sqrt{3^2+4^2}=5$,所以变为 $(0.6,0.8)$,长度为1。这里没有查别的样本;它既不把每列极值映到0/1,也不让每列均值变0。
边界一起记:只在训练部分(交叉验证时是当前训练折)fit列统计,再原样transform验证/未来样本;标准化不等于变成高斯分布。异常值会影响均值、方差及MinMax极值,可比较用中位数/IQR的 RobustScaler。常数列不能手除以0:StandardScaler用缩放因子1,默认中心化后训练常数列为0;MinMax也要使用库的常数列处理或移除无信息列。按行L2遇零向量应保留零或明确其他约定,不能直接套除法。
🔗 先回看第3章标准化,实战流程接Kaggle数据策略与特征工程;不要为选缩放器在全量数据上fit。
📚 缩放术语与API边界
核对 预处理指南、StandardScaler、MinMaxScaler、Normalizer与RobustScaler。上面两个算例是给定数值的教学手算,不是模型效果测量。
import numpy as np, pandas as pd
df["log_amount"] = np.log1p(df["amount"]) # 长尾必备
df["age_bin"] = pd.qcut(df["age"], q=10, labels=False, duplicates="drop") # 等频分箱
🔗 推荐算法第 7 章讲的分箱→Embedding,就是这个思路在深度模型里的版本。
🏷️ 三、类别特征(最容易出事的地方)
| 编码 | 做法 | 注意 |
|---|---|---|
| One-Hot | 每个取值一列 | 名义类别的候选;类别数、稀疏支持与资源开销需验证 |
| Label/序数编码 | 映射成 0,1,2... | 真实有序变量可按顺序编码;名义类别的任意编号会引入伪顺序,普通阈值树也受影响 |
| 目标编码 ⭐ | 用该类别的目标均值代替 | 效果好但极易泄漏,见下 |
| 频次编码 | 用出现次数代替 | 不使用标签,但频次统计仍须限定训练集及预测时点 |
| Embedding | 学一个低维向量 | 按任务、样本覆盖与预算比较;整数是查表索引,不强加数值距离(推荐算法第7章) |
💀 目标编码的泄漏陷阱
结果对照
# 带平滑的 OOF 目标编码
import numpy as np
def target_encode_oof(df, col, target, n_splits=5, smooth=20):
from sklearn.model_selection import KFold
# 先验与类别统计均只使用当前训练折
oof = np.full(len(df), np.nan)
for tr_idx, va_idx in KFold(n_splits, shuffle=True, random_state=0).split(df):
global_mean = df.iloc[tr_idx][target].mean(); stats = df.iloc[tr_idx].groupby(col)[target].agg(["mean", "count"])
# 平滑:count 少时向当前训练折均值靠拢
smoothed = (stats["mean"]*stats["count"] + global_mean*smooth) / (stats["count"]+smooth)
oof[va_idx] = df.iloc[va_idx][col].map(smoothed).fillna(global_mean).values
return oof
此函数只给当前训练子集生成 OOF 特征。做外层交叉验证时须在每个外层训练折内重做;外层验证/测试只能使用该训练折拟合的类别映射及先验。示例 KFold 适用于独立样本;时序、用户分组需改用相应切分。
🔗 这是第 5 章数据泄漏在特征工程里最常见的形态。 Kaggle 第 1 章有更多目标编码变体。
⏰ 四、时间特征
过去的事件,也要在预测时已经可用
沿时间从上往下读:过去 → 现在预测 → 未来评估。
- t₀ 之前 · 过去 7 天候选特征:这段时间的行为,而且记录在 t₀ 前已经到达并可供系统读取。
- t₀ · 做出预测在这个时点冻结可用信息;特征的拟合、编码和筛选仍须遵守正文的训练集与折内约定。
- t₀ 之后 · 未来 7 天后续形成的结果用于定义本例的标签和事后评估,不能倒填到 t₀ 的特征里。
还有一类延迟:一条行为虽然发生在 t₀ 前,如果直到 t₀ 后才到达系统,也不能作为这次预测当时已知的信息。
# 🧩 骨架:`df` 来自你自己的代码,这一段只看写法
import numpy as np
df["hour"] = df["ts"].dt.hour
df["dayofweek"] = df["ts"].dt.dayofweek
df["is_weekend"]= df["dayofweek"].isin([5,6]).astype(int)
# ⭐ 周期性特征要用 sin/cos,否则 23点 和 0点 在模型看来差了 23
df["hour_sin"] = np.sin(2*np.pi*df["hour"]/24)
df["hour_cos"] = np.cos(2*np.pi*df["hour"]/24)
# ⭐ 时间差比绝对时间更有用
df["days_since_signup"] = (df["ts"] - df["signup_ts"]).dt.days
⚠️ 时间特征是数据泄漏重灾区:任何"未来才知道"的统计量都不能用(第 5 章)。
🔧 五、构造特征:四个通用套路
操作步骤
- 比值/差值 单价 = 总价/数量 利润率 = 利润/收入
- 聚合统计 ⭐ 每个用户的:订单数、金额均值/最大/标准差、类目数
- 交叉组合 性别×类目、城市×时段(第7章说的非线性,树模型能自动学一部分)
- 时间窗口 ⭐ 近1天/7天/30天的行为统计(同时给多个窗口,让模型自己选)
💡 聚合统计是表格竞赛提分最猛的一类特征——把一对多的关系(用户→多条订单)压成一行。
🔨 聚合统计的标准写法(照抄改字段名就能用)
# 前提:orders 已按每条预测记录的 as-of 时点过滤,只含该时点可得的历史订单
agg = orders.groupby("user_id").agg(
n_orders = ("amount", "count"),
amt_sum = ("amount", "sum"),
amt_mean = ("amount", "mean"),
amt_max = ("amount", "max"),
amt_std = ("amount", "std"), # ⭐ 波动性常被忽略但很有用
n_category = ("category", "nunique"), # ⭐ 多样性
last_ts = ("ts", "max"),
)
# ⭐ 再造二阶特征:比值往往比原始统计量更强
agg["amt_max_over_mean"] = agg["amt_max"] / (agg["amt_mean"] + 1e-9)
agg["days_since_last"] = (NOW - agg["last_ts"]).dt.days
df = df.merge(agg, on="user_id", how="left")
填补值、频次、分箱边界等统计均在当前训练折拟合,再用于验证/测试;不可在整个数据表先计算后切分。订单聚合对每条预测记录分别遵守 as-of 截止时间。
🔑 三个最容易被漏掉但很有信息量的聚合:
std(波动性)、nunique(多样性)、max/mean(集中度)。 大多数人只做 count/sum/mean 就停了。
📐 一个通用的"造特征"提问清单
卡住不知道造什么时,对每个字段问这五个问题:
流程图
💡 第 ⑤ 条特别值得记:「相对于某个群体的偏离」常常比绝对值更有预测力。 月薪 2 万在北京很普通,在小城市是高收入——模型看不到这个上下文,除非你造出来。
📊 六、特征筛选
| 方法 | 说明 |
|---|---|
| 覆盖率 | 高缺失率列列为检查候选;先验证稀有信号与缺失模式再删 |
| 方差过滤 | 近常数只列为调查或过滤候选;先核稀有事件信号、量纲尺度与模型/任务,再用独立验证判断是否删除 |
| 相关性 | 相关系数 >0.95 只列为冗余调查候选;两列仍可能联合含信号,删列需验证 |
| 模型重要性 | GBDT 的 importance(⚠️ 有第 4 章说的三个坑) |
| Permutation Importance ⭐ | 固定模型,在留出验证集按指定指标重复打乱单列;相关列可掩盖贡献,需结合特征组诊断 |
| 消融实验 | 去掉单列或特征组后重新拟合,固定划分、指标和训练预算比较;相关替代与交互影响结果,没有普遍最可靠排名 |
筛选结论依赖具体模型、指标、验证数据和训练配置,不是特征的固有价值排名。相关特征可能互相替代,单列低重要性不证明整组无用;按组诊断也须明确置换规则或重新拟合方式,并检查划分与重复结果。参考官方类别编码说明与置换重要性及相关特征限制。
⚠️ 特征筛选必须放进 Pipeline / 在 CV 内部做——否则就是第 5 章那个 76.5% 的假象。
🔗 和站内其他章的关系
| 相关的地方 | 这里的对应 |
|---|---|
| Kaggle 第 1 章数据策略与特征工程 | 本章的竞赛实战加强版 |
| 推荐算法第 7 章特征工程 | 本章 + 推荐场景特有的(行为序列、实时统计) |
| 第 5 章数据泄漏 | 目标编码、时间特征是最常见的泄漏源 |
| 第 3 章标准化 | 数值变换的一种 |
✅ 检查点
共 9 题:8 道单选、1 道判断。点一个选项,马上显示对错并展开解析;没把握也可以直接展开解析。
单选1. 特征工程的价值来自哪里?
看答案与解析
答案:B
价值 = 你知道多少模型不知道的事(领域知识)。"先广后深"是因为你对"哪个特征有用"的直觉经常是错的,快速造 30 个跑 CV 比精雕细琢 3 个更快找到有用的。纪律:每加一批就跑一次 CV 并记录,否则不知道是哪个在起作用(甚至有的在拖后腿)。
单选2. 「先广后深」配套的纪律是什么?
看答案与解析
答案:A
价值 = 你知道多少模型不知道的事(领域知识)。"先广后深"是因为你对"哪个特征有用"的直觉经常是错的,快速造 30 个跑 CV 比精雕细琢 3 个更快找到有用的。纪律:每加一批就跑一次 CV 并记录,否则不知道是哪个在起作用(甚至有的在拖后腿)。
单选3. 为什么「加一列是否缺失」常常有用?
看答案与解析
答案:D
删行/删列/统计量填充/单独当一类/树模型直接不管。因为"缺失"本身可能携带信息(没填收入的可能是特定人群),填充会抹掉这个信号。
判断4. 名义类别编成 0、1、2 之后,普通阈值树不会受到这个任意顺序的影响。
看答案与解析
答案:错误
名义类别的0,1,2编号只是标识,直接作为数值会引入伪顺序;普通阈值树也会沿该顺序切分。真实有序变量可用与含义一致的顺序,但整数间距不自动有等距意义。无序类别可比较one-hot、原生类别处理或合适的Embedding;Embedding的整数仅作查表索引。选择要看模型、任务、样本覆盖及验证结果。
单选5. 目标编码怎么防泄漏?
看答案与解析
答案:B
K 折内部编码(OOF):算某一折的编码时只用其他折的数据;再加平滑,让样本少的类别向当前训练折均值收缩。
单选6. 为什么小时特征要用 sin/cos?
看答案与解析
答案:C
直接用 0-23 的话,23 点和 0 点在数值上差 23,但实际只差 1 小时。sin/cos 编码保留了周期性。
单选7. 聚合统计里最容易被漏掉的三个是?
看答案与解析
答案:B
std(波动性)、nunique(多样性)、max/mean(集中度)。大多数人只做 count/sum/mean 就停了。
单选8. 「造特征提问清单」第 ⑤ 条是什么?
看答案与解析
答案:D
「相对于某个群体的偏离」(这个用户比同城用户高多少)。因为绝对值缺少上下文——月薪 2 万在北京很普通、在小城市是高收入,模型看不到这个上下文除非你造出来。
单选9. 为什么特征筛选必须在 CV 内部做?
看答案与解析
答案:C
因为在全量数据上筛选会让特征选择看到验证集的标签 → 数据泄漏 → 就是第 5 章那个纯噪声数据跑出 76.5% 的假象。
本节回顾
好特征不仅要有用,还必须在真实预测时可获得;预处理也只能在训练数据上拟合。
⚡ 走神救援
先记住这几件事
- 先明确预测发生的时点,再判断每个特征是否真的可用。
- 数值、类别、缺失和时间特征分别处理;编码与缩放只在训练部分拟合。
- 聚合与目标编码容易泄漏,必须配合正确的划分与交叉验证。
- 一次添加一组特征,用验证结果判断价值,并保留可复现的处理流程。
下一节 👉 17-实战项目.md