16 · 特征工程基础

   ① 你在做的事：把【模型学不到的知识】喂给它

      模型能自己学的：单调关系、简单阈值、（树模型）低阶交互
      模型学不到的：  你的领域知识
                     · "这个字段是身份证号，前 6 位是地区"
                     · "订单金额除以商品数才是真正有意义的量"
                     · "凌晨 3 点下单的用户和白天的是两类人"

   ⭐ 特征工程的价值 = 你知道多少模型不知道的事

   ② 特征工程的效率法则：先广后深

      ❌ 精雕细琢 3 个特征，每个花 2 小时
      ✅ 快速造 30 个特征，跑一遍 CV，留下有用的 10 个 ⭐

      理由：你对"哪个特征有用"的直觉【经常是错的】，
            让数据告诉你，比你想更快

# ⭐ 加一列"是否缺失"，常常比填充值本身更有用
df["income_missing"] = df["income"].isna().astype(int)
df["income"] = df["income"].fillna(df["income"].median())

   先问：它是【错误】还是【真实的极端值】？
   ├─ 错误（年龄=999）→ 修正或删除
   └─ 真实（土豪用户）→ 别删！用变换压缩：log1p、分位数裁剪

import numpy as np, pandas as pd

df["log_amount"] = np.log1p(df["amount"])              # 长尾必备
df["age_bin"] = pd.qcut(df["age"], q=10, labels=False, duplicates="drop")  # 等频分箱

   ❌ 错误：用全部数据算每个类别的目标均值
      → 每一行都"看到"了自己的标签 → 严重泄漏 → CV 虚高、上线崩

   ✅ 正确：K 折内部编码（Out-of-Fold）
      算第 i 折的编码时，只用其他 K−1 折的数据
      + 平滑：样本少的类别向全局均值收缩

# 带平滑的 OOF 目标编码
import numpy as np
def target_encode_oof(df, col, target, n_splits=5, smooth=20):
    from sklearn.model_selection import KFold
    global_mean = df[target].mean()
    oof = np.full(len(df), np.nan)
    for tr_idx, va_idx in KFold(n_splits, shuffle=True, random_state=0).split(df):
        stats = df.iloc[tr_idx].groupby(col)[target].agg(["mean", "count"])
        # 平滑：count 少时向全局均值靠拢
        smoothed = (stats["mean"]*stats["count"] + global_mean*smooth) / (stats["count"]+smooth)
        oof[va_idx] = df.iloc[va_idx][col].map(smoothed).fillna(global_mean).values
    return oof

import numpy as np
df["hour"]      = df["ts"].dt.hour
df["dayofweek"] = df["ts"].dt.dayofweek
df["is_weekend"]= df["dayofweek"].isin([5,6]).astype(int)

# ⭐ 周期性特征要用 sin/cos，否则 23点 和 0点 在模型看来差了 23
df["hour_sin"] = np.sin(2*np.pi*df["hour"]/24)
df["hour_cos"] = np.cos(2*np.pi*df["hour"]/24)

# ⭐ 时间差比绝对时间更有用
df["days_since_signup"] = (df["ts"] - df["signup_ts"]).dt.days

 ① 比值/差值      单价 = 总价/数量     利润率 = 利润/收入
 ② 聚合统计 ⭐    每个用户的：订单数、金额均值/最大/标准差、类目数
 ③ 交叉组合       性别×类目、城市×时段（第7章说的非线性，树模型能自动学一部分）
 ④ 时间窗口 ⭐    近1天/7天/30天的行为统计（同时给多个窗口，让模型自己选）

agg = orders.groupby("user_id").agg(
    n_orders   = ("amount", "count"),
    amt_sum    = ("amount", "sum"),
    amt_mean   = ("amount", "mean"),
    amt_max    = ("amount", "max"),
    amt_std    = ("amount", "std"),          # ⭐ 波动性常被忽略但很有用
    n_category = ("category", "nunique"),    # ⭐ 多样性
    last_ts    = ("ts", "max"),
)
# ⭐ 再造二阶特征：比值往往比原始统计量更强
agg["amt_max_over_mean"] = agg["amt_max"] / (agg["amt_mean"] + 1e-9)
agg["days_since_last"]   = (NOW - agg["last_ts"]).dt.days

df = df.merge(agg, on="user_id", how="left")

   ① 它和别的字段【相除】有意义吗？   → 单价、频率、占比
   ② 它有【时间维度】吗？             → 距今多久、近N天统计、趋势
   ③ 它是【一对多】的吗？             → 聚合统计（上面那套）
   ④ 它的【分布】是长尾的吗？         → log1p
   ⑤ 它和【全局/分组均值】的差是多少？ → "这个用户比同城用户高多少"⭐