01 · 数据才是那个瓶颈

   Day 1 上午：跑了 LightGBM baseline，AUC 0.738
   Day 1 下午：试了 LR（0.712）和一个三层 MLP（0.741）
              → 决定用 LightGBM（MLP 只高 0.003，但部署麻烦得多）⭐ 选型结束
   Day 2–4  ：调参，AUC 0.738 → 0.746

   换模型：11 天  →  +0.019   （0.738 → 0.757）
   修数据：13 天  →  +0.065   （0.738 → 0.803）

   ⭐ 同样的投入，数据路线的收益是模型路线的 3.4 倍

   一个新字段「商家近 90 天纠纷率」从提出到能用，实际走了 23 天：

   D0   你提出需求
   D0   发现这个数不在你能访问的库里          → 找数据同学
   D2   数据同学说这在客服团队的系统里          → 找客服 BP
   D5   客服 BP 说要走数据申请流程             → 提单
   D9   审批通过，但只给聚合表，不给明细
   D11  拿到聚合表，发现「纠纷」包含了咨询       → 口径不对 ⭐
   D14  和客服确认口径，要重新出一版
   D18  新表出来了，但只有近 30 天              → 训练要 90 天
   D21  回溯补数任务排期
   D23  能用了

   ⭐ 23 天里，写代码的时间不到 1 天。
      其余全是【找人、等审批、对口径、返工】。

import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score

rng = np.random.RandomState(0)
X, y = make_classification(n_samples=8000, n_features=25, n_informative=10,
                           flip_y=0.0, class_sep=0.9, random_state=0)
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=0.3, random_state=0)

def flip(labels, rate, rs):
    """随机翻转 rate 比例的【训练】标签，模拟标注噪声"""
    y2 = labels.copy()
    idx = rs.choice(len(y2), int(len(y2) * rate), replace=False)
    y2[idx] = 1 - y2[idx]                       # ⭐ 只污染训练集，测试集永远是干净的
    return y2

models = {
    "LR":  LogisticRegression(max_iter=2000),
    "RF":  RandomForestClassifier(n_estimators=300, random_state=0),
    "GBDT": GradientBoostingClassifier(random_state=0),
}
for rate in (0.0, 0.05, 0.10):
    ytr_noisy = flip(ytr, rate, np.random.RandomState(42))
    row = []
    for name, m in models.items():
        m.fit(Xtr, ytr_noisy)
        row.append(f"{name}={roc_auc_score(yte, m.predict_proba(Xte)[:, 1]):.4f}")
    print(f"标签噪声 {rate:>4.0%} | " + "  ".join(row))

   标签噪声   0% | LR=0.9506  RF=0.9640  GBDT=0.9615
   标签噪声   5% | LR=0.9438  RF=0.9560  GBDT=0.9487
   标签噪声  10% | LR=0.9358  RF=0.9455  GBDT=0.9330

   ⭐ 横着读（换模型）：同一行内最大差距约 0.013
   ⭐ 竖着读（修噪声）：同一模型从 10% 噪声修到 0%，提升约 0.019~0.029

   → 修掉 10% 的标签噪声，比在三个模型里选最好的那个更值
   ⚠️ 而且 GBDT 对噪声比 RF 更敏感（0.9615→0.9330，掉 0.0285）
      ——「更强的模型」在脏数据上反而掉得更多，因为它更愿意去拟合噪声

import numpy as np
import pandas as pd

def first_30_minutes(df: pd.DataFrame, label: str = None, time_col: str = None):
    """接手一份新数据的最小体检。返回一张问题清单。"""
    issues = []
    n = len(df)
    for c in df.columns:
        s = df[c]
        miss = s.isna().mean()
        if miss > 0.3:
            issues.append((c, "高缺失", f"{miss:.1%} —— 先别填，去问为什么缺（第5章）"))
        nun = s.nunique(dropna=True)
        if nun <= 1:
            issues.append((c, "常量列", "整列只有一个值，通常是上游没接通"))
        if nun == n and n > 100:
            issues.append((c, "疑似ID", "取值全不重复，别当特征用"))
        if s.dtype == object:
            top = s.value_counts(dropna=True).head(1)
            if len(top) and top.iloc[0] / max(s.notna().sum(), 1) > 0.9:
                issues.append((c, "单值垄断", f"'{top.index[0]}' 占 {top.iloc[0]/n:.1%}"))
        else:
            vc = s.value_counts().head(1)
            # ⭐ 某个具体数值占比异常高 → 极可能是默认值伪装成真值（第4章）
            if len(vc) and vc.iloc[0] / max(s.notna().sum(), 1) > 0.2:
                issues.append((c, "疑似哨兵值", f"值 {vc.index[0]} 占 {vc.iloc[0]/n:.1%}"))
    dup = df.duplicated().sum()
    if dup:
        issues.append(("<整行>", "精确重复", f"{dup} 行（{dup/n:.1%}）—— 见第6章"))
    if label is not None and label in df:
        pos = df[label].mean()
        issues.append((label, "正样本率", f"{pos:.3%} —— 低于1%要重新想指标"))
        for c in df.select_dtypes(include=[np.number]).columns:
            if c == label:
                continue
            r = df[[c, label]].corr().iloc[0, 1]
            # ⭐ 单特征与标签相关性过高，几乎总是泄漏，不是你运气好（第14章）
            if abs(r) > 0.8:
                issues.append((c, "疑似泄漏", f"与标签相关系数 {r:.3f}"))
    if time_col is not None and time_col in df:
        t = pd.to_datetime(df[time_col], errors="coerce")
        issues.append((time_col, "时间跨度", f"{t.min()} → {t.max()}，坏值 {t.isna().mean():.1%}"))
        by_day = t.dt.date.value_counts().sort_index()
        if len(by_day) > 7:
            ratio = by_day.max() / max(by_day.median(), 1)
            if ratio > 3:
                issues.append((time_col, "日量突刺", f"最大日/中位日 = {ratio:.1f}，疑似重跑或补数"))
    return pd.DataFrame(issues, columns=["列", "问题", "说明"])

# 用法：first_30_minutes(df, label="is_bad", time_col="event_time")

   系统：某内容平台「低质内容识别」模型
   离线：F1 = 0.86（验证集 4.2 万条，人工标注）
   上线：人工抽检真实召回率 0.41  ⚠️ 差了一倍多

   训练标注：运营团队在后台按【2023 版低质内容判定规则】打的
   线上判定：审核策略在 5 个月前升级到【2024 版】
             —— 新增 3 类、废止 2 类、其中「标题党」的判定阈值大幅放宽

   ⭐ 所以模型学的是【一套已经废弃的标准】，
      而线上是用【新标准】评估它。
      模型越准，越准地复现了一个过期的规则。

   3 人 × 3 周               = 45 人日 白费
   GPU（large + 多模态训练）  ≈ 3.1 万元
   期间线上漏放的低质内容      ≈ 1.9 万条（按事后回捞）
   最终真正的修复             = 重标 6000 条 + 重训一次 = 9 人日

   ⭐ 45 人日的错误方向  vs  9 人日的正确方向
   ⭐ 而且那 45 人日里，每一次尝试离线指标都在【涨】——
      涨的指标提供了「我们在进步」的错觉，让错误方向持续了整整三周

   ① 线上和离线差 0.1 以上 → 先查数据，别碰模型          ⭐⭐
   ② 某个特征"好得不像话" → 先当泄漏处理，再去证明它无辜   ⭐
   ③ 换模型的收益在 1 个点量级；修一个系统性数据错误
      的收益在 3~8 个点量级 —— 先做后者
   ④ 修数据可能让离线指标【下降】，那往往是修对了 ⚠️
   ⑤ 数据脏的时候，用更强的模型会更糟，不会更好 ⭐⭐