📑 本页目录(点开跳转)
排序与多目标
Kaggle竞赛方法论 / 19
排序模型和多目标权衡,是同一层决策吗?
沿原模型、序列与多目标栏目分别查阅,保留竞赛技巧、条件和踩坑记录。
能定位当前表示问题或目标权衡,再找到原完整实战流程。
⏱ 30 分钟 | ⭐ 推荐赛的主战场
🎯 一句话
召回决定上限,排序决定你实际拿到多少。这一章从 Wide&Deep 讲到 DeepFM 再到序列建模和多目标,但对竞赛来说更实用的是最后两节:推荐赛题的 Trick 和常见踩坑点。
一、排序模型演进
| 模型 |
核心改进 |
年份 |
| LR |
基础线性模型,人工特征交叉 |
2010 |
| FM |
自动二阶特征交叉 |
2010 |
| Wide & Deep |
记忆(Wide)+泛化(Deep) |
2016 |
| DeepFM |
FM替代Wide部分,端到端训练 |
2017 |
| DIN |
注意力机制建模用户兴趣 |
2018 |
| DIEN |
兴趣演化网络,捕捉兴趣变化 |
2019 |
二、Wide & Deep
架构
| 组件 |
作用 |
特点 |
| Wide部分 |
记忆能力,学习特征共现 |
交叉特征(如"男+体育") → Dense(1) |
| Deep部分 |
泛化能力,学习特征组合 |
Dense特征 → 多层DNN → Dense(1) |
| 合并层 |
Wide+Deep输出合并 |
concatenate → Dense(1, sigmoid) |
特征处理
| 特征类型 |
Wide部分 |
Deep部分 |
| 类别特征 |
交叉组合(如gender_x_sport) |
Embedding → concat |
| 连续特征 |
归一化后直接输入 |
归一化后直接输入 |
| 交叉特征 |
手动构造(关键) |
自动学习 |
优劣势
| 优势 |
劣势 |
| Wide部分记忆能力强 |
Wide部分需人工构造交叉特征 |
| Deep部分泛化能力强 |
两部分需分别优化 |
| 工业界成熟方案 |
交叉特征工程量大 |
三、FM与DeepFM
FM(Factorization Machine)
| 维度 |
说明 |
| 核心公式 |
y = w0 + sum(wixi) + sum(xi*xj) |
| 关键创新 |
用隐向量内积替代交叉权重wij,参数量从O(n^2)降至O(n*k) |
| 优势 |
自动学习二阶交叉,无需人工特征工程 |
| 劣势 |
仅二阶交叉,缺乏高阶交叉能力 |
DeepFM
| 组件 |
作用 |
与Wide&Deep区别 |
| FM部分 |
替代Wide,自动二阶交叉 |
无需人工交叉特征 |
| Deep部分 |
高阶特征交叉 |
与Wide&Deep相同 |
| 共享Embedding |
FM和Deep共享同一套Embedding |
减少参数,联合训练 |
| 对比 |
Wide & Deep |
DeepFM |
| Wide部分 |
LR+人工交叉 |
FM自动交叉 |
| 特征工程 |
需人工构造交叉 |
无需人工交叉 |
| Embedding |
Wide和Deep独立 |
共享Embedding |
| 训练方式 |
联合训练 |
端到端联合训练 |
| 竞赛推荐 |
有领域知识时 |
通用首选 |
四、序列建模
用户行为序列
| 维度 |
说明 |
| 输入 |
用户历史交互物品序列[item1, item2, ..., itemN] |
| 目标 |
从序列中提取用户兴趣表示 |
| 挑战 |
序列长度不一、兴趣随时间变化、多兴趣并存 |
序列建模方法对比
| 方法 |
原理 |
优势 |
劣势 |
| Mean Pooling |
对序列Embedding取平均 |
简单快速 |
丢失顺序信息 |
| RNN/LSTM |
递归处理序列 |
捕捉顺序依赖 |
训练慢,长序列梯度消失 |
| TextCNN |
多尺度卷积核提取局部模式 |
并行训练快 |
全局依赖弱 |
| Transformer/BST |
自注意力机制 |
全局依赖+并行 |
计算量大 |
DIN(Deep Interest Network)
| 维度 |
说明 |
| 核心思想 |
用注意力机制对用户历史行为加权,与候选物品相关的行为权重高 |
| Attention计算 |
alpha_i = softmax(MLP([vi, va, vi-va, vi*va])) |
| vi |
历史物品i的Embedding |
| va |
候选物品的Embedding |
| 优势 |
自适应关注相关行为,不同候选物品激活不同兴趣 |
| 竞赛价值 |
推荐赛题中排序模型的核心组件 |
| 维度 |
说明 |
| 核心思想 |
用Transformer编码用户行为序列 |
| 位置编码 |
时间间隔编码(相对时间),而非绝对位置 |
| 优势 |
全局注意力,捕捉长距离依赖 |
| 与DIN对比 |
DIN是局部注意力(只看与候选相关),BST是全局注意力 |
五、多目标算法
动机
| 问题 |
说明 |
| 多目标冲突 |
点击率(CTR)和转化率(CVR)可能冲突,优化一个损害另一个 |
| 业务需求 |
同时优化点击、收藏、购买、停留时长等多个指标 |
| 竞赛场景 |
赛题可能同时评估多个指标 |
Shared-Bottom
| 维度 |
说明 |
| 结构 |
共享底层网络 → 多个任务特定输出头 |
| 优势 |
参数少,简单 |
| 劣势 |
任务差异大时负迁移(任务间互相干扰) |
MMOE(Multi-Gate Mixture-of-Experts)
| 维度 |
说明 |
| 结构 |
多个Expert网络 + 每个任务一个Gate(门控) |
| Expert |
多个独立的DNN网络,学习不同特征表示 |
| Gate |
为每个任务学习Expert的权重组合:g(x) = softmax(W_g * x) |
| 输出 |
每个任务的输入 = sum(gate_i * expert_i(x)) |
| 优势 |
任务间软共享,避免负迁移 |
| 关键 |
Expert数量和Gate设计 |
| 维度 |
说明 |
| 改进 |
在MMOE基础上增加任务特定Expert + 共享Expert |
| CGC层 |
Customized Gate Control:任务Expert + 共享Expert → Gate |
| 多层堆叠 |
多层CGC逐步提取高层次特征 |
| 优势 |
更好地平衡共享和任务特定知识 |
| 竞赛表现 |
目前多目标竞赛中最强方案之一 |
六、知识图谱应用
知识图谱嵌入
| 方法 |
原理 |
适用 |
| TransE |
h + r ≈ t (头实体+关系≈尾实体) |
1对1关系 |
| TransH |
将实体投影到关系超平面再计算 |
1对多/多对1关系 |
| TransR |
实体空间和关系空间分离 |
复杂关系 |
知识图谱增强推荐
| 方法 |
说明 |
| 实体链接 |
将物品与知识图谱实体对齐 |
| 路径推理 |
用户→实体→关系→实体,发现潜在兴趣 |
| 特征增强 |
用知识图谱Embedding作为物品附加特征 |
七、推荐赛题Trick
特征工程
| 特征类型 |
示例 |
| 用户统计 |
历史点击数、购买数、活跃天数 |
| 物品统计 |
总点击数、点击率、转化率 |
| 交叉统计 |
用户类别x物品类别点击率 |
| 时间特征 |
最近N天点击数、时间间隔统计 |
| 序列特征 |
最近点击物品类别分布、兴趣变化率 |
序列建模Trick
| Trick |
说明 |
| 序列截断 |
取最近50~100个行为,过长序列效果反而差 |
| 时间衰减 |
近期行为权重更高 |
| 行为类型区分 |
点击/收藏/购买分别建模 |
| 负反馈 |
不喜欢/取消收藏等负反馈单独处理 |
训练技巧
| 技巧 |
说明 |
| 负采样 |
随机负采样 + 热门物品负采样 |
| 样本权重 |
正样本权重 > 负样本权重 |
| 特征重要性 |
用LightGBM筛选重要特征再送入深度模型 |
| 多折验证 |
按时间划分验证集,避免数据泄露 |
八、竞赛实战流程
| 阶段 |
步骤 |
工具/方法 |
| 1. Baseline |
ItemCF召回 + LR排序 |
Python, pandas |
| 2. 召回优化 |
多路召回 + 向量召回 |
DeepWalk, DSSM |
| 3. 排序优化 |
DeepFM/DIN排序 |
TensorFlow/PyTorch |
| 4. 多目标 |
MMOE/PLE多任务学习 |
多目标损失加权 |
| 5. 特征工程 |
交叉特征 + 序列特征 |
LightGBM筛选 |
| 6. 融合冲刺 |
多模型融合 + 规则修正 |
加权平均/Stacking |
九、高级排序模型
DCN(Deep & Cross Network)
| 维度 |
说明 |
| 核心思想 |
用Cross Network自动学习有界阶的特征交叉,替代Wide部分 |
| Cross层 |
x_{l+1} = x_0 * (w_l^T * x_l) + b_l + x_l,每层增加一阶交叉 |
| DCN V2 |
用低秩矩阵替代全参数交叉,更高效 |
| 与DeepFM区别 |
DeepFM做二阶交叉,DCN可做任意阶有界交叉 |
| 竞赛应用 |
特征交叉丰富的场景,如电商推荐 |
AutoInt
| 维度 |
说明 |
| 核心思想 |
用多头自注意力机制自动学习特征间交互 |
| 优势 |
可解释性强(注意力权重可视化特征交互) |
| 交互方式 |
每个特征域的Embedding通过注意力与其他域交互 |
| 适用场景 |
特征域多、交叉关系复杂的场景 |
xDeepFM
| 维度 |
说明 |
| 核心思想 |
用压缩交互网络(CIN)在向量级别学习高阶特征交叉 |
| 与DCN区别 |
DCN在bit级别交叉,xDeepFM在向量级别交叉 |
| 优势 |
向量级交叉更精细,可学习更复杂的高阶交互 |
| 劣势 |
训练速度比DCN慢 |
十、多目标进阶
ESMM(Entire Space Multi-Task Model)
| 维度 |
说明 |
| 核心问题 |
转化率(CVR)预测存在样本选择偏差和数据稀疏问题 |
| 解决方案 |
pCTCVR = pCTR * pCVR,用曝光样本训练CTR和CTCVR,间接学习CVR |
| 优势 |
在论文设定内,用全曝光目标应对点击样本训练的选择偏差 CTR和CVR共享Embedding缓解稀疏 不保证消除所有业务偏差,详见下方边界 |
| 竞赛应用 |
同时优化点击率和转化率的推荐赛题 |
先分清分母。给定一次曝光的特征 $x$,令 $y$ 表示是否点击;点击后是否转化记为 $z$。原模型采用曝光→点击→转化链:
| 概率 | 含义 | 手算:20 曝光 / 5 点击 / 1 转化 |
| pCTR = $P(y=1\mid x)$ | 曝光后点击的概率 | 5 / 20 = 25% |
| pCVR = $P(z=1\mid y=1,x)$ | 已点击条件下转化的概率 | 1 / 5 = 20% |
| pCTCVR = $P(y=1,z=1\mid x)$ | 曝光后既点击又转化的概率 | 1 / 20 = 5% = 25% × 20% |
这组频率只是教学手算,不是模型预测或训练结果。同一 $x$ 下的概率链为 $pCTCVR=pCTR\times pCVR$。别把 1/20 当成点击后的 CVR;日志总体频率也不代表每个 $x$ 都有同样的概率。
监督信号接在哪里?设两支网络输出 $a_i=\widehat{pCTR}_i$、$b_i=\widehat{pCVR}_i$,CTCVR 输出是 $a_i b_i$。在统一归因窗口内,$t_i$ 表示已发生“点击且转化”。原论文用两项二元交叉熵(BCE),求和都遍历全部曝光记录:
$$L_{CTR}=\sum_i BCE(y_i,a_i)$$
$$L_{CTCVR}=\sum_i BCE(t_i,a_i b_i)$$
总损失 $L=L_{CTR}+L_{CTCVR}$。
手算例的 20 条记录中,CTR 有 5 个正例,CTCVR 有 1 个正例。未点击记录的两个标签均为 0;这不等于给它强造一个已观测的 CVR=0 标签。原 ESMM 不另加直接监督的 CVR 损失;CVR 支路经乘积损失学习,并与 CTR 共享 Embedding。
“全空间”的边界:这里是已记录的全部曝光,不是所有可能的用户—物品组合,也不自动消除曝光策略偏差。点击链、日志与归因窗口要一致;窗口未结束的转化不能简单当作最终负例,延迟反馈需另行处理。依据:ESMM 原论文 §2.1–2.3、式 (1)/(3)。
DBMTL(Deep Bayesian Multi-Task Learning)
| 维度 |
说明 |
| 核心思想 |
用贝叶斯网络建模多目标间的因果关系 |
| 优势 |
显式建模目标间依赖关系(如购买依赖点击) |
| 与ESMM区别 |
ESMM只建模CTR→CVR,DBMTL可建模更复杂的因果图 |
多目标损失权重调优
| 方法 |
说明 |
| 固定权重 |
手动设置各任务Loss权重,简单但需经验 |
| Uncertainty Weighting |
用同方差不确定性自动学习权重 |
| GradNorm |
平衡各任务梯度大小,避免某个任务主导训练 |
| DWA(Dynamic Weight Averaging) |
根据各任务Loss下降速度动态调整权重 |
十一、推荐系统竞赛常见踩坑点
| 坑点 |
原因 |
解决方案 |
| 召回不足 |
单路召回覆盖率低 |
多路召回合并 |
| 冷启动差 |
新用户/物品无交互历史 |
内容特征召回 + 跨域推荐 |
| 排序过拟合 |
特征过多或训练数据不足 |
特征筛选 + 正则化 + 早停 |
| 多目标冲突 |
CTR和CVR优化方向相反 |
MMOE/PLE软共享 |
| 负采样偏差 |
随机负采样过于简单 |
热门物品负采样 + 混合负采样 |
| 数据泄露 |
用未来数据训练 |
严格按时间划分训练/验证 |
| 序列过长 |
全部历史行为噪声大 |
截断最近50~100个行为 |
🔗 这一章连到哪里
✅ 检查点
- Wide&Deep 的 Wide 部分和 Deep 部分各负责什么?
- FM 解决了什么问题?DeepFM 在它之上加了什么?
- 多目标建模里,Shared-Bottom 和 MMoE 的关键区别是什么?
- 推荐赛题里最常见的踩坑点是什么?
- 为什么推荐赛里「特征工程」的权重比很多人以为的高?
- 20 次曝光、5 次点击、1 次转化时,CTR、CVR、CTCVR 各是多少?原 ESMM 在全部曝光上监督哪两项?
👀 答案
- Wide 部分负责「记忆」——用交叉特征直接记住历史上出现过的强共现组合;Deep 部分负责「泛化」——通过 Embedding 学到未出现过组合的相似性。两者互补:只有 Wide 会缺乏泛化,只有 Deep 可能对强规则记不牢。
- FM 解决的是「稀疏特征下二阶交叉难学」的问题:直接给每一对特征组合一个权重的话,很多组合在训练集里根本没出现过,权重学不到。FM 用每个特征一个隐向量、交叉权重用内积表示,从而能泛化到没见过的组合。DeepFM 在 FM 之上并联了一个 DNN,同时拿到低阶(FM)和高阶(DNN)的交互。
- Shared-Bottom 底层完全共享,任务冲突时会互相拖后腿(跷跷板效应);MMoE 用多个专家网络 + 每个任务一个门控,让每个任务自己决定用哪些专家,任务冲突时能各取所需。PLE 进一步区分「共享专家」和「任务专属专家」。
- 训练和预测的候选集不一致。训练时用的负样本分布,和线上/测试时实际面对的候选分布不同,导致离线指标很好但提交后崩掉。其次是时间穿越——用了预测时点之后才产生的行为统计特征。
- 因为推荐赛的信号大量藏在「交互统计」里而不是原始 ID 里:用户近 N 天的行为次数、类目偏好分布、物品的近期热度和衰减、用户-物品的历史共现次数……这些聚合统计特征往往比换一个更复杂的模型收益大得多,而且树模型就能吃得很好。
- CTR=5/20=25%,CVR=1/5=20%,CTCVR=1/20=5%。原 ESMM 监督 CTR 和 CTCVR 两项损失,CVR 经乘积间接学习;未点击的 CTCVR=0 不表示观测到其 CVR=0。全曝光指日志内的曝光空间,仍需核对归因窗口与数据偏差。
本节回顾
先记住这几件事
- 排序模型在候选集中学习匹配,特征交互与多目标共享方式各有取舍。
- 交互统计可能提供重要信号,但每一项都要遵守预测时间。
- 训练与预测候选分布保持一致,避免验证好看而提交失效。
- ESMM 的点击后 CVR 与曝光后 CTCVR 分母不同;全曝光监督 CTR 和 CTCVR,不为未点击记录虚造 CVR 标签。
打卡记录保存在你的浏览器里,首页能看到总进度