14 · 生成式推荐:2026 年的前沿
推荐算法 / 14
说“生成式推荐”之前,先看它输出什么?
按物品短码、行动与候选得分识别接口,再查原工业接入位置和成本边界。
能区分名称相近的路线与替代环节,并找到可检验的问题。
主线阅读约 30 分钟;动手实验另留时间
推荐不一定只能“先找一批候选,再逐个打分”。另一条路线是:根据用户历史,逐步生成物品的短码,再把短码对应回真实物品。
这章先看懂短码,再分清几种模型各自负责什么。公开资料核对至 2026 年 9 月 14 日;这里选取有一手资料的代表案例,不是一份完整的行业排名。
一句话:先看输出,再看模型名字
生成式推荐是一组把推荐任务组织成序列预测或生成问题的方法。其中,生成物品标识的路线会逐个预测 token——这里的 token 是模型一次处理的离散符号。
读一篇文章时,先问两个问题:输出的是物品短码、用户行动,还是候选得分?它替代的是召回、排序,还是某个应用的整个决策模型?名称里都有“生成式”,接口也可能不同。
为什么值得关注:有机会共享表示,也要算清成本
把多种行为组织进统一的序列,可能让模型学到原来需要分开设计的关系;把物品写成短码,则提供了新的候选生成接口。两种想法可以结合,也可以分别使用。
Scaling Law(扩展规律)说的是:在一定数据、模型和训练设置中,增加计算投入时,指标呈现怎样的经验变化。它可以指导下一次实验预算,但需要连同数据规模、配置和服务成本一起看。
看图时关注“控制什么、记录什么、观察什么”。HR 是命中率,越高越好;NE 是归一化熵损失,越低越好。图只标指标方向,不是测量曲线,也没有把所有传统模型与所有生成模型排出高下。
后面会把 HSTU 论文的具体结果放回各自实验中。先记住一个判断方法:“能继续扩展”需要数据支持,“值得继续扩展”还要看收益和成本。
核心概念一:Semantic ID,让物品有可组合的短码
数字编号与学到的表示,是两回事
| 看到的东西 | 可以知道什么 |
|---|---|
| 物品编号 8823174、8823175 | 能区分两个物品;数字相邻不表示内容或用户兴趣相近。 |
| 训练得到的 ID 嵌入 | 向量可以从行为数据中学到关系;整个推荐模型也能借助共享网络和内容特征泛化。 |
| Semantic ID | 把物品表示转成一串离散的码字编号,让不同物品有机会共享部分符号。 |
嵌入(embedding)是用一组数表示对象;量化是用有限候选中的代表向量近似它。这些代表向量称为码字(codeword),它们的集合叫码本;短码中保存的是各层的码字编号。
从内容向量到短码:先理解残差量化
以一个视频为例,可以先把标题、封面或内容送入适合该任务的编码器,得到连续向量。再经过量化,得到像 〈42, 17, 203, 88〉 这样的有序短码。
这些数字是码本索引。它们不是人为写好的“科技、数码、键盘、评测”分类层级;共享前缀也不保证共享某个人工类别或同一群受众。
- 先近似当前向量。在第一层码本中找一个最近的代表向量。
- 看还差多少。用当前向量减去选中的代表向量,得到残差。
- 继续近似残差。下一层用自己的码本重复这个过程,把各层编号按顺序记下来。
这叫残差量化(RQ)。RQ-VAE 把这种离散表示放进一个学习压缩与重建的自编码器中;下面只演示已给定码本之后的量化步骤,没有训练编码器、解码器或码本。TIGER 采用 RQ-VAE 构造语义码。TIGER 原论文 §3.1
亲手算一次:目标向量是 (3, 2)
这是独立的二维教学数据。比较远近时,把两个坐标的差分别平方,再相加;表中都没有并列最小值。
| 码字编号 | 代表向量 | 距离平方 |
|---|---|---|
| 42 | (2, 1) | 1² + 1² = 2,选它 |
| 17 | (0, 3) | 3² + (−1)² = 10 |
| 203 | (4, 4) | (−1)² + (−2)² = 5 |
减去 (2, 1),剩下 (1, 1)。第二层现在要近似的是这份残差,而不是重新近似 (3, 2)。
| 码字编号 | 代表向量 | 距离平方 |
|---|---|---|
| 17 | (1, 0.5) | 0² + 0.5² = 0.25,选它 |
| 42 | (−1, 1) | 2² + 0² = 4 |
| 88 | (2, 2) | (−1)² + (−1)² = 2 |
短码是 〈42, 17〉。把所选向量相加,得到 (3, 1.5),与目标的剩余差是 (0, 0.5),误差平方为 0.25。本例误差从第一步的 2 降到 0.25,仍有信息损失。
第一层和第二层的“42”指向各自码本中的向量,不是同一个类别。这也是短码必须保留位置顺序的原因。
四个用途:机会在哪里,条件在哪里
- 缩小要预测的符号词表。用多个小词表组合表示物品,模型每一步只预测一个位置的码字编号。词表大小与能表示的完整短码数量不同。
- 给冷物品一个表示起点。内容可用时,可以通过已有编码与量化过程得到新短码。还要维护码本版本、物品映射和新品召回机会,之后继续积累真实反馈。
- 支持逐 token 生成。输出一个完整合法短码后,再找到它对应的物品;下一节会把这一接口接到用户历史上。
- 提供跨任务共享的接口。搜索、推荐、广告及不同内容模态可以探索共享表示,但各任务仍要单独评估。Spotify 的研究就观察到搜索调优与推荐调优的短码存在任务取舍。Spotify:Semantic ID 多任务研究
新物品拿到短码,不等于已经知道谁喜欢它。TIGER 的冷启动实验还专门增加了新物品候选扩展和比例控制。实际系统可接着看 第 13 章的冷启动与探索。
可选算账:1024 个词表条目,到底省的是哪部分?
假设每个物品用四个位置表示,每个位置各有 256 个可选码字编号,并且词表按位置区分。编号词表共 4 × 256 = 1024 个条目;完整组合空间则为 256⁴ = 4,294,967,296。后者只是组合数,绝大部分未必对应目录里的物品。
| 部件与本例假设 | 需要保存什么 |
|---|---|
| 一亿物品,每项 64 维 float32 嵌入 | 100,000,000 × 64 × 4 = 25.6 GB,按十进制字节计算,仅算这张表。 |
| 1024 个编号 token,各有 64 维 float32 嵌入 | 1024 × 64 × 4 = 262,144 字节,仅算 token 嵌入表;并非只存 1024 个数。 |
| 每物品四个 8 位码字编号,紧凑打包 | 一亿物品仍需 400,000,000 字节保存这些编号;另需物品映射、有效目录等。 |
编码器、量化码本、生成模型参数、训练状态与目录服务都另计。这里的“四个位置、每项 64 维”是算账设定;TIGER 实验实际用三层量化码加一位去冲突后缀,物品 token 之外还有其他输入符号。
检查短码质量:四个容易漏掉的地方
- 冲突:两个物品可能得到同一串量化码。可以增加去冲突后缀,也可以维护一码多物品的映射并明确选择规则;要与生成接口一致。
- 内容与行为的差异:《甄嬛传》和《延禧攻略》题材相近,也可能对应不同观看偏好;这只是说明两种相似性不能直接互换,不是在报告它们的实际受众数据。
- Tokenizer 的可靠性:它是把物品变成符号的部件。比较重建误差、碰撞、检索质量与更新稳定性,同时固定数据划分和评估协议。
- 码本坍塌:大量物品挤到少数码字,许多条目闲置。观察各码字使用量,而不只看码本标称大小。
理解生成式召回前,先分清连续向量、逐层残差和离散短码。这里用手算来观察这三者的关系。
核心概念二:把下一件物品写成序列
TIGER(2023):从历史短码生成下一个短码
TIGER 把历史物品的 Semantic ID 依次展开,由编码器读取历史,再由解码器按已生成前缀预测下一个码字编号。这是编码器–解码器模型,不是把整个系统简化成一个普通 Decoder。
看两行中间:ANN 从向量索引中检索;TIGER 式方法逐步生成短码,再映射到物品。生成短码不等于自动得到合法、可展示的结果。
原始 TIGER 讨论扩大 beam 后过滤无效 ID;前缀树约束解码是另一个可以解释的工程做法,不能把两者写成同一个已实现方案。
看两条路线的中间动作:ANN 在向量索引里找近邻,TIGER 式召回生成离散短码。两边最后都要落实到真实物品,并检查当前是否有资格展示。
生成的组合可能不在目录里。原始 TIGER 讨论了增加束搜索宽度、再过滤无效 ID;束搜索就是暂时保留多条较有希望的生成前缀。用前缀树限制合法下一步是另一种工程选择,并非这篇原论文的必用实现。TIGER §3.2、§4.5
这条召回路径可以不使用 ANN 索引,但仍需要目录映射。逐步解码也有时延和搜索预算,是否比 ANN 更划算要按相同候选质量与服务条件测量。
核心概念三:HSTU,重组织序列学习与计算
HSTU(Hierarchical Sequential Transduction Unit)是 Meta 在 2024 年提出的推荐序列建模单元。它与 TIGER 的关注点不同:前者改造序列表示与计算,后者以生成语义短码实现召回。HSTU 并不以 Semantic ID 为必要前提。
它把哪些工作放进序列?
先把“发生了什么”说清楚。下面只是行为记录的语义示例,不声称每行固定对应一个 token。
- 看过物品 A,并记录发生时间。
- 对 A 点赞,记录行动类型。
- 搜索“键盘”,保存当时可用的查询或上下文信息。
- 看过 B,随后购买 B,再继续浏览 C。
HSTU 论文把物品、行动和其他类别特征组织为序列,减少对手工聚合特征的依赖;排序可以预测对给定候选的行动,召回则预测物品。只保留物品点击列表,会丢掉行动与上下文信息。
计算方面,专门的注意力结构、训练组织和 M-FALCON 配合使用。M-FALCON 通过微批处理与复用历史计算,提高多候选打分效率;这也说明“序列建模”仍可以服务候选排序。HSTU §2、§3
论文报告的数字,各自在回答什么?
| 报告 | 对应口径 |
|---|---|
| 最高 +65.8% NDCG | Books 数据上,HSTU-large 相对 SASRec (2023) 的 NDCG@10;是指定公开数据离线对照。 |
| +12.4% | 线上排序的主要互动任务(E-Task),相对传统深度学习推荐模型(DLRM)的指标改善;不是所有任务的统一增长率。 |
| 5.3–15.2 倍 | 摘要的 8192 长度序列速度范围;是编码器对照 FlashAttention-2 Transformer,详见 H100、bfloat16 等实验条件,不是整个推荐服务加速。 |
| 1.5 万亿参数 | 包含嵌入与非嵌入参数的模型规模;不等于每次都计算同规模的稠密语言模型。 |
| 跨三个数量级训练计算 | 所测配置中的经验扩展范围;层数、维度、序列长度等一起调整,不是只增加一个参数就保证改善。 |
来源:HSTU 原论文,表 4、表 7、§4.2 与 §4.3.1。论文仍讨论多路召回和候选排序;不能据此宣布整个多阶段系统已经消失。
可选实现入口:Meta generative-recommenders 官方代码。先读配置、数据与硬件要求,再决定复跑哪一个实验。
工业案例:同样是大模型,接入位置并不相同
四个有公开线上证据的案例
论文也可以报告真实线上实验。这里按“模型负责哪一段”阅读,而不是把“论文”与“线上系统”分成互斥类别。
Meta:HSTU 与 GEM,先分清任务
HSTU 的召回与排序实验见上节。GEM 则是广告基础模型:通过蒸馏、表征和参数共享,把能力传给下游应用模型。基础模型与面向用户的多个模型可以共存。Meta 官方 GEM 介绍,2025-11
快手:OneRec,统一指定场景的检索与排序
2025 年 6 月技术报告介绍了快手与快手极速版的生产部署,报告部署覆盖约 25% 总 QPS,即每秒请求量。该报告的实验从缓存降级流量的升级切入;这不是全公司所有流量和所有服务已经替换的声明。OneRec 技术报告与附录 B
Netflix:共享基础,再适配应用
基础模型为首页、搜索等应用提供可共享能力。公开的三种生产接入方式是:读取嵌入、复用模型子图、微调后用于具体应用。应用目标、时延要求和配套模型仍需分别处理。Netflix 官方研究索引;生产接入方式,2025-11
Spotify:GLIDE 生成播客候选,后面还有排序器
GLIDE 以预训练 Llama 3.2 1B 为起点适配,生成 Semantic ID 后映射到播客单集。它作为额外召回来源接入现有候选池,再交给下游排序器;论文报告了指定活跃播客听众群的线上随机实验。GLIDE 作者论文,2026-03,§4.4、§5
OneRec 的意义:统一决策模型,不等于取消整个服务系统
传统链路把召回与排序分成不同模型和目标。早期 OneRec 尝试在一个生成模型里学习它们之间的联系,并以一次请求的会话列表为学习单元。
看图中的边界:左边是多阶段决策,右边是早期 OneRec 的统一检索与排序。真实目录、资格检查、服务与监控这些职责仍须承担;约束可以融入检索或解码,也可以由配套服务处理。
统一建模提供了考虑列表关系的机会,具体实现仍要满足业务约束;图中的职责区分不要求它们部署成固定数量的独立组件。
早期 OneRec(2025-02)的三个技术选择:
- 编码器–解码器加 MoE。编码器读取历史,解码器生成结果。MoE 是“混合专家”:每枚 token 只激活一部分专家网络,把总参数容量与当次活跃计算分开。
- Session-wise 列表生成。一次请求的列表作为一个学习单元,但仍按顺序自回归地产生码字编号;不是一次前向计算并行写完整张列表。
- IPA 与 DPO。IPA 迭代生成候选列表,让奖励模型挑出偏好对,再以 DPO 优化相对偏好;这些偏好对不都是逐对人工标注。
以上对应 OneRec 初版 §3.2–3.3。联合生成仍取决于数据、目标和近似解码;列表多样性与硬约束可以接着看 第 11 章。
成本数字对应另一份报告:2025 年 6 月作者报告,在其比较设置下,运行支出 OPEX 为传统推荐流水线的 10.6%,约十分之一。这不是训练 FLOPs、全公司成本或本页实测,也不是其他业务的省钱保证。OneRec 技术报告摘要
随后版本也变了。2025 年 8 月的 OneRec-V2 使用 Lazy Decoder-only 架构,并以真实用户反馈做强化学习。因此,编码器–解码器加 DPO 是早期版本的做法,不是“OneRec”这个名字的永久定义。OneRec-V2 技术报告
开放研究资源则看 OpenOneRec 官方仓库:2026 年 1 月公布的 Foundation 系列包含 Qwen3 骨干的 1.7B、8B 模型与基准。它是可研究的开放路线,不应当作早期生产系统的原样导出。
LLM 的四种角色:按工作分,不按阵营分
先问大语言模型在系统里做什么,再问是否使用预训练权重。下面四种角色可以组合;“只借架构”与“借用权重”也不是工业成功与否的分界线。
- ① 特征工厂:先把内容变得更好用
生成标签、摘要或嵌入,供已有召回和排序模型使用。可以从离线处理开始,同时检查错误标签、更新费用、特征一致性,以及对冷物品是否真有帮助。
- ② 直接推荐:把用户需求变成结果
根据对话、历史或其他条件输出物品标识、列表与说明。输出要落在可用目录内;另测时延和解释可信度。写出一段合理理由,并不证明它就是实际决策原因。
- ③ 借用架构与训练范式:用推荐任务训练序列模型
借鉴注意力、自回归训练等思想,按推荐数据设计模型与目标;可以从头训练,也可以选择适配预训练模型。TIGER、HSTU 与早期 OneRec 的结构各不相同,不能统一称为一个 Decoder 配方。
- ④ 用户理解:把历史整理成可用的兴趣信息
例如把近期行为整理成带时间范围的兴趣描述,再供候选生成或排序使用。需要授权、隐私处理、更新与纠错;一次观看不应直接变成永久的人格判断。
上面的 GLIDE 和 OpenOneRec Foundation 就使用了预训练语言模型骨干;GEM 和 Netflix 案例则展示共享基础与下游接入的不同方式。选择依据是当前任务的质量、成本、数据与接口,而不是某一种角色“才算真正落地”。
七个研究方向:把前沿话题变成可检验的问题
这些是继续阅读和设计实验的入口,不是七条已经完成的行业结论。每次先选择一个问题,并固定它的比较协议。
- Tokenizer 可靠性。换一种量化方法后,码字利用率、冲突和最终检索质量是否一起改善?先对齐数据、候选目录与评估方式。
- 超长行为序列。若目标是处理十万条以上历史,应该保留、压缩还是筛选什么?比较新增历史带来的收益与内存、时延,不把“全放进去”当作答案。
- 推理时扩展。增加束宽或候选搜索预算,能否换来值得付费的质量改善?记录命中指标、解码成本和尾部时延,不把多生成几步称为必然推理得更好。
- 蒸馏到轻量模型。让小模型学习大模型的输出或表示,例如以 MLP 为接收模型之一;同时测保留了多少质量、减少了多少服务成本。
- 多目标生成。点击、观看时长、点赞与列表多样性怎样取舍?先写目标和护栏,再看哪些群体获益、哪些受损。
- 搜广推共享。尝试让搜索、广告和推荐共享表示或骨干,逐任务检查效果与适配开销。共享接口并不要求所有任务只有一个最终评分器。
- 偏好与强化学习对齐。DPO、RLHF 或基于行为反馈的 RL 应优化什么?先区分短期代理指标与真正想改善的长期价值,再设计足够的观察窗口。
可选追踪:OneRec-V2 §3.2、§5讨论奖励取舍与长期目标的限制;Spotify 多任务研究给出了共享表示需要权衡的具体案例。
是否值得试:先确定要改善哪一个环节
按你现在的目标选择第一步
- 刚入门或准备求职:先掌握 第 6 章架构、第 8 章双塔与兴趣建模、第 12 章评估与 A/B,再用本章理解新接口。
- 在现有业务中改效果:先定位冷物品、召回覆盖或特征成本等具体问题。与当前基线在相同数据和预算下比较,不按公司大小预先宣布哪类模型必胜。
- 想做研究或改造核心模型:挑一个可复算的切口,例如量化、有效解码或共享表示。把小规模机制实验与生产规模扩展分成不同里程碑。
四项预算,先写下来
- 数据:可用历史、内容质量、时间切分、目录变化,以及合法使用范围。数据少时尤其要检查过拟合与迁移效果,而不是只增加参数。
- 计算与服务:训练成本、推理时延、内存、并发与回退方式;把大规模论文配置和本地教学目标分开。
- 团队与工程:算法、数据、训练和服务之间的接口,谁维护码本版本与 ID 映射,谁处理上线后的更新和故障。
- 时间与评估:完成基线、小实验、离线复核和线上验证各需要什么;不以固定 GPU 数量或固定年限作为所有项目的入场线。
一个明确的停止条件也很有用:如果候选质量没有改善,或新增成本超出预算,就先调整表示、任务或接入方式,而不是继续无条件扩大模型。
现在可以做的两个小实验
- 先做一个特征工厂对照。选一小批内容生成可检查的标签或摘要,在保持评估协议一致的前提下比较有无这些特征。记录质量变化、错误样例与处理费用;方法入口见 第 18 章·专题六。
- 跑通小型短码生成链路。沿 挑战项目 C:TIGER-mini学习 RQ-VAE、Semantic ID 与合法生成。目标是理解并验证核心机制,不是用笔记本复现工业规模的效果。
这一章连到哪里
| 去哪里 | 带着什么问题去 |
|---|---|
| 全景导论 02:Transformer | 补注意力、因果遮罩、编码器与解码器;再区分本章各模型的结构。 |
| 全景导论 03:Tokenizer | 理解连续内容与离散符号的接口;语义码本的训练问题仍需按本章机制检查。 |
| 强化学习 13:DPO | 补偏好对与相对优化;早期 OneRec 的奖励模型、数据和推荐目标有自己的适配。 |
检查点
- 人们用“GPT 时刻”表达的扩展期待是什么?为什么它不能替代带条件的 Scaling Law 实验?
- Semantic ID 与普通 item_id 有什么区别?说出三个用途,并各补一个需要检查的条件。
- TIGER 式生成召回与 ANN 的中间动作有什么不同?它们最后都需要做什么?
- HSTU 强调行动序列,具体改变了什么?为什么这不等于只保留点击、删除其他特征?
- 早期 OneRec 统一了什么?10.6% 成本报告属于哪个版本和比较范围?
- LLM 在推荐中的四种角色是什么?同一系统能否组合,是否必须只借架构而不用预训练权重?
- 团队是否值得尝试生成式推荐,应比较哪些证据和预算?
查看七个问题的答案
- 期待是让更多数据与计算转化为可持续改进,并探索共享基础。扩展规律仍限于所测任务、配置和预算,不能保证任何模型只要更大就更好。
- 普通编号主要用于区分对象;Semantic ID 把物品表示成可共享部分符号的有序短码。三个用途可答:较小的单步词表、给新品表示起点、逐码生成物品;分别还要检查总存储、新品召回与反馈、有效目录和解码成本。跨任务共享也是用途,但需逐任务验证。
- ANN 查向量近邻,TIGER 的编码器–解码器预测短码。两者都要落实到真实目录,并做资格筛选;生成不使用 ANN,也不代表不需要映射。
- 把物品、行动与其他类别特征重组织为序列,学习它们的关系并减少手工聚合。特征组织、训练和计算方式都重要,而不是“其他信息全部无用”。
- 早期 OneRec 尝试统一检索与排序的生成决策,并以会话列表建模。10.6% 是 2025 年 6 月技术报告中作者给出的运行支出对照,不能扩大成全公司成本或任意场景保证;服务、监控和约束处理职责仍需保留。
- 特征工厂、直接推荐、借用架构与训练范式、用户理解。它们可组合,也可以适配预训练权重;实际接入方式要由质量、时延和成本决定。
- 先明确问题和当前基线,再比较相同协议下的质量、数据条件、训练与服务预算、目录更新和维护成本。先做可控的小实验,再决定是否扩展。
本节回顾
现在能分清“短码是什么、模型负责哪段、证据来自哪里”,就达到了本章主线目标。准备动手时,只选上面的一个小实验即可。
先记住这几件事
- 生成式推荐尝试直接生成物品标识或列表,而不只逐个候选打分。
- Semantic ID、码本与受约束生成要一起检查,标识质量会影响上层模型。
- 先用小规模实验验证价值,再评估数据量、计算量和现有链路的迁移成本。
想把模型接进服务,继续 第 15 章:工程落地;想选专项,再看 第 18 章:进阶专题。