15 · 工程落地
推荐算法 / 15
一次请求失败时,哪条出口还能给出结果?
从原请求与更新双路径图进入特征、时限、降级和回滚,保留原四路入口。
能定位当前症状的责任环节,以及继续或停止发布的原条件。
模型给出分数以后,还要把可用的结果及时送到用户面前。本页看这条链路:数据是否对得上、请求变慢怎么办、出了问题怎样发现并退回。
先带走一句话
上线不是把模型文件放到服务器,而是让整条推荐链路可观察、可降级、可回滚。
“特征”是模型读到的输入;“推理”是用已经训练好的模型计算结果。数据加工、在线服务、训练发布与监控各有职责,不需要把它们硬分成“模型占 5%、工程占 95%”。
全景架构:一次请求与一次更新不是同一条路
看两条方向:在线请求向右得到结果,曝光与反馈进入下方数据链;新版本经过训练验证与发布,才回到召回或排序。用户不需要等一次训练完成才拿到本次结果。
图中分组省略了实现细节,例如不同位置的资格过滤、缓存与监控采集;“职责要存在”不意味着必须拆成同样数量的服务。
看两条方向:在线链路把结果送给用户;日志和反馈进入数据链路,支持后续训练与评估。新模型经过验证和发布,才回到在线服务,不是每收到一条行为就立即替换模型。
图中的职责可以由少量组件承担,也可以拆成多个服务。组件数量由规模、时延、数据更新和团队维护能力决定。
组件一:特征平台,减少两套输入逻辑的分歧
要解决的问题:训练时算的是“过去 7 天点击次数”,上线却用了另一种时间边界或缺失值规则;同一个用户就会得到不同输入。这类差异属于训练与服务不一致。
看分叉与汇合:同一份定义服务两条计算/读取路径;末尾比较的是同次请求的输入证据,而不是随便抽两个时刻的结果。
“时点正确”不只看事件是否已经发生,还要核对记录何时可用。具体平台默认做哪一层过滤,需要按其实现与配置验证。
看图中的共同定义和两条读取路径:共用规则能减少重复实现,但仍要检查时间、类型、默认值、版本,以及线上数据是否已经更新到位。
这里的物化,指把算好的特征保存下来,供之后的请求读取。定义已经更新,不代表每一份在线存储都已经换成新值。
一个迟到记录:发生过,不等于当时已经知道
假设推荐请求发生在 10:00。下面是两个行为记录的事件时间与系统收到它的时间。
| 记录 | 事件发生 | 系统可用 | 10:00 的请求能用吗? |
|---|---|---|---|
| A | 09:58 | 09:59 | 可以,其他资格与定义条件也要满足。 |
| B | 09:57 | 10:05 | 不可以,当时还没收到。 |
事后重建 10:00 的训练输入时,仅检查“事件早于 10:00”会错误地纳入 B。需要重建当时可见的信息,而不是使用后来补齐的完整历史。
Feast 的时点连接默认按事件时间寻找过去记录;若要排除晚到、后来回填的记录,还需按其功能与存储支持配置可用时间过滤,且相应时间戳必须确实表示记录何时可用。用了特征平台不等于自动消除全部泄漏。Feast 时点连接说明
工具先分职责:Feast 是开源特征存储项目;Tecton 提供托管特征基础设施;Hopsworks 也是可进一步了解的特征平台。不要把这些名字一概写成相同的开源方案。自建 Spark、Redis 与一份定义文件,也仍要承担历史重建、版本、物化和监控。Tecton 官方介绍
在线读取:先说清一次请求读多少
P99 是把耗时从小到大排列后,约 99% 请求不超过的那个值;它不是最大耗时。吞吐看单位时间处理多少请求,别和一次请求用了多久混为一谈。
| 要量什么 | 先明确口径 | 可能的设计 |
|---|---|---|
| 读取延迟 | 某次批量读取的 P99,还是单个键的延迟?5 ms 只能是一个待验证的预算。 | 按请求记录分布,区分命中、未命中与错误。 |
| 吞吐 | 推荐请求数/秒,与每次要读的用户、物品数量分开。 | 有界批量读取;避免大量串行往返。 |
| 容量 | 键数量、每键大小、版本数、过期时间和副本数。 | 按实际容量估算,不默认每个系统都有亿级键。 |
| 一致性与可用性 | 过期值可用多久?哪些字段缺失时应停止个性化? | Redis Cluster、Aerospike 或自建 KV 都需配合明确策略。 |
例如一次要取 1000 个物品:逐个等待远端返回会累积网络往返。批量接口可以合并请求,但仍要限制批大小、返回体积和超时。
Redis 的 MGET 与 pipeline 不是同一个承诺。Cluster 中多键 MGET 通常要求同一哈希槽;跨分片要由合适的客户端按节点组织。pipeline 合并往返,但不是原子事务,也不宜无限堆积回复。Redis Cluster 多键约束;有界 pipeline
读到这里先定合同:某字段可旧多久、哪些读取能降级,与分区时的正确性保证要分别写清。下面用一次特征读和一次扩容小例深入;读主线可以先跳过。
可跳过:CAP与一致性哈希的两种“一致”
CAP限定了什么?考虑异步网络中两个仍工作的副本R1/R2无法通信。客户端已在R1写完特征v2并收到成功,之后才从R2读取;R2仍只有v1。
- C(原子/线性一致性):操作看起来在调用与返回之间某个瞬间生效,且保留实际先后顺序。上述已完成写之后的读不能随意返回旧v1;它不是“数据格式一致”,也不是“允许旧5分钟”。
- A(CAP可用性):非故障节点收到的每个请求最终都得到相应操作的响应,不是P99延迟或月度可用率。返回错误/拒绝读,并不因此满足所要求的读写服务可用性。
- P(分区条件):网络可能丢失或无限延迟跨分区消息。R2若等到确认新值才响应,可能牺牲A;若继续返回旧值,则不能同时保证上述C。不是随时“任取二”,更不是能靠声明不选P来消灭网络故障。
对近期兴趣,可在业务合同允许时使用带版本/时效标记的旧值或降级候选;强约束字段可能必须等待、失败或转到可确认的读路径。业务可接受的陈旧度不等于线性一致性,恢复通信后的同步/冲突处理也要另定。原理依据:Gilbert–Lynch 2002原论文;作者2012回顾 §2重述原子读写服务的定义。此处没有运行网络分区实验。
一致性哈希解决的是放在哪个节点。把键与节点映到环,键归属顺时针遇到的第一个节点。手设环为0–99,节点A在20、B在60、C在90;加入D在40后,只有原先B负责的(20,40]区间迁给D,示例键35改变归属。
| 键的手设哈希 | 加入D之前 | D加入40之后 |
|---|---|---|
| 10 | A(20) | A(20) |
| 35 | B(60) | D(40) |
| 65 | C(90) | C(90) |
| 95 | A(绕回20) | A(绕回20) |
这是手设位置,不是真实哈希输出。与简单 hash(key) % 节点数 扩容可能大幅重映射相比,环的目标是让变更局部化。虚拟节点让一个物理节点占多个分散位置,有助于均衡键范围,但增加元数据,且不能自动分散一个热点键的流量。副本、热点处理与副本读一致性仍需单独设计;“一致性哈希”不保证CAP的C。
迁移时要固定路由代际、转移数据并处理期间更新,再按协议切换所有权;过渡读写与失败回退不能仅靠重算哈希解决。原理参考Karger等一致性哈希原论文与Chord作者版的环、后继与虚拟节点说明。
接回本章Redis例子:Redis Cluster把键映到16384个固定哈希槽,再分配槽给节点;基础公式是CRC16(key) mod 16384,另有hash tag规则。它不是本例的顺时针哈希环。槽迁移、多键操作和副本策略需按实际部署版本核对;本节未测Redis扩容或真实吞吐。
组件二:在线服务,在有限时间内做选择
先分清设计预算与测得的 P99
下面沿用一个 200 ms 的服务端预算例子,从服务收到请求计到写出响应。它不是通用标准,也不包含用户设备与整个网络的所有时间。
| 环节 | 示例预算 | 不足时的选择 |
|---|---|---|
| 网关与路由 | 5 ms | 限制拥塞与排队,把剩余期限传给下游。 |
| 用户特征 | 10 ms | 使用允许的缓存或已验证的缺失值策略。 |
| 并行召回 | 30 ms | 按计划收取及时返回的路;必要时减少路数或 ANN 搜索预算。 |
| 物品特征 | 20 ms | 有界批量、缓存;不能填入未经验证的随意默认值。 |
| 粗排 | 15 ms | 减少候选或使用简单模型;失败时不能假装已有粗排结果。 |
| 精排 | 80 ms | 已有可用粗排结果时,退回粗排顺序。 |
| 重排 | 10 ms | 可简化非必需目标;资格与安全约束不能因超时被绕过。 |
| 小计与余量 | 170 + 30 = 200 ms | 余量还要考虑序列化、排队、调度与波动,实际须压测。 |
并行召回的 30 ms 是这个阶段的预算,不是把每一路的耗时逐个相加。测量完整请求时,要看实际关键路径、排队和失败;各环节的 P99 不能直接相加当成整个请求的 P99。
可选手算:为什么两个 P99 相加会算错?
构造 100 个请求,每个先经过 A 再经过 B。这里采用“排好序后取第 99 个”的 P99 定义。
| 请求数 | A | B | 合计 |
|---|---|---|---|
| 98 个 | 10 ms | 10 ms | 20 ms |
| 1 个 | 100 ms | 10 ms | 110 ms |
| 1 个 | 10 ms | 100 ms | 110 ms |
A 与 B 各有 99 个 10 ms,单独 P99 都是 10 ms;完整请求第 99 个却是 110 ms,不是 20 ms。这里展示分布不能直接相加,没有模拟任何真实服务。
目标应明确请求范围、统计窗口与测量位置,再从用户体验反推预算。P99 不是最大值,平均快也不代表尾部请求快。Google SRE:服务目标与分位数
降级:知道手里已有哪个可用结果
- 提前减少工作:降低召回路数、候选数或搜索预算。质量代价要另测,不能等完全超时后再追溯节省时间。
- 精排来不及:只有粗排已经成功,才能直接采用其顺序。
- 更早阶段失败:尝试仍有效的缓存或热门候选,核对当前资格、库存/可用性与过期时间。
- 没有可展示项:返回清楚的受控空态或其他允许的产品入口。不要为凑满列表绕过限制,也不要让前端因空列表变成白屏。
截止时间必须向下游传播。每段都重新等待完整 200 ms,会把总耗时拉长。取消下游请求后,应用还要负责停止相应工作;“客户端不等了”不代表后台已停止。gRPC deadlines 与取消
小实验:用逻辑时钟走一遍降级
只模拟“剩余预算如何影响选择”。耗时是手工设置的数字,没有网络、模型训练或真实等待;因此输出不构成生产延迟保证。
代码另用 40 ms、最多 3 项的小例子,方便逐步核算,与上面的 200 ms 预算表不是同一次请求。ID 只用整数;按 ID 排序和保留原顺序的重排用来显露分支,不是真正的推荐模型。
| 场景 | 采用的来源 | 最终物品 ID | 逻辑消耗 / 总预算 | 看这里 |
|---|---|---|---|---|
| 正常 | 精排 | [4, 3, 2] | 29/40 ms | 召回、粗排、精排和重排都完成。 |
| 精排超时 | 粗排 | [1, 2, 3] | 37/40 ms | 精排超时,保留已完成的粗排顺序。 |
| 粗排超时 | 缓存 | [2, 1, 3] | 22/40 ms | 候选已取得,但粗排未完成;使用筛选后的缓存。 |
| 召回超时且缓存失效 | 热门 | [4, 3, 2] | 14/40 ms | 召回超时,缓存也没有合法项;再检查热门。 |
| 所有来源都无合法项 | 受控空态 | [] | 14/40 ms | 缓存和热门都无合法项,不绕过资格限制凑数。 |
| 重排超时 | 精排 | [4, 3, 2] | 30/40 ms | 重排超时,保留已完成的精排顺序。 |
日志中的 16/16 ms 超时 表示“逻辑消耗 / 分配额度”:该场景把精排成本设为 100 ms,超过分配的 16 ms,所以记为超时,并只在逻辑时钟上扣除 16 ms。不能把分母误读为预设成本,也不是测到一次真实 RPC 耗时。
每个来源都先筛掉不存在、不可用、无资格、过期与重复项,再最多取 3 项。这里的缓存、热门与资格目录都已在内存里;没有模拟远端读取、并发资格变化或真实取消。
"""确定性教学模拟:逻辑毫秒不是实测延迟,也不是生产截止时间保证。"""
from dataclasses import dataclass, field, replace
RERANK_RESERVE = 4
OUTPUT_RESERVE = 6
@dataclass(frozen=True)
class Item:
available: bool = True
eligible: bool = True
expires_at_ms: int = 1000
@dataclass
class SimBudget:
limit_ms: int
elapsed_ms: int = 0
trace: list = field(default_factory=list)
def attempt(self, name, cost_ms, cap_ms, reserve_ms):
remaining = self.limit_ms - self.elapsed_ms
quota = max(0, min(cap_ms, remaining - reserve_ms))
charged = min(cost_ms, quota)
self.elapsed_ms += charged
success = cost_ms <= quota
status = "跳过" if quota == 0 else ("完成" if success else "超时")
self.trace.append({"stage": name, "quota": quota, "charged": charged,
"reserve": reserve_ms, "before": remaining,
"status": status})
return success
def legal_ids(ids, catalog, now_ms, n):
"""按当前模拟返回时刻筛选,保持顺序、去重,最多返回 n 项。"""
result, seen = [], set()
if n == 0:
return result
for item_id in ids:
item = catalog.get(item_id)
if (item is None or not item.available or not item.eligible
or now_ms >= item.expires_at_ms or item_id in seen):
continue
seen.add(item_id)
result.append(item_id)
if len(result) == n:
break
return result
def recommend_sim(pool, cache, popular, catalog, costs, n=3, deadline_ms=40):
"""cache/popular 是已在内存里的假数据;本例没有 RPC、睡眠或真实取消。"""
if type(n) is not int or n < 0:
raise ValueError("n 必须是非负整数")
if type(deadline_ms) is not int or deadline_ms < OUTPUT_RESERVE:
raise ValueError("本模拟至少需要 6ms 的输出预算")
if len(costs) != 4 or any(type(c) is not int or c <= 0 for c in costs):
raise ValueError("四个阶段的模拟成本必须是正整数")
budget = SimBudget(deadline_ms)
candidates, coarse, ranked = [], [], []
candidates_ready = coarse_ready = False
ranked_source, rerank_ok = "未完成排序", None
reserve = RERANK_RESERVE + OUTPUT_RESERVE
if budget.attempt("召回", costs[0], cap_ms=8, reserve_ms=reserve):
candidates = list(pool)
candidates_ready = True
if budget.attempt("粗排", costs[1], cap_ms=10, reserve_ms=reserve):
# 两次按 ID 排序只为让顺序差异可见,不代表真实推荐模型。
coarse = sorted(candidates)
coarse_ready = True
ranked, ranked_source = list(coarse), "粗排"
if budget.attempt("精排", costs[2], cap_ms=16, reserve_ms=reserve):
ranked, ranked_source = sorted(coarse, reverse=True), "精排"
if ranked:
rerank_ok = budget.attempt("重排", costs[3], RERANK_RESERVE, OUTPUT_RESERVE)
# 这是保留顺序的重排占位;超时也不丢弃已经完成的排序结果。
# 6ms 是本模型人为分配的筛选/封装成本,不是 Python 实际运行耗时。
if not budget.attempt("输出", OUTPUT_RESERVE, OUTPUT_RESERVE, 0):
raise RuntimeError("未留足输出预算:模拟配置有误")
output, source = [], "受控空态"
for name, ids in [(ranked_source, ranked), ("缓存", cache), ("热门", popular)]:
output = legal_ids(ids, catalog, budget.elapsed_ms, n)
if output:
source = name
break
empty_reason = ("requested_zero" if n == 0 else "no_eligible_items") if not output else None
return {"items": output, "source": source, "empty_reason": empty_reason,
"elapsed_ms": budget.elapsed_ms, "deadline_ms": deadline_ms,
"candidates_ready": candidates_ready, "coarse_ready": coarse_ready,
"rerank_ok": rerank_ok, "trace": budget.trace}
def demo_cases():
catalog = {i: Item() for i in (1, 2, 3, 4)}
catalog.update({8: Item(available=False), 9: Item(eligible=False),
10: Item(expires_at_ms=5)})
# 10 在请求开始时未过期,但本例最终输出时已过期;999 不在目录中。
pool = [4, 1, 2, 1, 3, 8, 9, 10, 999]
cache = [8, 2, 2, 9, 1, 10, 3, 4]
popular = [9, 4, 4, 8, 3, 10, 2, 1]
invalid_cache = [8, 9, 10, 999]
blocked = {k: replace(v, eligible=False) for k, v in catalog.items()}
definitions = [
("正常", (6, 6, 8, 3), cache, catalog, "精排", [4, 3, 2]),
("精排超时", (6, 6, 100, 3), cache, catalog, "粗排", [1, 2, 3]),
("粗排超时", (6, 100, 8, 3), cache, catalog, "缓存", [2, 1, 3]),
("召回超时且缓存失效", (100, 6, 8, 3), invalid_cache, catalog, "热门", [4, 3, 2]),
("所有来源都无合法项", (100, 6, 8, 3), cache, blocked, "受控空态", []),
("重排超时", (6, 6, 8, 100), cache, catalog, "精排", [4, 3, 2]),
]
return [(name, dict(pool=pool, cache=c, popular=popular, catalog=items, costs=costs),
expected_source, expected_items)
for name, costs, c, items, expected_source, expected_items in definitions]
def main():
print("以下仅是逻辑预算模拟;没有测量 RPC,也没有生产截止保证。")
for name, inputs, expected_source, expected_items in demo_cases():
result = recommend_sim(**inputs)
assert (result["source"], result["items"]) == (expected_source, expected_items)
assert result["elapsed_ms"] <= result["deadline_ms"]
assert result["items"] == legal_ids(result["items"], inputs["catalog"], result["elapsed_ms"], 3)
if name == "粗排超时":
assert result["candidates_ready"] and not result["coarse_ready"]
if name == "重排超时":
assert result["rerank_ok"] is False
print(f"{name}: 来源={result['source']}, 结果={result['items']}, "
f"逻辑耗时={result['elapsed_ms']}/{result['deadline_ms']}ms")
print(" " + "; ".join(f"{e['stage']} {e['charged']}/{e['quota']}ms {e['status']}"
for e in result["trace"]))
if __name__ == "__main__":
main()
组件三:模型服务,先找到真正的瓶颈
六种优化:比较收益,也比较代价
下面保留六类办法,不给没有测试口径的固定提速倍数。每次比较使用同一模型任务、候选数量、硬件、并发与输入分布,并同时记录质量、吞吐和请求延迟。
| 办法 | 可能改善什么 | 要一起检查什么 |
|---|---|---|
| 批量推理 | 例如把一个请求的 500 个候选组成张量,减少重复调用;跨请求动态组批还能改善设备利用率。 | 显存与排队时间。跨请求等一批会增加等待,不能只看吞吐。 |
| INT8 量化 | 减少部分权重存储与计算成本。 | 硬件/算子支持、校准数据、任务质量与分组表现;不保证加速或固定 AUC 下降。 |
| Embedding 预取 | 减少请求期间的远端读或数据搬运等待。 | 命中率、预取是否浪费、内存占用与版本新鲜度。 |
| 图优化与算子融合 | ONNX Runtime、TensorRT 等可优化执行和减少中间开销;ONNX 本身是模型表示格式。 | 支持的算子/形状、数值差异、热身与实际部署硬件。 |
| 模型蒸馏 | 让较小学生学习教师信号,可用于较低成本打分或粗排。 | 学生是否保住关键人群与任务表现;教师成本和重新训练成本。 |
| 缓存 | 复用仍有效的特征、向量或结果。 | 键是否包含必要上下文与版本;防止串用户、过期内容和资格变化。 |
动态组批的配置需要在吞吐与延迟之间实测取舍;量化也可能因额外开销而变慢。Triton 动态组批;ONNX Runtime 量化与精度检查
Embedding:先算存储,再选缩减办法
Embedding 是按 ID 查到的一小组数。一亿个 ID,每个 64 个 float32 数:
100,000,000 × 64 × 4 = 25,600,000,000 字节 = 25.6 GB(十进制,约 23.84 GiB)。
这是权重表本身,不包括优化器状态、梯度、副本、缓存与服务开销。是否放得下,要对照可用内存或显存;不能断言任何单机/GPU 都装不下。
- 参数服务器或其他分片方式
把表分散到多台机器;代价是通信、热点、容错与版本管理,不是免费扩容。
- 哈希分桶
多个 ID 共享桶向量会损失区分度。一亿个不同 ID 放进一千万个桶,即使每桶都占用,也至少有九千万个额外 ID 必须与别的 ID 共享桶,不能叫“少量冲突”。
- 混合精度或量化
FP16、INT8 可以减少部分存储;缩放参数、计算支持和质量检查仍需另计。
- 频次过滤
低频 ID 可映射到未知项或共享向量,减少独立参数;代价是长尾物品的区分能力。对应第 7 节的特征设计。
- Semantic ID
第 14 节的短码可以改变 token 词表与表示方式,但仍有码本、物品编码、目录和映射等成本,也不是任意模型的无损替换。
组件四:训练与更新,快不等于稳
三种节奏可以组合,不是优劣排名
| 节奏 | 在做什么 | 需要防什么 |
|---|---|---|
| 天级全量 | 例如每天用过去 N 天的合格数据重新训练。 | 数据是否完整、训练窗口是否合适;不保证一定最稳,也可能跟不上新变化。 |
| 小时级增量 | 从已验证模型出发,吸收最近一段新数据。 | 重复消费、遗忘旧分布与学习率;可结合历史重放和周期性全量训练。 |
| 分钟级或流式学习 | 在特定窗口或规则满足后更新;消息到达只是输入之一。 | 标签成熟度、乱序/去重、脏数据、检查与发布开销;需要能停止或回滚。 |
先更新热门特征或召回候选,也可能更快响应热点,不必把所有时效要求都变成更频繁地训练模型。
样本拼接:没有反馈,可能只是还没等到
曝光发生在 10:00,用户可能在 10:10 点击。拼接日志时先定义:预测什么行为、关联哪次曝光、允许多长时间,以及怎样处理迟到记录。
- 定义目标窗口。例如“曝光后 30 分钟内是否点击”。30 分钟是本例的目标定义,不是通用等待时长。
- 等待足够的数据。窗口未结束的样本尚未成熟;窗口内发生的点击也可能晚到,需有单独的到达容忍或补数规则。
- 按规则定标签。确认关联、去重和数据完整性后,窗口内有点击记为正;没有记为这个窗口目标的负。它不代表用户以后永远不会点击。
- 更长的转化目标另处理。购买可能延迟几天。选择更长等待、延迟模型或有明确假设的重加权,并用成熟标签检验偏差。
把未知样本先当负,再补一份正样本,会改变样本分布;随意给后来正样本加权并不普遍无偏。延迟反馈方法需要说明采样方式、目标分布和权重估计误差。ES-DFM:延迟反馈与权重偏差分析
一次决策应能回查哪些证据?
- 请求/曝光标识及事件时间,明确行为如何归因。
- 实际使用的特征值,或足以重建当时可用信息的历史与版本。
- 模型、特征定义、索引、候选来源与实验版本。
- 曝光位置与采样/探索概率等相应口径;只记位置并不自动完成位置偏差纠正。
直接记录线上实际用值有助于对齐;也可以用可靠历史重建。事后计算本身不一定泄漏,使用了当时未知的信息才是问题。Google ML 规则 29–32
日志不是越多越好。只保留确有需要且获准记录的数据,处理敏感字段、访问权限和保留期限;核对时也要保护用户数据。
组件五:监控,先发现症状,再核对原因
三层一起看,别依赖一个“最重要指标”
- 系统层:请求是否正常完成?
请求数/秒、成功与失败延迟的 P50/P95/P99、错误/超时率、资源饱和与下游状态。快速失败不能混入“很快”的好结果。
- 业务层:用户拿到了什么?
CTR、时长、留存及护栏,按合适窗口和人群观察;同时看各路曝光占比、兜底率、受控空态与错误白屏。
- 数据与模型层:输入和输出有何变化?
特征覆盖率与分布、PSI 等漂移指标、预测分布、版本及线上/离线打分一致性。PSI 比较新旧数据在各分箱中的占比;阈值需要基线,漂移不自动等于质量下降。
同一现象可能来自多个层。某路曝光归零,可能是召回故障,也可能是过滤、排序竞争或配置改变;应继续查该路返回量与每步淘汰量。Google SRE:症状、原因与监控信号
例子:分数分布变了,下一步查什么?
假设旧请求样本的平均预测点击率约为 0.05。下面的 0.01、0.5 只是构造变化,不是通用报警阈值;先比较同类流量、同一版本口径与足够的样本量。
| 看到什么 | 先核对 |
|---|---|
| 均值从 0.05 降到 0.01 | 输入缺失、流量人群、候选组成、模型版本和分数口径;不能只断言上游挂了。 |
| 均值升到 0.5 | 输出是不是概率,是否改了校准/采样,特征或模型是否装错;分数升高不等于点击率变好。 |
| 方差接近 0 | 是否同一默认输入、缓存错误、近似常数输出,或样本本来高度相似。 |
| 突然出现阶跃 | 对照模型、数据与实验变更记录,也检查流量切换和监控采集。 |
这类信号不需要等待完整购买或留存反馈,可能更早暴露某些问题;但不能保证提前几小时,也不能代替业务质量和端到端可用性检查。
事故手册:先保住可用结果,再定位
| 怀疑的问题 | 先核证据 | 可考虑的处置 |
|---|---|---|
| 上游特征异常 | 覆盖率、更新时间、下游错误与对应版本。 | 使用已验证的默认/历史值策略;关键字段无可用值时降级并报警。 |
| 模型损坏或加载失败 | 文件校验、加载日志、健康检查和样例输出。 | 阻止坏版本接流量;恢复兼容的上一版本。 |
| 热点打满缓存或存储 | 热点键、命中率、排队与资源负载。 | 有界本地缓存、限流和请求合并;检查新鲜度。 |
| ANN 索引异常 | 版本、构建结果、目录映射与测试查询。 | 保留可用旧索引并验证切换;过滤已下架内容。 |
| 样本拼接滞后 | 事件与到达时间、积压、完整率与标签成熟度。 | 暂停不合格的数据更新,保留可用模型并补查数据。 |
| 实验流量配置错 | 实际分组、样本比例、开关与版本记录。 | 限制影响面、关闭错误开关,核对回退后的真实分流。 |
| 内容分布异常集中 | 供给变化、召回/排序淘汰量、分组曝光与反馈。 | 按已定护栏限制或暂停策略;不能只凭占比上升认定反馈失控。 |
回滚要事先演练。模型、配置、代码、特征和索引的版本必须兼容。可以给自己的系统设“5 分钟内恢复”之类目标,但是否做得到,要验证切换、缓存、存量请求和回滚后的健康检查。
上线顺序:每一站都有继续与停止条件
1. 离线验证
确认数据切分、泄漏、GAUC/Recall@K 等口径,以及关键人群和护栏;指标不合格先定位,不把离线改善当线上保证。
2. 一致性校验
抽取代表性且获准使用的请求,固定模型、特征与输入版本,对照线上/离线输出。1000 条只是样本量例子;覆盖缺失值、边界和典型人群。
绝对差 1e-5 可以是某个相同精度实现的容差例子,不是所有硬件与量化模型的统一门槛。结合相对误差、排序一致性和任务指标制定标准。
3. 影子流量
新版本处理真实请求,但不把结果展示给用户;观察资源、时延、稳定性与输入输出。隔离有副作用的操作,并避免额外负载伤及正式服务。
1–2 天只能是示例,要覆盖代表性负载和数据周期。影子结果没有真实曝光,不能据此推断用户行为收益。
4. 小范围灰度
例如先给 1% 流量,检查可用性与护栏,并保留停止条件。至少一天不是普遍充分的观察时长;小流量灰度也不自动构成有统计效力的随机实验。
5. 按计划做 A/B 实验
例如 10%–50% 的实验覆盖,只是配置选项。分流单位、样本量、观察周期、停止规则和护栏要事先确定;7–14 天不保证充分,显著也不等于值得上线。详见第 12 章:评估与 A/B 实验。
6. 扩大部署并观察长期影响
如需长期比较,可保留稳定、随机分配的长期对照组,例如 1%–5%;比例需论证。这叫保留对照,不是把实验组与对照组反转。还要检查长期干扰、流失和产品约束。
上述数字保留为设计讨论的例子,不是照抄即可上线的保证。每一步都需要可追踪版本、负责人,以及失败时实际能执行的停止或回退路径。
技术选型:按职责查,不按名单全装
下面保留原有工具入口,供理解职责。选定前再核对官方维护状态、许可、部署约束和团队成本;同一行的工具也不必是可直接替换的同类产品。
| 职责 | 原有入口 | 先问的问题 |
|---|---|---|
| 消息传递 | Kafka、Pulsar | 是否需要可重放事件、分区顺序与多消费者? |
| 流处理 | Flink、Spark 的流处理能力 | 状态、乱序、窗口和容错如何处理? |
| 批处理 | Spark、Ray | 数据规模、计算模式和已有平台是否匹配? |
| 在线 KV | Redis Cluster、Aerospike、自建 | 键分布、批量方式、新鲜度和故障策略是什么? |
| 向量检索 | Faiss、HNSWlib、Milvus、Qdrant、pgvector | 需要库还是有运维能力的服务?如何更新、过滤与验证召回? |
| 模型训练 | PyTorch、TensorFlow、内部框架 | 与数据、模型和团队能力是否兼容? |
| 推理与服务 | Triton、TF Serving、ONNX Runtime;历史入口 TorchServe | 运行时不等于完整服务平台;还要处理路由、超时、观测与版本。 |
| 特征平台 | Feast、Tecton、Hopsworks、自建 | 离线历史、在线物化、定义与监控各由谁负责? |
| 实验平台 | 自建、GrowthBook | 分流、互斥、日志与统计口径能否核查? |
| 调度 | Airflow、Argo | 依赖、失败重试、版本和告警如何管理? |
| 监控展示 | Prometheus、Grafana | 指标从哪里来,何时告警,谁接手处理? |
维护状态提醒(2026-09 核查):TorchServe 官方已声明不再积极维护,没有计划更新、修复或安全补丁,不能继续当作无提示的新项目默认推荐。ONNX Runtime 负责模型执行,也不等于整套在线服务。TorchServe 官方状态;ONNX Runtime 职责
小团队可以先用 PostgreSQL(需要向量检索时再考虑 pgvector)、必要的缓存、Python 服务与可监控的定时训练任务。Redis、Kafka、Flink、Feast 都不是必须,也不是“只有亿级流量才配用”;遇到具体缺口,再比较引入它的收益与维护成本。
这一章连到哪里
| 去哪 | 继续解决什么 |
|---|---|
| AI 基础设施 20 | 动态组批、并发和推理服务架构,以及如何测质量、吞吐与延迟。 |
| 上线之后 03 | 区分影子、灰度和实验,设计兼容的回退路径。 |
| 上线之后 05 | 从用户可用性、数据与模型信号建立可行动的监控。 |
检查点:先用自己的话回答
- 特征平台减少什么差异?用了它以后还要检查什么?
- 精排超时与召回失败时,手里分别可能有什么结果?没有合法候选怎么办?
- 为什么要知道请求当时用了哪些特征?事后重建怎样避免穿越?
- 为什么要监控预测分数分布?一个异常能直接证明原因吗?
- 上线前怎样做一致性校验?样本量与容差由什么决定?
- 25.6 GB 权重表实际放不下时,有哪些办法,各自损失什么?
对照六个答案
- 共用定义减少两套实现的分歧;仍要核对时间与可用性、默认值、类型、版本和物化进度。
- 精排失败时可使用已完成的粗排;更早失败尝试有效缓存或热门。每条路都要检查资格、可用性与数量;没有合法项时使用受控空态,不能绕过限制凑数。
- 输入特征只用请求时已知的信息;可以记录获准保留的实际输入,或用可靠历史与可用时间重建。标签则按已定义的后续观察窗口生成,不是把后来的点击也排除掉。
- 分数变化能提供无需等待完整业务反馈的调查信号,但可能来自人群、输入、模型或采集等多个原因。需和其他层证据一起看,没有保证提前多久的万能指标。
- 固定版本与代表性输入,对照线上/离线输出、排序与任务表现。典型人群与边界覆盖决定抽哪些、抽多少;数值精度、硬件与任务要求决定误差怎样判。不能统一照抄 1000 与 1e-5。
- 可分片、哈希共享、降低精度、合并低频 ID 或改变为语义短码表示;分别带来通信、区分度、数值精度或接口/存储结构的代价,先计完整预算再验证。
本节回顾
先记住这几件事
- 上线链路要可观察、可降级、可回滚,不能只追求离线准确率。
- 输入用当时可见的特征;标签按曝光归因和反馈窗口生成。
- 从一致性校验、小流量验证到实验逐步放量,同时保留可追溯日志。
下一节:16 · 实战项目。现在只读全景和降级也可以;等到要部署、更新或排查故障,再回到相应入口。