🏠 总目录📚 本教程 15 · 工程落地 ← →
📑 本页目录(点开跳转)

15 · 工程落地

推荐算法 / 15

一次请求失败时,哪条出口还能给出结果?

从原请求与更新双路径图进入特征、时限、降级和回滚,保留原四路入口。

能定位当前症状的责任环节,以及继续或停止发布的原条件。

模型给出分数以后,还要把可用的结果及时送到用户面前。本页看这条链路:数据是否对得上、请求变慢怎么办、出了问题怎样发现并退回。

先带走一句话

上线不是把模型文件放到服务器,而是让整条推荐链路可观察、可降级、可回滚。

“特征”是模型读到的输入;“推理”是用已经训练好的模型计算结果。数据加工、在线服务、训练发布与监控各有职责,不需要把它们硬分成“模型占 5%、工程占 95%”。

全景架构:一次请求与一次更新不是同一条路

先响应请求,再用数据改进下一版模型上方从请求路由、用户特征,到召回物品候选、补充物品特征与粗排,再到精排重排和响应展示。展示后的曝光与行为进入下方日志、样本、训练验证、发布链;已验证模型与索引再回到上方召回或排序。下方更新过程不是每个在线请求都要等待的步骤。 先响应请求,再用数据改进下一版模型 这是职责与数据关系,不是每个系统都要独立部署这些服务。 在线请求:在预算内返回合格结果 请求与路由 确定上下文 传递剩余期限 用户特征 读取用户输入 核对可用性 召回与粗排 召回物品候选 补物品特征并粗排 精排与重排 细致比较与组合 保留必需约束 响应与展示 合格列表 或受控空态 曝光与后续行为 数据与版本更新:另行处理,不阻塞本次响应 发布版本 通过检查再切换 模型 / 索引 / 配置 保留兼容回退 训练与验证 使用合格样本 比较质量与资源 不合格则停止 准备训练样本 关联曝光与反馈 重建当时可见输入 检查成熟度和版本 日志与反馈 记录曝光和行为 保留必要决策上下文 处理迟到、去重 已验证版本回到召回 / 排序 贯穿各环节的检查,不是最后才补的一站 版本与新鲜度、延迟与错误、输入输出和业务护栏,都需要能回查。 未完成或不合格的结果不能冒充成功;降级与回滚必须经过验证。 看上方请求方向与下方更新方向:模型文件只是这条链路的一部分。

看两条方向:在线请求向右得到结果,曝光与反馈进入下方数据链;新版本经过训练验证与发布,才回到召回或排序。用户不需要等一次训练完成才拿到本次结果。

图中分组省略了实现细节,例如不同位置的资格过滤、缓存与监控采集;“职责要存在”不意味着必须拆成同样数量的服务。

看两条方向:在线链路把结果送给用户;日志和反馈进入数据链路,支持后续训练与评估。新模型经过验证和发布,才回到在线服务,不是每收到一条行为就立即替换模型。

图中的职责可以由少量组件承担,也可以拆成多个服务。组件数量由规模、时延、数据更新和团队维护能力决定。

组件一:特征平台,减少两套输入逻辑的分歧

要解决的问题:训练时算的是“过去 7 天点击次数”,上线却用了另一种时间边界或缺失值规则;同一个用户就会得到不同输入。这类差异属于训练与服务不一致。

共用特征定义,还要对照当时真正读到的值上方共同定义分出离线与在线两条路径。离线路径按请求时点和当时可用信息重建;在线路径读取已物化或实时可用输入。两条路径汇入对同次请求的逐项校验,检查值、时间、默认规则与版本。共用定义并不自动保证完全一致。 共用特征定义,还要对照当时真正读到的值 例如“过去 7 天点击次数”:窗口边界和缺失值规则都属于定义。 共同定义与版本 聚合窗口、数据类型、缺失值规则 记录定义版本,保留可复查的输入来源 离线:构造训练输入 对应到要重建的那次请求 只纳入当时已经可用的信息 后来的补数不能假装当时已知 在线:取得服务输入 读取当前已经物化或实时可用的值 检查更新时间、缓存与缺失规则 按获准范围记录实际输入或重建依据 针对同次请求,逐项校验 值、事件时间、可用时间、类型、默认规则与版本是否对应? 共用逻辑减少一种差异;物化延迟、晚到记录和版本错配仍须检查。 先核对“当时能知道什么”,再判断离线与在线是否一致。

看分叉与汇合:同一份定义服务两条计算/读取路径;末尾比较的是同次请求的输入证据,而不是随便抽两个时刻的结果。

“时点正确”不只看事件是否已经发生,还要核对记录何时可用。具体平台默认做哪一层过滤,需要按其实现与配置验证。

看图中的共同定义和两条读取路径:共用规则能减少重复实现,但仍要检查时间、类型、默认值、版本,以及线上数据是否已经更新到位。

这里的物化,指把算好的特征保存下来,供之后的请求读取。定义已经更新,不代表每一份在线存储都已经换成新值。

一个迟到记录:发生过,不等于当时已经知道

假设推荐请求发生在 10:00。下面是两个行为记录的事件时间与系统收到它的时间。

构造例子,不是生产日志
记录事件发生系统可用10:00 的请求能用吗?
A09:5809:59可以,其他资格与定义条件也要满足。
B09:5710:05不可以,当时还没收到。

事后重建 10:00 的训练输入时,仅检查“事件早于 10:00”会错误地纳入 B。需要重建当时可见的信息,而不是使用后来补齐的完整历史。

Feast 的时点连接默认按事件时间寻找过去记录;若要排除晚到、后来回填的记录,还需按其功能与存储支持配置可用时间过滤,且相应时间戳必须确实表示记录何时可用。用了特征平台不等于自动消除全部泄漏。Feast 时点连接说明

工具先分职责:Feast 是开源特征存储项目;Tecton 提供托管特征基础设施;Hopsworks 也是可进一步了解的特征平台。不要把这些名字一概写成相同的开源方案。自建 Spark、Redis 与一份定义文件,也仍要承担历史重建、版本、物化和监控。Tecton 官方介绍

在线读取:先说清一次请求读多少

P99 是把耗时从小到大排列后,约 99% 请求不超过的那个值;它不是最大耗时。吞吐看单位时间处理多少请求,别和一次请求用了多久混为一谈。

需求清单,不是所有系统都必须达到的数字
要量什么先明确口径可能的设计
读取延迟某次批量读取的 P99,还是单个键的延迟?5 ms 只能是一个待验证的预算。按请求记录分布,区分命中、未命中与错误。
吞吐推荐请求数/秒,与每次要读的用户、物品数量分开。有界批量读取;避免大量串行往返。
容量键数量、每键大小、版本数、过期时间和副本数。按实际容量估算,不默认每个系统都有亿级键。
一致性与可用性过期值可用多久?哪些字段缺失时应停止个性化?Redis Cluster、Aerospike 或自建 KV 都需配合明确策略。

例如一次要取 1000 个物品:逐个等待远端返回会累积网络往返。批量接口可以合并请求,但仍要限制批大小、返回体积和超时。

Redis 的 MGET 与 pipeline 不是同一个承诺。Cluster 中多键 MGET 通常要求同一哈希槽;跨分片要由合适的客户端按节点组织。pipeline 合并往返,但不是原子事务,也不宜无限堆积回复。Redis Cluster 多键约束;有界 pipeline

读到这里先定合同:某字段可旧多久、哪些读取能降级,与分区时的正确性保证要分别写清。下面用一次特征读和一次扩容小例深入;读主线可以先跳过。

可跳过:CAP与一致性哈希的两种“一致”

CAP限定了什么?考虑异步网络中两个仍工作的副本R1/R2无法通信。客户端已在R1写完特征v2并收到成功,之后才从R2读取;R2仍只有v1。

  • C(原子/线性一致性):操作看起来在调用与返回之间某个瞬间生效,且保留实际先后顺序。上述已完成写之后的读不能随意返回旧v1;它不是“数据格式一致”,也不是“允许旧5分钟”。
  • A(CAP可用性):非故障节点收到的每个请求最终都得到相应操作的响应,不是P99延迟或月度可用率。返回错误/拒绝读,并不因此满足所要求的读写服务可用性。
  • P(分区条件):网络可能丢失或无限延迟跨分区消息。R2若等到确认新值才响应,可能牺牲A;若继续返回旧值,则不能同时保证上述C。不是随时“任取二”,更不是能靠声明不选P来消灭网络故障。

对近期兴趣,可在业务合同允许时使用带版本/时效标记的旧值或降级候选;强约束字段可能必须等待、失败或转到可确认的读路径。业务可接受的陈旧度不等于线性一致性,恢复通信后的同步/冲突处理也要另定。原理依据:Gilbert–Lynch 2002原论文;作者2012回顾 §2重述原子读写服务的定义。此处没有运行网络分区实验。

一致性哈希解决的是放在哪个节点。把键与节点映到环,键归属顺时针遇到的第一个节点。手设环为0–99,节点A在20、B在60、C在90;加入D在40后,只有原先B负责的(20,40]区间迁给D,示例键35改变归属。

键的手设哈希加入D之前D加入40之后
10A(20)A(20)
35B(60)D(40)
65C(90)C(90)
95A(绕回20)A(绕回20)

这是手设位置,不是真实哈希输出。与简单 hash(key) % 节点数 扩容可能大幅重映射相比,环的目标是让变更局部化。虚拟节点让一个物理节点占多个分散位置,有助于均衡键范围,但增加元数据,且不能自动分散一个热点键的流量。副本、热点处理与副本读一致性仍需单独设计;“一致性哈希”不保证CAP的C。

迁移时要固定路由代际、转移数据并处理期间更新,再按协议切换所有权;过渡读写与失败回退不能仅靠重算哈希解决。原理参考Karger等一致性哈希原论文与Chord作者版的环、后继与虚拟节点说明。

接回本章Redis例子:Redis Cluster把键映到16384个固定哈希槽,再分配槽给节点;基础公式是CRC16(key) mod 16384,另有hash tag规则。它不是本例的顺时针哈希环。槽迁移、多键操作和副本策略需按实际部署版本核对;本节未测Redis扩容或真实吞吐。

组件二:在线服务,在有限时间内做选择

先分清设计预算与测得的 P99

下面沿用一个 200 ms 的服务端预算例子,从服务收到请求计到写出响应。它不是通用标准,也不包含用户设备与整个网络的所有时间。

分配预算的例子;不是七段实测 P99
环节示例预算不足时的选择
网关与路由5 ms限制拥塞与排队,把剩余期限传给下游。
用户特征10 ms使用允许的缓存或已验证的缺失值策略。
并行召回30 ms按计划收取及时返回的路;必要时减少路数或 ANN 搜索预算。
物品特征20 ms有界批量、缓存;不能填入未经验证的随意默认值。
粗排15 ms减少候选或使用简单模型;失败时不能假装已有粗排结果。
精排80 ms已有可用粗排结果时,退回粗排顺序。
重排10 ms可简化非必需目标;资格与安全约束不能因超时被绕过。
小计与余量170 + 30 = 200 ms余量还要考虑序列化、排队、调度与波动,实际须压测。

并行召回的 30 ms 是这个阶段的预算,不是把每一路的耗时逐个相加。测量完整请求时,要看实际关键路径、排队和失败;各环节的 P99 不能直接相加当成整个请求的 P99。

可选手算:为什么两个 P99 相加会算错?

构造 100 个请求,每个先经过 A 再经过 B。这里采用“排好序后取第 99 个”的 P99 定义。

慢请求发生在不同环节
请求数AB合计
98 个10 ms10 ms20 ms
1 个100 ms10 ms110 ms
1 个10 ms100 ms110 ms

A 与 B 各有 99 个 10 ms,单独 P99 都是 10 ms;完整请求第 99 个却是 110 ms,不是 20 ms。这里展示分布不能直接相加,没有模拟任何真实服务。

目标应明确请求范围、统计窗口与测量位置,再从用户体验反推预算。P99 不是最大值,平均快也不代表尾部请求快。Google SRE:服务目标与分位数

降级:知道手里已有哪个可用结果

  1. 提前减少工作:降低召回路数、候选数或搜索预算。质量代价要另测,不能等完全超时后再追溯节省时间。
  2. 精排来不及:只有粗排已经成功,才能直接采用其顺序。
  3. 更早阶段失败:尝试仍有效的缓存或热门候选,核对当前资格、库存/可用性与过期时间。
  4. 没有可展示项:返回清楚的受控空态或其他允许的产品入口。不要为凑满列表绕过限制,也不要让前端因空列表变成白屏。

截止时间必须向下游传播。每段都重新等待完整 200 ms,会把总耗时拉长。取消下游请求后,应用还要负责停止相应工作;“客户端不等了”不代表后台已停止。gRPC deadlines 与取消

小实验:用逻辑时钟走一遍降级

只模拟“剩余预算如何影响选择”。耗时是手工设置的数字,没有网络、模型训练或真实等待;因此输出不构成生产延迟保证。

代码另用 40 ms、最多 3 项的小例子,方便逐步核算,与上面的 200 ms 预算表不是同一次请求。ID 只用整数;按 ID 排序和保留原顺序的重排用来显露分支,不是真正的推荐模型。

先看实际运行的六个结果:只是逻辑预算模拟
场景采用的来源最终物品 ID逻辑消耗 / 总预算看这里
正常精排[4, 3, 2]29/40 ms召回、粗排、精排和重排都完成。
精排超时粗排[1, 2, 3]37/40 ms精排超时,保留已完成的粗排顺序。
粗排超时缓存[2, 1, 3]22/40 ms候选已取得,但粗排未完成;使用筛选后的缓存。
召回超时且缓存失效热门[4, 3, 2]14/40 ms召回超时,缓存也没有合法项;再检查热门。
所有来源都无合法项受控空态[]14/40 ms缓存和热门都无合法项,不绕过资格限制凑数。
重排超时精排[4, 3, 2]30/40 ms重排超时,保留已完成的精排顺序。

日志中的 16/16 ms 超时 表示“逻辑消耗 / 分配额度”:该场景把精排成本设为 100 ms,超过分配的 16 ms,所以记为超时,并只在逻辑时钟上扣除 16 ms。不能把分母误读为预设成本,也不是测到一次真实 RPC 耗时。

每个来源都先筛掉不存在、不可用、无资格、过期与重复项,再最多取 3 项。这里的缓存、热门与资格目录都已在内存里;没有模拟远端读取、并发资格变化或真实取消。

"""确定性教学模拟:逻辑毫秒不是实测延迟,也不是生产截止时间保证。"""

from dataclasses import dataclass, field, replace


RERANK_RESERVE = 4
OUTPUT_RESERVE = 6


@dataclass(frozen=True)
class Item:
    available: bool = True
    eligible: bool = True
    expires_at_ms: int = 1000


@dataclass
class SimBudget:
    limit_ms: int
    elapsed_ms: int = 0
    trace: list = field(default_factory=list)

    def attempt(self, name, cost_ms, cap_ms, reserve_ms):
        remaining = self.limit_ms - self.elapsed_ms
        quota = max(0, min(cap_ms, remaining - reserve_ms))
        charged = min(cost_ms, quota)
        self.elapsed_ms += charged
        success = cost_ms <= quota
        status = "跳过" if quota == 0 else ("完成" if success else "超时")
        self.trace.append({"stage": name, "quota": quota, "charged": charged,
                           "reserve": reserve_ms, "before": remaining,
                           "status": status})
        return success


def legal_ids(ids, catalog, now_ms, n):
    """按当前模拟返回时刻筛选,保持顺序、去重,最多返回 n 项。"""
    result, seen = [], set()
    if n == 0:
        return result
    for item_id in ids:
        item = catalog.get(item_id)
        if (item is None or not item.available or not item.eligible
                or now_ms >= item.expires_at_ms or item_id in seen):
            continue
        seen.add(item_id)
        result.append(item_id)
        if len(result) == n:
            break
    return result


def recommend_sim(pool, cache, popular, catalog, costs, n=3, deadline_ms=40):
    """cache/popular 是已在内存里的假数据;本例没有 RPC、睡眠或真实取消。"""
    if type(n) is not int or n < 0:
        raise ValueError("n 必须是非负整数")
    if type(deadline_ms) is not int or deadline_ms < OUTPUT_RESERVE:
        raise ValueError("本模拟至少需要 6ms 的输出预算")
    if len(costs) != 4 or any(type(c) is not int or c <= 0 for c in costs):
        raise ValueError("四个阶段的模拟成本必须是正整数")

    budget = SimBudget(deadline_ms)
    candidates, coarse, ranked = [], [], []
    candidates_ready = coarse_ready = False
    ranked_source, rerank_ok = "未完成排序", None
    reserve = RERANK_RESERVE + OUTPUT_RESERVE

    if budget.attempt("召回", costs[0], cap_ms=8, reserve_ms=reserve):
        candidates = list(pool)
        candidates_ready = True
        if budget.attempt("粗排", costs[1], cap_ms=10, reserve_ms=reserve):
            # 两次按 ID 排序只为让顺序差异可见,不代表真实推荐模型。
            coarse = sorted(candidates)
            coarse_ready = True
            ranked, ranked_source = list(coarse), "粗排"
            if budget.attempt("精排", costs[2], cap_ms=16, reserve_ms=reserve):
                ranked, ranked_source = sorted(coarse, reverse=True), "精排"

    if ranked:
        rerank_ok = budget.attempt("重排", costs[3], RERANK_RESERVE, OUTPUT_RESERVE)
        # 这是保留顺序的重排占位;超时也不丢弃已经完成的排序结果。

    # 6ms 是本模型人为分配的筛选/封装成本,不是 Python 实际运行耗时。
    if not budget.attempt("输出", OUTPUT_RESERVE, OUTPUT_RESERVE, 0):
        raise RuntimeError("未留足输出预算:模拟配置有误")
    output, source = [], "受控空态"
    for name, ids in [(ranked_source, ranked), ("缓存", cache), ("热门", popular)]:
        output = legal_ids(ids, catalog, budget.elapsed_ms, n)
        if output:
            source = name
            break
    empty_reason = ("requested_zero" if n == 0 else "no_eligible_items") if not output else None
    return {"items": output, "source": source, "empty_reason": empty_reason,
            "elapsed_ms": budget.elapsed_ms, "deadline_ms": deadline_ms,
            "candidates_ready": candidates_ready, "coarse_ready": coarse_ready,
            "rerank_ok": rerank_ok, "trace": budget.trace}


def demo_cases():
    catalog = {i: Item() for i in (1, 2, 3, 4)}
    catalog.update({8: Item(available=False), 9: Item(eligible=False),
                    10: Item(expires_at_ms=5)})
    # 10 在请求开始时未过期,但本例最终输出时已过期;999 不在目录中。
    pool = [4, 1, 2, 1, 3, 8, 9, 10, 999]
    cache = [8, 2, 2, 9, 1, 10, 3, 4]
    popular = [9, 4, 4, 8, 3, 10, 2, 1]
    invalid_cache = [8, 9, 10, 999]
    blocked = {k: replace(v, eligible=False) for k, v in catalog.items()}
    definitions = [
        ("正常", (6, 6, 8, 3), cache, catalog, "精排", [4, 3, 2]),
        ("精排超时", (6, 6, 100, 3), cache, catalog, "粗排", [1, 2, 3]),
        ("粗排超时", (6, 100, 8, 3), cache, catalog, "缓存", [2, 1, 3]),
        ("召回超时且缓存失效", (100, 6, 8, 3), invalid_cache, catalog, "热门", [4, 3, 2]),
        ("所有来源都无合法项", (100, 6, 8, 3), cache, blocked, "受控空态", []),
        ("重排超时", (6, 6, 8, 100), cache, catalog, "精排", [4, 3, 2]),
    ]
    return [(name, dict(pool=pool, cache=c, popular=popular, catalog=items, costs=costs),
             expected_source, expected_items)
            for name, costs, c, items, expected_source, expected_items in definitions]


def main():
    print("以下仅是逻辑预算模拟;没有测量 RPC,也没有生产截止保证。")
    for name, inputs, expected_source, expected_items in demo_cases():
        result = recommend_sim(**inputs)
        assert (result["source"], result["items"]) == (expected_source, expected_items)
        assert result["elapsed_ms"] <= result["deadline_ms"]
        assert result["items"] == legal_ids(result["items"], inputs["catalog"], result["elapsed_ms"], 3)
        if name == "粗排超时":
            assert result["candidates_ready"] and not result["coarse_ready"]
        if name == "重排超时":
            assert result["rerank_ok"] is False
        print(f"{name}: 来源={result['source']}, 结果={result['items']}, "
              f"逻辑耗时={result['elapsed_ms']}/{result['deadline_ms']}ms")
        print("  " + "; ".join(f"{e['stage']} {e['charged']}/{e['quota']}ms {e['status']}"
                               for e in result["trace"]))


if __name__ == "__main__":
    main()

组件三:模型服务,先找到真正的瓶颈

六种优化:比较收益,也比较代价

下面保留六类办法,不给没有测试口径的固定提速倍数。每次比较使用同一模型任务、候选数量、硬件、并发与输入分布,并同时记录质量、吞吐和请求延迟。

先测瓶颈,再决定优化顺序
办法可能改善什么要一起检查什么
批量推理例如把一个请求的 500 个候选组成张量,减少重复调用;跨请求动态组批还能改善设备利用率。显存与排队时间。跨请求等一批会增加等待,不能只看吞吐。
INT8 量化减少部分权重存储与计算成本。硬件/算子支持、校准数据、任务质量与分组表现;不保证加速或固定 AUC 下降。
Embedding 预取减少请求期间的远端读或数据搬运等待。命中率、预取是否浪费、内存占用与版本新鲜度。
图优化与算子融合ONNX Runtime、TensorRT 等可优化执行和减少中间开销;ONNX 本身是模型表示格式。支持的算子/形状、数值差异、热身与实际部署硬件。
模型蒸馏让较小学生学习教师信号,可用于较低成本打分或粗排。学生是否保住关键人群与任务表现;教师成本和重新训练成本。
缓存复用仍有效的特征、向量或结果。键是否包含必要上下文与版本;防止串用户、过期内容和资格变化。

动态组批的配置需要在吞吐与延迟之间实测取舍;量化也可能因额外开销而变慢。Triton 动态组批;ONNX Runtime 量化与精度检查

Embedding:先算存储,再选缩减办法

Embedding 是按 ID 查到的一小组数。一亿个 ID,每个 64 个 float32 数:

100,000,000 × 64 × 4 = 25,600,000,000 字节 = 25.6 GB(十进制,约 23.84 GiB)。

这是权重表本身,不包括优化器状态、梯度、副本、缓存与服务开销。是否放得下,要对照可用内存或显存;不能断言任何单机/GPU 都装不下。

参数服务器或其他分片方式

把表分散到多台机器;代价是通信、热点、容错与版本管理,不是免费扩容。

哈希分桶

多个 ID 共享桶向量会损失区分度。一亿个不同 ID 放进一千万个桶,即使每桶都占用,也至少有九千万个额外 ID 必须与别的 ID 共享桶,不能叫“少量冲突”。

混合精度或量化

FP16、INT8 可以减少部分存储;缩放参数、计算支持和质量检查仍需另计。

频次过滤

低频 ID 可映射到未知项或共享向量,减少独立参数;代价是长尾物品的区分能力。对应第 7 节的特征设计。

Semantic ID

第 14 节的短码可以改变 token 词表与表示方式,但仍有码本、物品编码、目录和映射等成本,也不是任意模型的无损替换。

组件四:训练与更新,快不等于稳

三种节奏可以组合,不是优劣排名

时间只是例子,要由数据和反馈延迟决定
节奏在做什么需要防什么
天级全量例如每天用过去 N 天的合格数据重新训练。数据是否完整、训练窗口是否合适;不保证一定最稳,也可能跟不上新变化。
小时级增量从已验证模型出发,吸收最近一段新数据。重复消费、遗忘旧分布与学习率;可结合历史重放和周期性全量训练。
分钟级或流式学习在特定窗口或规则满足后更新;消息到达只是输入之一。标签成熟度、乱序/去重、脏数据、检查与发布开销;需要能停止或回滚。

先更新热门特征或召回候选,也可能更快响应热点,不必把所有时效要求都变成更频繁地训练模型。

样本拼接:没有反馈,可能只是还没等到

曝光发生在 10:00,用户可能在 10:10 点击。拼接日志时先定义:预测什么行为、关联哪次曝光、允许多长时间,以及怎样处理迟到记录。

  1. 定义目标窗口。例如“曝光后 30 分钟内是否点击”。30 分钟是本例的目标定义,不是通用等待时长。
  2. 等待足够的数据。窗口未结束的样本尚未成熟;窗口内发生的点击也可能晚到,需有单独的到达容忍或补数规则。
  3. 按规则定标签。确认关联、去重和数据完整性后,窗口内有点击记为正;没有记为这个窗口目标的负。它不代表用户以后永远不会点击。
  4. 更长的转化目标另处理。购买可能延迟几天。选择更长等待、延迟模型或有明确假设的重加权,并用成熟标签检验偏差。

把未知样本先当负,再补一份正样本,会改变样本分布;随意给后来正样本加权并不普遍无偏。延迟反馈方法需要说明采样方式、目标分布和权重估计误差。ES-DFM:延迟反馈与权重偏差分析

一次决策应能回查哪些证据?

  • 请求/曝光标识及事件时间,明确行为如何归因。
  • 实际使用的特征值,或足以重建当时可用信息的历史与版本。
  • 模型、特征定义、索引、候选来源与实验版本。
  • 曝光位置与采样/探索概率等相应口径;只记位置并不自动完成位置偏差纠正。

直接记录线上实际用值有助于对齐;也可以用可靠历史重建。事后计算本身不一定泄漏,使用了当时未知的信息才是问题。Google ML 规则 29–32

日志不是越多越好。只保留确有需要且获准记录的数据,处理敏感字段、访问权限和保留期限;核对时也要保护用户数据。

组件五:监控,先发现症状,再核对原因

三层一起看,别依赖一个“最重要指标”

系统层:请求是否正常完成?

请求数/秒、成功与失败延迟的 P50/P95/P99、错误/超时率、资源饱和与下游状态。快速失败不能混入“很快”的好结果。

业务层:用户拿到了什么?

CTR、时长、留存及护栏,按合适窗口和人群观察;同时看各路曝光占比、兜底率、受控空态与错误白屏。

数据与模型层:输入和输出有何变化?

特征覆盖率与分布、PSI 等漂移指标、预测分布、版本及线上/离线打分一致性。PSI 比较新旧数据在各分箱中的占比;阈值需要基线,漂移不自动等于质量下降。

同一现象可能来自多个层。某路曝光归零,可能是召回故障,也可能是过滤、排序竞争或配置改变;应继续查该路返回量与每步淘汰量。Google SRE:症状、原因与监控信号

例子:分数分布变了,下一步查什么?

假设旧请求样本的平均预测点击率约为 0.05。下面的 0.01、0.5 只是构造变化,不是通用报警阈值;先比较同类流量、同一版本口径与足够的样本量。

信号是调查入口,不是根因判决
看到什么先核对
均值从 0.05 降到 0.01输入缺失、流量人群、候选组成、模型版本和分数口径;不能只断言上游挂了。
均值升到 0.5输出是不是概率,是否改了校准/采样,特征或模型是否装错;分数升高不等于点击率变好。
方差接近 0是否同一默认输入、缓存错误、近似常数输出,或样本本来高度相似。
突然出现阶跃对照模型、数据与实验变更记录,也检查流量切换和监控采集。

这类信号不需要等待完整购买或留存反馈,可能更早暴露某些问题;但不能保证提前几小时,也不能代替业务质量和端到端可用性检查。

事故手册:先保住可用结果,再定位

处置思路;具体动作须经过演练和权限约束
怀疑的问题先核证据可考虑的处置
上游特征异常覆盖率、更新时间、下游错误与对应版本。使用已验证的默认/历史值策略;关键字段无可用值时降级并报警。
模型损坏或加载失败文件校验、加载日志、健康检查和样例输出。阻止坏版本接流量;恢复兼容的上一版本。
热点打满缓存或存储热点键、命中率、排队与资源负载。有界本地缓存、限流和请求合并;检查新鲜度。
ANN 索引异常版本、构建结果、目录映射与测试查询。保留可用旧索引并验证切换;过滤已下架内容。
样本拼接滞后事件与到达时间、积压、完整率与标签成熟度。暂停不合格的数据更新,保留可用模型并补查数据。
实验流量配置错实际分组、样本比例、开关与版本记录。限制影响面、关闭错误开关,核对回退后的真实分流。
内容分布异常集中供给变化、召回/排序淘汰量、分组曝光与反馈。按已定护栏限制或暂停策略;不能只凭占比上升认定反馈失控。

回滚要事先演练。模型、配置、代码、特征和索引的版本必须兼容。可以给自己的系统设“5 分钟内恢复”之类目标,但是否做得到,要验证切换、缓存、存量请求和回滚后的健康检查。

上线顺序:每一站都有继续与停止条件

  1. 1. 离线验证

    确认数据切分、泄漏、GAUC/Recall@K 等口径,以及关键人群和护栏;指标不合格先定位,不把离线改善当线上保证。

  2. 2. 一致性校验

    抽取代表性且获准使用的请求,固定模型、特征与输入版本,对照线上/离线输出。1000 条只是样本量例子;覆盖缺失值、边界和典型人群。

    绝对差 1e-5 可以是某个相同精度实现的容差例子,不是所有硬件与量化模型的统一门槛。结合相对误差、排序一致性和任务指标制定标准。

  3. 3. 影子流量

    新版本处理真实请求,但不把结果展示给用户;观察资源、时延、稳定性与输入输出。隔离有副作用的操作,并避免额外负载伤及正式服务。

    1–2 天只能是示例,要覆盖代表性负载和数据周期。影子结果没有真实曝光,不能据此推断用户行为收益。

  4. 4. 小范围灰度

    例如先给 1% 流量,检查可用性与护栏,并保留停止条件。至少一天不是普遍充分的观察时长;小流量灰度也不自动构成有统计效力的随机实验。

  5. 5. 按计划做 A/B 实验

    例如 10%–50% 的实验覆盖,只是配置选项。分流单位、样本量、观察周期、停止规则和护栏要事先确定;7–14 天不保证充分,显著也不等于值得上线。详见第 12 章:评估与 A/B 实验。

  6. 6. 扩大部署并观察长期影响

    如需长期比较,可保留稳定、随机分配的长期对照组,例如 1%–5%;比例需论证。这叫保留对照,不是把实验组与对照组反转。还要检查长期干扰、流失和产品约束。

上述数字保留为设计讨论的例子,不是照抄即可上线的保证。每一步都需要可追踪版本、负责人,以及失败时实际能执行的停止或回退路径。

技术选型:按职责查,不按名单全装

下面保留原有工具入口,供理解职责。选定前再核对官方维护状态、许可、部署约束和团队成本;同一行的工具也不必是可直接替换的同类产品。

工具是可选实现,不是入门前置清单
职责原有入口先问的问题
消息传递Kafka、Pulsar是否需要可重放事件、分区顺序与多消费者?
流处理Flink、Spark 的流处理能力状态、乱序、窗口和容错如何处理?
批处理Spark、Ray数据规模、计算模式和已有平台是否匹配?
在线 KVRedis Cluster、Aerospike、自建键分布、批量方式、新鲜度和故障策略是什么?
向量检索Faiss、HNSWlib、Milvus、Qdrant、pgvector需要库还是有运维能力的服务?如何更新、过滤与验证召回?
模型训练PyTorch、TensorFlow、内部框架与数据、模型和团队能力是否兼容?
推理与服务Triton、TF Serving、ONNX Runtime;历史入口 TorchServe运行时不等于完整服务平台;还要处理路由、超时、观测与版本。
特征平台Feast、Tecton、Hopsworks、自建离线历史、在线物化、定义与监控各由谁负责?
实验平台自建、GrowthBook分流、互斥、日志与统计口径能否核查?
调度Airflow、Argo依赖、失败重试、版本和告警如何管理?
监控展示Prometheus、Grafana指标从哪里来,何时告警,谁接手处理?

维护状态提醒(2026-09 核查):TorchServe 官方已声明不再积极维护,没有计划更新、修复或安全补丁,不能继续当作无提示的新项目默认推荐。ONNX Runtime 负责模型执行,也不等于整套在线服务。TorchServe 官方状态;ONNX Runtime 职责

小团队可以先用 PostgreSQL(需要向量检索时再考虑 pgvector)、必要的缓存、Python 服务与可监控的定时训练任务。Redis、Kafka、Flink、Feast 都不是必须,也不是“只有亿级流量才配用”;遇到具体缺口,再比较引入它的收益与维护成本。

这一章连到哪里

去哪继续解决什么
AI 基础设施 20动态组批、并发和推理服务架构,以及如何测质量、吞吐与延迟。
上线之后 03区分影子、灰度和实验,设计兼容的回退路径。
上线之后 05从用户可用性、数据与模型信号建立可行动的监控。

检查点:先用自己的话回答

  1. 特征平台减少什么差异?用了它以后还要检查什么?
  2. 精排超时与召回失败时,手里分别可能有什么结果?没有合法候选怎么办?
  3. 为什么要知道请求当时用了哪些特征?事后重建怎样避免穿越?
  4. 为什么要监控预测分数分布?一个异常能直接证明原因吗?
  5. 上线前怎样做一致性校验?样本量与容差由什么决定?
  6. 25.6 GB 权重表实际放不下时,有哪些办法,各自损失什么?
对照六个答案
  1. 共用定义减少两套实现的分歧;仍要核对时间与可用性、默认值、类型、版本和物化进度。
  2. 精排失败时可使用已完成的粗排;更早失败尝试有效缓存或热门。每条路都要检查资格、可用性与数量;没有合法项时使用受控空态,不能绕过限制凑数。
  3. 输入特征只用请求时已知的信息;可以记录获准保留的实际输入,或用可靠历史与可用时间重建。标签则按已定义的后续观察窗口生成,不是把后来的点击也排除掉。
  4. 分数变化能提供无需等待完整业务反馈的调查信号,但可能来自人群、输入、模型或采集等多个原因。需和其他层证据一起看,没有保证提前多久的万能指标。
  5. 固定版本与代表性输入,对照线上/离线输出、排序与任务表现。典型人群与边界覆盖决定抽哪些、抽多少;数值精度、硬件与任务要求决定误差怎样判。不能统一照抄 1000 与 1e-5。
  6. 可分片、哈希共享、降低精度、合并低频 ID 或改变为语义短码表示;分别带来通信、区分度、数值精度或接口/存储结构的代价,先计完整预算再验证。

本节回顾

先记住这几件事

  • 上线链路要可观察、可降级、可回滚,不能只追求离线准确率。
  • 输入用当时可见的特征;标签按曝光归因和反馈窗口生成。
  • 从一致性校验、小流量验证到实验逐步放量,同时保留可追溯日志。

下一节:16 · 实战项目。现在只读全景和降级也可以;等到要部署、更新或排查故障,再回到相应入口。

打卡记录保存在你的浏览器里,首页能看到总进度