🏠 总目录📚 本教程 15 · 可观测性 ← →

AI全栈 / 15

用户说慢又贵,先查哪条证据?

把请求标识、延迟与费用串起来,同时约束日志中的敏感内容。

能选择定位问题所需的指标与日志,避免只堆输出。

核对四类指标

📑 本页目录(点开跳转)

15 · 可观测性

⏱ 阅读约 70 分钟 · 动手实践另计


🎯 一句话

出事时你能不能在五分钟内说清「谁、什么时候、调了哪个模型、花了多少、慢在哪一段」—— 这个能力叫可观测性,而它必须在出事之前就装好。

事后再补是补不上的:关键事件发生时就要留下证据。能从账单或其他系统补核的字段另行对账,缺失的部分先标为未知。


🔭 一、⭐ 先划清一条界

这条界必须先划,否则你会同时做错两件事。

你在问什么 归谁 典型指标
接口在返回 5xx 吗?首字要等多久?今天花了多少钱?队列积压了吗? ⭐ 本章 TTFT、p95 时长、按类型分的错误率、token 与钱
模型答得对不对?用户满不满意?效果是不是比上周退化了? 《模型上线之后》 离线指标、漂移、AB 实验、人工评分

⭐ 为什么必须分开:两套指标的处置动作完全不同。 服务不健康是今晚就要处理的事(回滚、扩容、限流、切备用模型); 模型退化是一次要花几天的调查(看数据、重训、跑 AB)。 混在一起的代价是双向的:你会在凌晨三点被一个「答得不太好」叫醒, 而一次真正的 5xx 尖峰会淹没在评分噪声里没人管。

⚠️ 交界处怎么判:比如「模型没按格式返回 JSON」算哪边?⭐ 看处置动作 —— 如果你的代码因此抛异常、用户看到报错,它就是本章「错误率按类型分」里的一类,今晚要处理;如果格式是对的、只是内容不够好,那是那边的活。


🧩 二、结构化日志:为什么不能只 print

print 在开发时很好用,上线后有三个致命缺陷:没有级别、时间、来源(只能「全看」或「全不看」);多进程一起写,顺序错乱、还要靠肉眼分辨哪条属于哪个请求;以及最要命的那条 —— ⭐ 拼进一句话里的东西查不出来:写下 print(f"用户 {u} 花了 {c} 分") 之后,「昨天 u_42 一共花了多少」就变成了一次正则考古。

选读:PB 日输入下,怎样按 IP 和时间窗查次数?

先定口径。源题未给窗口与新鲜度;本例选 UTC 两分钟半开窗口 [起, 止)、每分钟刷新,窗口结束后允许五分钟内迟到修正,结果先标暂定。原始输入按十进制 1 PB = 10^15 B/日算,平均约 11.574 GB/s;若平均每条 1000 B,则约 11.574 M 条/s。峰值、副本、索引和压缩另算;这是设计输入,不是 PB 能力实测。

原始日志归档 → 去重与事件时间处理 → 按维度、IP 和分钟桶保存可合并计数/索引 → 查询

先把事件数对。event_id 在约定范围唯一,重试复用且不重复加计;source_ip 由可信入口取得并规范化,不采信任意 X-Forwarded-For,IP 也不等于唯一用户。固定 tenant_id/event_kind,区分发生时间 event_time 与采集时间 observed_time。迟到归发生时间;watermark/允许迟到是处理策略,不保证再无迟到。超期进入归档回补:按 ID 去重后重算并按版本替换受影响桶,重放不累加旧总数。

手设同租户、同类访问,IP 为 198.51.100.7;同日 UTC,非实测日志
event_idevent_timeobserved_time
e112:00:1012:00:11
e212:00:4012:00:41
e2(重复)12:00:4012:01:05
e3(迟到)12:01:2012:02:10
含迟到修正后:查 [12:00:00, 12:02:00),原始去重计数为 3,分钟桶相加为 2 + 1 = 3;访问频率为 3/120 = 0.025 次/秒。改查 [12:00:30, 12:01:30) 时,边缘原始记录只有 e2、e3,共 2 次,不能把两个整桶的 3 次全部算入。

查询与保留边界。按维度、IP 和时间定位;只有桶对齐才直接求和,任意边界须查更细桶或原始边缘。原始、细粒度和去重记录须覆盖约定查询/回补期,过期不承诺精确回补;沿用本页日志隐私、短留存与独立权限。插入触发预计算不会自动修正历史变更,须核底层更新语义;单 SQL/物化视图不保证 PB 快查或端到端 exactly-once。聚合语义复用SQL03;本例未部署或压测。

⭐ 形状:一行一条 JSON,事件名是固定字符串,会变的东西全部进字段。 事件名固定,才聚合得起来(「llm_call 今天有 12000 条,其中 37 条带 error_kind」); 把变量拼进消息里,精确分组就得依赖解析文本,容易因格式变化漏计。

一次模型调用该带的字段,每一个都对应一个你迟早要问的问题:

字段 少了它,哪个问题问不出口
request_id 「用户报的是哪次 HTTP 请求?」第 3 章把对外错误查询号叫 trace_id,本章示例以 request_id 存这个查询号。后面会把它与分布式追踪标识分开。
user_id / tenant_id 「是不是只有这一个租户在报错」
model 「是不是上周换模型换出来的」—— 换模型是最常见的回归来源
tokens_in / tokens_out / cost_cents 第 12 章的成本归因。记录已知用量和费用,待核算的值保留为空。
server_first_chunk_ms / latency_ms 「是首字慢还是整体慢」—— 两件事,见第四节
cached 区分应用直接返回已有结果和模型侧的输入缓存。两种情况的调用次数和费用口径可能不同。
error_kind 「2% 的错误率」里到底有几种错
import contextvars
import json
import logging
import sys

request_id = contextvars.ContextVar("request_id", default="-")


class JsonFormatter(logging.Formatter):
    def format(self, record):
        return json.dumps({
            "ts": round(record.created, 3),
            "level": record.levelname,
            "event": record.getMessage(),
            "request_id": request_id.get(),
            "fields": record.fields,
        }, ensure_ascii=False)


if __name__ == "__main__":
    log = logging.getLogger("summary_demo")
    log.setLevel(logging.INFO)
    handler = logging.StreamHandler(sys.stdout)
    handler.setFormatter(JsonFormatter())
    log.addHandler(handler)
    log.propagate = False

    token = request_id.set("req-8f3a")
    try:
        log.info("http_headers_sent", extra={"fields": {"http_status": 200}})
        try:
            # 合成超时,异常原文仅留在进程内。
            raise TimeoutError("simulated read timeout")
        except TimeoutError:
            log.warning("llm_attempt_finished", extra={"fields": {
                "attempt_id": "try-1", "model": "big",
                "outcome": "failed", "error_kind": "upstream_timeout",
                "usage_status": "pending", "cost_cents": None,
            }})
        log.info("stream_finished", extra={"fields": {
            "outcome": "failed", "server_first_chunk_ms": 310, "latency_ms": 1600,
        }})
    finally:
        request_id.reset(token)

用 Python 3 运行此标准库示例。三个事件按顺序打印,ts 随运行时刻变化。server_first_chunk_ms 和 latency_ms 是演示输入,分别表示本例服务端发出第一段文本与结束本次处理的时间。代码模拟事件,没有调用模型。

{"ts": 1786112431.032, "level": "INFO", "event": "http_headers_sent", "request_id": "req-8f3a", "fields": {"http_status": 200}}
{"ts": 1786112431.032, "level": "WARNING", "event": "llm_attempt_finished", "request_id": "req-8f3a", "fields": {"attempt_id": "try-1", "model": "big", "outcome": "failed", "error_kind": "upstream_timeout", "usage_status": "pending", "cost_cents": null}}
{"ts": 1786112431.032, "level": "INFO", "event": "stream_finished", "request_id": "req-8f3a", "fields": {"outcome": "failed", "server_first_chunk_ms": 310, "latency_ms": 1600}}

每条日志记录一件事。request_id 在入口设定,三个事件都能用它查到,finally 在退出时恢复上下文。异常在捕获处归类为固定值 upstream_timeout,fields 由调用点挑选并填入受控字段。接入业务时要限制字段和值的来源,别把请求体或异常对象直接交给格式化器。用量未回传,费用保留为 null,等待第 12 章所讲的对账。

⭐ 打到 stdout,别自己写文件、别自己做轮转 —— 容器里的标准分工是「进程只管往 stdout 写,收集和留存交给平台」。这也正是第 14 章那行 PYTHONUNBUFFERED=1 的用途:不关缓冲,你在平台上看到的会是一段一段延迟到达的历史。

⚠️ 别把 DEBUG 级别的一切都记上:日志量本身是钱,更要命的是一条重要的日志淹在一万条噪声里等于没记。


🧵 三、请求追踪:一个 id 串起整条链路

入口生成或从可信入口接收 request_id。本次请求的应用日志自动带上它,对外错误可返回同一个查询号,让客服从入口查起。

⭐ 关键词是「自动」。靠每个函数多传一个参数,传到第三层一定有人忘,而且检索、缓存、记账这些被复用的函数会被迫改签名。Python 里干这件事的东西叫 contextvars:它是「跟着当前这条执行流走」的变量。

import asyncio, concurrent.futures as cf, contextvars

request_id = contextvars.ContextVar("request_id", default="-")


def where(tag):
    return "%-22s request_id=%s" % (tag, request_id.get())


async def child():
    await asyncio.sleep(0)
    return where("create_task")


async def main():
    request_id.set("req-8f3a")
    print(where("同一个协程"))
    print(await asyncio.create_task(child()))      # ⭐ 自动继承:建 task 时拷了一份上下文

    loop = asyncio.get_running_loop()
    with cf.ThreadPoolExecutor(1) as pool:
        # ⚠️ 扔进线程池就断了:那个线程有它自己的一份上下文,拿到的是默认值
        print(await loop.run_in_executor(pool, where, "run_in_executor"))
        ctx = contextvars.copy_context()           # ⭐ 把当前上下文整个带过去
        print(await loop.run_in_executor(pool, lambda: ctx.run(where, "copy_context")))


asyncio.run(main())

实跑输出,第三行就是那个坑:

上下文传播到哪里
执行位置request_id
同一个协程req-8f3a
create_taskreq-8f3a
run_in_executor-
copy_contextreq-8f3a

⚠️ run_in_executor 那一行拿到的是默认值 -,而它不报任何错。 这是标准库 run_in_executor 的示例。手工走这条边界时可用 copy_context() 显式传递。框架自带线程池的传播行为要按对应入口另验。

⭐ 三条规则:

  1. 入口优先采用可信代理生成并覆盖的 X-Request-ID,否则自己生成 —— 第 14 章 Nginx 里那行 proxy_set_header X-Request-ID $request_id 就是为此存在的。不接住的话,代理的访问日志和你的应用日志各记一个 id,对不上等于两份都残废。
  2. 逐个核对执行边界。create_task 在创建时复制当前上下文,本例的 run_in_executor 需要显式传递。
  3. ⭐ 进了队列就必须写进 payload。 第 11 章那个 job 是另一个进程、可能另一台机器、可能几分钟之后才跑,contextvars 一点忙帮不上。做法是 jobs 表加一列 request_id,worker 取出后重新 set —— 这样「点按钮 → 入队 → worker 处理 → 写回结果」四段才连得成一条链路。这是最常见的断链点。

⚠️ 别把 request_id 当用户 id 或会话 id 用:一个用户一天有几千个。要串起一整段对话,另记一个 conversation_id。

用户说摘要卡住了,为什么访问日志还是 200?

接着看 req-8f3a。用户看到半段摘要后报错,后端访问日志却是 200。下面的时间都是从后端收到请求起算的演示值,浏览器显示的时间还会受传输、缓冲和渲染影响。

0 ms · 请求开始后端接到摘要请求,登记 req-8f3a,模型调用层启动尝试 try-1。
310 ms · 首段已发出响应头是 200。客户端随后收到了部分文本。
1600 ms · 流失败上游读取超时。客户端收到 error 再收到 done,仍把摘要标成未完成。

三类证据回答不同问题。日志(Logs)保留某时刻发生的事,如哪次模型尝试超时。指标(Metrics)聚合同类请求,如五分钟内有多少流失败。追踪(Trace)把本次请求经过的操作连成一条时间线。每段带开始、结束与父子关系的操作叫跨度(Span),例如一次 chat 处理和它的子跨度 model.call。两段的时间可以重叠,直接相加会重复计算。

这里的 request_id 用于查一趟 HTTP 请求,attempt_id 区分它发起的模型尝试。一次请求可以有多个尝试,每次尝试各记费用和结果,但流终态只记一次。启用分布式追踪时,同一条 Trace 的 Span 共享追踪标识,每个 Span 有自己的标识,HTTP 可用 traceparent 传播上下文。可以在内部日志另记 otel_trace_id 和 span_id,和既有对外查询号并存。日志能对上号只证明记录可关联,阶段耗时还要有各段的起止证据。

报错帧和结束帧沿用第 05 章的约定。追踪上下文和跨服务传播见 OpenTelemetry Traces 与 W3C Trace Context。


📊 四、该看的四个指标

指标 是什么 为什么是它
⭐ TTFT(Time to First Token,首段延迟) 固定起止点。模型首 token 的延迟(TTFT)取决于定义的起止点。本例另记 server_first_chunk_ms,从服务端收请求计到发出第一段文本。文本片段可含多个 token,不能拿它和供应商的 TTFT 直接比 用户侧另量发送到首段可见,不能把服务端发出与用户看见混为一谈
总时长 本例是服务端收请求 → 完成、失败或取消后结束处理 它决定超时怎么配、连接占多久、关机宽限期要多长
token 用量与钱 第 12 章那三列 结合已知费用和待核算数,可在账单汇总前发现变化
错误率按类型分 记录流的业务终态,并按阶段拆分上游限流、超时、上游或应用错误、输出校验失败 ⭐ 合成一个「错误率 2%」几乎没有信息量

⭐ TTFT 和总时长必须分开看。 一次回答很长导致总时长 30 秒是正常的;TTFT 从 300 毫秒涨到 3 秒是故障。只盯总时长的话,这个故障会被长回答的正常波动完全盖住。

⭐ 错误率必须分类型,因为五种错的处置动作完全不同:上游 429 要退避和限流(第 12 章)、上游超时先看是哪一段耗时,再按第 04 章核对重试条件,输出校验失败先对照约定和版本、自己的 5xx 要去看代码。合成一个数,等于把五个不同的病合并成「体温有点高」。

同一个五分钟窗口,200 全成功吗?

取 [12:00, 12:05) 这段时间内服务端记录的已结束且已开流的摘要请求。一条请求以结束时刻归窗,只进入一个终态。仍在进行的请求等结束后再计,开流前的拒绝另设指标。这样 12:04 开始、12:06 结束的请求只算在下一个窗口。

100 条流都返回 200,终态分成三组

  • 92 条完成,成功送完业务输出。
  • 5 条失败,包括上面的上游读取超时。
  • 3 条主动取消,有明确的取消信号。单独记录,未知断线不能直接认成用户主动取消。

这里定义流技术失败率为失败数除以已结束流数。失败数为 5,分母为 92 + 5 + 3 = 100,所以 5 ÷ 100 × 100% = 5%。同一批已开流请求中,HTTP 状态码为 5xx 的比例是 0 ÷ 100 = 0%。这个比例只描述这 100 条已开流请求。看整个路由的 5xx 比例还要纳入开流前的服务端错误,另用全路由请求数作分母。监控还应单列取消率 3 ÷ 100 = 3%,以免把主动停止计成上游故障。若分母是 0,标记无样本。重试次数可另看,不能替代失败的请求数。

指标按受控的 feature、outcome 等有限值分组。每组标签组合会产生独立的时间序列。request_id、attempt_id 和 user_id 取值随流量增长,放进指标标签会产生大量序列。排查单条请求走受控日志或追踪。参见 Prometheus 标签规范。

⚠️ 平均值会骗你

import math, random, statistics

random.seed(7)
# ⚠️ 这是【构造的】分布,不是实测数据:90% 正常、9% 慢、1% 卡到超时。它只用来说明算术。
lat = ([random.uniform(600, 1400) for _ in range(900)]
       + [random.uniform(2000, 6000) for _ in range(90)]
       + [30000.0] * 10)


def pct(xs, p):
    s = sorted(xs)
    k = max(1, math.ceil(len(s) * p / 100))   # ⭐ 最近秩法:第 ceil(n*p/100) 个
    return s[k - 1]


avg = statistics.fmean(lat)
print("平均 %.0f ms" % avg)
print("p50 %.0f   p95 %.0f   p99 %.0f   最大 %.0f ms"
      % (pct(lat, 50), pct(lat, 95), pct(lat, 99), max(lat)))
print("比平均值还慢的请求只占 %.1f%%" % (100 * sum(x > avg for x in lat) / len(lat)))

# ⚠️ 百分位不能平均:两台机器各自的 p95 取平均 ≠ 合起来的 p95
a, b = lat[:500], lat[500:]
print("两半各自 p95 = %.0f / %.0f,取平均 %.0f;合起来真实 p95 = %.0f"
      % (pct(a, 95), pct(b, 95), (pct(a, 95) + pct(b, 95)) / 2, pct(lat, 95)))

实跑输出:

要点

平均 1540 ms

p50 1012 p95 3958 p99 5986 最大 30000 ms

比平均值还慢的请求只占 10.0%

两半各自 p95 = 1361 / 5298,取平均 3330;合起来真实 p95 = 3958

三条结论,每条都能从这几个数直接读出来:

⭐ LLM 应用比普通 Web 应用更不能看平均:输出长度方差大、上游排队、偶发重试、缓存命不命中 —— 四个因素叠在一起,长尾特别重。


💸 五、成本看板:至少拆三个维度

第 4 章的 record()、第 12 章第六节那张 calls 表,已经让每次调用记下 user_id / feature / model / cents,看板就是同一张表的三条 GROUP BY:

在摘要案例中,try-1 发出了模型调用,但超时前没有收到用量。看板把它计入待核算尝试数,把已结算费用单独相加,预算预留继续由第 12 章的账本管理。null 表示待核算,0 只用于已确认的零费用。后来补到用量时按尝试号更新同一笔,避免把预留和实扣加两次。逐用户归因放在限权的费用明细查询里。

⚠️ 别等账单。 供应商账单的可见时间随供应商和汇总方式而变。本地已知用量与费用能更早入账,未确认的部分继续待核算。第 12 章那场烧掉 $7270 的事故里,账单当晚根本没有数据,而这张表在事故开始十几分钟内就已经不正常了。

⭐ 但要分清分工:真正把损失摁住的是第 12 章的全局日预算熔断(它在风暴开始约 12 分钟后就拉闸),本章负责的是让人看见 —— 看板告诉你钱花在谁身上、告警告诉你熔断触发了。看得见但没有闸,你得到的只是一条「你已经烧掉很多钱了」的通知。


🔒 六、⚠️ 别把 prompt 和回复原样打进日志

三个理由,任意一个都够:

默认只采排障所需的受控元数据。这次摘要写功能、模板版本、模型、调用结果和超时类别。需要查是否截断时再加长度或用量。提示正文、回复片段、完整请求头、凭证和原始异常不进通用日志,Span 属性和事件也遵循同样的范围。

如果确实需要识别重复输入,先评估受限通道的访问和留存。短哈希只是一种关联线索,常见输入可能被猜中,截短后也可能碰撞。正则替换只能覆盖已知格式。先脱敏再截断可减少把一段标识截成半截后漏掉的情况,但人名、内部文档或未覆盖格式仍可能留在预览里。

分开诊断和审计。诊断日志帮助解释超时,可以按策略采样。受限的审计记录回答「谁在何时访问、导出或修改了什么,结果如何」。它按规则完整记录必要操作,不随普通调试日志一起采样。确需保留样本时,使用默认关闭、受审批的隔离通道,限制访问、时间和范围,记录导出行为,到期删除。采样时还要保留足以解释此次故障的上下文。参见 OpenTelemetry 敏感数据处理指南。


🚨 七、告警:什么该告,什么不该

⭐ 判据只有一条:收到它,你今晚会做一个动作吗? 不会 → 它不是告警,是看板上的一个数字。

✔ 该告警 ✘ 不该告警
错误率突然抬升、熔断触发(第 12 章)、队列积压持续增长、健康检查失败、日预算用掉 80% 单次 5xx、CPU 到 70%、某个指标「有点高」、任何你连着三次点「已读」的东西

把前面的 5% 先当作调查线索。示例值班约定是连续两个五分钟窗口都至少有 50 条已结束流,且技术失败率都达到 5%,才通知值班人。本例只知道第一个窗口达到阈值。若下一个窗口也达标,值班人先按功能与错误类型定位,查看上游超时和最近发布,再按排障手册执行降级或回滚并复查失败率。这个阈值用于演算,生产值由业务影响、流量和处置能力决定。第 12 章的预算拉闸仍由预算规则执行。

⚠️ 告警真正的敌人是噪声:一个每天响五次的告警,一个月后就没有人看了 —— 于是它响的第六次(真的那次)也没人看。这件事为什么必然发生、怎么救,《模型上线之后》08 章整章在讲,配这一章读。

⭐ 没触发过的告警等于没有告警。 配完当场手动触发一次,确认你的手机真的响了 —— 通道配错、密钥过期、免打扰时段,这三样每一个都能让你在真出事那天什么都收不到。


🔁 八、换个栈怎么对应

概念 Python Node(Express / Hono) Go
结构化日志 logging + 自定义 Formatter / structlog pino log/slog
请求上下文 contextvars AsyncLocalStorage context.Context(⭐ 必须手动一路传)
指标与追踪 OpenTelemetry SDK(三边通用) 同 同
日志去向 一律 stdout,收集交给平台(三边一样) 同 同

⭐ 这张表里只有第二行真的不一样:Go 强制你把 context 写进每个函数签名 —— 啰嗦, 但永远不会出现「第三层忘了传」。Python / Node 的隐式上下文写起来舒服, 代价就是本章那个 run_in_executor 的坑:它断了,但不报错。


🔗 这一章连到哪里

去哪 为什么
《模型上线之后》 ⭐ 本章管「服务健不健康」,那边管「模型准不准」。 两套指标、两套处置动作,别混着做
模型上线之后 08 · 告警为什么没人看 本章给了「该不该告警」的判据,那边讲告警疲劳是怎么形成的、怎么救回来
12 · 限流、配额与成本护栏 本章的成本看板就是那一章 calls 表的三条 GROUP BY;那场 $7270 的事故也是三条监控全说「正常」的典型
⭐ 15b · 怎么测一个同样输入不同输出的系统 本章用关联字段和版本记录定位一次运行中的失败。⭐ 另一半是「测试」——那才是它真正难的地方:assert reply == "..." 写不出来,那还能断言什么。那一章接着本章往下讲
数据这一关 19 · 隐私脱敏与留存 本章只说「日志里别放原文」,留存多久、谁能看、用户要求删除时怎么办是那边的整套要求
AI基础设施 23 · 可观测性与成本 ⚠️ 同名不同物:那边观测的是推理集群(GPU 利用率、显存、批大小),本章观测的是你的应用

检查一次失败与恢复

本地故障验收 保留 429/503/超时/取消夹具、真实 SQLite 子进程与审批/丢响应对账记录。记录 request、operation、run 的关联和错误类型,避免把原始异常中的隐私直接写入日志。容器、云 CI、真实远端故障与容量仍未运行;本地契约通过不能扩成生产结论。

从真实服务事件还原一次请求

17e · 请求追踪与脱敏日志 读取本地教学服务的实际审计事件,区分请求、重试和业务草稿;用白名单导出关联字段。缺少终态就标记未完成,日志不保留凭证、问题全文或异常原文。

✅ 检查点

  1. 本章和《模型上线之后》各管什么?为什么必须分开?交界处(比如「模型没按格式返回 JSON」)怎么判?
  2. 只用 print 的三个缺陷是什么?哪一个让「昨天 u_42 花了多少」问不出口?为什么事件名必须是固定字符串?
  3. 一条模型调用日志至少该带哪些字段?为什么 cached 也要记?
  4. request_id 为什么要靠 contextvars 而不是每个函数传参?本章那段代码里哪一行断掉了、输出是什么?
  5. 进了队列之后 request_id 怎么办?为什么 contextvars 在这里完全帮不上忙?
  6. TTFT 和总时长为什么必须分开看?错误率为什么必须按类型分?
  7. 那段延迟数据里平均值是多少、比它慢的请求占多少?p99 为什么没看见那批 30000 ms?两台机器的 p95 取平均错在哪?
  8. 为什么不能把 prompt 原样进日志?默认采什么?短哈希和正则预览各有什么局限?
  9. 判断「该不该告警」的那一条判据是什么?为什么说没触发过的告警等于没有告警?
  10. 同窗口 100 条已结束流都返回 200,其中 5 条失败、3 条主动取消。技术失败率是多少?只看到这一个窗口,示例值班规则会通知吗?费用未知如何记录?
👀 答案
  1. 本章管服务健不健康(TTFT、p95、错误率、钱),那边管模型准不准(漂移、AB、人工评分)。分开是因为处置动作完全不同:前者今晚就要动手(回滚/扩容/限流),后者是要花几天的调查 —— 混在一起你会半夜被「答得不太好」叫醒,真正的 5xx 尖峰又淹在评分噪声里。交界处 看处置动作:代码因此抛异常、用户看到报错 → 本章的错误分类;格式对但内容不好 → 那边。
  2. ① 没有级别/时间/来源;② 拼进一句话里的东西查不出来(就是这条让「u_42 花了多少」变成正则考古);③ 多进程一起写,顺序乱。事件名固定才聚合得起来(「llm_call 今天 12000 条,37 条带 error_kind」),拼了变量就每条都独一无二,任何聚合都做不了。
  3. request_id、user_id/tenant_id、model、tokens_in/out + cost_cents、server_first_chunk_ms/latency_ms、cached、error_kind。记 cached 是因为命不命中缓存会让同一个请求的成本差几倍,不记就永远对不上账。
  4. 手动传参传到第三层一定有人忘,还会逼着被复用的函数改签名。断掉的是 run_in_executor 那一行,输出 request_id=-(线程有自己的一份上下文,拿到默认值),⚠️ 而且它不报任何错;修法是 copy_context() 再 ctx.run(...)。
  5. 写进 job 的 payload(jobs 表加一列 request_id,worker 取出后重新 set)。contextvars 帮不上忙是因为那是另一个进程、可能另一台机器、可能几分钟之后才跑 —— 这是最常见的断链点。
  6. 一次长回答导致总时长 30 秒是正常的,而 TTFT 从 300 毫秒涨到 3 秒是故障;只看总时长,故障会被长回答的正常波动盖住。错误率分类型是因为五种错的处置完全不同,合成一个数等于「体温有点高」。
  7. 平均 1540 ms,但只有 10.0% 的请求比它慢,中位数才 1012 ms。p99 = 5986 ms 恰好卡在那 1%(30000 ms 超时)的边缘,一个都没看见 —— 要看见得看 p99.9 或单独统计超时次数。两台各自 p95 是 1361 / 5298,取平均 3330,真实是 3958:百分位不能平均,必须把原始数据合起来算。
  8. 隐私(用户会贴身份证、病历、代码)、体积(一次长上下文 3 万 token)、合规(日志留存更长、权限更松,删数据时会漏掉这份副本)。默认采必要的受控元数据,如功能、模板版本和结果。短哈希可能被猜中或碰撞。正则预览即使先脱敏再截断,也可能留下未覆盖的敏感内容。
  9. 「收到它,你今晚会做一个动作吗?」 不会就不是告警,是看板。没触发过等于没有:通道配错、密钥过期、免打扰时段,任意一个都会让你在真出事那天什么都收不到。
  10. 技术失败率为 5 ÷ 100 = 5%,主动取消另计 3%。目前只有一个达标窗口,示例规则要再观察一个。缺失的费用记为待核算,按尝试号补核后更新。

本节回顾

⚡ 走神救援

🔭 先划界:⭐ 本章管「服务健不健康」,另一套管「模型准不准」——⭐ 分开是因为处置动作不同:前者今晚就要回滚、扩容、限流,后者是要花几天的调查。

结构化日志:一行一条,事件名固定、可变的全进字段——⭐ 固定才聚合得起来。必带请求 id、租户、模型、token 与花费、首字延迟、是否命中缓存、错误类型。⚠️ 别把调试日志全记上:一条重要日志淹在一万条噪声里等于没记。

🧵 追踪:入口生成一个 id 之后自动带上(手动传参传到第三层必有人忘)。⭐ 最常见的断链点是队列——⚠️ 进了队列必须把 id 写进 payload,那是另一个进程另一台机器,上下文变量完全帮不上忙。

⭐⭐ 首字延迟和总时长必须分开看:长回答让总时长几十秒是正常的,而首字延迟从几百毫秒涨到几秒是故障——只看总时长会被盖住。

⚠️ 平均值会骗你:那组演示数据里只有一小部分请求比平均值慢。⚠️⚠️ ⭐ 而且百分位不能平均——两半各自的 p95 取个平均,和真实的 p95 差得很远。

💸 成本看板三条分组:按天、按功能、按用户。⚠️ 别等账单,自己记的账十几分钟内就能看出不正常。⭐ 但分工要分清:拉闸的是护栏那一章的熔断,本章只负责让人看见——看得见而没有闸,只是一条「你已经烧掉很多钱了」的通知。

🔒 ⚠️ 别把 prompt 原样进日志:默认采受控元数据,未确认费用保留为待核算。正文采集与审计记录各有独立的权限和留存要求。

🚨 ⭐ 告警判据只有一条:收到它你今晚会做一个动作吗? 不会就是看板不是告警。⭐ 没触发过的告警等于没有告警——配完当场触发一次,确认手机真的响了。

下一节 👉 15b-怎么测不确定的系统.md

打卡记录保存在你的浏览器里,首页能看到总进度