📑 本页目录(点开跳转)
15 · 可观测性
⏱ 阅读约 70 分钟 · 动手实践另计
🎯 一句话
出事时你能不能在五分钟内说清「谁、什么时候、调了哪个模型、花了多少、慢在哪一段」—— 这个能力叫可观测性,而它必须在出事之前就装好。
事后再补是补不上的:关键事件发生时就要留下证据。能从账单或其他系统补核的字段另行对账,缺失的部分先标为未知。
🔭 一、⭐ 先划清一条界
这条界必须先划,否则你会同时做错两件事。
| 你在问什么 | 归谁 | 典型指标 |
|---|---|---|
| 接口在返回 5xx 吗?首字要等多久?今天花了多少钱?队列积压了吗? | ⭐ 本章 | TTFT、p95 时长、按类型分的错误率、token 与钱 |
| 模型答得对不对?用户满不满意?效果是不是比上周退化了? | 《模型上线之后》 | 离线指标、漂移、AB 实验、人工评分 |
⭐ 为什么必须分开:两套指标的处置动作完全不同。 服务不健康是今晚就要处理的事(回滚、扩容、限流、切备用模型); 模型退化是一次要花几天的调查(看数据、重训、跑 AB)。 混在一起的代价是双向的:你会在凌晨三点被一个「答得不太好」叫醒, 而一次真正的 5xx 尖峰会淹没在评分噪声里没人管。
⚠️ 交界处怎么判:比如「模型没按格式返回 JSON」算哪边?⭐ 看处置动作 —— 如果你的代码因此抛异常、用户看到报错,它就是本章「错误率按类型分」里的一类,今晚要处理;如果格式是对的、只是内容不够好,那是那边的活。
🧩 二、结构化日志:为什么不能只 print
print 在开发时很好用,上线后有三个致命缺陷:没有级别、时间、来源(只能「全看」或「全不看」);多进程一起写,顺序错乱、还要靠肉眼分辨哪条属于哪个请求;以及最要命的那条 —— ⭐ 拼进一句话里的东西查不出来:写下 print(f"用户 {u} 花了 {c} 分") 之后,「昨天 u_42 一共花了多少」就变成了一次正则考古。
选读:PB 日输入下,怎样按 IP 和时间窗查次数?
先定口径。源题未给窗口与新鲜度;本例选 UTC 两分钟半开窗口 [起, 止)、每分钟刷新,窗口结束后允许五分钟内迟到修正,结果先标暂定。原始输入按十进制 1 PB = 10^15 B/日算,平均约 11.574 GB/s;若平均每条 1000 B,则约 11.574 M 条/s。峰值、副本、索引和压缩另算;这是设计输入,不是 PB 能力实测。
先把事件数对。event_id 在约定范围唯一,重试复用且不重复加计;source_ip 由可信入口取得并规范化,不采信任意 X-Forwarded-For,IP 也不等于唯一用户。固定 tenant_id/event_kind,区分发生时间 event_time 与采集时间 observed_time。迟到归发生时间;watermark/允许迟到是处理策略,不保证再无迟到。超期进入归档回补:按 ID 去重后重算并按版本替换受影响桶,重放不累加旧总数。
| event_id | event_time | observed_time |
|---|---|---|
| e1 | 12:00:10 | 12:00:11 |
| e2 | 12:00:40 | 12:00:41 |
| e2(重复) | 12:00:40 | 12:01:05 |
| e3(迟到) | 12:01:20 | 12:02:10 |
[12:00:00, 12:02:00),原始去重计数为 3,分钟桶相加为 2 + 1 = 3;访问频率为 3/120 = 0.025 次/秒。改查 [12:00:30, 12:01:30) 时,边缘原始记录只有 e2、e3,共 2 次,不能把两个整桶的 3 次全部算入。查询与保留边界。按维度、IP 和时间定位;只有桶对齐才直接求和,任意边界须查更细桶或原始边缘。原始、细粒度和去重记录须覆盖约定查询/回补期,过期不承诺精确回补;沿用本页日志隐私、短留存与独立权限。插入触发预计算不会自动修正历史变更,须核底层更新语义;单 SQL/物化视图不保证 PB 快查或端到端 exactly-once。聚合语义复用SQL03;本例未部署或压测。
⭐ 形状:一行一条 JSON,事件名是固定字符串,会变的东西全部进字段。 事件名固定,才聚合得起来(「
llm_call今天有 12000 条,其中 37 条带error_kind」); 把变量拼进消息里,精确分组就得依赖解析文本,容易因格式变化漏计。
一次模型调用该带的字段,每一个都对应一个你迟早要问的问题:
| 字段 | 少了它,哪个问题问不出口 |
|---|---|
request_id |
「用户报的是哪次 HTTP 请求?」第 3 章把对外错误查询号叫 trace_id,本章示例以 request_id 存这个查询号。后面会把它与分布式追踪标识分开。 |
user_id / tenant_id |
「是不是只有这一个租户在报错」 |
model |
「是不是上周换模型换出来的」—— 换模型是最常见的回归来源 |
tokens_in / tokens_out / cost_cents |
第 12 章的成本归因。记录已知用量和费用,待核算的值保留为空。 |
server_first_chunk_ms / latency_ms |
「是首字慢还是整体慢」—— 两件事,见第四节 |
cached |
区分应用直接返回已有结果和模型侧的输入缓存。两种情况的调用次数和费用口径可能不同。 |
error_kind |
「2% 的错误率」里到底有几种错 |
import contextvars
import json
import logging
import sys
request_id = contextvars.ContextVar("request_id", default="-")
class JsonFormatter(logging.Formatter):
def format(self, record):
return json.dumps({
"ts": round(record.created, 3),
"level": record.levelname,
"event": record.getMessage(),
"request_id": request_id.get(),
"fields": record.fields,
}, ensure_ascii=False)
if __name__ == "__main__":
log = logging.getLogger("summary_demo")
log.setLevel(logging.INFO)
handler = logging.StreamHandler(sys.stdout)
handler.setFormatter(JsonFormatter())
log.addHandler(handler)
log.propagate = False
token = request_id.set("req-8f3a")
try:
log.info("http_headers_sent", extra={"fields": {"http_status": 200}})
try:
# 合成超时,异常原文仅留在进程内。
raise TimeoutError("simulated read timeout")
except TimeoutError:
log.warning("llm_attempt_finished", extra={"fields": {
"attempt_id": "try-1", "model": "big",
"outcome": "failed", "error_kind": "upstream_timeout",
"usage_status": "pending", "cost_cents": None,
}})
log.info("stream_finished", extra={"fields": {
"outcome": "failed", "server_first_chunk_ms": 310, "latency_ms": 1600,
}})
finally:
request_id.reset(token)
用 Python 3 运行此标准库示例。三个事件按顺序打印,ts 随运行时刻变化。server_first_chunk_ms 和 latency_ms 是演示输入,分别表示本例服务端发出第一段文本与结束本次处理的时间。代码模拟事件,没有调用模型。
{"ts": 1786112431.032, "level": "INFO", "event": "http_headers_sent", "request_id": "req-8f3a", "fields": {"http_status": 200}}
{"ts": 1786112431.032, "level": "WARNING", "event": "llm_attempt_finished", "request_id": "req-8f3a", "fields": {"attempt_id": "try-1", "model": "big", "outcome": "failed", "error_kind": "upstream_timeout", "usage_status": "pending", "cost_cents": null}}
{"ts": 1786112431.032, "level": "INFO", "event": "stream_finished", "request_id": "req-8f3a", "fields": {"outcome": "failed", "server_first_chunk_ms": 310, "latency_ms": 1600}}
每条日志记录一件事。request_id 在入口设定,三个事件都能用它查到,finally 在退出时恢复上下文。异常在捕获处归类为固定值 upstream_timeout,fields 由调用点挑选并填入受控字段。接入业务时要限制字段和值的来源,别把请求体或异常对象直接交给格式化器。用量未回传,费用保留为 null,等待第 12 章所讲的对账。
⭐ 打到 stdout,别自己写文件、别自己做轮转 —— 容器里的标准分工是「进程只管往 stdout 写,收集和留存交给平台」。这也正是第 14 章那行 PYTHONUNBUFFERED=1 的用途:不关缓冲,你在平台上看到的会是一段一段延迟到达的历史。
⚠️ 别把 DEBUG 级别的一切都记上:日志量本身是钱,更要命的是一条重要的日志淹在一万条噪声里等于没记。
🧵 三、请求追踪:一个 id 串起整条链路
入口生成或从可信入口接收 request_id。本次请求的应用日志自动带上它,对外错误可返回同一个查询号,让客服从入口查起。
⭐ 关键词是「自动」。靠每个函数多传一个参数,传到第三层一定有人忘,而且检索、缓存、记账这些被复用的函数会被迫改签名。Python 里干这件事的东西叫 contextvars:它是「跟着当前这条执行流走」的变量。
import asyncio, concurrent.futures as cf, contextvars
request_id = contextvars.ContextVar("request_id", default="-")
def where(tag):
return "%-22s request_id=%s" % (tag, request_id.get())
async def child():
await asyncio.sleep(0)
return where("create_task")
async def main():
request_id.set("req-8f3a")
print(where("同一个协程"))
print(await asyncio.create_task(child())) # ⭐ 自动继承:建 task 时拷了一份上下文
loop = asyncio.get_running_loop()
with cf.ThreadPoolExecutor(1) as pool:
# ⚠️ 扔进线程池就断了:那个线程有它自己的一份上下文,拿到的是默认值
print(await loop.run_in_executor(pool, where, "run_in_executor"))
ctx = contextvars.copy_context() # ⭐ 把当前上下文整个带过去
print(await loop.run_in_executor(pool, lambda: ctx.run(where, "copy_context")))
asyncio.run(main())
实跑输出,第三行就是那个坑:
| 执行位置 | request_id |
|---|---|
| 同一个协程 | req-8f3a |
| create_task | req-8f3a |
| run_in_executor | - |
| copy_context | req-8f3a |
⚠️ run_in_executor 那一行拿到的是默认值 -,而它不报任何错。 这是标准库 run_in_executor 的示例。手工走这条边界时可用 copy_context() 显式传递。框架自带线程池的传播行为要按对应入口另验。
⭐ 三条规则:
- 入口优先采用可信代理生成并覆盖的
X-Request-ID,否则自己生成 —— 第 14 章 Nginx 里那行proxy_set_header X-Request-ID $request_id就是为此存在的。不接住的话,代理的访问日志和你的应用日志各记一个 id,对不上等于两份都残废。 - 逐个核对执行边界。
create_task在创建时复制当前上下文,本例的run_in_executor需要显式传递。 - ⭐ 进了队列就必须写进 payload。 第 11 章那个 job 是另一个进程、可能另一台机器、可能几分钟之后才跑,
contextvars一点忙帮不上。做法是jobs表加一列request_id,worker 取出后重新set—— 这样「点按钮 → 入队 → worker 处理 → 写回结果」四段才连得成一条链路。这是最常见的断链点。
⚠️ 别把 request_id 当用户 id 或会话 id 用:一个用户一天有几千个。要串起一整段对话,另记一个 conversation_id。
用户说摘要卡住了,为什么访问日志还是 200?
接着看 req-8f3a。用户看到半段摘要后报错,后端访问日志却是 200。下面的时间都是从后端收到请求起算的演示值,浏览器显示的时间还会受传输、缓冲和渲染影响。
req-8f3a,模型调用层启动尝试 try-1。200。客户端随后收到了部分文本。error 再收到 done,仍把摘要标成未完成。三类证据回答不同问题。日志(Logs)保留某时刻发生的事,如哪次模型尝试超时。指标(Metrics)聚合同类请求,如五分钟内有多少流失败。追踪(Trace)把本次请求经过的操作连成一条时间线。每段带开始、结束与父子关系的操作叫跨度(Span),例如一次 chat 处理和它的子跨度 model.call。两段的时间可以重叠,直接相加会重复计算。
这里的 request_id 用于查一趟 HTTP 请求,attempt_id 区分它发起的模型尝试。一次请求可以有多个尝试,每次尝试各记费用和结果,但流终态只记一次。启用分布式追踪时,同一条 Trace 的 Span 共享追踪标识,每个 Span 有自己的标识,HTTP 可用 traceparent 传播上下文。可以在内部日志另记 otel_trace_id 和 span_id,和既有对外查询号并存。日志能对上号只证明记录可关联,阶段耗时还要有各段的起止证据。
报错帧和结束帧沿用第 05 章的约定。追踪上下文和跨服务传播见 OpenTelemetry Traces 与 W3C Trace Context。
📊 四、该看的四个指标
| 指标 | 是什么 | 为什么是它 |
|---|---|---|
| ⭐ TTFT(Time to First Token,首段延迟) | 固定起止点。模型首 token 的延迟(TTFT)取决于定义的起止点。本例另记 server_first_chunk_ms,从服务端收请求计到发出第一段文本。文本片段可含多个 token,不能拿它和供应商的 TTFT 直接比 |
用户侧另量发送到首段可见,不能把服务端发出与用户看见混为一谈 |
| 总时长 | 本例是服务端收请求 → 完成、失败或取消后结束处理 | 它决定超时怎么配、连接占多久、关机宽限期要多长 |
| token 用量与钱 | 第 12 章那三列 | 结合已知费用和待核算数,可在账单汇总前发现变化 |
| 错误率按类型分 | 记录流的业务终态,并按阶段拆分上游限流、超时、上游或应用错误、输出校验失败 | ⭐ 合成一个「错误率 2%」几乎没有信息量 |
⭐ TTFT 和总时长必须分开看。 一次回答很长导致总时长 30 秒是正常的;TTFT 从 300 毫秒涨到 3 秒是故障。只盯总时长的话,这个故障会被长回答的正常波动完全盖住。
⭐ 错误率必须分类型,因为五种错的处置动作完全不同:上游 429 要退避和限流(第 12 章)、上游超时先看是哪一段耗时,再按第 04 章核对重试条件,输出校验失败先对照约定和版本、自己的 5xx 要去看代码。合成一个数,等于把五个不同的病合并成「体温有点高」。
同一个五分钟窗口,200 全成功吗?
取 [12:00, 12:05) 这段时间内服务端记录的已结束且已开流的摘要请求。一条请求以结束时刻归窗,只进入一个终态。仍在进行的请求等结束后再计,开流前的拒绝另设指标。这样 12:04 开始、12:06 结束的请求只算在下一个窗口。
100 条流都返回 200,终态分成三组
- 92 条完成,成功送完业务输出。
- 5 条失败,包括上面的上游读取超时。
- 3 条主动取消,有明确的取消信号。单独记录,未知断线不能直接认成用户主动取消。
这里定义流技术失败率为失败数除以已结束流数。失败数为 5,分母为 92 + 5 + 3 = 100,所以 5 ÷ 100 × 100% = 5%。同一批已开流请求中,HTTP 状态码为 5xx 的比例是 0 ÷ 100 = 0%。这个比例只描述这 100 条已开流请求。看整个路由的 5xx 比例还要纳入开流前的服务端错误,另用全路由请求数作分母。监控还应单列取消率 3 ÷ 100 = 3%,以免把主动停止计成上游故障。若分母是 0,标记无样本。重试次数可另看,不能替代失败的请求数。
指标按受控的 feature、outcome 等有限值分组。每组标签组合会产生独立的时间序列。request_id、attempt_id 和 user_id 取值随流量增长,放进指标标签会产生大量序列。排查单条请求走受控日志或追踪。参见 Prometheus 标签规范。
⚠️ 平均值会骗你
import math, random, statistics
random.seed(7)
# ⚠️ 这是【构造的】分布,不是实测数据:90% 正常、9% 慢、1% 卡到超时。它只用来说明算术。
lat = ([random.uniform(600, 1400) for _ in range(900)]
+ [random.uniform(2000, 6000) for _ in range(90)]
+ [30000.0] * 10)
def pct(xs, p):
s = sorted(xs)
k = max(1, math.ceil(len(s) * p / 100)) # ⭐ 最近秩法:第 ceil(n*p/100) 个
return s[k - 1]
avg = statistics.fmean(lat)
print("平均 %.0f ms" % avg)
print("p50 %.0f p95 %.0f p99 %.0f 最大 %.0f ms"
% (pct(lat, 50), pct(lat, 95), pct(lat, 99), max(lat)))
print("比平均值还慢的请求只占 %.1f%%" % (100 * sum(x > avg for x in lat) / len(lat)))
# ⚠️ 百分位不能平均:两台机器各自的 p95 取平均 ≠ 合起来的 p95
a, b = lat[:500], lat[500:]
print("两半各自 p95 = %.0f / %.0f,取平均 %.0f;合起来真实 p95 = %.0f"
% (pct(a, 95), pct(b, 95), (pct(a, 95) + pct(b, 95)) / 2, pct(lat, 95)))
实跑输出:
要点
平均 1540 ms
p50 1012 p95 3958 p99 5986 最大 30000 ms
比平均值还慢的请求只占 10.0%
两半各自 p95 = 1361 / 5298,取平均 3330;合起来真实 p95 = 3958
三条结论,每条都能从这几个数直接读出来:
- ⭐ 平均值 1540 ms 描述的是一个不存在的请求:只有 10.0% 的请求比它慢,而它比中位数(1012 ms)高出五成。长尾把它整个抬起来了 —— 它既不是典型体验,也不是最坏体验。
- ⚠️ p99 也会漏。 这批数据里 1% 的请求卡在 30000 ms(超时),而 p99 = 5986 ms 恰好站在那批超时的边缘,一个都没看见。要看见就得看 p99.9,或干脆单独统计超时次数。
- ⚠️⚠️ 百分位不能取平均。 两台机器各自 p95 是 1361 / 5298,平均得 3330,合起来的真实 p95 是 3958。多实例的分位数必须把原始数据合起来再算(监控系统里对应「存直方图,别存算好的分位数再平均」)。
⭐ LLM 应用比普通 Web 应用更不能看平均:输出长度方差大、上游排队、偶发重试、缓存命不命中 —— 四个因素叠在一起,长尾特别重。
💸 五、成本看板:至少拆三个维度
第 4 章的 record()、第 12 章第六节那张 calls 表,已经让每次调用记下 user_id / feature / model / cents,看板就是同一张表的三条 GROUP BY:
- 按天的总花费 —— 看趋势和台阶(台阶通常意味着某次发版)
- 按 feature 拆 —— 哪个功能在烧钱,值不值这个钱
- 按 user 排前 20 —— 是不是一个人的锅
在摘要案例中,try-1 发出了模型调用,但超时前没有收到用量。看板把它计入待核算尝试数,把已结算费用单独相加,预算预留继续由第 12 章的账本管理。null 表示待核算,0 只用于已确认的零费用。后来补到用量时按尝试号更新同一笔,避免把预留和实扣加两次。逐用户归因放在限权的费用明细查询里。
⚠️ 别等账单。 供应商账单的可见时间随供应商和汇总方式而变。本地已知用量与费用能更早入账,未确认的部分继续待核算。第 12 章那场烧掉 $7270 的事故里,账单当晚根本没有数据,而这张表在事故开始十几分钟内就已经不正常了。
⭐ 但要分清分工:真正把损失摁住的是第 12 章的全局日预算熔断(它在风暴开始约 12 分钟后就拉闸),本章负责的是让人看见 —— 看板告诉你钱花在谁身上、告警告诉你熔断触发了。看得见但没有闸,你得到的只是一条「你已经烧掉很多钱了」的通知。
🔒 六、⚠️ 别把 prompt 和回复原样打进日志
三个理由,任意一个都够:
- 隐私 —— 用户会往输入框里贴身份证号、病历、内部代码。
- 体积 —— 一次长上下文 3 万 token,日志量能超过业务数据本身。
- 合规 —— 日志的留存期通常更长、访问权限通常更松;用户要求删除数据时,你多半会忘了日志里还有一份副本。
默认只采排障所需的受控元数据。这次摘要写功能、模板版本、模型、调用结果和超时类别。需要查是否截断时再加长度或用量。提示正文、回复片段、完整请求头、凭证和原始异常不进通用日志,Span 属性和事件也遵循同样的范围。
如果确实需要识别重复输入,先评估受限通道的访问和留存。短哈希只是一种关联线索,常见输入可能被猜中,截短后也可能碰撞。正则替换只能覆盖已知格式。先脱敏再截断可减少把一段标识截成半截后漏掉的情况,但人名、内部文档或未覆盖格式仍可能留在预览里。
分开诊断和审计。诊断日志帮助解释超时,可以按策略采样。受限的审计记录回答「谁在何时访问、导出或修改了什么,结果如何」。它按规则完整记录必要操作,不随普通调试日志一起采样。确需保留样本时,使用默认关闭、受审批的隔离通道,限制访问、时间和范围,记录导出行为,到期删除。采样时还要保留足以解释此次故障的上下文。参见 OpenTelemetry 敏感数据处理指南。
🚨 七、告警:什么该告,什么不该
⭐ 判据只有一条:收到它,你今晚会做一个动作吗? 不会 → 它不是告警,是看板上的一个数字。
| ✔ 该告警 | ✘ 不该告警 |
|---|---|
| 错误率突然抬升、熔断触发(第 12 章)、队列积压持续增长、健康检查失败、日预算用掉 80% | 单次 5xx、CPU 到 70%、某个指标「有点高」、任何你连着三次点「已读」的东西 |
把前面的 5% 先当作调查线索。示例值班约定是连续两个五分钟窗口都至少有 50 条已结束流,且技术失败率都达到 5%,才通知值班人。本例只知道第一个窗口达到阈值。若下一个窗口也达标,值班人先按功能与错误类型定位,查看上游超时和最近发布,再按排障手册执行降级或回滚并复查失败率。这个阈值用于演算,生产值由业务影响、流量和处置能力决定。第 12 章的预算拉闸仍由预算规则执行。
⚠️ 告警真正的敌人是噪声:一个每天响五次的告警,一个月后就没有人看了 —— 于是它响的第六次(真的那次)也没人看。这件事为什么必然发生、怎么救,《模型上线之后》08 章整章在讲,配这一章读。
⭐ 没触发过的告警等于没有告警。 配完当场手动触发一次,确认你的手机真的响了 —— 通道配错、密钥过期、免打扰时段,这三样每一个都能让你在真出事那天什么都收不到。
🔁 八、换个栈怎么对应
| 概念 | Python | Node(Express / Hono) | Go |
|---|---|---|---|
| 结构化日志 | logging + 自定义 Formatter / structlog |
pino |
log/slog |
| 请求上下文 | contextvars |
AsyncLocalStorage |
context.Context(⭐ 必须手动一路传) |
| 指标与追踪 | OpenTelemetry SDK(三边通用) | 同 | 同 |
| 日志去向 | 一律 stdout,收集交给平台(三边一样) | 同 | 同 |
⭐ 这张表里只有第二行真的不一样:Go 强制你把
context写进每个函数签名 —— 啰嗦, 但永远不会出现「第三层忘了传」。Python / Node 的隐式上下文写起来舒服, 代价就是本章那个run_in_executor的坑:它断了,但不报错。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 《模型上线之后》 | ⭐ 本章管「服务健不健康」,那边管「模型准不准」。 两套指标、两套处置动作,别混着做 |
| 模型上线之后 08 · 告警为什么没人看 | 本章给了「该不该告警」的判据,那边讲告警疲劳是怎么形成的、怎么救回来 |
| 12 · 限流、配额与成本护栏 | 本章的成本看板就是那一章 calls 表的三条 GROUP BY;那场 $7270 的事故也是三条监控全说「正常」的典型 |
| ⭐ 15b · 怎么测一个同样输入不同输出的系统 | 本章用关联字段和版本记录定位一次运行中的失败。⭐ 另一半是「测试」——那才是它真正难的地方:assert reply == "..." 写不出来,那还能断言什么。那一章接着本章往下讲 |
| 数据这一关 19 · 隐私脱敏与留存 | 本章只说「日志里别放原文」,留存多久、谁能看、用户要求删除时怎么办是那边的整套要求 |
| AI基础设施 23 · 可观测性与成本 | ⚠️ 同名不同物:那边观测的是推理集群(GPU 利用率、显存、批大小),本章观测的是你的应用 |
检查一次失败与恢复
本地故障验收 保留 429/503/超时/取消夹具、真实 SQLite 子进程与审批/丢响应对账记录。记录 request、operation、run 的关联和错误类型,避免把原始异常中的隐私直接写入日志。容器、云 CI、真实远端故障与容量仍未运行;本地契约通过不能扩成生产结论。
从真实服务事件还原一次请求
17e · 请求追踪与脱敏日志 读取本地教学服务的实际审计事件,区分请求、重试和业务草稿;用白名单导出关联字段。缺少终态就标记未完成,日志不保留凭证、问题全文或异常原文。
✅ 检查点
- 本章和《模型上线之后》各管什么?为什么必须分开?交界处(比如「模型没按格式返回 JSON」)怎么判?
- 只用
print的三个缺陷是什么?哪一个让「昨天 u_42 花了多少」问不出口?为什么事件名必须是固定字符串? - 一条模型调用日志至少该带哪些字段?为什么
cached也要记? request_id为什么要靠contextvars而不是每个函数传参?本章那段代码里哪一行断掉了、输出是什么?- 进了队列之后
request_id怎么办?为什么contextvars在这里完全帮不上忙? - TTFT 和总时长为什么必须分开看?错误率为什么必须按类型分?
- 那段延迟数据里平均值是多少、比它慢的请求占多少?p99 为什么没看见那批 30000 ms?两台机器的 p95 取平均错在哪?
- 为什么不能把 prompt 原样进日志?默认采什么?短哈希和正则预览各有什么局限?
- 判断「该不该告警」的那一条判据是什么?为什么说没触发过的告警等于没有告警?
- 同窗口 100 条已结束流都返回 200,其中 5 条失败、3 条主动取消。技术失败率是多少?只看到这一个窗口,示例值班规则会通知吗?费用未知如何记录?
👀 答案
- 本章管服务健不健康(TTFT、p95、错误率、钱),那边管模型准不准(漂移、AB、人工评分)。分开是因为处置动作完全不同:前者今晚就要动手(回滚/扩容/限流),后者是要花几天的调查 —— 混在一起你会半夜被「答得不太好」叫醒,真正的 5xx 尖峰又淹在评分噪声里。交界处 看处置动作:代码因此抛异常、用户看到报错 → 本章的错误分类;格式对但内容不好 → 那边。
- ① 没有级别/时间/来源;② 拼进一句话里的东西查不出来(就是这条让「u_42 花了多少」变成正则考古);③ 多进程一起写,顺序乱。事件名固定才聚合得起来(「
llm_call今天 12000 条,37 条带error_kind」),拼了变量就每条都独一无二,任何聚合都做不了。 request_id、user_id/tenant_id、model、tokens_in/out+cost_cents、server_first_chunk_ms/latency_ms、cached、error_kind。记cached是因为命不命中缓存会让同一个请求的成本差几倍,不记就永远对不上账。- 手动传参传到第三层一定有人忘,还会逼着被复用的函数改签名。断掉的是
run_in_executor那一行,输出request_id=-(线程有自己的一份上下文,拿到默认值),⚠️ 而且它不报任何错;修法是copy_context()再ctx.run(...)。 - 写进 job 的 payload(
jobs表加一列request_id,worker 取出后重新set)。contextvars帮不上忙是因为那是另一个进程、可能另一台机器、可能几分钟之后才跑 —— 这是最常见的断链点。 - 一次长回答导致总时长 30 秒是正常的,而 TTFT 从 300 毫秒涨到 3 秒是故障;只看总时长,故障会被长回答的正常波动盖住。错误率分类型是因为五种错的处置完全不同,合成一个数等于「体温有点高」。
- 平均 1540 ms,但只有 10.0% 的请求比它慢,中位数才 1012 ms。p99 = 5986 ms 恰好卡在那 1%(30000 ms 超时)的边缘,一个都没看见 —— 要看见得看 p99.9 或单独统计超时次数。两台各自 p95 是 1361 / 5298,取平均 3330,真实是 3958:百分位不能平均,必须把原始数据合起来算。
- 隐私(用户会贴身份证、病历、代码)、体积(一次长上下文 3 万 token)、合规(日志留存更长、权限更松,删数据时会漏掉这份副本)。默认采必要的受控元数据,如功能、模板版本和结果。短哈希可能被猜中或碰撞。正则预览即使先脱敏再截断,也可能留下未覆盖的敏感内容。
- 「收到它,你今晚会做一个动作吗?」 不会就不是告警,是看板。没触发过等于没有:通道配错、密钥过期、免打扰时段,任意一个都会让你在真出事那天什么都收不到。
- 技术失败率为
5 ÷ 100 = 5%,主动取消另计 3%。目前只有一个达标窗口,示例规则要再观察一个。缺失的费用记为待核算,按尝试号补核后更新。
本节回顾
⚡ 走神救援
🔭 先划界:⭐ 本章管「服务健不健康」,另一套管「模型准不准」——⭐ 分开是因为处置动作不同:前者今晚就要回滚、扩容、限流,后者是要花几天的调查。
结构化日志:一行一条,事件名固定、可变的全进字段——⭐ 固定才聚合得起来。必带请求 id、租户、模型、token 与花费、首字延迟、是否命中缓存、错误类型。⚠️ 别把调试日志全记上:一条重要日志淹在一万条噪声里等于没记。
🧵 追踪:入口生成一个 id 之后自动带上(手动传参传到第三层必有人忘)。⭐ 最常见的断链点是队列——⚠️ 进了队列必须把 id 写进 payload,那是另一个进程另一台机器,上下文变量完全帮不上忙。
⭐⭐ 首字延迟和总时长必须分开看:长回答让总时长几十秒是正常的,而首字延迟从几百毫秒涨到几秒是故障——只看总时长会被盖住。
⚠️ 平均值会骗你:那组演示数据里只有一小部分请求比平均值慢。⚠️⚠️ ⭐ 而且百分位不能平均——两半各自的 p95 取个平均,和真实的 p95 差得很远。
💸 成本看板三条分组:按天、按功能、按用户。⚠️ 别等账单,自己记的账十几分钟内就能看出不正常。⭐ 但分工要分清:拉闸的是护栏那一章的熔断,本章只负责让人看见——看得见而没有闸,只是一条「你已经烧掉很多钱了」的通知。
🔒 ⚠️ 别把 prompt 原样进日志:默认采受控元数据,未确认费用保留为待核算。正文采集与审计记录各有独立的权限和留存要求。
🚨 ⭐ 告警判据只有一条:收到它你今晚会做一个动作吗? 不会就是看板不是告警。⭐ 没触发过的告警等于没有告警——配完当场触发一次,确认手机真的响了。
下一节 👉 15b-怎么测不确定的系统.md