🏠 总目录📚 本教程 13 · LLMOps ← →

大模型全景导论 / 13

服务还活着,为什么答案已经悄悄变差?

从静默退化来源到trace、版本、成本、反馈和回归的闭环,完整保留单位经济性口径。

📑 本页目录(点开跳转)

13 · LLMOps:把它当软件来运维

⏱ 按问题查阅 | 先跟踪一次请求,再逐项补生产能力


🎯 一句话

LLM 应用比传统软件多了三个麻烦:输出不确定、成本按量计费、质量会悄悄退化。LLMOps 就是应对这三件事的工程实践。


🆚 和传统 DevOps 的三个不同

传统软件也会出现随机性、按量费用和静默错误。LLM 应用只是更常需要同时处理下面三类问题:

问题 可观察的现象 对应检查
输出有波动 同题多次回答不同 结构、权限等仍可精确断言;开放回答用评分标准与重复试验
成本随工作量变化 多轮、长输出与重试增加费用 按调用、功能、用户记录用量和预算
质量变差但接口正常 请求返回 200,答案却引用旧政策 同时监控服务状态、知识版本与任务质量

💀 「静默退化」的四个真实来源

来源 典型场景 你什么时候才会发现
供应商换版本 gpt-4 这类不带日期的别名指向了新模型 用户投诉时 ⚠️
用户输入分布漂移 产品火了,来了完全不同的一批用户 转化率跌了才查
RAG 索引腐烂 文档更新了但索引没重建 用户说"它引用的是旧政策"
提示词被人改了 有人为了修一个 case 改了共享提示词 别的 case 悄悄坏掉 ⭐

优先使用供应商明确承诺的版本固定方式,并记录实际返回的模型标识。 看起来像明确版本的名字,也可能是别名,不能只凭名字判断。

升级前做回归,并保留回滚或替代路线。固定模型版本不能阻止提示词、数据和索引变化引起的退化。

📉 怎么"看见"静默退化

  1. 先准备覆盖核心场景的固定回归输入,30–50 条可以作为起点,不是覆盖率保证。
  2. 在固定配置下重复运行,记录正常波动;5 次可作初查,稀有失败需要更多证据。
  3. 按风险设置巡检频率与告警规则,保留每次版本和逐题结果。
  4. 另外采样当前真实流量,发现固定题库没覆盖的新问题。

固定题库用于判断系统变化;新鲜样本用于判断真实需求变化。 两者都需要,不要把“输入变了”直接等同于“分数没有意义”。基础背景见 ML 05 · 评估。


🔧 五个核心实践

① 版本化一切

关键信息

  • 要一起版本化的:
  • 提示词(⭐ 最容易被忽略,改一个字效果可能大变)
  • 模型名与参数(温度、max_tokens)
  • 评测集
  • RAG 的索引和切分配置
  • 工具定义
  • 👉 把提示词当代码管:进 git、走 code review、能回滚

② 可观测性(Tracing)

信息关系

在授权与留存范围内,记录足以定位一次请求的证据:
用户输入→检索到什么→完整提示词→模型输出
调了哪些工具→各步耗时→token 消耗
🔗 就是智能体教程第 18 章挑战 A 里你要实现的 Tracer

③ 成本控制

手段 想减少什么 必须同时检查
Prefix Caching 共享前缀的重复计算或输入费用 命中长度、缓存写入/读取计价、有效期
模型路由 部分任务的执行成本 完成率、重试与升级到大模型的次数
输出长度限制 单次生成的最长输出 是否截断必需字段或答案;不能替代全会话预算
缓存重复请求 可复用答案的调用次数 权限、实体、时间、新鲜度与版本
预算护栏 单用户/单会话的累计支出 每轮调用、重试和工具费用都进入核算

缓存、路由与答案复用的收益依负载、计费和质量要求而变。记录自己的命中、费用与任务完成率后,再报告节省比例。

稳定前缀有利于复用,但前缀变化不一定使所有缓存归零。 相同的完整块仍可能命中;位置、token 序列、模型与缓存隔离规则一起决定可复用范围。原理见 vLLM 前缀缓存说明。

💰 成本该怎么算(单位经济性)

按实际计费类别分别相乘,再对所有调用相加。 不能把整次费用统一除以一个“缓存折扣”。

费用项 算法
普通输入 未命中输入量 × 普通输入单价
缓存读取 命中输入量 × 缓存读取单价
缓存写入 仅在供应商单独收费时,按对应规则计入;避免重复算输入
输出 输出量 × 输出单价
其他 工具、检索、重试、托管资源等费用,按实际账单计入

假想算例,不是任何供应商报价:普通输入 1,000 token、缓存读取 9,000 token、输出 200 token;每百万 token 单价分别为 1、0.1、5 个货币单位,不另收缓存写入费。

  • 普通输入:0.001;缓存读取:0.0009;输出:0.001。
  • 本次模型费用合计:0.0029 个货币单位。
  • 若没有缓存,同一组输入输出为 0.011。省的是输入费用的一部分,输出费没有跟着打折。

每次对话可能有多轮调用;把它们汇总后再看每任务、每用户和每功能成本。p50/p95 描述常见与尾部情况,但 p95 仍看不到最贵的 5%,需要预算上限、最大值与异常样本共同检查。

输出/输入的价格比不是固定的 3–5 倍。只在质量和完成率达标的前提下,比较压缩输入、减少输出和改变调用次数的收益;结构化格式本身也不保证 token 更少。

④ 持续评测

对照

上线前:跑评测集(智能体第 14 章)

上线后:抽样评测线上真实流量 ⭐

供应商更新时:立刻重跑全套 ← 最容易被忽略的一环

⑤ 数据飞轮

数据飞轮 线上真实失败案例 加进评测集 驱动改进 上线 收集新失败 闭环:新失败案例回流 🔗 这就是智能体教程第 16 章的「循环工程」:修流程,不修单个产出
值得盯的不是这五个格子,是底下那条折回去的线 —— 少了它,这就只是一条普通上线流程,接不上下一轮。

🚨 上线检查清单(浓缩版)

要点

☐ 提示词在 git 里,能回滚

☐ 有评测集,上线前必跑

☐ 有受控 tracing:脱敏、访问权限、必要字段与留存期限

☐ 成本有监控和上限护栏

☐ 有降级方案(模型挂了怎么办)

☐ 输出有校验(JSON 能解析?必填字段在?)

☐ 有灰度和 A/B 能力

☐ 供应商更新时有重测流程

☐ 线上失败会回流到评测集

🔗 更完整的版本在智能体教程附录 B,那份是给 Agent 场景的,这份是通用 LLM 应用的。


🔗 和站内其他章的关系

以下模块提供相关背景,不要求你已经读过:

相关内容 对应
评测方法论(智能体第 14 章) 持续评测
结构化 trace(挑战项目 A) 可观测性
顾问策略、Prefix Caching 成本控制
降级与护栏(智能体第 16 章) 可靠性
循环工程(智能体第 16 章) 数据飞轮
A/B 实验(推荐算法第 12 章) 灰度发布

📦 深挖的话要学什么

按生产中要回答的问题进入。不要把“其他模块讲过”理解为读者已经会了,也不把 LLMOps 简化为照抄工具清单。

一次失败发生在哪一环

  • 工具主题:LangSmith、Langfuse、Weights & Biases、Phoenix 等观测平台。
  • 站内入口:框架这层皮 16b;评测工具背景见 Claude 资料库 · 揭开评测面纱。
  • 验收:能否关联调用、检索、工具、耗时、费用与版本;同时明确脱敏、访问权限和留存。SDK 接法与产品支持范围另看当前官方文档。

改提示词后,怎样比较与回滚

请求和费用如何经过网关

  • 下一站:AI 全栈 12 · 限流配额与成本护栏,服务端基础见 AI 基础设施 20。
  • 保留的主题:多供应商路由、限流、超时、重试、fallback、统一计费。
  • 验收:请求取消能否传播,重试是否重复收费或重复动作,备用模型是否仍满足权限与质量要求。自建服务也可能经过统一网关,不能说它没有这类问题。

没报错,怎样发现质量下降

每完成一个任务花了多少

三种缓存,不要混为一谈

  • 前缀计算缓存:见 06 · 推理优化、03 · Tokenizer、基础设施 17。复用共享前缀的计算,后续答案仍要生成。
  • 精确答案缓存:在请求、版本、权限等条件相同时复用答案。
  • 语义答案缓存:按相似问题复用,必须检查否定、实体、时间与权限;“语义接近”不能保证答案能共用。命中率和错答率要一起测。

按需前置:从一条可追踪请求起步,再补后端和运维知识。生产可靠性需要故障演练与证据,不能只靠记住一份清单。


⚖️ 要不要深挖

你的情况 建议
有 LLM 应用要上生产 按检查项做验证与故障演练;勾完清单不能代替理解失败如何恢复
还在做原型 ⛔ 先做出来再说,别过早工程化
做平台/基础设施 ✅ 值得深挖网关和观测层

学习顺序由当前问题决定:先让一条请求能被追踪,再补版本、评测、费用与恢复。已有后端经验能帮助迁移,但没有经验也可以从例子开始。

✅ 现状更新:这些内容现在已经在《智能体工程教程》里了—— 评测看第 14 章、可观测性看挑战项目 A、循环工程看第 16 章、上线清单看附录 B。 本章的价值是给你一个"通用 LLM 应用"视角的浓缩版,深挖直接去那边。


✅ 检查点

  1. LLM 应用比传统软件多了哪三个麻烦?
  2. 「静默退化」有哪四个来源?最实用的一条防线是什么?
  3. 怎么用最低成本"看见"静默退化?为什么输入必须固定?
  4. Prefix Caching 有什么布局铁律?违反了会怎样?
  5. 成本该怎么算?为什么要看 p95 而不只看均值?
  6. 输入 token 和输出 token 哪个贵?这对优化方向有什么影响?
  7. 提示词该怎么管理?
  8. 什么是数据飞轮?
👀 答案
  1. 输出波动、按工作量变化的费用、接口正常但质量退化。结构、权限、业务状态等仍可精确断言;开放回答另用评分与统计。
  2. ①供应商换版本 ②用户输入分布漂移 ③RAG 索引腐烂 ④提示词被人改了(为修一个 case 改了共享提示词,别的悄悄坏掉)。最实用的防线:核对供应商实际支持的版本固定方式,记录返回标识,并保留升级回归与替代路线;不能仅凭名称判断已固定。
  3. 固定回归输入与配置,重复试验估计波动,再设置巡检与告警。30–50 题、5 次重复只是起点;还要补当前真实流量,不能把固定题库当成全部需求。
  4. 在不破坏任务语义和权限的前提下,把稳定内容放前面。变化点后的前缀复用可能减少,之前相同的块仍可能命中;不是任意变化都让全部缓存归零。
  5. 看每次对话、每个成功任务和每个用户的成本。p95 揭示部分尾部,但最贵的 5% 仍需最大值、异常样本与预算护栏检查。
  6. 查当前模型的输入、缓存和输出各自单价,再结合用量比较;不存在通用的 3–5 倍比例。减少必需输出可能增加失败和重试,最终看每个成功任务的成本。
  7. 当代码管:进 git、code review、可回滚、和模型参数一起版本化。改一个字效果可能大变。
  8. 线上真实失败案例回流进评测集,驱动改进,上线后再收集新失败,形成闭环。即"循环工程"——修流程,不修单个产出。

本节回顾

⚡ 走神救援

先记住这几件事

  • 把模型、提示词、索引与配置一起版本化,才能定位变化。
  • 记录可回放的调用链,同时监控质量、延迟和单次任务成本。
  • 用固定样例测出正常波动,再让线上失败回流到评测中。

下一节 👉 14-合规与伦理.md

原始资料:prefix_caching · llm01 prompt injection(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度