🏠 总目录📚 本教程 02 · 一个 AI 产品的解剖 ← →

AI全栈 / 02

一条聊天请求,究竟经过哪些零件?

沿原有请求图,把界面、后端、模型与数据存储各自承担的工作连起来。

遇到延迟或费用问题时,先定位负责的组件。

定位时间与成本

📑 本页目录(点开跳转)

02 · 一个 AI 产品的解剖

⏱ 30 分钟 | 🗺️ 全板块的地图 | 看完你在后面任何一章都知道「自己站在哪」


🎯 一句话

第 01 章先跑通本地聊天。现在用一次请求认出界面、后端和模型的分工,再用返回的记录判断回答有没有完成。下一章会把后端的职责接进代码。


🗺️ 一、跟着一个请求走一遍

用户输入「你好」并发送。先看本地必经的三站:浏览器把输入交给后端,后端调用假模型,浏览器再把返回的文字显示出来。下图在这条主线外标出正式服务常加的零件。第 01 章本地演示直接访问后端,可以先跳过代理、账号、持久化和队列。

一次请求的一生(括号里的数字是章号) 浏览器 敲下回车 反向代理 / TLS 14 章 鉴权:你是谁 08 章 限流 · 配额 12 章 业务编排 03 章 调用层 超时 · 重试 · 缓存 04 模型 API 上游 · 会慢会限流 落库 对话 · 用量 06 · 07 流式往回吐 05 章 浏览器逐字渲染 10 章 队列 · Worker 慢任务绕开请求 11 全程贯穿:日志 · 指标 · trace_id(15 章) 出了事能不能查清楚,全看这一层有没有
正式服务的请求地图。实线表示图中所选路径上的交接。右侧虚线表示部分长任务可从业务编排转入队列,页面随后查询任务状态(第 11 章)。底部虚线表示各站都可留下排查记录(第 15 章)。落库的时点取决于产品对保存的约定。

同一句「你好」,看三处证据

两次点击都可能收到 200 OK,也都可能先显示「我收到了:」。页面要到哪一步才能写「完成」?先把每一站拿到的信息对上。

① 浏览器 · 发送与显示发送 POST /api/chat 和 {"prompt":"你好"},根据收到的事件更新文字和状态。
② 应用后端 · 决定怎么处理先校验输入,再调用模型,把上游结果转成页面认识的事件。供应商凭证留在服务端。
③ 模型 · 生成片段接收后端提供的输入,返回片段或失败。是否展示、保存或重试,由应用决定。

需要刷新后继续对话时,数据库负责保存历史。只有存储提交的证据才能确认已保存。排查问题时,后端和调用层可留下同一次请求的编号、各自耗时与最终结果,供日志与追踪关联。监控可以用这些结果统计失败率。

下面是两次独立请求的教学记录。输入都为 {"prompt":"你好"},事件已合并成便于阅读的片段,并省略第 01 章的「(假模型)」显示前缀。它们用于手工判读,未调用供应商,也不代表第 01 章每次实际发送的分段。响应头先给状态码和正文类型。这里 text/event-stream 表示用服务端发送事件(SSE)传正文,delta 提供文字,error 提供失败信息,done 约定应用的事件发送结束。

200 OK
Content-Type: text/event-stream

data: {"type":"delta","text":"我收到了:"}

data: {"type":"delta","text":"你好"}

data: {"type":"done"}

200 OK
Content-Type: text/event-stream

data: {"type":"delta","text":"我收到了:"}

data: {"type":"error","message":"生成超时","trace_id":"demo-02b"}

data: {"type":"done"}

先判读,再核对。只看状态码,两次请求有什么区别?如果 B 在第一段文字后直接断开,页面又该怎么显示?

👀 核对结果
  1. HTTP 状态。A、B 都收到 200,表示服务器以成功状态开始响应。空输入可在开流前返回 400,页面应提示改输入。B 的超时发生在响应头发出后,后端只能在还能写入时用正文事件报告失败。
  2. 传输结束。即使读取到响应体末尾,也要检查应用事件。若只收到部分文字后断开且没有 done,页面标记中断,并保留已经收到的文字。
  3. 业务完成。按本例约定,A 收到 done 且此前无错误,显示「我收到了:你好」并标记完成。B 的 done 只结束发送,页面保留「我收到了:」并标记生成失败;可用 demo-02b 查日志中的失败阶段。回复是否正确、是否已保存还要分别检查。

HTTP 状态语义见 RFC 9110。怎样把字节拼回事件,见 第 05 章。下一章接着拆第 ② 站,学习后端怎样校验请求、替换依赖和组织错误。


🧩 二、每个零件:解决什么问题,不要它会怎样

零件 解决什么问题 不要它会怎样 在第几章
反向代理 / TLS 收 HTTPS、发静态文件、把流量转给后端进程 若不经代理,应用或平台要负责 HTTPS 入口。经过代理时,要验证响应是否被缓冲 14
鉴权 确认身份,再按访问规则判断用户能操作哪些资源 无法可靠区分不同账号的会话或额度 08
限流 · 配额 回答「你还能不能再来一次」 请求频率或模型费用可能超出预期,账单汇总时才暴露问题 12
业务编排 一次对话该做哪几步:取历史、检索、拼提示词、调模型、校验 这些步骤散落在路由函数里,改一处要在五个地方同步 03
⭐ 调用层 把「调模型」这件事包成一个你自己的函数:超时、重试、记账、缓存、可替换 换模型要改十处;出了事没有一行记录说这次花了多少钱 04
⭐ 流式往回吐 首段一到就能显示,完整回答还可继续生成 长回复期间可能一直没有文字反馈,用户重复提交可能产生额外调用 05 · 10
落库 对话、用量、检索用的向量,得有地方放 需要跨刷新保留历史或按用户对账时,应用必须有相应的保存方式 06 · 07
队列 · Worker 把「跑几分钟才有结果」的活儿从请求里搬出去 长任务在同步路径上占用连接,超时后也缺少独立状态可查 11
日志 · 指标 · trace 出事之后能查清楚「那一次到底发生了什么」 用户说「刚才报错了」,你查无可查——这是最先咬你的一个 15
配置与密钥 同一份代码在三个环境跑,且密钥不进代码库 换个 Key 要重新提交代码;测试环境不小心连了生产库 13

⭐ 这张表和 01 章末尾那张「缺什么」表是同一张地图的两面:那张说「不补会怎样」,这张说「补的是什么形状」。

可选:这些零件需要拆成微服务吗?

模块边界不等于部署边界。模块化单体可把鉴权、调用、计费等职责分开,在一个部署单元内协作;修改通常一起发布,同库事务也更容易覆盖相关数据。它仍能横向部署多个副本,不是“一台机器”的同义词。

微服务把业务能力拆成可独立部署的服务,适合确有独立发布/扩缩容和团队数据责任的边界。例如单独扩容文档处理服务时,要同时定义它拥有的数据、其他服务通过什么接口访问。若服务们仍直接改同一组表,部署拆开也没有自动获得数据自治。

原来的函数调用变成网络调用后,会多出超时、部分失败、重试重复和跨服务数据一致性问题,也增加日志追踪、发布兼容和运维责任。先把本章零件与责任划清,再根据瓶颈决定是否拆部署;不能按“服务越多越高级”选择。这里只比较部署/数据责任,不实现完整微服务治理。依据 Lewis/Fowler 的原文。


⚠️ 三、⭐ 这些零件都不是 AI 特有的

上面十个零件,随便找一本讲后端的书都会讲。那本板块存在的意义是什么?

答案是:AI 应用让其中四件事从「需要注意」变成了「主要矛盾」。

这四件事 普通 Web 应用 AI 应用 后果
响应时长 依赖数据库、网络和具体工作量 模型排队、输入处理和生成长度会影响首段与结束时间 重新核对超时、并发和部署时限
成本 使用计算、网络和存储资源 使用按量计费的模型时,费用与计费量和价格有关 同时保护服务容量和模型预算
流式 按业务是否需要增量结果选择 长文本聊天常用,短结果或后台任务也可选别的方式 需要核对返回方式、错误处理和代理配置
不确定性 输出也可能随数据或时间变化 生成结果可能因采样、上下文或模型版本变化 缓存变难、测试变难、复现 bug 变难

四件事各自把哪些零件搞复杂了:

① 响应时间。长回复要核对部署时限和等待策略。运行几分钟的任务还可以单独排队,让页面按任务号查询(第 11 章)。

② 模型成本。超时和重试可能对应多次上游尝试。调用层按尝试记录已知用量与费用,未知用量留作待核算。第 12 章把花费前的预算检查和事后结算分开。

③ 流式反馈。首段先显示后,重试可能让用户看到重复文字;中间代理也可能攒到一定量才转发。第 05 章拆开这些情况。

④ 输出变化。缓存要先确认复用是否符合产品要求,再设计包含必要上下文和权限边界的键(第 04 章)。测试可以核对字段和关键行为,也要检查内容质量(第 15b 章)。排障优先保留请求编号、阶段、错误分类和版本;提示正文和回复默认不进日志(第 15 章)。

⭐ 把这四条记住,这个板块的每一章你都能猜到它为什么存在。 后面每一章开头,你都可以先问一句:它在处理这四件事里的哪一件?


🧮 四、一次请求的时间和钱花在哪

可以先量两段。首段等待从点击发送算到第一次显示文字,完成等待从同一次点击算到界面确认完成。看见响应头的时刻也值得记录,方便定位头先到、文字迟到的情况。

环节 量级来自哪里 你能做什么
代理 + 鉴权 + 限流 网络、连接复用、排队和权限检查 核对这几步是否阻挡了首段
取历史 + 检索 一到几次数据库往返 06 / 07 章:索引和连接池
⭐ 模型生成 上游排队、网络、输入处理和输出生成 04 章:超时和重试;05 章:让用户提前看到字
落库 + 日志 存储等待、事务提交和日志采集方式 用产品约定判断哪些写入要等提交,哪些记录可以异步采集

示例数字,便于手算。记录 A 假设点击是 0 毫秒,显示首段是 300 毫秒,完成是 1,100 毫秒。首段等待为 300 − 0 = 300 毫秒。首段出现后还等了 1,100 − 300 = 800 毫秒。这组浏览器时刻只能说明用户等了多久。要区分模型生成、代理缓冲与渲染,还要关联服务端记录。

时间记录用于找瓶颈。费用需要另看每次实际尝试、输入与输出的计费量和当时的价格。第 01 章假模型没有供应商调用;真实请求未返回用量时,费用应记为待核算。调用层和账本的细节分别见第 04、12 章,怎样关联观测数据见第 15 章。


🚧 五、什么不在这个板块里

这个板块只回答一类问题:「模型已经好了,但少了它产品就上不了线」。不是这类的,都在别处,而且都比这里讲得深:

你想问的 去哪 分界线
模型准不准、上线后有没有退化 《模型上线之后》 ⭐ 本板块管「服务健不健康」,那边管「模型准不准」
推理引擎怎么选、怎么把吞吐榨出来 《AI基础设施》20 章 那边是「怎么跑模型」,这边是「怎么调它」
RAG 怎么切块、怎么重排、怎么评 《大模型全景导论》08 章 那边讲策略,本板块 07 章讲怎么真的存进库里
向量检索的 HNSW / IVF 是什么原理 《推荐算法》10 章 本板块只讲工程选型,不讲索引结构
数据该不该留、怎么脱敏 《数据这一关》19 章 本板块 08 章只讲「怎么隔离」,不讲「该不该留」

🔄 六、换个栈怎么对应

零件是概念,换语言只换名字:

零件 Python / FastAPI Node(Express / Hono) Go
每请求都做的事 Depends(...) 中间件 中间件 + context.Context
分批往外写 StreamingResponse res.write() / ReadableStream w.Write() + ⭐ Flusher.Flush()
后台跑长任务 队列 + Worker 进程 队列 + Worker 进程 goroutine 也能扛一部分,但重启就丢
取消传播 asyncio 的 CancelledError AbortSignal context.Context 的 Done()

⭐ 反向代理那一层三个栈完全一样 —— Nginx / Caddy 和你用什么语言无关。

⭐ 这张表想说的是:最容易咬到你的那两个零件——反向代理的缓冲和取消传播——在三个栈里长得完全不同,但它们是同一个问题。换栈重写时,人们通常记得搬业务逻辑,忘了搬这两件。


🔗 这一章连到哪里

去哪 为什么
01 · 第一天:两小时上线 那一章末尾「缺什么」表的每一行,就是这张图上的一个零件。先跑通再看图,比先看图有用
03 · 后端骨架 图上「业务编排」那个框展开就是下一章:边界、async、依赖注入、错误形状
04 · 调用层 图上标了重点的那个框——四件难事里的成本和超时主要在这一层解决
05 · 流式输出 另一个标了重点的框——四件难事里的流式在这一层解决
智能体工程 16c · 接进真实产品 ⭐ 最近的邻居。那边讲「为什么要流式、护栏怎么设计」,本板块讲「这条链路怎么搭、坑在哪」
模型上线之后 · 目录 第五节那条分界:本板块管服务健不健康,那边管模型准不准。两套监控都要有
AI基础设施 20 · 推理服务化 图上「模型 API」那个框,在对面是一整个系统。想自建就得读那边

✅ 检查点

  1. 图上的实线、右侧虚线和底部虚线各表示什么?本地聊天需要队列吗?
  2. 浏览器、后端和模型分别负责什么?模型返回一段文字后,谁判断能否显示、是否要保存?
  3. 代理怎样影响首段文字?要用什么证据判断延迟出在哪一站?
  4. 响应头已经是 200,收到 delta 后连接断开,能标记完成吗?若收到 error 后又收到 done 呢?
  5. 哪些现象会让长回复更难上线?为什么要分别量首段等待和完成等待?
  6. 一次模型请求在超时后重试成功,为什么只记最后一次可能低估成本?
  7. 输出可变化时,缓存、测试和排障应分别检查什么?
  8. 「模型答得对」和「服务正常完成」分别需要什么证据?
👀 答案
  1. 实线是所选路径的交接,右侧虚线是按场景选择的后台分支,底部虚线表示各站可留下观测记录。本地演示可直接从后端返回,不需要排队。
  2. 浏览器发送输入并显示结果,后端校验、协调模型、决定如何对外报告,模型生成内容。应用决定是否显示和保存;需要证明已保存时要查存储提交。
  3. 有的代理会先攒一批再转发。分别量浏览器可见的首段和服务端各阶段耗时,再用同一次请求的编号关联记录。
  4. 缺少 done 时标记中断。收到 error 后的 done 表示事件发送结束,业务结果仍为失败。
  5. 等待变长、按量费用、流式反馈和输出变化都会影响设计。例子中首段等待 300 毫秒,总完成等待 1,100 毫秒,前者解释空白等了多久,后者解释用户什么时候拿到完整结果。
  6. 第一次可能已发给供应商并计费。每次尝试分别记已知用量和费用,缺失的部分留待对账。
  7. 缓存核对复用规则、键和权限范围;测试核对接口约定和内容质量;排障关联请求、阶段、分类和版本,日志默认省略原始输入与回复。
  8. 服务是否完成可看响应和业务终态,回答是否正确要对照任务目标和内容证据。服务可观测性见第 15 章,结果评估见第 15b 章及《模型上线之后》。

本节回顾

⚡ 走神救援

下一节 👉 03-后端骨架.md

打卡记录保存在你的浏览器里,首页能看到总进度