📑 本页目录(点开跳转)
02 · 一个 AI 产品的解剖
⏱ 30 分钟 | 🗺️ 全板块的地图 | 看完你在后面任何一章都知道「自己站在哪」
🎯 一句话
第 01 章先跑通本地聊天。现在用一次请求认出界面、后端和模型的分工,再用返回的记录判断回答有没有完成。下一章会把后端的职责接进代码。
🗺️ 一、跟着一个请求走一遍
用户输入「你好」并发送。先看本地必经的三站:浏览器把输入交给后端,后端调用假模型,浏览器再把返回的文字显示出来。下图在这条主线外标出正式服务常加的零件。第 01 章本地演示直接访问后端,可以先跳过代理、账号、持久化和队列。
同一句「你好」,看三处证据
两次点击都可能收到 200 OK,也都可能先显示「我收到了:」。页面要到哪一步才能写「完成」?先把每一站拿到的信息对上。
POST /api/chat 和 {"prompt":"你好"},根据收到的事件更新文字和状态。需要刷新后继续对话时,数据库负责保存历史。只有存储提交的证据才能确认已保存。排查问题时,后端和调用层可留下同一次请求的编号、各自耗时与最终结果,供日志与追踪关联。监控可以用这些结果统计失败率。
下面是两次独立请求的教学记录。输入都为 {"prompt":"你好"},事件已合并成便于阅读的片段,并省略第 01 章的「(假模型)」显示前缀。它们用于手工判读,未调用供应商,也不代表第 01 章每次实际发送的分段。响应头先给状态码和正文类型。这里 text/event-stream 表示用服务端发送事件(SSE)传正文,delta 提供文字,error 提供失败信息,done 约定应用的事件发送结束。
200 OK
Content-Type: text/event-stream
data: {"type":"delta","text":"我收到了:"}
data: {"type":"delta","text":"你好"}
data: {"type":"done"}
200 OK
Content-Type: text/event-stream
data: {"type":"delta","text":"我收到了:"}
data: {"type":"error","message":"生成超时","trace_id":"demo-02b"}
data: {"type":"done"}
先判读,再核对。只看状态码,两次请求有什么区别?如果 B 在第一段文字后直接断开,页面又该怎么显示?
👀 核对结果
- HTTP 状态。A、B 都收到
200,表示服务器以成功状态开始响应。空输入可在开流前返回400,页面应提示改输入。B 的超时发生在响应头发出后,后端只能在还能写入时用正文事件报告失败。 - 传输结束。即使读取到响应体末尾,也要检查应用事件。若只收到部分文字后断开且没有
done,页面标记中断,并保留已经收到的文字。 - 业务完成。按本例约定,A 收到
done且此前无错误,显示「我收到了:你好」并标记完成。B 的done只结束发送,页面保留「我收到了:」并标记生成失败;可用demo-02b查日志中的失败阶段。回复是否正确、是否已保存还要分别检查。
HTTP 状态语义见 RFC 9110。怎样把字节拼回事件,见 第 05 章。下一章接着拆第 ② 站,学习后端怎样校验请求、替换依赖和组织错误。
🧩 二、每个零件:解决什么问题,不要它会怎样
| 零件 | 解决什么问题 | 不要它会怎样 | 在第几章 |
|---|---|---|---|
| 反向代理 / TLS | 收 HTTPS、发静态文件、把流量转给后端进程 | 若不经代理,应用或平台要负责 HTTPS 入口。经过代理时,要验证响应是否被缓冲 | 14 |
| 鉴权 | 确认身份,再按访问规则判断用户能操作哪些资源 | 无法可靠区分不同账号的会话或额度 | 08 |
| 限流 · 配额 | 回答「你还能不能再来一次」 | 请求频率或模型费用可能超出预期,账单汇总时才暴露问题 | 12 |
| 业务编排 | 一次对话该做哪几步:取历史、检索、拼提示词、调模型、校验 | 这些步骤散落在路由函数里,改一处要在五个地方同步 | 03 |
| ⭐ 调用层 | 把「调模型」这件事包成一个你自己的函数:超时、重试、记账、缓存、可替换 | 换模型要改十处;出了事没有一行记录说这次花了多少钱 | 04 |
| ⭐ 流式往回吐 | 首段一到就能显示,完整回答还可继续生成 | 长回复期间可能一直没有文字反馈,用户重复提交可能产生额外调用 | 05 · 10 |
| 落库 | 对话、用量、检索用的向量,得有地方放 | 需要跨刷新保留历史或按用户对账时,应用必须有相应的保存方式 | 06 · 07 |
| 队列 · Worker | 把「跑几分钟才有结果」的活儿从请求里搬出去 | 长任务在同步路径上占用连接,超时后也缺少独立状态可查 | 11 |
| 日志 · 指标 · trace | 出事之后能查清楚「那一次到底发生了什么」 | 用户说「刚才报错了」,你查无可查——这是最先咬你的一个 | 15 |
| 配置与密钥 | 同一份代码在三个环境跑,且密钥不进代码库 | 换个 Key 要重新提交代码;测试环境不小心连了生产库 | 13 |
⭐ 这张表和 01 章末尾那张「缺什么」表是同一张地图的两面:那张说「不补会怎样」,这张说「补的是什么形状」。
可选:这些零件需要拆成微服务吗?
模块边界不等于部署边界。模块化单体可把鉴权、调用、计费等职责分开,在一个部署单元内协作;修改通常一起发布,同库事务也更容易覆盖相关数据。它仍能横向部署多个副本,不是“一台机器”的同义词。
微服务把业务能力拆成可独立部署的服务,适合确有独立发布/扩缩容和团队数据责任的边界。例如单独扩容文档处理服务时,要同时定义它拥有的数据、其他服务通过什么接口访问。若服务们仍直接改同一组表,部署拆开也没有自动获得数据自治。
原来的函数调用变成网络调用后,会多出超时、部分失败、重试重复和跨服务数据一致性问题,也增加日志追踪、发布兼容和运维责任。先把本章零件与责任划清,再根据瓶颈决定是否拆部署;不能按“服务越多越高级”选择。这里只比较部署/数据责任,不实现完整微服务治理。依据 Lewis/Fowler 的原文。
⚠️ 三、⭐ 这些零件都不是 AI 特有的
上面十个零件,随便找一本讲后端的书都会讲。那本板块存在的意义是什么?
答案是:AI 应用让其中四件事从「需要注意」变成了「主要矛盾」。
| 这四件事 | 普通 Web 应用 | AI 应用 | 后果 |
|---|---|---|---|
| 响应时长 | 依赖数据库、网络和具体工作量 | 模型排队、输入处理和生成长度会影响首段与结束时间 | 重新核对超时、并发和部署时限 |
| 成本 | 使用计算、网络和存储资源 | 使用按量计费的模型时,费用与计费量和价格有关 | 同时保护服务容量和模型预算 |
| 流式 | 按业务是否需要增量结果选择 | 长文本聊天常用,短结果或后台任务也可选别的方式 | 需要核对返回方式、错误处理和代理配置 |
| 不确定性 | 输出也可能随数据或时间变化 | 生成结果可能因采样、上下文或模型版本变化 | 缓存变难、测试变难、复现 bug 变难 |
四件事各自把哪些零件搞复杂了:
① 响应时间。长回复要核对部署时限和等待策略。运行几分钟的任务还可以单独排队,让页面按任务号查询(第 11 章)。
② 模型成本。超时和重试可能对应多次上游尝试。调用层按尝试记录已知用量与费用,未知用量留作待核算。第 12 章把花费前的预算检查和事后结算分开。
③ 流式反馈。首段先显示后,重试可能让用户看到重复文字;中间代理也可能攒到一定量才转发。第 05 章拆开这些情况。
④ 输出变化。缓存要先确认复用是否符合产品要求,再设计包含必要上下文和权限边界的键(第 04 章)。测试可以核对字段和关键行为,也要检查内容质量(第 15b 章)。排障优先保留请求编号、阶段、错误分类和版本;提示正文和回复默认不进日志(第 15 章)。
⭐ 把这四条记住,这个板块的每一章你都能猜到它为什么存在。 后面每一章开头,你都可以先问一句:它在处理这四件事里的哪一件?
🧮 四、一次请求的时间和钱花在哪
可以先量两段。首段等待从点击发送算到第一次显示文字,完成等待从同一次点击算到界面确认完成。看见响应头的时刻也值得记录,方便定位头先到、文字迟到的情况。
| 环节 | 量级来自哪里 | 你能做什么 |
|---|---|---|
| 代理 + 鉴权 + 限流 | 网络、连接复用、排队和权限检查 | 核对这几步是否阻挡了首段 |
| 取历史 + 检索 | 一到几次数据库往返 | 06 / 07 章:索引和连接池 |
| ⭐ 模型生成 | 上游排队、网络、输入处理和输出生成 | 04 章:超时和重试;05 章:让用户提前看到字 |
| 落库 + 日志 | 存储等待、事务提交和日志采集方式 | 用产品约定判断哪些写入要等提交,哪些记录可以异步采集 |
示例数字,便于手算。记录 A 假设点击是 0 毫秒,显示首段是 300 毫秒,完成是 1,100 毫秒。首段等待为 300 − 0 = 300 毫秒。首段出现后还等了 1,100 − 300 = 800 毫秒。这组浏览器时刻只能说明用户等了多久。要区分模型生成、代理缓冲与渲染,还要关联服务端记录。
时间记录用于找瓶颈。费用需要另看每次实际尝试、输入与输出的计费量和当时的价格。第 01 章假模型没有供应商调用;真实请求未返回用量时,费用应记为待核算。调用层和账本的细节分别见第 04、12 章,怎样关联观测数据见第 15 章。
🚧 五、什么不在这个板块里
这个板块只回答一类问题:「模型已经好了,但少了它产品就上不了线」。不是这类的,都在别处,而且都比这里讲得深:
| 你想问的 | 去哪 | 分界线 |
|---|---|---|
| 模型准不准、上线后有没有退化 | 《模型上线之后》 | ⭐ 本板块管「服务健不健康」,那边管「模型准不准」 |
| 推理引擎怎么选、怎么把吞吐榨出来 | 《AI基础设施》20 章 | 那边是「怎么跑模型」,这边是「怎么调它」 |
| RAG 怎么切块、怎么重排、怎么评 | 《大模型全景导论》08 章 | 那边讲策略,本板块 07 章讲怎么真的存进库里 |
| 向量检索的 HNSW / IVF 是什么原理 | 《推荐算法》10 章 | 本板块只讲工程选型,不讲索引结构 |
| 数据该不该留、怎么脱敏 | 《数据这一关》19 章 | 本板块 08 章只讲「怎么隔离」,不讲「该不该留」 |
🔄 六、换个栈怎么对应
零件是概念,换语言只换名字:
| 零件 | Python / FastAPI | Node(Express / Hono) | Go |
|---|---|---|---|
| 每请求都做的事 | Depends(...) |
中间件 | 中间件 + context.Context |
| 分批往外写 | StreamingResponse |
res.write() / ReadableStream |
w.Write() + ⭐ Flusher.Flush() |
| 后台跑长任务 | 队列 + Worker 进程 | 队列 + Worker 进程 | goroutine 也能扛一部分,但重启就丢 |
| 取消传播 | asyncio 的 CancelledError |
AbortSignal |
context.Context 的 Done() |
⭐ 反向代理那一层三个栈完全一样 —— Nginx / Caddy 和你用什么语言无关。
⭐ 这张表想说的是:最容易咬到你的那两个零件——反向代理的缓冲和取消传播——在三个栈里长得完全不同,但它们是同一个问题。换栈重写时,人们通常记得搬业务逻辑,忘了搬这两件。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 01 · 第一天:两小时上线 | 那一章末尾「缺什么」表的每一行,就是这张图上的一个零件。先跑通再看图,比先看图有用 |
| 03 · 后端骨架 | 图上「业务编排」那个框展开就是下一章:边界、async、依赖注入、错误形状 |
| 04 · 调用层 | 图上标了重点的那个框——四件难事里的成本和超时主要在这一层解决 |
| 05 · 流式输出 | 另一个标了重点的框——四件难事里的流式在这一层解决 |
| 智能体工程 16c · 接进真实产品 | ⭐ 最近的邻居。那边讲「为什么要流式、护栏怎么设计」,本板块讲「这条链路怎么搭、坑在哪」 |
| 模型上线之后 · 目录 | 第五节那条分界:本板块管服务健不健康,那边管模型准不准。两套监控都要有 |
| AI基础设施 20 · 推理服务化 | 图上「模型 API」那个框,在对面是一整个系统。想自建就得读那边 |
✅ 检查点
- 图上的实线、右侧虚线和底部虚线各表示什么?本地聊天需要队列吗?
- 浏览器、后端和模型分别负责什么?模型返回一段文字后,谁判断能否显示、是否要保存?
- 代理怎样影响首段文字?要用什么证据判断延迟出在哪一站?
- 响应头已经是
200,收到delta后连接断开,能标记完成吗?若收到error后又收到done呢? - 哪些现象会让长回复更难上线?为什么要分别量首段等待和完成等待?
- 一次模型请求在超时后重试成功,为什么只记最后一次可能低估成本?
- 输出可变化时,缓存、测试和排障应分别检查什么?
- 「模型答得对」和「服务正常完成」分别需要什么证据?
👀 答案
- 实线是所选路径的交接,右侧虚线是按场景选择的后台分支,底部虚线表示各站可留下观测记录。本地演示可直接从后端返回,不需要排队。
- 浏览器发送输入并显示结果,后端校验、协调模型、决定如何对外报告,模型生成内容。应用决定是否显示和保存;需要证明已保存时要查存储提交。
- 有的代理会先攒一批再转发。分别量浏览器可见的首段和服务端各阶段耗时,再用同一次请求的编号关联记录。
- 缺少
done时标记中断。收到error后的done表示事件发送结束,业务结果仍为失败。 - 等待变长、按量费用、流式反馈和输出变化都会影响设计。例子中首段等待 300 毫秒,总完成等待 1,100 毫秒,前者解释空白等了多久,后者解释用户什么时候拿到完整结果。
- 第一次可能已发给供应商并计费。每次尝试分别记已知用量和费用,缺失的部分留待对账。
- 缓存核对复用规则、键和权限范围;测试核对接口约定和内容质量;排障关联请求、阶段、分类和版本,日志默认省略原始输入与回复。
- 服务是否完成可看响应和业务终态,回答是否正确要对照任务目标和内容证据。服务可观测性见第 15 章,结果评估见第 15b 章及《模型上线之后》。
本节回顾
⚡ 走神救援
- 本地最小路径是浏览器、后端、假模型,再回到浏览器。代理、权限、存储、队列和观测按产品需要接入。
- 先看 HTTP 状态,再看传输是否完整,最后看应用记录的结果。收到文字或收到
done,都要结合错误和完成约定判断。 - 时间用各站的观测记录拆开,费用按实际模型尝试核算。
下一节 👉 03-后端骨架.md