🏠 总目录📚 本教程 17i · 重试预算与熔断恢复 ← →

智能体工程 · 17i

限制重试次数,为什么仍可能持续过载?

读完能做的判断:同时看总截止、错误分类、幂等合同与熔断恢复预算。

17i · 重试预算与熔断恢复

⏱ 阅读约 27 分钟 · 动手实践另计

本章保留教学代码、路径说明与历史验证结论;完整实验工程和运行记录未随本站及公开仓库分发。命令用于说明调用方式,复现需自行准备对应实现、数据与环境。

一句话带走:重试要同时受次数、总截止时间和全局预算约束;熔断减少下游调用后,仍要保留没有发出的请求。

本节接着监控窗口与告警复核,把“观察失败”推进到“解释一次受限调用”。入口与权限见企业助手服务层实战,尝试记录见请求追踪与脱敏日志。教学实现涉及实验代码(examples/knowledge-assistant/resilience_lab.py)、行为测试(examples/knowledge-assistant/test_resilience_lab.py)和公开场景(examples/knowledge-assistant/evaluation/resilience-cases.json)。

1 · 先看输入请求,再看下游尝试

对照运行记录,解释 5 个请求、13 次尝试和 1 个成功分别怎样计数。

示例命令以父项目目录为工作目录。输出目录必须尚不存在,重跑请换编号;已有空目录也拒绝。

examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 examples/knowledge-assistant/resilience_lab.py demo --output examples/knowledge-assistant/.runtime/resilience-first
examples/knowledge-assistant/.venv/Scripts/python.exe -X utf8 -m unittest discover -s examples/knowledge-assistant -p test_resilience_lab.py -v

在示例 knowledge-assistant 目录内,对应命令为 python resilience_lab.py demo --output .runtime/resilience-first。脚本只回放原创响应,采用模拟时钟,不真的等待,不联网,不调用生成模型。

文件 先看什么
summary.json 原始请求数、尝试数、各终态和源码哈希
replay-inputs.json 两种策略共用的到达时刻、操作与响应脚本
replay-records.json 每次尝试时间、超时额度、状态转换与机械检查
检查点 1:一次请求重试两次,分母应增加三个请求吗?

不应。一个输入请求产生三次下游尝试,请求分母仍为一。调用放大需要另看尝试数。

2 · 次数上限挡不住持续过载

baseline 每个请求最多尝试三次,没有整批重试预算、总截止时间或熔断。它仍只重试读操作和声明具有幂等契约的写操作。bounded 保留三次上限,增加三秒总截止时间、整批两次额外重试预算、连续两次故障后熔断与三秒冷却。这些都是教学参数。

初次尝试不消耗重试预算;第二次及之后才消耗。预算由整个 replay 共用,不随新请求补充。用完预算不会自动停止后续初次调用。它也没有实现按时间补充的令牌桶或分布式配额。

默认第一次退避为 0.25 秒,第二次为 0.5 秒。这里没有随机抖动;同一脚本固定产生同一模拟结果。

走神救援: 把“一个请求允许几次”与“这一批还能追加几次”写在纸上,分别填三和二。

检查点 2:预算为零,是否所有初次调用都被拒绝?

不会。预算限制额外重试。初次调用仍由截止时间与熔断状态决定能否发出。

3 · 总截止时间从到达开始

请求总截止时间为 arrival 加 deadline。顺序执行时,前一个请求占用的时间也会消耗后一个请求的时间。到达时刻相同不代表并发处理;列表顺序就是本实验的队列顺序。

每次准入只使用当前时刻和剩余额度,然后才消费下一条响应脚本。九秒后才会返回成功的脚本,遇到剩余两秒也记录一次两秒 timeout,不能提前知道它最终成功而跳过尝试。

模拟传输把本次耗时截到剩余额度;这验证超时模型,不能证明真实套接字被取消,更不能证明远端停止了工作。等候重试后恰好到达截止时间,也不再准入;等待预算不足时立即结束本请求,不把时钟推进到未来。

检查点 3:总截止两秒,脚本耗时九秒,可以先看脚本再直接判失败吗?

不能。先准入一次,交给模拟传输两秒额度,再观察 timeout;记录必须保留这一次实际模拟尝试。

4 · 按错误类别决定动作

响应 是否允许重试 是否计熔断故障
200 已完成 清零连续故障
401 / 403 否 否
429 安全操作且预算允许 否,单列 rate_limited
503 / timeout 安全操作且预算允许 是

401/403 需要修正身份或权限,重试不会补出授权。429 表示限流,本实验不把它算作服务不可用;它也不清零此前的连续故障。只有成功响应清零。预算耗尽和本地拒发同样不增加熔断故障数。

Retry-After 支持零到 86400 的非负整数秒,出现时替代默认退避。零有效;负数、bool、小数和日期字符串都拒绝。RFC 9110 §10.2.3还允许 HTTP 日期,这里只实现整数秒子集,不能称为完整 HTTP 头解析。

检查点 4:429 带 Retry-After=2,当前还剩一秒,是否等待两秒再尝试?

不等待。记录 deadline_before_retry 并结束本请求;下一条成功脚本尚未消费。

5 · 读与幂等写要分开确认

read 可以按上述规则重试,write 遇到可重试错误仍只发一次。idempotent_write 表示调用者已经取得下游幂等契约,允许重试;标签本身不生成幂等键,不实现去重,也不证明某个真实写接口安全。

例如提交订单后超时,远端可能已经写入。只有确认同一操作标识的重复请求不会再次扣款,才有资格使用幂等写类别。实验使用公开标识和脚本,不发订单、不扣款。

输入按到达时刻升序;时间为有限非负数,最大十亿秒。单批最多一万请求、每请求最多一百条响应、尝试上限一到十。响应脚本耗尽时重复最后一条,便于描述持续故障;这项约定应与结果一起阅读。

检查点 5:把 write 改名为 idempotent_write,能证明远端只写一次吗?

不能。它只声明实验的操作前提。真实幂等需要下游契约与独立测试,本节没有实现。

6 · closed、open、half_open 的恢复过程

closed 正常放行;达到故障阈值后转 open,冷却期内记录 deferred,不调用下游。冷却到期时,下一个符合截止时间的请求转 half_open,只准一次探测,不在同一个请求内重试。

探测成功后 closed;探测失败后重新 open,并从当前时刻重新计算冷却。探测收到 401/403/429 时也重新 open,表示没有拿到健康证据,但不增加故障计数。正常 closed 中这些响应不触发熔断。

阈值按连续下游故障尝试计数;一个请求的两次 503 可以打开熔断。全局重试预算在恢复后仍不补充。冷却到期没有请求时,脚本不会主动探测。

检查点 6:half_open 的一次 503 后,脚本下一条是 200,是否继续试?

不继续。探测只允许一次,这次失败重新打开熔断。未来请求再按冷却规则决定是否探测。

7 · 用相同输入解释真实回放结果

本次证据在演示汇总(examples/knowledge-assistant/validation/resilience-demo-20261012-01/summary.json)与逐项记录(examples/knowledge-assistant/validation/resilience-demo-20261012-01/replay-records.json)。十五个限定测试通过,两个场景机械检查失败数为零。

同一输入场景 策略 请求 尝试 completed / failed / deferred
持续故障后恢复 baseline 5 13 1 / 4 / 0
持续故障后恢复 bounded 5 3 1 / 1 / 3
截止、限流与操作类别 baseline 5 9 2 / 3 / 0
截止、限流与操作类别 bounded 5 7 2 / 3 / 0
调用减少不等于成功率提高章内教学回放表格:同样五个输入请求,baseline 为十三次尝试、一成功四失败;bounded 为三次尝试、一成功一失败三未发出。两者成功率都是一除以五等于百分之二十。调用放大为二点六和零点六,后者小于一因为有未发出请求。数字为原文已有表格重绘,非本轮重新执行的实验结果。 少调用了,成功率就提高了吗? 按原文章内表格重绘 · 非本轮回放 baseline 同样 5 个输入请求;实心点为成功 成功 1 · 失败 4 · 未发出 0 下游尝试 13 次;每个短条 = 1 次 调用放大 13/5 = 2.6 bounded 同样 5 个输入请求;实心点为成功 成功 1 · 失败 1 · 未发出 3 下游尝试 3 次;每个短条 = 1 次 调用放大 3/5 = 0.6 成功占全部输入:两者都是 1/5 未发出仍占分母;不是完成得更快。 虚线点表示 deferred(未发出)。 例子仅说明统计口径,不证明生产收益。
按本节原有教学回放表格重绘,未在本轮重新执行。两种策略成功都为 1/5;bounded 的三项 deferred 必须保留在全部输入分母中。 窄屏可在图内左右滑动查看完整图示。

第一个场景调用放大为 13/5=2.6 与 3/5=0.6。小于一是有请求未发出,不能称为更快完成。两种策略成功占全部输入都是 1/5=0.2;如果删掉三个 deferred 再算比例,会制造改善。第二个场景把阈值提高到五,以单独观察截止时间与两次重试预算;成功比例都是 0.4。

检查点 7:受限策略 failed 从四降为一,是否成功率提高?

没有。三个请求变成 deferred,成功仍只有一个。必须同时展示全部输入分母和未发出的请求。

8 · 改一个参数,留下新证据

先复制公开场景,在 Python 中调用 replay,把 retry_budget 改为零,再看 attempts 和每个 reason。然后把 recovery 的到达时刻改成三,观察冷却尚未到期时是否继续 deferred。一次只改一个参数,保留两种策略完全相同的输入。

源码、测试和原始场景的 SHA-256 在 summary 的 source_sha256。它用于定位版本,不是数字签名。CLI 输入或目录错误输出固定 JSON 并退出二,内部错误退出一,不回显输入原文与栈;示例目录由操作者可信地提供,不测试对抗文件系统。

语雀来源提供限流熔断方向;代码、数据与数字为本站原创。AWS 重试工程参考解释重试放大过载的风险。本节没有验证生产吞吐、并发探测锁、真实网络取消、随机抖动或多副本状态共享。

走神救援: 只问三件事:这次能否安全重试、剩余时间够不够、没有发出的请求记在哪里。答得出来就完成最小目标。

检查点 8:十五个测试通过,可以替换现有部署重试实现吗?

不能直接替换。本节是独立顺序回放,既有 deployment_lab 与 product_lab 没有改动;真实接入需要另验契约和运行边界。

打卡记录保存在你的浏览器里,首页能看到总进度