AI基础设施 · 24
这次优化真的更快,还是只是换了测试条件?
项目的结果必须能回到同一个基线:模型、输入、精度、质量和测量窗口。保留原骨架与报告要求,不以示例代替实测。
读完能判断:按相同工作负载、质量与测量口径记录项目基线、变化和复测。
24 · 实战与挑战项目
⏱ 先做 60 分钟最小版,再决定是否进入完整挑战 | ⭐ 目标不是跑出漂亮数字,而是留下别人能复查的证据
🎯 一句话
这一章把前 23 章收成一个工程闭环:固定问题与工作负载 → 建立基线 → 只改一个因素 → 复测质量、速度与资源 → 注入失败 → 回滚或恢复 → 保存证据。
⭐ 最终产出不是一句“快了”,也不只是一张结果表,而是一个可复现证据包:配置、版本、原始记录、计算过程、失败证据和复现步骤都在。结果持平或变慢也可以通关,只要证据解释得通。
🧰 开工前:先写实验合同
实验闭环
- 冻结比较条件:代码、模型、数据、请求长度、精度、硬件和随机种子
- 预先写通过条件:质量门、SLO、资源上限,以及哪些状态允许标为 NOT_EXECUTED
- 至少重复三轮,保存原始值;每次只改一个因素
- 注入一次可恢复故障,证明结果不是“正常路径恰好跑通”
- 按同一合同复测;失败就回滚,并保留失败证据
“目标提升 30%”不能凭感觉填写。阈值来自两处:产品必须满足的约束(例如 TPOT P95 不超过 50 ms)和基线重复测量暴露的波动。如果没有产品 SLO,就只能报告比较结果,不能把某个倍数包装成通用通关线。
先手算一遍:为什么单看吞吐会判错
假设同一份请求集、同一模型和同一两秒测量窗口下,基线输出 600 token,候选输出 760 token:
- 基线吞吐:
600 ÷ 2 = 300 token/s。 - 候选吞吐:
760 ÷ 2 = 380 token/s。 - 相对提升:
(380 − 300) ÷ 300 × 100% = 26.7%。
但合同还写着“TPOT P95 ≤ 50 ms,质量集至少答对 92/100”。若候选的 TPOT P95 是 55 ms,即使吞吐提高 26.7%,结论仍是 FAIL:违反延迟 SLO。若质量只有 89/100,也同样不能发布。性能、质量和资源是并列的门,不是拿一个好数字抵消另一个坏数字。
| 必须冻结或记录 | 最少内容 | 不记录会怎样 |
|---|---|---|
| 版本 | 代码提交、模型与 tokenizer 版本、容器或依赖清单 | 无法重放同一实现 |
| 工作负载 | 数据快照/校验值、输入/输出长度分布、并发和请求顺序 | “优化”可能只是换了容易样本 |
| 硬件与运行条件 | 设备、驱动/运行时、精度、功耗或频率策略、预热轮数 | 不同环境的数字被错误比较 |
| 质量门 | 任务指标、样本和允许误差;人工判断需版本化规则 | 只看速度,功能已经变了也不知道 |
| 测量口径 | 开始/结束点、重复次数、P50/P95/P99、峰值资源 | 平均值掩盖尾延迟和 OOM |
| 证据状态 | PASS / FAIL / NOT_EXECUTED / UNKNOWN | 离线模拟被误报成真实硬件验收 |
没有 GPU 也能继续:用纯 Python 复算公式、回放已有 trace、模拟调度/块分配、检查配置和报告模板。但这些证据必须标为 OFFLINE_ONLY / NOT_EXECUTED(真实 GPU)。模拟能验证逻辑和计算,不能证明 CUDA 内核、显存峰值、多卡通信或线上 SLO。
🥉 项目一:建立一条可解释的训练性能证据链
练什么:第 3、4、6、7、9、21、22、23 章。你不需要把 MFU 提到某个固定百分比;你需要证明瓶颈在哪里、改动影响了什么,以及训练状态能否恢复。
任务清单
合同
冻结模型、数据快照、序列长度、global/local batch、精度、硬件、随机种子和测量窗口;保存未优化基线的 step time、tokens/s、MFU、峰值显存和 loss。计算
用第 4 章公式手算本配置的 FLOP 与 MFU;把 理论估计、profiler 原始值、最终计算分三列记录。数据
用第 22 章“真实数据 vs 内存中的合成张量”实验定位供给瓶颈;记录 GPU 等待、data time 和 step time,而不是直接调 worker 数。单变量
只选择一个有证据支持的候选改动:混合精度、SDPA 后端、编译、batch 或数据管线。先写预测,再改动和复测。正确性
比较前若干步 loss、梯度是否有限、更新步数和有效样本数;低精度或编译结果用预先声明的容差判定,不要求位级相同。故障
在可控副本中断一次训练;验证 checkpoint 是否包含模型、优化器、调度器、scaler、随机状态和数据游标,并从同一逻辑位置继续。结论
至少重复三轮,报告中位数和每轮原始值;若改动无收益,保留 FAIL 结果并解释瓶颈为何不在这里。
✅ 这一项目怎样通关
- 基线与候选使用同一实验合同;任何差异都能在配置差异表中找到。
- 质量/训练行为没有越过预先声明的容差,且性能变化大于基线自然波动;否则结论是“不足以证明”。
- 至少一次失败注入后能从记录的逻辑位置恢复;只加载模型权重不算训练恢复。
- 能把观察到的变化连接到物理原因,同时说明还没有验证的部分。
⚠️ 卡住时按这个顺序排查
- MFU 异常高:重查 FLOP 模型、有效 token 数、测量窗口和精度峰值口径。
- 改精度没有收益:先确认硬件、形状和算子是否支持目标内核,再看瓶颈是否根本不在计算。
- 编译没有收益:检查断图、重编译和动态形状,但不要预设编译一定更快。
- 恢复后 loss 跳变:核对优化器、调度器、随机状态、scaler 和数据游标是否一起恢复。
🥈 项目二:给推理服务建立多指标发布门
练什么:第 15–20、23 章。目标不是追求固定的十倍吞吐,而是在给定 SLO、质量和资源预算下找到可解释的配置。
任务清单
工作负载
保存一份含输入/输出长度、共享前缀比例、到达时间和质量标签的请求清单;固定模型、tokenizer、采样参数和版本。基线
在同一负载上记录 TTFT、TPOT/ITL、端到端延迟、输出吞吐、失败率、峰值显存和质量结果;保存原始逐请求记录。曲线
逐级增加并发,直到先触碰一个预先声明的 SLO 或资源上限;不要固定扫到 256,也不要只报告最大吞吐。缓存
只有工作负载确实包含严格相同前缀时才测试前缀缓存;同时记录命中率、TTFT 和新增缓存占用。量化
量化后重跑同一质量集和性能负载;记录权重/KV 精度、校准数据版本、质量差异和每项性能差异。故障
注入超时、取消或 worker 退出中的一种;确认请求状态、资源释放、重试边界和指标能说明发生了什么。成本
用实际计费时长和已完成 token 口径计算成本;预留、失败和取消请求如何计入必须单独写明。
✅ 这一项目怎样通关
- 延迟—吞吐曲线来自同一请求分布,并显示哪个约束先到达;配置由证据选择,不由框架默认值决定。
- 候选同时通过质量门、SLO 和资源/成本上限;任何一项失败,发布结论就是 FAIL。
- 量化、缓存或调度的收益都绑定命中率、精度、长度分布、并发和版本,不写成通用倍数。
- 失败注入能在日志、指标和追踪里关联到同一请求,并能说明哪些费用仍是 UNKNOWN。
🥇 挑战项目 A:手写可验证的 mini 推理调度器
先做 CPU/纯 Python 状态机,再选择是否接小模型。 这个项目验证第 16、17 章的缓存和调度逻辑;离线模拟不等于真实 GPU 性能。
验证层级
离线层:状态机、块表、引用计数、调度顺序与不变量
运行层:真实模型的 logits/token、显存、TTFT、TPOT 与吞吐
阶段一:正确性基线
- 实现朴素自回归或确定性的 toy model;保存固定输入、参考 logits/token 和终止条件。
- 加入 KV Cache;同一实现内比较缓存前后 logits,并用声明的绝对/相对容差判断,而不是只看最终文本。
- 若接真实模型,记录投影复用、注意力累计计算和权重读取分别花多少时间;离线版标为 NOT_EXECUTED(GPU 性能)。
阶段二:调度
- 实现静态批处理,并输出每个时间槽的活跃请求和空槽。
- 实现连续批处理:完成请求退出,新请求只在明确的调度边界进入。
- 回放至少两种长度分布;报告空槽、等待时间和完成时间,不预设连续批处理必须提高固定倍数。
阶段三:块管理
- 实现固定块池和每请求块表;定义“已用 token 槽 / 已分配 token 槽”的利用率。
- 验证跨块读取、最后一块未填满、释放后复用和容量耗尽四种边界。
- 比较连续预留与分页的内部碎片;保存每个请求的块表,而不是只报一个最终百分比。
- 若做前缀共享,加入引用计数和写时复制测试:一个请求写入不能改变另一个请求看到的前缀。
阶段四:失败与复现
- 固定权重、tokenizer、dtype、设备与解码设置;对照 logits/token。不同后端数值差异必须先调查,不能把文本相同当唯一正确性证据。
- 在块不足或请求取消时注入失败,证明块不会泄漏、重复释放或被仍在使用的请求复用。
- 提交 trace、断言、原始结果和复现命令;与成熟引擎的差距只在同一硬件/负载实际测过后陈述。
✅ 这一项目怎样通关
- 调度、块表、引用计数和释放路径都有可重复的自动断言。
- 缓存与非缓存路径在声明的数值容差内一致;最终 token 只是额外检查。
- 性能只按实际执行层级报告:离线模拟不能声明 GPU 吞吐、显存或内核收益。
- 失败注入后没有块泄漏或跨请求污染,并留下重放 trace。
🥇 挑战项目 B:并行策略的受控扫描与恢复
有多卡时做实测;没有时做配置枚举和通信模型复算,并标记 OFFLINE_ONLY。
目标
不是证明某条“黄金法则”,而是找出在你的拓扑、模型、batch 和目标下,哪种配置先撞上显存、通信或气泡约束。
阶段一:冻结硬件与模型
- 保存拓扑、设备型号、运行时/通信库版本和可见设备映射;命令不可用时记录 NOT_EXECUTED。
- 在多个消息大小上测通信,保留每轮原始值;区分单向/双向、算法/总线带宽口径。
- 用第 5、10 章模型预测通信时间,再比较实测;偏差本身就是要解释的证据。
阶段二:一次只扫一个维度
- DP/DDP:固定 global batch 或固定 local microbatch 二选一,并明确选择;两种比较回答不同问题。
- FSDP/ZeRO:记录静态模型状态、训练峰值、通信和 step time;平均分片值不能代替峰值。
- TP:按第 12 章具体切分推导每卡通信;不要把某个层的近似写成“与 TP 度永远无关”。
- PP:在阶段均衡、忽略额外通信的简化条件下计算气泡,再用真实时间线找出不平衡造成的额外等待。
阶段三:组合扫描
- 固定总设备数,先用显存和整除条件删去不可行的 (TP, PP, DP) 组合,再测剩余组合。
- 每组记录 step time、有效 tokens/s、峰值显存、通信时间、质量/训练状态和失败状态。
- 画热力图,但把 OOM、超时和 NOT_EXECUTED 画成状态,不要从图里删掉。
- 比较机内/跨机放置时保持其他条件不变;结论只绑定当前拓扑和消息大小。
阶段四:故障与复现
- 中断一个可控训练副本或模拟一个 rank 失败;验证超时、失败记录和资源清理。
- 从 checkpoint 恢复,核对模型、优化器、调度器、随机状态、数据游标和全局 step;比较恢复前后连续性。
- 让另一环境按报告复跑一个配置;无法复跑的依赖或证据明确写成 UNKNOWN。
✅ 这一项目怎样通关
- 每个结论都绑定当前拓扑、版本、工作负载和比较口径,不写成跨硬件定律。
- 不可行、失败和无收益的组合也保留;“最优”只指通过质量与资源门后的候选集合。
- 至少一次故障恢复能继续同一训练轨迹;只重新启动一个新任务不算恢复。
- 另一人可从证据包复跑至少一个配置,并得到同方向结果;否则标记待审核。
🏆 可选加分
- 把测量脚本做成读取同一份实验合同的自动化入口。
- 为每次运行生成不可变的 run ID,并关联代码、配置、数据和原始指标。
- 把失败注入和恢复检查纳入回归,而不是只在报告中手动描述。
📝 报告模板
# 优化目标:____
## 证据身份
- run_id / git commit / 配置文件 / 数据或请求集校验值
- 模型与 tokenizer / 容器或依赖 / 硬件与运行时
## 实验合同(运行前写)
- 固定条件:____
- 质量门:____
- SLO 与资源上限:____
- 重复次数、预热和测量窗口:____
## 基线原始值
| run | 质量 | P50/P95/P99 或 step time | 吞吐 | 峰值资源 | 状态 |
## 单变量改动与预测
| 改了什么 | 为什么改 | 预测影响 | 实际结果 | PASS/FAIL/UNKNOWN |
## 失败注入、恢复与回滚
- 注入点 / 观察信号 / 恢复位置 / 回滚结果 / 遗留 UNKNOWN
## 复现命令与原始证据位置
## 我原本以为 ___,证据显示 ___
## 没有执行的检查(NOT_EXECUTED)
💡 "我原本以为"那一节别省。 这个领域的直觉极容易出错(第 1 章那三个错误直觉), 记录下你的直觉在哪被推翻,比记录结论有用十倍。
🔗 这一章连到哪里
| 做完这里的项目,接着去 | 为什么 |
|---|---|
| 《Kaggle竞赛方法论》04 超参数调优与工程实践 实验记录与结果管理 | 项目一那张"每一步的 MFU"表,那边有可以直接抄的实验记录模板 ⭐ |
| 《大模型全景导论》06 推理优化 | 挑战 A 要手写的两个机制(分页、连续批处理),动手前先看那一页纸的对照版 |
| 《模型上线之后》20 实战与挑战项目 | 项目二调出来的是"跑得快";那边的项目教你怎么发现它上线后悄悄变差了 ⭐ |
| 《强化学习基础》12 RLHF 全流程 阶段 3 的工程现实 | 挑战 B 的配置扫描,放到"四个模型同时在显存里"的 RLHF 上是最难的一档 |
✅ 检查点
- 为什么吞吐提高 26.7% 仍可能判定 FAIL?
- 实验合同最少要冻结哪几类条件?为什么必须在运行前写质量门和 SLO?
- 没有 GPU 时哪些工作仍可执行?哪些结论必须标为 NOT_EXECUTED?
- 训练性能项目为什么要保存 loss、有效样本数和恢复状态,而不只看 MFU?
- 推理服务为什么必须保存逐请求记录,而不只报平均吞吐?
- mini 调度器的正确性为什么不能只看最终文本?
- 并行扫描中,为什么 OOM、超时和无收益的配置不能从热力图中删掉?
- 什么才算“恢复训练”,什么只是重新启动了一个新任务?
- 报告中至少要有哪些证据,另一人才可能复现一个结果?
👀 答案
- 因为性能、质量和 SLO 是并列的门。例子里候选吞吐提高 26.7%,但 TPOT P95 为 55 ms,超过 50 ms 的合同,所以仍是 FAIL。
- 至少冻结版本、工作负载、硬件/运行条件、质量门和测量口径。先写门槛是为了避免看到结果后再移动标准或挑基线。
- 可以复算公式、回放 trace、模拟调度/块表和检查报告。真实 GPU 的内核性能、显存峰值、多卡通信和线上 SLO 仍是 NOT_EXECUTED,不能由模拟替代。
- MFU 只说明一部分硬件利用。loss、有效样本数和更新步数用于确认训练语义没变;完整 checkpoint 与数据游标用于证明中断后能继续同一轨迹。
- 平均吞吐看不到 TTFT/TPOT 的尾部、失败请求和长度差异。逐请求记录才能重算 P95/P99、关联故障并确认比较的是同一分布。
- 最终文本可能在中间 logits 已不同的情况下碰巧一致。应固定模型、tokenizer、dtype 和解码条件,并在声明的数值容差内比较缓存前后的 logits/token。
- 删掉失败点会制造幸存者偏差,让“最优配置”看起来比实际更可靠。它们应作为 OOM、TIMEOUT、FAIL 或 NOT_EXECUTED 保留。
- 恢复训练要恢复模型、优化器、调度器、scaler、随机状态、数据游标和全局 step,并检查轨迹连续性。只加载权重重新跑是新任务。
- 至少需要 run ID、代码与环境版本、数据/请求集身份、完整配置、原始日志或 CSV、计算脚本、失败/回滚证据和复现命令;未执行项要明确标记。
本节回顾
⚡ 走神救援
先记住这几件事
- 先写实验合同,再建基线;每次只改一件事,性能、质量、资源和失败状态一起记录。
- 阈值来自产品约束和基线波动,不来自教程给出的固定倍数;持平或变慢也可以形成有效证据。
- mini 调度器先验证 logits、状态机和块表不变量,再讨论性能;离线模拟不能证明 GPU 收益。
- 并行策略结论只属于当前拓扑、版本和工作负载;失败配置也必须保留。
- 能重放、能失败、能恢复、能说明 NOT_EXECUTED,才算一个可维护的项目结果。
下一节 👉 附录A-速查.md
条件与依据
本章中的数字只用于演示计算与判定方法,不是任何硬件或模型的性能承诺。真实训练、模型下载、多卡通信、GPU 峰值和线上服务均需在自己的环境执行;离线复算与模拟必须和真实运行证据分开。MFU 跨精度比较要同步峰值算力口径,推理比较要固定请求分布与质量门。