🏠 总目录📚 本教程 实战与挑战项目 ← →

AI基础设施 · 24

这次优化真的更快,还是只是换了测试条件?

项目的结果必须能回到同一个基线:模型、输入、精度、质量和测量窗口。保留原骨架与报告要求,不以示例代替实测。

读完能判断:按相同工作负载、质量与测量口径记录项目基线、变化和复测。

📑 本页目录(点开跳转)

24 · 实战与挑战项目

⏱ 先做 60 分钟最小版,再决定是否进入完整挑战 | ⭐ 目标不是跑出漂亮数字,而是留下别人能复查的证据


🎯 一句话

这一章把前 23 章收成一个工程闭环:固定问题与工作负载 → 建立基线 → 只改一个因素 → 复测质量、速度与资源 → 注入失败 → 回滚或恢复 → 保存证据。

⭐ 最终产出不是一句“快了”,也不只是一张结果表,而是一个可复现证据包:配置、版本、原始记录、计算过程、失败证据和复现步骤都在。结果持平或变慢也可以通关,只要证据解释得通。


🧰 开工前:先写实验合同

实验闭环

  1. 冻结比较条件:代码、模型、数据、请求长度、精度、硬件和随机种子
  2. 预先写通过条件:质量门、SLO、资源上限,以及哪些状态允许标为 NOT_EXECUTED
  3. 至少重复三轮,保存原始值;每次只改一个因素
  4. 注入一次可恢复故障,证明结果不是“正常路径恰好跑通”
  5. 按同一合同复测;失败就回滚,并保留失败证据

“目标提升 30%”不能凭感觉填写。阈值来自两处:产品必须满足的约束(例如 TPOT P95 不超过 50 ms)和基线重复测量暴露的波动。如果没有产品 SLO,就只能报告比较结果,不能把某个倍数包装成通用通关线。

先手算一遍:为什么单看吞吐会判错

假设同一份请求集、同一模型和同一两秒测量窗口下,基线输出 600 token,候选输出 760 token:

但合同还写着“TPOT P95 ≤ 50 ms,质量集至少答对 92/100”。若候选的 TPOT P95 是 55 ms,即使吞吐提高 26.7%,结论仍是 FAIL:违反延迟 SLO。若质量只有 89/100,也同样不能发布。性能、质量和资源是并列的门,不是拿一个好数字抵消另一个坏数字。

必须冻结或记录最少内容不记录会怎样
版本代码提交、模型与 tokenizer 版本、容器或依赖清单无法重放同一实现
工作负载数据快照/校验值、输入/输出长度分布、并发和请求顺序“优化”可能只是换了容易样本
硬件与运行条件设备、驱动/运行时、精度、功耗或频率策略、预热轮数不同环境的数字被错误比较
质量门任务指标、样本和允许误差;人工判断需版本化规则只看速度,功能已经变了也不知道
测量口径开始/结束点、重复次数、P50/P95/P99、峰值资源平均值掩盖尾延迟和 OOM
证据状态PASS / FAIL / NOT_EXECUTED / UNKNOWN离线模拟被误报成真实硬件验收

没有 GPU 也能继续:用纯 Python 复算公式、回放已有 trace、模拟调度/块分配、检查配置和报告模板。但这些证据必须标为 OFFLINE_ONLY / NOT_EXECUTED(真实 GPU)。模拟能验证逻辑和计算,不能证明 CUDA 内核、显存峰值、多卡通信或线上 SLO。


🥉 项目一:建立一条可解释的训练性能证据链

练什么:第 3、4、6、7、9、21、22、23 章。你不需要把 MFU 提到某个固定百分比;你需要证明瓶颈在哪里、改动影响了什么,以及训练状态能否恢复。

任务清单

✅ 这一项目怎样通关

⚠️ 卡住时按这个顺序排查
  1. MFU 异常高:重查 FLOP 模型、有效 token 数、测量窗口和精度峰值口径。
  2. 改精度没有收益:先确认硬件、形状和算子是否支持目标内核,再看瓶颈是否根本不在计算。
  3. 编译没有收益:检查断图、重编译和动态形状,但不要预设编译一定更快。
  4. 恢复后 loss 跳变:核对优化器、调度器、随机状态、scaler 和数据游标是否一起恢复。

🥈 项目二:给推理服务建立多指标发布门

练什么:第 15–20、23 章。目标不是追求固定的十倍吞吐,而是在给定 SLO、质量和资源预算下找到可解释的配置。

任务清单

✅ 这一项目怎样通关


🥇 挑战项目 A:手写可验证的 mini 推理调度器

先做 CPU/纯 Python 状态机,再选择是否接小模型。 这个项目验证第 16、17 章的缓存和调度逻辑;离线模拟不等于真实 GPU 性能。

验证层级

离线层:状态机、块表、引用计数、调度顺序与不变量

运行层:真实模型的 logits/token、显存、TTFT、TPOT 与吞吐

阶段一:正确性基线

阶段二:调度

阶段三:块管理

阶段四:失败与复现

✅ 这一项目怎样通关

  1. 调度、块表、引用计数和释放路径都有可重复的自动断言。
  2. 缓存与非缓存路径在声明的数值容差内一致;最终 token 只是额外检查。
  3. 性能只按实际执行层级报告:离线模拟不能声明 GPU 吞吐、显存或内核收益。
  4. 失败注入后没有块泄漏或跨请求污染,并留下重放 trace。

🥇 挑战项目 B:并行策略的受控扫描与恢复

有多卡时做实测;没有时做配置枚举和通信模型复算,并标记 OFFLINE_ONLY。

目标

不是证明某条“黄金法则”,而是找出在你的拓扑、模型、batch 和目标下,哪种配置先撞上显存、通信或气泡约束。

阶段一:冻结硬件与模型

阶段二:一次只扫一个维度

阶段三:组合扫描

阶段四:故障与复现

✅ 这一项目怎样通关

  1. 每个结论都绑定当前拓扑、版本、工作负载和比较口径,不写成跨硬件定律。
  2. 不可行、失败和无收益的组合也保留;“最优”只指通过质量与资源门后的候选集合。
  3. 至少一次故障恢复能继续同一训练轨迹;只重新启动一个新任务不算恢复。
  4. 另一人可从证据包复跑至少一个配置,并得到同方向结果;否则标记待审核。

🏆 可选加分


📝 报告模板

# 优化目标:____
## 证据身份
- run_id / git commit / 配置文件 / 数据或请求集校验值
- 模型与 tokenizer / 容器或依赖 / 硬件与运行时
## 实验合同(运行前写)
- 固定条件:____
- 质量门:____
- SLO 与资源上限:____
- 重复次数、预热和测量窗口:____
## 基线原始值
| run | 质量 | P50/P95/P99 或 step time | 吞吐 | 峰值资源 | 状态 |
## 单变量改动与预测
| 改了什么 | 为什么改 | 预测影响 | 实际结果 | PASS/FAIL/UNKNOWN |
## 失败注入、恢复与回滚
- 注入点 / 观察信号 / 恢复位置 / 回滚结果 / 遗留 UNKNOWN
## 复现命令与原始证据位置
## 我原本以为 ___,证据显示 ___
## 没有执行的检查(NOT_EXECUTED)

💡 "我原本以为"那一节别省。 这个领域的直觉极容易出错(第 1 章那三个错误直觉), 记录下你的直觉在哪被推翻,比记录结论有用十倍。


🔗 这一章连到哪里

做完这里的项目,接着去 为什么
《Kaggle竞赛方法论》04 超参数调优与工程实践 实验记录与结果管理 项目一那张"每一步的 MFU"表,那边有可以直接抄的实验记录模板 ⭐
《大模型全景导论》06 推理优化 挑战 A 要手写的两个机制(分页、连续批处理),动手前先看那一页纸的对照版
《模型上线之后》20 实战与挑战项目 项目二调出来的是"跑得快";那边的项目教你怎么发现它上线后悄悄变差了 ⭐
《强化学习基础》12 RLHF 全流程 阶段 3 的工程现实 挑战 B 的配置扫描,放到"四个模型同时在显存里"的 RLHF 上是最难的一档

✅ 检查点

  1. 为什么吞吐提高 26.7% 仍可能判定 FAIL?
  2. 实验合同最少要冻结哪几类条件?为什么必须在运行前写质量门和 SLO?
  3. 没有 GPU 时哪些工作仍可执行?哪些结论必须标为 NOT_EXECUTED?
  4. 训练性能项目为什么要保存 loss、有效样本数和恢复状态,而不只看 MFU?
  5. 推理服务为什么必须保存逐请求记录,而不只报平均吞吐?
  6. mini 调度器的正确性为什么不能只看最终文本?
  7. 并行扫描中,为什么 OOM、超时和无收益的配置不能从热力图中删掉?
  8. 什么才算“恢复训练”,什么只是重新启动了一个新任务?
  9. 报告中至少要有哪些证据,另一人才可能复现一个结果?
👀 答案
  1. 因为性能、质量和 SLO 是并列的门。例子里候选吞吐提高 26.7%,但 TPOT P95 为 55 ms,超过 50 ms 的合同,所以仍是 FAIL。
  2. 至少冻结版本、工作负载、硬件/运行条件、质量门和测量口径。先写门槛是为了避免看到结果后再移动标准或挑基线。
  3. 可以复算公式、回放 trace、模拟调度/块表和检查报告。真实 GPU 的内核性能、显存峰值、多卡通信和线上 SLO 仍是 NOT_EXECUTED,不能由模拟替代。
  4. MFU 只说明一部分硬件利用。loss、有效样本数和更新步数用于确认训练语义没变;完整 checkpoint 与数据游标用于证明中断后能继续同一轨迹。
  5. 平均吞吐看不到 TTFT/TPOT 的尾部、失败请求和长度差异。逐请求记录才能重算 P95/P99、关联故障并确认比较的是同一分布。
  6. 最终文本可能在中间 logits 已不同的情况下碰巧一致。应固定模型、tokenizer、dtype 和解码条件,并在声明的数值容差内比较缓存前后的 logits/token。
  7. 删掉失败点会制造幸存者偏差,让“最优配置”看起来比实际更可靠。它们应作为 OOM、TIMEOUT、FAIL 或 NOT_EXECUTED 保留。
  8. 恢复训练要恢复模型、优化器、调度器、scaler、随机状态、数据游标和全局 step,并检查轨迹连续性。只加载权重重新跑是新任务。
  9. 至少需要 run ID、代码与环境版本、数据/请求集身份、完整配置、原始日志或 CSV、计算脚本、失败/回滚证据和复现命令;未执行项要明确标记。

本节回顾

⚡ 走神救援

先记住这几件事

下一节 👉 附录A-速查.md

条件与依据

本章中的数字只用于演示计算与判定方法,不是任何硬件或模型的性能承诺。真实训练、模型下载、多卡通信、GPU 峰值和线上服务均需在自己的环境执行;离线复算与模拟必须和真实运行证据分开。MFU 跨精度比较要同步峰值算力口径,推理比较要固定请求分布与质量门。

NVIDIA GPU 性能背景资料

打卡记录保存在你的浏览器里,首页能看到总进度