🏠 总目录 AI 基础设施 · 把模型真正跑起来、跑得快、跑得起

AI 基础设施 · 章节索引

这次排障,该从哪一章开始?

先找到眼前的问题,再进入完整章节地图。这里不要求从第一页顺读,也不把打卡比例当作已掌握。

读完能判断:能把当前问题定位到硬件瓶颈、分布式训练或推理服务,并选到相应章节。相关小节为容量与速度的区别。

AI 基础设施

模型是「算什么」,Infra 是「怎么把它算出来、算得起」。

这套教程回答三个问题:怎样判断 GPU 在计算、搬运、通信还是等待数据、 一张卡装不下的模型怎么切、以及怎样按负载核算训练与推理成本。 不需要你会写 CUDA,但帮助你逐步解释 profiler 中的关键指标。

⚡ 从「在解决什么问题」开始
0%
你的进度(在每章末尾点「打卡」,保存在本浏览器里)

🧭 它和其他教程的关系

其他几套教程讲的是算什么,这一套讲的是怎么算得出来:

ML 基础 / 数学原理
反向传播的公式
「为什么它吃这么多显存」
大模型全景导论
Transformer 的结构
「70B 模型怎么塞进 8 张卡」
智能体工程
怎么调 API
「API 背后那台机器在干什么」
⬇
这一层就是本教程要补的
  • GPU 与显存层次
  • Roofline 与 MFU
  • 混合精度
  • FlashAttention
  • 数据/张量/流水线并行
  • ZeRO 与 FSDP
  • KV Cache
  • 连续批处理
  • 量化与投机解码
  • 成本与可观测性

⭐ 三章别跳

第 3 章 · 显存与带宽墙
理解这一章之后,你会发现大部分「性能优化」其实都是同一件事: 少搬点数据。它是后面 FlashAttention、量化、KV Cache 的共同前提。
第 4 章 · Roofline 与 MFU
估计计算与搬运上限的参考工具。 MFU 需配合时间线、吞吐与质量一起判断。
第 15 章 · 推理≠训练
把训练的经验直接套到推理上是最常见的昂贵错误。 这一章讲清楚不同阶段、批量与输入长度怎样改变瓶颈。

章节标记与阅读记录

章节标记。
🎁 表示拓展内容,⭐ 表示核心内容。
阅读记录。
章节回顾汇总关键结论。打卡进度与阅读位置分开看;只有相应工具已保存的位置才可恢复。

🕸️ 分布式训练一张卡装不下的时候

🔨 动手需要时再动手验证

🔩 硬件与瓶颈所有优化的物理边界都在这里

🚀 推理与服务训练更新与持续服务分别核算成本

🛠️ 稳定与成本让它别崩,让它别那么贵

📌 随时查不用通读

⚡ 单卡榨干在买第二张卡之前应该做的事

🚪 起步先搞清楚这个领域在解决什么