AI 基础设施 · 章节索引
这次排障,该从哪一章开始?
先找到眼前的问题,再进入完整章节地图。这里不要求从第一页顺读,也不把打卡比例当作已掌握。
读完能判断:能把当前问题定位到硬件瓶颈、分布式训练或推理服务,并选到相应章节。相关小节为容量与速度的区别。
AI 基础设施
模型是「算什么」,Infra 是「怎么把它算出来、算得起」。
这套教程回答三个问题:怎样判断 GPU 在计算、搬运、通信还是等待数据、 一张卡装不下的模型怎么切、以及怎样按负载核算训练与推理成本。 不需要你会写 CUDA,但帮助你逐步解释 profiler 中的关键指标。
⚡ 从「在解决什么问题」开始0%
你的进度(在每章末尾点「打卡」,保存在本浏览器里)
🧭 它和其他教程的关系
其他几套教程讲的是算什么,这一套讲的是怎么算得出来:
ML 基础 / 数学原理
反向传播的公式
「为什么它吃这么多显存」
大模型全景导论
Transformer 的结构
「70B 模型怎么塞进 8 张卡」
智能体工程
怎么调 API
「API 背后那台机器在干什么」
⬇
这一层就是本教程要补的
- GPU 与显存层次
- Roofline 与 MFU
- 混合精度
- FlashAttention
- 数据/张量/流水线并行
- ZeRO 与 FSDP
- KV Cache
- 连续批处理
- 量化与投机解码
- 成本与可观测性
⭐ 三章别跳
第 3 章 · 显存与带宽墙
理解这一章之后,你会发现大部分「性能优化」其实都是同一件事: 少搬点数据。它是后面 FlashAttention、量化、KV Cache 的共同前提。
理解这一章之后,你会发现大部分「性能优化」其实都是同一件事: 少搬点数据。它是后面 FlashAttention、量化、KV Cache 的共同前提。
第 4 章 · Roofline 与 MFU
估计计算与搬运上限的参考工具。 MFU 需配合时间线、吞吐与质量一起判断。
估计计算与搬运上限的参考工具。 MFU 需配合时间线、吞吐与质量一起判断。
第 15 章 · 推理≠训练
把训练的经验直接套到推理上是最常见的昂贵错误。 这一章讲清楚不同阶段、批量与输入长度怎样改变瓶颈。
把训练的经验直接套到推理上是最常见的昂贵错误。 这一章讲清楚不同阶段、批量与输入长度怎样改变瓶颈。
章节标记与阅读记录
章节标记。
🎁 表示拓展内容,⭐ 表示核心内容。
🎁 表示拓展内容,⭐ 表示核心内容。
阅读记录。
章节回顾汇总关键结论。打卡进度与阅读位置分开看;只有相应工具已保存的位置才可恢复。
章节回顾汇总关键结论。打卡进度与阅读位置分开看;只有相应工具已保存的位置才可恢复。