📑 本页目录(点开跳转)
00 · 怎么用这份教程
PYTORCH / 00 · 选读指南
这是训练模板、规模工程,还是框架自己的报错?
先按眼前问题选对站内路线,再从本套的张量、autograd 或 Module 原文开始。
读完可说清要去哪个章节核什么条件,不必先通读全部 11 章。
实验记录怎么读
本页原有耗时、内存、报错和环境值保留为原文记录;本轮内容审校未逐项复跑这些实验。版本、硬件、数据和测量方法都会影响结果,示例中的倍数也不是保证。需要复现时先核对依赖版本,再在同一输入下比较。
⏱ 32 分钟 | ⭐ 先划清三条线:一套教你用,一套教你扩,这一套只讲框架自己
🎯 一句话
这一套不教你训模型,也不教你把训练铺到几百张卡上 —— 它只回答一个问题:torch 这个包自己是怎么运转的,以及它为什么会用那种方式报错。
判据只有一句:换个框架就不成立的知识放这里;换个框架照样成立的(显存账、并行策略、KV Cache)在别处;「十分钟先跑起来」也在别处。
时间仅为阅读估算。可以先查一个报错或一个 API;没有必要在开始前通读目录。需要的环境与前置见第四节。
🧩 一、三条线,别走错门
站内讲 PyTorch 的地方不止一处,但它们回答的是三个不同的问题。走错门会浪费时间:
| 你现在想干的事 | 去哪 | 那边给你什么 |
|---|---|---|
| 「我要训一个模型,给我能抄的模板」 | ML 基础 15 | 完整训练循环、损失函数配对表、六个高频 Bug、提速三件套 |
| 「模型太大 / 太慢 / OOM 了」 | AI 基础设施 | 显存账、混合精度、ZeRO、张量并行、KV Cache、算子融合 |
| 「它凭什么这么报错 / 这行代码到底改了什么」 | 这里 | 张量的内存与说明书、autograd 的图、就地操作、state_dict、nn.Module 内部 |
⭐ 一句话记法: 15 章教你「用」,AI 基础设施教你「扩」,这一套讲「框架自己」。
🚦 用一个问题选章节
| 你想知道什么 | 第一站 |
|---|---|
| 切片为什么会影响原张量 | 01 · 张量 |
| 第二次 backward 为什么报错 | 02 · autograd |
| detach 和 no_grad 该选哪个 | 04 · 停止梯度记录 |
| 某层参数为什么没被优化器更新 | 05 · nn.Module |
先在例子里找到“输入、操作、结果”三件事,再追到实现细节。
🧯 明确不做的五件事
写在开头,免得你读到一半发现期待落空:
| 不做 | 因为 |
|---|---|
| 训练循环怎么写、损失函数怎么选 | ML 基础 15 有一份实测可跑的模板,抄那个 |
| 混合精度 / ZeRO / FSDP / 张量并行 / KV Cache / FlashAttention | 全在 AI 基础设施,那边讲得更深 |
torch.profiler / Roofline / MFU |
AI 基础设施 04、07 |
DataLoader 的六个参数怎么调 |
AI 基础设施 22 已讲透吞吐与存储;本套 08 章只讲 worker 是另一个进程 这件事 |
stride 的机制、.contiguous() 的急救写法 |
stride 归 NumPy 与向量化思维 05;急救写法在 ML 基础附录 C。本套只引用,不重讲 |
🧩 二、章节地图(11 章 + 附录 A)
| 章 | 讲什么 | ⏱ | 一句话 |
|---|---|---|---|
| 00 | 怎么用这份教程 | 32 | 你正在读的这一章 |
| 01 | 张量:一块内存 + 一份说明书 | 74 | 张量可以用多维数组来理解;对普通稠密张量,还需区分数据存储与 shape / stride / offset 等元数据 |
| 02 | autograd:图什么时候建,什么时候没的 | 80 | 反向传播通常释放所保存的中间张量;重复使用依赖这些值的图会报错 |
| 03 | 就地操作:三种报错,三个不同的原因 | 106 | ⚠️ 最贵的那种根本不报错,只是悄悄算错 |
| 04 | detach / no_grad / requires_grad |
94 | 三个都在「断」,断的不是一个东西 |
| 05 | nn.Module 内部:参数是怎么被找到的 |
120 | 一个 self.layers = [...] 就能让半个网络永远不被训练,而且不报错 |
| 06 | state_dict 到底装了什么 |
68 | 形状不匹配 / 多了少了 key / strict=False 到底放过了什么 |
| 07 | train() / eval() 到底改了什么 |
68 | Dropout 在训练时把存活的值放大;BN 的 running_mean 什么时候更新 |
| 08 | DataLoader:num_workers 一开就卡住 |
72 | worker 是另一个进程 —— 它拿到的是数据集的副本和独立的随机种子 |
| 09 | 自己写一个 autograd 算子 | 114 | 写一遍 autograd.Function,你就真的懂了前向存什么、反向还什么 |
| 10 | 把模型交出去:保存、TorchScript、ONNX、compile |
138 | 保存整个模型依赖类的名称与路径;加载仍需能找到对应类定义 |
| 附录 A | 速查 | 68 | 报错原文 → 原因的反查表,随时查,不用通读 |
合计:00–10 共 11 章 966 分钟 ≈ 16 小时,附录 A 另算 68 分钟。
⭐ 前六章(00–05)是地基,后五章(06–10)是应用。 如果这些概念都陌生,建议按 01 → 02 → 03 → 04 读:先区分张量数据与共享内存,再看梯度记录、就地修改和停止记录。
已经有报错或具体问题,可以从对应章开始;遇到不懂的前置再返回。顺序是在说明依赖,不是禁止跳读。
06–10 相对独立,撞上哪个问题读哪个。
🧩 三、四条读法路线
路线 A:「我只想搞清楚它为什么这么报错」(约 4.7 小时)
02 → 03 → 04(80 + 106 + 94 = 280 分钟)。 这三章覆盖了 autograd 相关的绝大多数报错原文。⭐ 读完直接翻 附录 A 的反查表。
路线 B:「我的模型不收敛 / 参数没被更新」(约 4.3 小时)
05 → 06 → 07(120 + 68 + 68 = 256 分钟)。
⭐ 这三章按「参数怎么被找到 → 怎么被存下来 → 训练和推理时行为差在哪」排。
ml_md/15 那份「六个高频 Bug」里有两个(忘 eval()、忘 no_grad()),加上 ml_md/11 那条「参数没进优化器」的机制在这三章。
路线 C:「我要往框架里塞自己的东西」(约 6.8 小时)
01 → 02 → 09 → 10(74 + 80 + 114 + 138 = 406 分钟)。
⭐ 09 章的 autograd.Function 是理解 AI 基础设施 08 FlashAttention「重算换显存」的前置 ——
那边讲为什么重算能省显存,09 章讲怎么把重算写进反向。
路线 D:从头顺读(约 16 小时)
00 → 10。⚠️ 别一天读完,01–05 每章都有需要动手跑的代码。
🧩 四、前置与环境
你需要先有的
| 前置 | 够不够 |
|---|---|
| 会写 Python | ✅ 够 |
| 训过至少一个模型(哪怕是抄的) | ⭐ 强烈建议。没训过的话,先去 ML 基础 15 把那份模板跑通再回来 |
| 懂反向传播的数学 | 不必须。读 autograd 时需要理解“复合计算的导数可以逐步相乘”;若这还陌生,先看一个反向传播小例子;真想补去 ML 基础 08 |
| 懂 NumPy | 不必须。本套不用 NumPy 起手 —— 需要对照时会明确链到 NumPy 与向量化思维 |
环境
import torch
print(torch.__version__, torch.cuda.is_available())
⚠️ 本套所有代码都在 torch 2.13.0+cpu 上单独跑过,torch.cuda.is_available() 是 False。
所以:
- ⭐ 每段代码都能在纯 CPU 上跑,不需要显卡
- 🗓️ 凡是必须有 GPU 才能验证的结论,正文里会明确标
🗓️ 未实跑 —— 需要 GPU,不会假装跑过 - ⚠️ 报错信息抄的是真实原文。你的版本不同,措辞可能微调,但关键词(比如
a leaf Variable that requires grad)是稳定的
⭐ 验证方式:本套每一段代码都是单独写进一个空文件、python 文件名.py 跑出来的,
不是在一个共享的 notebook 里接着上一段跑。所以你复制任何一段到空文件里都能直接跑。
🧩 五、贯穿全套的四个主题
后面每一章都会回扣这四条,先在这里立住:
| 主题 | 一句话 | 哪几章 |
|---|---|---|
| ① 张量是「说明书 + 内存」,很多东西共享同一块内存 | 切片、转置、view、detach、from_numpy 全都不搬数据 |
01 / 03 / 04 |
| ② 默认梯度模式下,每次前向按实际计算建立图 | 反向通常释放所存的中间张量;重复反向、长期保存带图的 loss 时要检查生命周期 | 02 / 04 |
| ③ 静默出错比报错贵得多 | 就地操作绕过版本检查、参数没进优化器、plain 属性没被 .to() 带走 —— 这三件事都不报错 |
03 / 05 / 06 |
| ④ 报错原文里带着答案 | PyTorch 的报错通常直接说了修法(Use .reshape(...) instead、Specify retain_graph=True),⚠️ 但它说的修法不一定是你该做的 |
02 / 03 / 06 |
⭐ 主题 ③ 是本套最重要的一条。PyTorch 报错的地方其实是它对你好 —— 那说明它替你拦住了。 真正会让你调三天的是它没报错的那些,本套花了三章讲这一类。
🔗 这一章连到哪里
| 相关的地方 | 为什么 |
|---|---|
| ML 基础 15 · PyTorch 实战手册 | ⭐ 没训过模型就先去那儿。那份模板实测可跑,本套所有例子都假设你见过它 |
| ML 基础附录 C · 手撕代码速查 | .contiguous() 的急救写法在那里,本套 01 章只引用不重讲 |
| AI 基础设施 index | 显存不够、速度不够、要上多卡 —— 那些问题全在那边,不在这里 |
| NumPy 与向量化思维 | stride 的机制、视图与拷贝、NumPy ↔ torch 术语对照都归那边,本套只引用 |
| ML 基础 18 · 挑战项目 A 手搓 mini-torch | ⭐ 读完本套 02 和 09 章再回去做那个项目,会发现自己在造的正是本套讲的东西 |
机制核对:PyTorch autograd、模型保存与加载。
✅ 检查点
- 想跑一个训练模板,与想知道“第二次 backward 为什么报错”,分别去哪?
- 切片影响原张量,应先观察什么?哪章解释这个现象?
- 前四章为什么建议顺读?已经有具体报错能跳读吗?
- 没有 GPU 能开始吗?遇到版本不同的报错怎么核对?
- 没有报错就代表参数一定更新了吗?
👀 答案
- 训练模板去 ML 基础 15;梯度图与重复反向的问题去本套 02。
- 观察修改切片前后原张量的值,检查是否共享存储;先看 01。
- 它们依次解释内存、梯度记录、就地修改与停止记录。可以按报错跳读,缺少哪项前置再补哪项。
- 本套有 CPU 示例;依赖 GPU 的内容另有标记。先记录本机 torch 版本与完整错误,再对照对应章节,不把措辞差异当成完全不同的机制。
- 不一定。参数未注册或未传给优化器,也可能不报错;去 05 检查参数集合和更新前后的数值。
本节回顾
⚡ 走神救援
- 想训练先看 ML 基础 15;想理解框架行为按当前问题选章。
- 内存、梯度记录与参数注册是三个不同的检查方向。
- CPU 就能开始;有具体报错可以跳读,再补缺少的前置。
- 没有报错不等于结果正确,比较一次操作前后的实际数值。
下一节 👉 01-张量到底是什么.md