🏠 总目录📚 本教程 00 · 怎么用这份教程 →
📑 本页目录(点开跳转)

00 · 怎么用这份教程

PYTORCH / 00 · 选读指南

这是训练模板、规模工程,还是框架自己的报错?

先按眼前问题选对站内路线,再从本套的张量、autograd 或 Module 原文开始。

读完可说清要去哪个章节核什么条件,不必先通读全部 11 章。

实验记录怎么读

本页原有耗时、内存、报错和环境值保留为原文记录;本轮内容审校未逐项复跑这些实验。版本、硬件、数据和测量方法都会影响结果,示例中的倍数也不是保证。需要复现时先核对依赖版本,再在同一输入下比较。

⏱ 32 分钟 | ⭐ 先划清三条线:一套教你用,一套教你扩,这一套只讲框架自己

🎯 一句话

这一套不教你训模型,也不教你把训练铺到几百张卡上 —— 它只回答一个问题:torch 这个包自己是怎么运转的,以及它为什么会用那种方式报错。 判据只有一句:换个框架就不成立的知识放这里;换个框架照样成立的(显存账、并行策略、KV Cache)在别处;「十分钟先跑起来」也在别处。


时间仅为阅读估算。可以先查一个报错或一个 API;没有必要在开始前通读目录。需要的环境与前置见第四节。

🧩 一、三条线,别走错门

站内讲 PyTorch 的地方不止一处,但它们回答的是三个不同的问题。走错门会浪费时间:

你现在想干的事 去哪 那边给你什么
「我要训一个模型,给我能抄的模板」 ML 基础 15 完整训练循环、损失函数配对表、六个高频 Bug、提速三件套
「模型太大 / 太慢 / OOM 了」 AI 基础设施 显存账、混合精度、ZeRO、张量并行、KV Cache、算子融合
「它凭什么这么报错 / 这行代码到底改了什么」 这里 张量的内存与说明书、autograd 的图、就地操作、state_dict、nn.Module 内部

⭐ 一句话记法: 15 章教你「用」,AI 基础设施教你「扩」,这一套讲「框架自己」。

🚦 用一个问题选章节

你想知道什么 第一站
切片为什么会影响原张量 01 · 张量
第二次 backward 为什么报错 02 · autograd
detach 和 no_grad 该选哪个 04 · 停止梯度记录
某层参数为什么没被优化器更新 05 · nn.Module

先在例子里找到“输入、操作、结果”三件事,再追到实现细节。

🧯 明确不做的五件事

写在开头,免得你读到一半发现期待落空:

不做 因为
训练循环怎么写、损失函数怎么选 ML 基础 15 有一份实测可跑的模板,抄那个
混合精度 / ZeRO / FSDP / 张量并行 / KV Cache / FlashAttention 全在 AI 基础设施,那边讲得更深
torch.profiler / Roofline / MFU AI 基础设施 04、07
DataLoader 的六个参数怎么调 AI 基础设施 22 已讲透吞吐与存储;本套 08 章只讲 worker 是另一个进程 这件事
stride 的机制、.contiguous() 的急救写法 stride 归 NumPy 与向量化思维 05;急救写法在 ML 基础附录 C。本套只引用,不重讲

🧩 二、章节地图(11 章 + 附录 A)

章 讲什么 ⏱ 一句话
00 怎么用这份教程 32 你正在读的这一章
01 张量:一块内存 + 一份说明书 74 张量可以用多维数组来理解;对普通稠密张量,还需区分数据存储与 shape / stride / offset 等元数据
02 autograd:图什么时候建,什么时候没的 80 反向传播通常释放所保存的中间张量;重复使用依赖这些值的图会报错
03 就地操作:三种报错,三个不同的原因 106 ⚠️ 最贵的那种根本不报错,只是悄悄算错
04 detach / no_grad / requires_grad 94 三个都在「断」,断的不是一个东西
05 nn.Module 内部:参数是怎么被找到的 120 一个 self.layers = [...] 就能让半个网络永远不被训练,而且不报错
06 state_dict 到底装了什么 68 形状不匹配 / 多了少了 key / strict=False 到底放过了什么
07 train() / eval() 到底改了什么 68 Dropout 在训练时把存活的值放大;BN 的 running_mean 什么时候更新
08 DataLoader:num_workers 一开就卡住 72 worker 是另一个进程 —— 它拿到的是数据集的副本和独立的随机种子
09 自己写一个 autograd 算子 114 写一遍 autograd.Function,你就真的懂了前向存什么、反向还什么
10 把模型交出去:保存、TorchScript、ONNX、compile 138 保存整个模型依赖类的名称与路径;加载仍需能找到对应类定义
附录 A 速查 68 报错原文 → 原因的反查表,随时查,不用通读

合计:00–10 共 11 章 966 分钟 ≈ 16 小时,附录 A 另算 68 分钟。

⭐ 前六章(00–05)是地基,后五章(06–10)是应用。 如果这些概念都陌生,建议按 01 → 02 → 03 → 04 读:先区分张量数据与共享内存,再看梯度记录、就地修改和停止记录。

已经有报错或具体问题,可以从对应章开始;遇到不懂的前置再返回。顺序是在说明依赖,不是禁止跳读。

06–10 相对独立,撞上哪个问题读哪个。

🧩 三、四条读法路线

路线 A:「我只想搞清楚它为什么这么报错」(约 4.7 小时)

02 → 03 → 04(80 + 106 + 94 = 280 分钟)。 这三章覆盖了 autograd 相关的绝大多数报错原文。⭐ 读完直接翻 附录 A 的反查表。

路线 B:「我的模型不收敛 / 参数没被更新」(约 4.3 小时)

05 → 06 → 07(120 + 68 + 68 = 256 分钟)。 ⭐ 这三章按「参数怎么被找到 → 怎么被存下来 → 训练和推理时行为差在哪」排。 ml_md/15 那份「六个高频 Bug」里有两个(忘 eval()、忘 no_grad()),加上 ml_md/11 那条「参数没进优化器」的机制在这三章。

路线 C:「我要往框架里塞自己的东西」(约 6.8 小时)

01 → 02 → 09 → 10(74 + 80 + 114 + 138 = 406 分钟)。 ⭐ 09 章的 autograd.Function 是理解 AI 基础设施 08 FlashAttention「重算换显存」的前置 —— 那边讲为什么重算能省显存,09 章讲怎么把重算写进反向。

路线 D:从头顺读(约 16 小时)

00 → 10。⚠️ 别一天读完,01–05 每章都有需要动手跑的代码。

🧩 四、前置与环境

你需要先有的

前置 够不够
会写 Python ✅ 够
训过至少一个模型(哪怕是抄的) ⭐ 强烈建议。没训过的话,先去 ML 基础 15 把那份模板跑通再回来
懂反向传播的数学 不必须。读 autograd 时需要理解“复合计算的导数可以逐步相乘”;若这还陌生,先看一个反向传播小例子;真想补去 ML 基础 08
懂 NumPy 不必须。本套不用 NumPy 起手 —— 需要对照时会明确链到 NumPy 与向量化思维

环境

import torch
print(torch.__version__, torch.cuda.is_available())

⚠️ 本套所有代码都在 torch 2.13.0+cpu 上单独跑过,torch.cuda.is_available() 是 False。 所以:

⭐ 验证方式:本套每一段代码都是单独写进一个空文件、python 文件名.py 跑出来的, 不是在一个共享的 notebook 里接着上一段跑。所以你复制任何一段到空文件里都能直接跑。

🧩 五、贯穿全套的四个主题

后面每一章都会回扣这四条,先在这里立住:

主题 一句话 哪几章
① 张量是「说明书 + 内存」,很多东西共享同一块内存 切片、转置、view、detach、from_numpy 全都不搬数据 01 / 03 / 04
② 默认梯度模式下,每次前向按实际计算建立图 反向通常释放所存的中间张量;重复反向、长期保存带图的 loss 时要检查生命周期 02 / 04
③ 静默出错比报错贵得多 就地操作绕过版本检查、参数没进优化器、plain 属性没被 .to() 带走 —— 这三件事都不报错 03 / 05 / 06
④ 报错原文里带着答案 PyTorch 的报错通常直接说了修法(Use .reshape(...) instead、Specify retain_graph=True),⚠️ 但它说的修法不一定是你该做的 02 / 03 / 06

⭐ 主题 ③ 是本套最重要的一条。PyTorch 报错的地方其实是它对你好 —— 那说明它替你拦住了。 真正会让你调三天的是它没报错的那些,本套花了三章讲这一类。

🔗 这一章连到哪里

相关的地方 为什么
ML 基础 15 · PyTorch 实战手册 ⭐ 没训过模型就先去那儿。那份模板实测可跑,本套所有例子都假设你见过它
ML 基础附录 C · 手撕代码速查 .contiguous() 的急救写法在那里,本套 01 章只引用不重讲
AI 基础设施 index 显存不够、速度不够、要上多卡 —— 那些问题全在那边,不在这里
NumPy 与向量化思维 stride 的机制、视图与拷贝、NumPy ↔ torch 术语对照都归那边,本套只引用
ML 基础 18 · 挑战项目 A 手搓 mini-torch ⭐ 读完本套 02 和 09 章再回去做那个项目,会发现自己在造的正是本套讲的东西

机制核对:PyTorch autograd、模型保存与加载。

✅ 检查点

  1. 想跑一个训练模板,与想知道“第二次 backward 为什么报错”,分别去哪?
  2. 切片影响原张量,应先观察什么?哪章解释这个现象?
  3. 前四章为什么建议顺读?已经有具体报错能跳读吗?
  4. 没有 GPU 能开始吗?遇到版本不同的报错怎么核对?
  5. 没有报错就代表参数一定更新了吗?
👀 答案
  1. 训练模板去 ML 基础 15;梯度图与重复反向的问题去本套 02。
  2. 观察修改切片前后原张量的值,检查是否共享存储;先看 01。
  3. 它们依次解释内存、梯度记录、就地修改与停止记录。可以按报错跳读,缺少哪项前置再补哪项。
  4. 本套有 CPU 示例;依赖 GPU 的内容另有标记。先记录本机 torch 版本与完整错误,再对照对应章节,不把措辞差异当成完全不同的机制。
  5. 不一定。参数未注册或未传给优化器,也可能不报错;去 05 检查参数集合和更新前后的数值。

本节回顾

⚡ 走神救援

下一节 👉 01-张量到底是什么.md

打卡记录保存在你的浏览器里,首页能看到总进度