🏠 总目录📚 本教程 FlashAttention ← →

AI基础设施 · 08

不把 N×N 写回显存,分块 softmax 怎样还算得对?

分块不只是切小矩阵,还要跨块更新 softmax 的归一化量。这里保留完整注意力目标,浮点计算顺序可能不同。

读完能判断:分块怎样保持 softmax 正确、为什么主要省 I/O,以及 Prefill、Decode 与多设备长上下文为什么不能混为一谈。

📑 本页目录(点开跳转)

08 · FlashAttention

⏱ 40 分钟 | ⭐ 这个领域最漂亮的一个优化


🎯 一句话

它保留完整注意力的计算目标,主要靠减少显存搬运提速。 秘密只有一句:别把那个 n×n 的中间矩阵写回显存。 —— 这是第 3 章"少搬点"思想最成功的一次实践。

朴素:整个 N×N 都写进显存显存 ∝ N²N=8k 时就是 64M 个数 × 层数FlashAttention:一次只算一小块额外保存 ∝ N·d块在片上 SRAM 里算完就丢同样的数学结果,但中间矩阵【从来没有落到显存过】⭐ 算同一个注意力公式;浮点顺序不同,结果可能有舍入差异当该形状受带宽限制时:少搬运会同时带来速度与显存收益
同样的数学结果,但那个 N×N 的中间矩阵从来没有落到显存过。⭐ 它计算同一个注意力公式,浮点舍入可能不同;主要省的是搬运不是计算。当该形状受带宽限制时,少搬运会同时带来速度与显存收益;是否带宽受限仍要结合硬件和形状判断。

😖 一、标准 attention 的问题

先把符号翻译成人话:$n$ 是这一头要处理的 token 数,$d$ 是每个头里一个 token 的向量长度;$Q$(Query,查询)表示“我在找什么”,$K$(Key,键)表示“我能用什么被匹配”,$V$(Value,值)表示“匹配后真正取走什么”。三者形状都是 $[n,d]$。$QK^T$ 会让每个查询和每个键都配一次,因此得到 $[n,n]$ 的分数矩阵。

流程图

Attention(Q,K,V) = softmax(QKᵀ / √d) · V
朴素实现:
① S = QKᵀ / √d→[n, n] 矩阵,写回 HBM ⚠️
② P = softmax(S)→读 [n,n],写 [n,n] ⚠️
③ O = PV→读 [n,n] ⚠️

算一笔账(n = 4096,头维度 d = 128,BF16):

算一算

中间矩阵 S:4096 × 4096 × 2 字节 = 32 MiB ← 【每个头、每个样本】

只数教学主线里的四次往返:写 S、读 S、写 P、读 P ≈ 4 × 32 = 128 MiB

而 Q、K、V、O 合计:4 × 4096 × 128 × 2 字节 = 4 MiB

128 ÷ (128 + 4) ≈ 97%:在这份简化账本里,绝大多数搬运来自马上就会丢掉的中间矩阵 ⭐

算一算

算术强度 = 浮点运算次数 ÷ 搬运字节数:

主要矩阵乘计算 ≈ 4 × n² × d = 4 × 4096² × 128 ≈ 8.59 × 10⁹ FLOP

教学账本的搬运 ≈ 132 MiB = 132 × 2²⁰ 字节

→ 8.59 × 10⁹ ÷ (132 × 2²⁰) ≈ 62 FLOP/字节

若用 A100 的理论 BF16 Tensor Core 峰值约 312 TFLOP/s 与 HBM 带宽约 2 TB/s,平衡点约为 156 FLOP/字节;62 低于 156,所以在这些假设下更可能受带宽限制。换硬件、精度或实现,平衡点也会变。

🔑 注意问题的性质: 问题不只有计算量,还有大量数据搬运。 显存里那个 32 MiB 的矩阵, 生成出来只是为了立刻被读回去用一次,然后丢掉。


💡 二、核心思想:分块 + 在片上完成

因果链

⭐ 关键观察:片上存储更快但很小,容量与带宽取决于 GPU
如果把 Q、K、V 切成小块,让每一块的 S 都能装进 Shared Memory,
就可以【在片上算完 softmax 和乘 V】,
只把最终的 O 写回 HBM ⭐
那个 n×n 的矩阵【从来没有出现在 HBM 里】

对照

for 每个 Q 块 Qᵢ: ← 外层

初始化 Uᵢ = 0, ℓᵢ = 0, mᵢ = -∞

for 每个 K,V 块 Kⱼ, Vⱼ: ← 内层

在 Shared Memory 里:

Sᵢⱼ = Qᵢ Kⱼᵀ / √d ← 小块,装得下;按需加掩码

更新 running max mᵢ 和指数和 ℓᵢ

Uᵢ ← 修正后的 Uᵢ + 新块未归一化的加权和 ⭐

所有 K,V 块处理完:Oᵢ = Uᵢ / ℓᵢ(每行除以自己的指数和)

写出 Oᵢ ← 只写一次

⭐ 难点:softmax 需要全局的最大值和求和,怎么分块?

对照

标准 softmax:softmax(x)ᵢ = e^(xᵢ - max) / Σ e^(xⱼ - max)

↑ 需要看完【所有】元素才知道

解法:online softmax(增量修正)

📐 增量修正怎么做(想看再点)

已经处理完前面的块,维护三个量: - $m$:目前见过的最大值 - $\ell$:目前的指数和(以 $m$ 为基准) - $U$:目前未归一化的加权和(分子,不是最终输出)

以下按一行来算:新块分数为 $s'$,最大值 $m'$,令 $\tilde P'=e^{s'-m'}$、$\ell'=\sum_j\tilde P'_j$;$V'$ 是对应的值:

$$m^{new} = \max(m, m')$$

$$\ell^{new} = e^{m - m^{new}}\ell + e^{m' - m^{new}}\ell'$$

$$U^{new} = e^{m-m^{new}}U + e^{m'-m^{new}}\,\tilde P' V'$$

所有块处理完,最后还要归一化:$O=U/\ell$。多行时,按行广播除以各行的 $\ell$。

只算两个分数 $[0,0]$,对应标量值 $[2,4]$:最大值为 0,两个指数都是 1,得到 $U=1\times2+1\times4=6$、$\ell=2$,所以 $O=6/2=3$。6 只是分子,不能直接当输出。

💡 人话:每次遇到更大的最大值,就把之前累积的结果 乘一个修正系数 $e^{m-m^{new}}$「打个折」,再加上新块的贡献。

代价:需要指数、缩放修正,反向还可能重算;额外计算量依实现与形状而变。 收益:那个 n×n 矩阵永远不进 HBM。

⭐ 这就是"用计算换带宽"的典型 —— 而在带宽瓶颈下,这笔交易极其划算。

两个分块,真的算一遍

只看一行注意力。第 1 块分数 $[1,0]$,对应标量值 $[2,4]$;第 2 块分数 $[3]$,对应值 $[10]$。这里 $m$ 是目前最大分数,$\ell$ 是按 $m$ 平移后的指数和,$U$ 是尚未除以 $\ell$ 的加权和。

第 1 块:$m_1=1$;权重为 $[e^{1-1},e^{0-1}]=[1,0.3679]$。

$\ell_1=1+0.3679=1.3679$;$U_1=1×2+0.3679×4=3.4716$。

第 2 块出现更大的 3,所以 $m_2=3$。旧结果必须乘 $e^{1-3}=e^{-2}=0.1353$ 后再合并。

$\ell_2=0.1353×1.3679+1=1.1851$。

$U_2=0.1353×3.4716+1×10=10.4698$。

最终 $O=U_2/\ell_2=10.4698/1.1851≈8.834$。直接对 $[1,0,3]$ 做一次完整 softmax 也得到同一结果(允许浮点舍入差异)。⭐ 这一步证明“打折旧结果”不是比喻,而是保持全局归一化正确所必需的重标定。

💡 online softmax 不是 FlashAttention 发明的(它更早), FlashAttention 的贡献是把它和分块、片上计算、反向重算组合成一个完整的 IO 感知算法。


📊 三、收益

先说模型,再读渐近式

这里采用论文的两级存储模型:慢而大的 HBM 与快而小的片上 SRAM。$M$ 表示 SRAM 能容纳的标量元素个数,不是字节数;讨论范围是 $d \le M \le nd$。

在这些假设下,朴素 attention 的 HBM 元素访问量上界为 $O(n²+nd)$;FlashAttention 的 HBM 元素访问量渐近上界为 $O(n²d²/M)$。

这个式子数的是两层存储之间搬了多少个元素,不是额外显存容量,也不是某次 profiler 里直接读到的字节数。估算字节还要乘每个元素的字节数,并计入具体实现常数、布局和额外读写。

$M$ 越大,能在片上复用的块越大,HBM 往返通常越少;但实际倍数仍取决于分块、数据类型、硬件和 kernel 实现 ⭐

指标 提升
速度 可显著提速;具体收益依 GPU、序列长度、头维度和基线实现实测 ⭐
显存 额外保存量从 O(n²) 降到 O(nd);固定头维度 d 时常简写成 O(n) ⭐
数值精度 同一个注意力公式,不以稀疏或低秩近似换速度;浮点运算顺序不同,可能有舍入差异 ⭐

🔑 最重要的是额外保存量从 O(n²) 降到 O(nd)(头维度 $d$ 固定时常简写成 O(n)): 这移除了长上下文的一道关键显存障碍。以 BF16、单头、单样本估算,n=128K 的一个 $n×n$ 中间矩阵就约为 32 GiB。但请别把“能装下”读成“已经便宜”:完整注意力的主要矩阵运算仍随 $n²d$ 增长,128K 是否可运行还取决于层数、batch、硬件、并行和内核。

💡 反向传播怎么办

反向不是只靠 O、ℓ、m 凭空恢复

前向后仍需保留或可访问 Q、K、V 与输出 O
同时保存每一行的 softmax 统计量 m、ℓ(实现也可能保存等价的 log-sum-exp)
反向收到上游梯度 dO,但完整 P 没有保存
重新遍历 Q/K 块:S = QKᵀ/√d,再由 m、ℓ 分块重建 P
结合 P、Q、K、V 与 dO,分块累积 dQ、dK、dV
⭐ 用重算换掉保存和读取 n×n 的 P;带宽受限时可能更划算

边界要说完整:$O$、$m$、$\ell$ 只提供输出与逐行归一化信息,不能单独恢复分数;重算 $S$ 仍然需要原来的 $Q$ 和 $K$,计算值梯度还要用到 $V$ 与上游梯度 $dO$。具体内核可能保存 log-sum-exp 等等价统计量,但不会绕过这些数据依赖。


🧭 四、训练、Prefill 与 Decode:不要把一个结论套遍所有阶段

同一个注意力公式,瓶颈不一样

训练 / Prefill(一次读入整段提示):Q 的长度和 K/V 的长度都接近 n,朴素实现可能物化 n×n 中间矩阵。分块与在线 softmax 能省下大量 HBM 往返,也是本章主线。

单 token Decode(一次只生成一个 token):新 Q 的长度是 1,分数形状是 1×n,本来就没有 n×n 新矩阵;主要代价常变成每步读取越来越长的 KV Cache。Prefill 的加速倍数不能直接搬到这里。

多设备长上下文:Ring Attention 把序列块分到多台设备,让 K/V 块沿环传递,并尝试把通信和当前块计算重叠。它解决“单卡装不下”的分布问题,不会把完整注意力的总计算凭空变成线性。

还要分清三类方法:FlashAttention 改的是同一个精确注意力的计算顺序与 I/O;Ring Attention 把精确的分块计算分布到多设备;滑窗或稀疏注意力则会限制可见位置,改变注意力模式以减少计算。三者都可能服务长上下文,但代价与正确性边界不同。

⚠️ “128K 能跑”不等于“模型有效使用了 128K 信息”。内核和并行解决容量、吞吐与延迟;模型能否检索远处信息、位置编码能否外推、训练数据是否覆盖长依赖,仍需单独评测。


🔨 五、怎么用(几乎不用改代码)

# 🧩 骨架:`q` 来自你自己的代码,这一段只看写法
import torch.nn.functional as F

# ⭐ 首选:PyTorch 内置,按输入与配置选择可用后端(含 FlashAttention)
out = F.scaled_dot_product_attention(q, k, v, is_causal=True)

# 确认它真的走了 Flash 后端
from torch.nn.attention import sdpa_kernel, SDPBackend
with sdpa_kernel(SDPBackend.FLASH_ATTENTION):
    out = F.scaled_dot_product_attention(q, k, v, is_causal=True)
    # ⭐ 如果条件不满足会直接报错,而不是静默回退

⚠️ 什么情况下框架可能不选择 Flash 路径

条件 要求
数据类型 融合内核通常针对 FP16 / BF16 等类型;精确支持范围取决于设备、框架和后端版本 ⭐
头维度 支持的上限、对齐和前后向能力随内核版本与设备变化,不能把某个版本的数字当永久规则
张量布局 检查末维 stride、形状和后端要求,不宜一概要求全张量连续
attention mask mask 支持依版本和后端而变;纯因果场景优先表达为 is_causal=True ⭐
GPU 架构 必须有当前 PyTorch 构建和目标设备可用的对应后端;不同 fused backend 的硬件范围并不相同

💥 真正的坑不是“某个条件永远不支持”,而是假定自己一定走了 Flash 后端。自定义稠密 mask、特殊 stride、设备、dtype、头维度或构建方式都可能影响选择;框架版本变化后,原来的固定清单也可能过期。

✅ 解法:先用默认 SDPA 让框架选后端,再在测试中用 sdpa_kernel(SDPBackend.FLASH_ATTENTION) 限定 Flash 后端;不支持时让框架给出警告或错误原因。纯因果场景优先使用 is_causal=True。变长序列的 packing 与 cu_seqlens 属于相应 FlashAttention 变长接口,不是这里 F.scaled_dot_product_attention 的直接参数。


🧬 六、版本演进(知道区别就够)

版本 关键改进
FA-1(2022) 提出分块 + online softmax + 重算
FA-2(2023) 减少非矩阵乘操作、更好的并行切分 → 进一步提速,收益随硬件和形状变化 ⭐
FA-3(2024) 针对 H100:异步、FP8、warp 特化;具体收益需匹配精度与基线测试

💡 FA-2 的一个关键洞察: Tensor Core 做矩阵乘极快,但非矩阵乘操作(指数、除法)慢得多。 FA-1 里的 online softmax 有大量这类操作,FA-2 重新安排了顺序把它们减到最少。 这提醒我们:优化到后期,"非矩阵乘操作"会变成新的瓶颈。


🧠 七、它给你的一般性启发

因果链

⭐ FlashAttention 教给你的三件事:
① 【主要矩阵运算量不变也可能提速】
优化不等于"少算",更多时候是"少搬"
② 【用计算换带宽是划算的】
在带宽受限时,重算可能比读显存更划算
③ 【要意识到内存层次的存在】
同样的算法,"在哪一层算"也会影响性能

🔗 同一个思路的其他应用: - 算子融合(第 7 章)—— 中间结果留在片上 - 梯度检查点(第 9 章)—— 用重算换激活显存 - PagedAttention(第 17 章)—— 推理侧的同类思想


🔗 和站内其他章的关系

相关的地方 这里的位置
第 3 章 存储层次与带宽 FlashAttention 的全部依据 ⭐
第 3 章 attention 是带宽瓶颈 本章是它的解法
第 7 章 算子融合 同一思想,FlashAttention 是最成功的案例
全景导论主线 2 · 模型怎样看懂一句话 attention 公式 本章优化的就是它
第 16 章 KV Cache 解释 Decode 为什么主要读取越来越长的 K/V,而不是再生成 n×n 新矩阵
第 5 章 跨设备互联 Ring Attention 的环形 K/V 传递必须同时核算链路带宽、拓扑与通信重叠

✅ 检查点

  1. 标准 attention 的搬运量花在哪了?占比多少?
  2. FlashAttention 减少了主要矩阵运算次数吗?$O(n²d²/M)$ 中的 $M$ 是什么,这个式子又在数什么?
  3. 核心思想是什么?靠哪一级存储实现?
  4. softmax 需要全局最大值,怎么分块?代价是什么?
  5. 额外保存量从多少降到多少?为什么这只移除长上下文的一道障碍,而不是让总计算变成线性?
  6. 反向传播需要 P 矩阵但没保存,必须保留或重新使用哪些数据,具体怎样分块重算并得到梯度?
  7. 为什么不能背一张永久的“Flash 后端五条件”清单?怎样确认当前输入真的走了目标后端?
  8. Prefill 与单 token Decode 的注意力形状和主要瓶颈有什么不同?
  9. FlashAttention、Ring Attention 和滑窗/稀疏注意力分别改变了什么?
  10. FA-2 的关键洞察是什么?它提醒了什么?
  11. FlashAttention 给出的三条一般性启发是什么?
👀 答案
  1. 花在那个 n×n 的中间矩阵上。在本章的简化账本里,n=4096 时每个 BF16 中间矩阵为 32 MiB,S/P 的四次往返约 128 MiB,而 Q/K/V/O 合计 4 MiB;128÷132≈97%。这只是为了看清数量级,不是完整 kernel profiler 统计。
  2. 主要矩阵运算仍是 O(n²d),并可能增加缩放修正与重算。论文的两级存储模型把 HBM 视为慢存储、SRAM 视为快存储;$M$ 是 SRAM 可容纳的标量元素数,范围 $d≤M≤nd$。$O(n²d²/M)$ 是该模型下 HBM元素访问次数的渐近上界,不是额外显存复杂度,也不是实测字节。换成字节还要乘元素大小并考虑实现常数。
  3. 分块 + 在片上完成:把 Q/K/V 切成能装进 Shared Memory 的小块,在片上算完 softmax 和乘 V,只把最终的 O 写回 HBM——那个 n×n 矩阵从来没进过 HBM。靠片上高速存储(容量与带宽依 GPU 而变)。
  4. online softmax(增量修正):维护 running max 和 running sum,每遇到更大的最大值就把之前累积的结果乘 e^(m−m_new) 打折再加新块贡献。最后必须用未归一化加权和除以指数和:O=U/ℓ。代价是缩放修正与可能的重算,增量并非固定比例。
  5. 朴素实现要额外保存 O(n²) 的中间矩阵;FlashAttention 把额外保存量降到 O(nd),固定头维度 d 时常简写为 O(n)。这移除了关键显存障碍,但主要矩阵运算仍是 O(n²d),所以长上下文仍受计算、层数、batch、硬件和并行约束。
  6. 重算:前向后仍需保留或可访问 Q/K/V、输出 O 和逐行 softmax 统计量 m、ℓ(或等价的 log-sum-exp),反向还会收到上游梯度 dO。内核重新遍历 Q/K 块得到 $S=QK^T/√d$,再用逐行统计量重建 P,随后结合 P、Q、K、V 与 dO 分块累积 dQ、dK、dV。这样避免保存和读取完整 n×n 的 P,带宽受限时可能比读回它更划算。
  7. 因为 dtype、头维度、stride、mask、设备与构建支持都随框架和内核版本变化。最常见的错误是“调用了 SDPA 就等于用了 Flash”。测试时用 sdpa_kernel(SDPBackend.FLASH_ATTENTION) 限定目标后端,让不支持原因显式暴露;纯因果场景优先用 is_causal=True。
  8. Prefill 中 Q 与 K/V 长度都接近 n,朴素实现可能物化 n×n;单 token Decode 的 Q 长度是 1,分数只有 1×n,主要压力常是每一步读取整个 KV Cache。因此 Prefill 的加速倍数不能直接套给 Decode。
  9. FlashAttention 重排同一个精确注意力的计算与 I/O;Ring Attention 把块分到多设备并环形传递 K/V;滑窗/稀疏注意力限制可见位置,改变了注意力模式来减少计算。
  10. Tensor Core 做矩阵乘极快,但非矩阵乘操作(指数、除法)慢得多。FA-2 重排顺序把这类操作减到最少。提醒:优化到后期,非矩阵乘操作会变成新瓶颈。
  11. ①主要矩阵运算量不变也可能提速(优化不等于少算,更多是少搬)②用计算换带宽是划算的 ③要意识到内存层次的存在——同样的算法在哪一层算也会影响性能。

本节回顾

⚡ 走神救援

⭐⭐ 它主要靠减少显存搬运提速——关键是别把那个 n×n 的中间矩阵写回显存。

把账摊开就很清楚:序列一长,中间矩阵的搬运量能占到教学账本的绝大部分,⭐ 而它是一个根本不需要长期保存的东西;在本章给定的 A100 理论峰值、BF16 与形状假设下,算术强度低于平衡点,更可能受带宽限制。换硬件和形状必须重新算。

⭐ 核心思想:分块,在片上高速存储里把 softmax 和乘 V 一次算完,只把结果写回——那个 n×n 矩阵从来没进过显存。难点是 softmax 需要全局最大值,解法是 ⭐ 在线 softmax:维护当前的最大值和累加和,遇到更大的最大值就把已累积的结果按比例打折,再加上新块,最后用 U 除以 ℓ 得到输出。

⚠️ 缩放修正与反向重算可能增加计算,增量依实现与形状而变——⭐ 带宽受限时,用计算换搬运可能更划算。这里“重算”不是只靠 O、ℓ、m:必须重新使用 Q/K/V,结合上游梯度 dO,按块重建分数与 P,再累积 dQ、dK、dV。

📐 看到 $O(n²d²/M)$ 时先记住边界:它是在 $d≤M≤nd$ 的两级存储模型里,以 $M$ 个标量元素为片上容量,计算 HBM 元素访问次数的渐近上界;它不是额外显存复杂度,也不是实测字节。

收益里最该记的一条不是速度:⭐⭐ 额外保存量从 O(n²) 降到 O(nd),固定 d 时常简写为线性——它移除了长上下文的一道关键显存障碍。但完整注意力的计算仍是 O(n²d),能装下不等于已经便宜,更不等于模型会有效利用全部信息。⭐ 它计算同一个注意力公式;浮点舍入可能不同。反向需要那个中间结果却没存,于是重算——在带宽受限时可能更划算。

⚠️ 后端条件不是永久固定的五条规则。最常见的错误是“调用 SDPA 就等于用了 Flash”。处方:用当前框架的后端限定工具让不支持原因显式暴露;纯因果场景优先用 is_causal=True。⭐ 还要记住:Prefill 的 Q 长度接近 n,而单 token Decode 的 Q 长度是 1,后者主要读取 KV Cache,不能直接套用 Prefill 的收益。

⭐ 三条可迁移的启发:主要矩阵运算量不变也可能提速(优化是少搬,不是少算)、用计算换带宽常常划算、同样的算法「在哪一层算」也会影响性能。

下一节 👉 09-显存优化全家桶.md

条件与依据

FlashAttention 的后端限制不是固定不变的总表:dtype、头维度、掩码、布局与设备需对照实际 PyTorch/内核版本。强制 sdpa_kernel 可暴露不支持原因。cu_seqlens 是相应变长接口的参数,并非此处 F.scaled_dot_product_attention 的参数;打包后必须显式隔离独立序列。Ring Attention 的结论仅说明把块分布到多设备并重叠通信的机制,不代表任何拓扑都能零代价扩展。

PyTorch SDPA 官方文档;FlashAttention 原论文;FlashAttention-2 论文;Ring Attention 论文

打卡记录保存在你的浏览器里,首页能看到总进度