FlashAttention V3
用好 Hopper 的异步与低精度
By Hyaloid, Words: 7577
FlashAttention V3 的目标是在 Hopper 架构(H100)上把 Attention 的计算效率进一步推向硬件上限。它的核心思想和 FlashAttention V1、FlashAttention V2 一致:通过 tiling 和 recompute,减少对 HBM 的读写;循环顺序和并行方式也沿用了 V2。
[Read More]