FlashAttentionとは
ふらっしゅあてんしょん
アテンションの計算をタイルに分けてチップ上のメモリで進め、大きな中間の表をHBMに書き出さない高速な実装。結果は通常のアテンションと同じ。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「FlashAttention」
FlashAttentionは、QueryとKey・Valueをブロックに分けて共有メモリに読み込み、ソフトマックスを少しずつ更新しながら計算を一度に進めて、表をHBMに書き出しません。
FlashAttentionなどの高速なアテンションの実装の主な考え方として正しいものはどれか。