アテンションとは
あてんしょん
各トークンが、ほかのすべてのトークンとの関係の強さを計算して情報を集めるTransformerの仕組み。計算量は系列の長さの2乗に比例する。
この用語の分野: AIハードウェアとソフトウェアスタック
解説の中の「アテンション」
アテンションの計算では、新しいトークンが、それまでのすべてのトークンのKeyとValueを参照します。
大規模言語モデルの推論で使われるKVキャッシュの役割として正しいものはどれか。長さが2倍になればアテンションの部分は4倍になるので、長い文章を扱うほどアテンションの効率が性能を左右します。
Transformerのセルフアテンションの計算量が、入力の系列の長さnに対してどのように増えるか。低い精度で計算するAIでは特に重要な工夫で、高速なアテンションの実装でも使われます。
ソフトマックス関数exp(xi)/Σexp(xj)を計算するとき、各xiから最大値を引いてから計算することが多い理由と…
「アテンション」が出てくる問題(5問)
関連する用語
推論 FlashAttention HBM GPU KVキャッシュ AIコンパイラ MFU 演算強度 演算の融合 オールリデュース