Was ist Attention-Mechanismus?

Der Transformer-Mechanismus, in dem jedes Token Informationen sammelt, indem es seine Beziehung zu jedem anderen Token berechnet. Der Aufwand wächst quadratisch mit der Sequenzlänge.

Japanische Bezeichnung: アテンション

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität FlashAttention Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime) KI-Compiler

Zurück zum Glossar