Was ist FlashAttention?

Eine schnelle Attention-Implementierung, die die Berechnung im On-Chip-Speicher in Kacheln aufteilt und die große Zwischentabelle nie in den HBM schreibt. Ihre Ergebnisse stimmen mit der Standard-Attention überein.

Japanische Bezeichnung: FlashAttention

Fachgebiet: KI-Hardware und Software-Stack

Verwandte Begriffe

All-Reduce Arithmetische Intensität Attention-Mechanismus Backpropagation (Fehlerrückführung) Batchgröße Berechnungsgraph Datenparallelität Gradient Checkpointing Inferenz-Laufzeitumgebung (Inference Runtime) KI-Compiler

Zurück zum Glossar