KI-Hardware und Software-Stack

Welcher Nachteil entsteht, wenn die Batchgröße bei der Inferenz zu groß gewählt wird?

  1. ADie Wartezeit, bis genügend Eingaben gesammelt sind, und die Dauer eines Durchlaufs nehmen zu, sodass die Antwort auf eine einzelne Anfrage langsamer wird und auch mehr Speicher belegt wird
  2. BDie Gewichtswerte ändern sich, und die Antworten werden ungenau
  3. CDie arithmetische Intensität sinkt, und die Effizienz verschlechtert sich
Antwort und Erläuterung anzeigen

Antwort: A. Die Wartezeit, bis genügend Eingaben gesammelt sind, und die Dauer eines Durchlaufs nehmen zu, sodass die Antwort auf eine einzelne Anfrage langsamer wird und auch mehr Speicher belegt wird

Ein größerer Batch erhöht den Gesamtdurchsatz, doch das Warten auf weitere Eingaben und die längere Berechnung eines gebündelten Durchlaufs verlängern die Zeit bis zur Antwort auf eine einzelne Anfrage (Latenz). Auch der Speicher für Zwischenergebnisse und KV-Cache wächst proportional zum Batch. Bei interaktiven Anwendungen wird der Batch nur so weit vergrößert, wie das Ziel für die Antwortgeschwindigkeit eingehalten werden kann.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Die Inferenz großer Sprachmodelle gliedert sich in eine Phase, in der der Eingabetext gebündelt verarbeitet wird (Prefill), und eine Phase, in der die Ausgabe Token für Token erzeugt wird (Decode). Welche Kombination der jeweils leistungsbestimmenden Größen ist richtig (bei kleinem Batch)?
  2. Welche Aussage zur Rolle des bei der Inferenz großer Sprachmodelle verwendeten KV-Cache ist richtig?
  3. Was wird bei der Inferenz großer Sprachmodelle mit langen Texten oder großen Batches leicht zum Problem?
  4. Ein Modell mit ca. 14 GB Gewichten in FP16 wird auf einer GPU mit 2 TB/s Speicherbandbreite bei Batchgröße 1 dekodiert. Welcher Wert kommt der unteren Grenze der Zeit für die Erzeugung eines Tokens am nächsten?
  5. Wie wächst der Rechenaufwand der Self-Attention eines Transformers mit der Eingabesequenzlänge n?