KI-Hardware und Software-Stack

Welche Aussage zur Kennzahl MFU (Model FLOPs Utilization) für die Effizienz großen Trainings ist richtig?

  1. ADer Anteil der aus der Zahl der für die Modellberechnung nötigen Operationen ermittelten tatsächlichen Rechenleistung an der Spitzenleistung der Hardware
  2. BDer Anteil der von 0 verschiedenen Gewichte des Modells
  3. CDer Anteil des genutzten GPU-Speichers
Antwort und Erläuterung anzeigen

Antwort: A. Der Anteil der aus der Zahl der für die Modellberechnung nötigen Operationen ermittelten tatsächlichen Rechenleistung an der Spitzenleistung der Hardware

MFU ist der Wert, der entsteht, wenn aus der Zahl pro Sekunde verarbeiteter Token und der für das Modell nötigen Operationszahl die Geschwindigkeit der tatsächlich geleisteten nützlichen Berechnung bestimmt und durch die Spitzenleistung der GPU geteilt wird. Er sinkt bei Wartezeiten auf Kommunikation, speicherbegrenzten Operationen, Pipeline-Bubbles, Neuberechnungen usw. Da er zeigt, wie gut die Hardware genutzt wird, dient er als Richtgröße für Trainingskonfiguration und Softwareverbesserungen.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Welche Näherung wird häufig als Richtwert für die Zahl der Operationen verwendet, die für das Training eines Transformer-Modells nötig sind, wenn N die Parameterzahl und D die Zahl der Trainings-Token ist?
  2. Welcher Wert ist ein Richtwert für die Zahl der Operationen, die für die Erzeugung eines Tokens bei der Inferenz eines großen Sprachmodells mit N Parametern nötig sind (ohne den Attention-Anteil)?
  3. Aus welchem Grund wird bei der Berechnung der Softmax-Funktion exp(xi)/Σexp(xj) häufig zunächst von jedem xi der Maximalwert abgezogen?
  4. Welche Aussage zur Grundidee des „Speculative Decoding“, das die Inferenz großer Sprachmodelle beschleunigt, ist richtig?
  5. Warum sind Nachschlagevorgänge in großen Embedding-Tabellen, wie sie z. B. in Empfehlungssystemen verwendet werden, für KI-Hardware schwer zu handhaben?