Welcher Wert ist ein Richtwert für die Zahl der Operationen, die für die Erzeugung eines Tokens bei der Inferenz eines großen Sprachmodells mit N Parametern nötig sind (ohne den Attention-Anteil)?

Antwort: A. ca. 2N

Beim Forward Pass der Inferenz wird je Gewicht eine Multiplikation mit der Eingabe und eine Aufsummierung ausgeführt, sodass je Token etwa 2N Operationen anfallen. Bei 7 Milliarden Parametern sind das etwa 14 Milliarden Operationen je Token. Für heutige GPUs ist das wenig, doch da beim Decode währenddessen 14 GB Gewichte gelesen werden müssen, bestimmt nicht die Berechnung, sondern die Speicherbandbreite die Zeit.