Welche Näherung wird häufig als Richtwert für die Zahl der Operationen verwendet, die für das Training eines Transformer-Modells nötig sind, wenn N die Parameterzahl und D die Zahl der Trainings-Token ist?

Antwort: C. ca. 6ND

Der Forward Pass eines Tokens erfordert je Parameter eine Multiplikation und eine Addition, also etwa 2N Operationen. Der Backward Pass benötigt etwa das Doppelte, 4N Operationen; beim Training sind es somit etwa 6N Operationen je Token und etwa 6ND bei D Token. Für ein Modell mit 7 Milliarden Parametern, trainiert mit 1 Billion Token, ergeben sich z. B. ca. 4,2×10²² Operationen. Teilt man dies durch die effektive Leistung der GPUs, erhält man einen Anhaltspunkt für die Trainingsdauer.