Quelle approximation est couramment utilisée pour estimer le nombre d'opérations nécessaires à l'entraînement d'un modèle Transformer, avec N le nombre de paramètres et D le nombre de jetons d'entraînement ?

Réponse : C. Environ 6ND

La propagation avant d'un jeton demande, pour chaque paramètre, une multiplication et une addition, soit environ 2N opérations. La rétropropagation en demandant environ le double, 4N, l'entraînement d'un jeton coûte environ 6N opérations, et D jetons environ 6ND. Par exemple, entraîner un modèle de 7 milliards de paramètres sur 1000 milliards de jetons représente environ 4,2×10²² opérations. Diviser cette valeur par les performances effectives des GPU donne une estimation de la durée d'entraînement.