Indicateur de performance des accélérateurs d'IA exprimant le nombre d'opérations par seconde en billions (téra). Il s'agit le plus souvent d'un maximum théorique compté en basse précision.
Nom japonais: TOPS
« TOPS » apparaît dans 2 questions d'entraînement réparties sur 2 thèmes, dont Pile matérielle et logicielle de l'IA, CPU et architecture.
Réponse : A. C'est souvent un maximum théorique compté en faible précision comme INT8, et la vitesse réelle sur un modèle varie fortement avec la bande passante mémoire et le taux d'utilisation des unités de calcul
Les TOPS (billions d'opérations par seconde) sont une valeur théorique obtenue quand toutes les unités de calcul fonctionnent sans interruption ; ils sont souvent comptés en INT8 ou en précision inférieure, parfois avec parcimonie. Sur un modèle réel, la limitation par la bande passante mémoire, l'inactivité des unités ou l'exécution des opérations non prises en charge par d'autres circuits peuvent rendre les performances effectives bien inférieures. Pour comparer des produits, il importe d'examiner des mesures réalisées dans les mêmes conditions.
Les TOPS (billions d'opérations par seconde) sont une valeur théorique obtenue quand toutes les unités de calcul fonctionnent sans interruption ; ils sont souvent comptés en INT8 ou en précision inférieure, parfois avec parcimonie.
À quoi faut-il prendre garde concernant la valeur « xx TOPS…Ses performances s'expriment en TOPS (billions d'opérations par seconde), et son intégration s'étend aux SoC pour PC.
Quel circuit dédié, intégré notamment aux SoC de smartphone…Interruption INT8 SoC (système sur puce) Inférence NPU (unité de traitement neuronal) All-reduce Attention Cache KV Checkpointing de gradients Compilateur d'IA