Français
Menu

Pile matérielle et logicielle de l'IA

Quel est l'inconvénient d'une taille de lot trop grande en inférence ?

  1. ALe temps d'attente pour réunir les entrées et le temps de chaque traitement augmentent, ce qui ralentit la réponse à chaque requête, et la consommation mémoire augmente
  2. BLes valeurs des poids changent et les réponses deviennent inexactes
  3. CL'intensité arithmétique baisse et l'efficacité se dégrade
Afficher la réponse et l'explication

Réponse : A. Le temps d'attente pour réunir les entrées et le temps de chaque traitement augmentent, ce qui ralentit la réponse à chaque requête, et la consommation mémoire augmente

Un lot plus grand augmente le débit global (throughput), mais il faut attendre que d'autres entrées arrivent et chaque calcul s'allonge d'autant ; le temps de retour d'une requête (latence) augmente donc. La mémoire des résultats intermédiaires et du cache KV croît aussi proportionnellement au lot. Dans les applications conversationnelles, le lot est agrandi dans la limite des objectifs de temps de réponse.

S'entraîner sur ce thème Retour au thème

Autres questions sur Pile matérielle et logicielle de l'IA

  1. L'inférence d'un grand modèle de langage se divise en une phase traitant l'ensemble du texte d'entrée (prefill) et une phase produisant la sortie jeton par jeton (décodage). Quelle combinaison des facteurs déterminant principalement leurs performances est correcte (pour un petit lot) ?
  2. Quel est le rôle du cache KV utilisé dans l'inférence des grands modèles de langage ?
  3. Dans l'inférence d'un grand modèle de langage, quel problème survient souvent avec des textes longs ou de grands lots ?
  4. Un modèle dont les poids occupent environ 14 GB en FP16 est décodé avec une taille de lot 1 sur un GPU de 2 TB/s de bande passante mémoire. Quelle valeur est la plus proche de la borne inférieure du temps de génération d'un jeton ?
  5. Comment le volume de calcul de l'auto-attention d'un Transformer croît-il avec la longueur n de la séquence d'entrée ?