Mécanisme du Transformer où chaque token calcule la force de sa relation avec tous les autres tokens pour en agréger l'information. Le coût de calcul est proportionnel au carré de la longueur de la séquence.
Nom japonais: アテンション
« Attention » apparaît dans 17 questions d'entraînement réparties sur 11 thèmes, dont Pile matérielle et logicielle de l'IA, Circuits analogiques et électroniques, Analyse temporelle et CDC.
Réponse : B. Les variations de champ magnétique produites par les câbles d'alimentation, ascenseurs, etc. environnants
Les électrons étant chargés, la moindre variation de champ magnétique dévie le faisceau par la force de Lorentz, provoquant des décalages d'écriture et un flou ou une instabilité de l'image. Des variations de l'ordre de quelques millièmes de l'intensité du champ magnétique terrestre peuvent suffire. On installe donc ces équipements à l'écart des câbles à fort courant, des transformateurs et des ascenseurs, ou l'on utilise un blindage magnétique ou des dispositifs actifs de compensation du champ. La couleur de l'éclairage n'a aucun effet.
Réponse : B. Proportionnellement au carré de n
L'auto-attention calcule le produit scalaire de la Query de chaque jeton avec les Key de tous les jetons, formant un tableau de poids n×n. Le volume de calcul, ainsi que la mémoire du tableau intermédiaire dans une implémentation naïve, sont donc proportionnels au carré de la longueur de séquence. Doubler la longueur quadruple la part de l'attention ; plus les textes sont longs, plus l'efficacité de l'attention conditionne les performances.
L'auto-attention calcule le produit scalaire de la Query de chaque jeton avec les Key de tous les jetons, formant un tableau de poids n×n.
Comment le volume de calcul de l'auto-attention d'un Transf…Attention : une variation brusque du courant produit une haute tension V = L·di/dt.
Comment évolue l'impédance d'une bobine (inductance) lorsqu…Les dB exprimant un rapport, il faut aussi prêter attention à la référence (dBm, dBV, etc.).
Que représente le point « −3 dB » dans la réponse en fréque…Les MOSFET SiC, au seuil bas de 2 à 3 V et au dv/dt élevé, exigent une attention particulière ; une tension de grille négative ou un circuit de clamp Miller assure la marge nécessaire.
Pourquoi applique-t-on parfois une tension négative (par ex…Attention à ne pas confondre les préfixes comme T et G, ou p et n.
Pour un commutateur d'une bande passante totale de 51,2 Tb/…Ouverture numérique (NA) Inférence FlashAttention HBM Découpe (dicing) Mémoire partagée (shared memory) GPU Fréquence de coupure SiC (carbure de silicium) IGBT