Qu'est-ce que HBM ?

Mémoire constituée de plusieurs puces de DRAM empilées et reliées par des TSV, offrant une bande passante élevée grâce à un bus très large.

Nom japonais: HBM

« HBM » apparaît dans 31 questions d'entraînement réparties sur 12 thèmes, dont Packaging avancé (3D et chiplets), Industrie et marché des semi-conducteurs, DRAM.

Domaine: Packaging avancé (3D et chiplets)

La bande passante par la largeur, non par la vitesse

La mémoire à haute bande passante (HBM, High Bandwidth Memory) tire ses performances d'une interface extrêmement large plutôt que de broches très rapides. Jusqu'à la génération HBM3, chaque empilement possède un bus de données de 1 024 bits, contre 64 bits pour un module DDR typique ; la HBM4 l'élargit à 2 048 bits. À 6,4 Gb/s par broche, un empilement HBM3 fournit environ 819 Go/s, et un processeur doté de plusieurs empilements atteint plusieurs To/s. Faire fonctionner de nombreuses broches à un débit modéré maintient aussi l'énergie par bit plus basse que de pousser un nombre réduit de broches aux débits élevés de la mémoire graphique.

L'intérieur d'un empilement HBM

Un empilement se compose de 8, 12 ou 16 puces de DRAM posées sur une puce de base (ou puce logique), toutes reliées verticalement par des vias traversant le silicium (TSV) et des micro-bossages. La puce de base gère la signalisation vers le processeur et contient les circuits de test et de réparation. La norme fixant la hauteur de l'empilement, ajouter des puces implique d'amincir chacune à environ 30 µm et de réduire l'épaisseur des couches d'assemblage ; les puces sont généralement assemblées par thermocompression, le collage hybride faisant son apparition. Chaque puce doit être une puce réputée bonne (known good die), car huit puces bonnes chacune à 99 % ne donnent qu'environ 92 % d'empilements bons.

Pourquoi la HBM repose sur un interposeur

Plusieurs empilements de 1 024 lignes chacun représentent des milliers de signaux, bien plus que ce que peut router un substrat de boîtier organique dont les pistes font quelques dizaines de micromètres de large. La HBM est donc placée à côté du processeur sur un interposeur en silicium dont les pistes font 1 µm ou moins, ce qui donne des connexions de quelques millimètres seulement. Cette disposition côte à côte est appelée mise en boîtier 2.5D, tandis que l'empilement de DRAM lui-même est en 3D. Les boîtiers pour l'IA nécessitent des interposeurs plus grands qu'un champ de lithographie d'environ 26 × 33 mm : les pistes de l'interposeur sont donc raccordées (stitching) d'un champ d'exposition à l'autre.

HBM, GDDR et DDR

La GDDR, l'autre mémoire utilisée avec les GPU, adopte l'approche inverse : des puces individuelles sur la carte autour du processeur, chacune dotée d'une interface étroite fonctionnant à plus de 20 Gb/s par broche. Elle est moins chère et plus simple à assembler, mais offre moins de bande passante par watt. La DDR sert de mémoire principale aux CPU, avec la plus grande capacité et le plus faible coût par bit. La HBM coûte plus cher et exige une mise en boîtier avancée, mais c'est la principale réponse au mur de la mémoire (memory wall) dans les accélérateurs d'IA, dont les grands modèles doivent lire leurs poids en mémoire pour chaque calcul.

S'entraîner : questions sur HBM

Quelle différence entre l'essai ESD d'un CI en tant que composant (HBM ou CDM) et l'essai ESD au niveau système réalisé sur l'équipement automobile fini est correcte ?

  1. ALes deux essais ont les mêmes conditions ; si le CI réussit l'essai au niveau composant, il n'est pas nécessaire d'ajouter des composants de protection sur la carte de l'équipement
  2. BL'essai au niveau composant suppose la manipulation en fabrication et en assemblage, tandis que l'essai au niveau système suppose notamment le contact d'une personne en cours d'utilisation, avec une énergie de décharge bien plus élevée
  3. CL'essai au niveau système ayant une énergie de décharge faible, il est toujours plus facile à réussir que l'essai au niveau composant
Afficher la réponse et l'explication

Réponse : B. L'essai au niveau composant suppose la manipulation en fabrication et en assemblage, tandis que l'essai au niveau système suppose notamment le contact d'une personne en cours d'utilisation, avec une énergie de décharge bien plus élevée

Le HBM et le CDM sont des essais qui supposent l'électricité statique rencontrée lors de la manipulation des CI dans une usine maîtrisée ; pour le HBM, une tenue d'environ 2 kV, par exemple, est une référence courante. En revanche, l'essai au niveau système, qui suppose par exemple la décharge d'une personne touchant une portière ou un interrupteur, utilise des tensions élevées allant de quelques kV à plus de 10 kV (jusqu'à environ 25 kV en décharge dans l'air), avec une énergie de décharge bien plus grande. Les circuits de protection internes au CI ne suffisent souvent pas ; on ajoute donc sur la carte des composants de protection comme des diodes TVS sur les broches reliées à l'extérieur.

Quelle définition de la HBM (High Bandwidth Memory) est correcte ?

  1. AUne mémoire lente utilisant une seule couche de mémoire flash
  2. BUn cache SRAM intégré dans la puce du CPU
  3. CUne mémoire qui empile plusieurs puces de DRAM au moyen de TSV et atteint une bande passante élevée grâce à un bus très large
Afficher la réponse et l'explication

Réponse : C. Une mémoire qui empile plusieurs puces de DRAM au moyen de TSV et atteint une bande passante élevée grâce à un bus très large

La HBM empile plusieurs puces de DRAM au moyen de TSV et se connecte au processeur par un bus de données très large de 1024 lignes, ce qui procure une bande passante élevée. Par exemple, la HBM3 atteint 6,4 Gb/s par ligne, soit environ 819 GB/s par pile. Elle est utilisée en intégration 2.5D, placée à côté du processeur sur un interposeur silicium ou équivalent, et équipe notamment les GPU pour l'IA. Elle n'a rien à voir avec la mémoire flash ou un cache SRAM.

Questions fréquentes

Que signifie HBM ?

Dans le domaine des mémoires, HBM signifie High Bandwidth Memory (mémoire à haute bande passante), une DRAM empilée normalisée par le JEDEC. En test ESD, les mêmes lettres désignent le modèle du corps humain (human body model), un test sans rapport qui simule la décharge d'une personne chargée à travers 100 pF et 1,5 kΩ.

Quelle est la différence entre la HBM et la GDDR ?

La HBM empile des puces de DRAM et les relie au processeur par un bus très large sur un interposeur en silicium, tandis que la GDDR utilise des puces séparées sur la carte, avec des interfaces étroites mais très rapides. La HBM offre une bande passante plus élevée et une meilleure énergie par bit, pour un coût plus élevé.

Pourquoi la HBM est-elle placée si près du GPU ?

Chaque empilement HBM nécessite plus d'un millier de connexions de données, qui ne peuvent être routées qu'avec les pistes fines d'un interposeur en silicium sur quelques millimètres. Ce sont ces connexions courtes et denses qui permettent une bande passante très élevée avec un débit modéré par broche.

« HBM » dans les explications

Questions mentionnant « HBM » (31)

  1. Quelle différence entre l'essai ESD d'un CI en tant que composant (HBM ou CDM) et l'essai ESD au niveau système réalisé sur l'équipement automobile fini est correcte ?
  2. Quelle définition de la HBM (High Bandwidth Memory) est correcte ?
  3. Pour les GPU destinés à l'IA, quelle est la principale raison de monter la puce GPU et les HBM côte à côte sur un même interposeur silicium ?
  4. Quel est le nombre courant de puces DRAM empilées dans une pile HBM ?
  5. Quel est le rôle de la puce de base (puce logique) située en bas d'une pile HBM ?
  6. Quelle technique d'intégration 2.5D de TSMC est largement utilisée pour placer côte à côte et interconnecter GPU pour l'IA et HBM sur un interposeur silicium ?
  7. Jusqu'à la génération HBM3, quelle est la largeur du bus de données d'une pile HBM ?
  8. Une fiche technique indique « Tenue ESD : HBM ±2 kV, CDM ±500 V ». Quelle interprétation de ces valeurs est correcte ?
  9. Quel est le rôle principal des diodes de protection ESD connectées aux broches d'entrée-sortie d'un CI ?
  10. Quelle caractéristique de la GDDR, utilisée comme mémoire graphique des GPU, est correcte ?
  11. Comment appelle-t-on la limitation de performances due au fait que l'amélioration de la bande passante et de la latence mémoire ne suit pas celle des performances des processeurs ?
  12. Quel trio correspond aux principaux fabricants détenant une grande part du marché mondial de la DRAM ?
  13. Quelle est la principale raison pour laquelle les GPU conviennent aux calculs matriciels et à l'entraînement et l'inférence en IA ?
  14. Quelle méthode soude puce et substrat un à un sous chaleur et pression, et sert à connecter des puces minces fortement gauchies ou des bossages à pas fin ?
  15. Que désigne le KGD (Known Good Die), important lors du montage de plusieurs puces dans un même boîtier ?

Comparatifs incluant ce terme

Calculateurs pour semi-conducteurs

Termes associés

GPU Interposeur silicium TSV (via traversant le silicium) Intégration 2.5D ESD (décharge électrostatique) Collage hybride (hybrid bonding) CoWoS Débit (throughput) Mur de la mémoire (memory wall) Mémoire flash NAND

Retour au glossaire