Wat is HBM (high bandwidth memory)?

Geheugen waarin meerdere DRAM-dies met TSV's worden gestapeld en dat met een zeer brede bus een hoge bandbreedte levert.

Japanse benaming: HBM

“HBM (high bandwidth memory)” komt voor in 30 oefenvragen uit 12 onderwerpen, bijv. Geavanceerde technologieën (3D-integratie, chiplets), Halfgeleiderindustrie en markt, DRAM.

Vakgebied: Geavanceerde technologieën (3D-integratie, chiplets)

Bandbreedte door breedte, niet door snelheid

High Bandwidth Memory (HBM) haalt zijn prestaties uit een extreem brede interface in plaats van uit zeer snelle pinnen. Tot en met de HBM3-generatie heeft elke stack een databus van 1.024 bits, tegenover 64 bits voor een typische DDR-module; HBM4 verbreedt dit tot 2.048 bits. Bij 6,4 Gb/s per pin levert een HBM3-stack ongeveer 819 GB/s, en een processor met meerdere stacks haalt enkele TB/s. Veel pinnen op een gematigde snelheid laten werken houdt ook de energie per bit lager dan minder pinnen op te jagen tot de hoge snelheden per pin van grafisch geheugen.

Binnenin een HBM-stack

Een stack bestaat uit 8, 12 of 16 DRAM-dies op een base- of logic-die, allemaal verticaal verbonden door through-silicon vias (TSV's) en microbumps. De base-die verzorgt de signalering naar de processor en bevat test- en reparatieschakelingen. Omdat de standaard de stapelhoogte vastlegt, betekent het toevoegen van dies dat elke die tot ongeveer 30 µm moet worden gedund en dat de bondlagen dunner worden; dies worden meestal verbonden met thermocompressiebonden, terwijl hybrid bonding in opkomst is. Elke die moet een known good die zijn, want acht dies die elk voor 99% goed zijn, leveren slechts ongeveer 92% goede stacks op.

Waarom HBM op een interposer zit

Meerdere stacks van elk 1.024 lijnen komen samen op duizenden signalen, veel meer dan een organisch packagesubstraat met bedrading van tientallen micrometers breed kan routeren. HBM wordt daarom naast de processor geplaatst op een siliciuminterposer met bedrading van 1 µm of fijner, wat verbindingen van slechts millimeters lang oplevert. Deze opstelling naast elkaar heet 2.5D-packaging, terwijl de DRAM-stack zelf 3D is. AI-packages hebben interposers nodig die groter zijn dan één lithografieveld van ongeveer 26 × 33 mm, zodat de interposerbedrading over aangrenzende belichtingsvelden aan elkaar wordt gestitcht.

HBM versus GDDR en DDR

GDDR, het andere geheugen dat met GPU's wordt gebruikt, kiest de tegenovergestelde aanpak: afzonderlijke chips op de printplaat rond de processor, elk met een smalle interface van meer dan 20 Gb/s per pin. Het is goedkoper en eenvoudiger te assembleren, maar levert minder bandbreedte per watt. DDR dient als hoofdgeheugen voor CPU's, met de grootste capaciteit en de laagste kosten per bit. HBM is duurder en vereist geavanceerde packaging, maar het is het belangrijkste antwoord op de memory wall in AI-accelerators, waarvan de grote modellen bij elke berekening gewichten uit het geheugen moeten streamen.

Nu oefenen: vragen over HBM (high bandwidth memory)

Welk verschil tussen de ESD-test op componentniveau van een IC (HBM of CDM) en de ESD-test op systeemniveau die op het afgewerkte apparaat voor de auto wordt uitgevoerd, is juist?

  1. AHet zijn tests onder dezelfde condities, dus als het IC voor de test op componentniveau slaagt, hoeven er op de printplaat van het apparaat geen beveiligingscomponenten te worden toegevoegd
  2. BDe test op componentniveau gaat uit van de hantering tijdens productie en assemblage, de test op systeemniveau gaat onder meer uit van aanraking door mensen tijdens gebruik, en de ontladingsenergie is veel groter
  3. CBij de test op systeemniveau is de ontladingsenergie klein, dus deze is altijd gemakkelijker te halen dan de test op componentniveau
Antwoord en toelichting tonen

Antwoord: B. De test op componentniveau gaat uit van de hantering tijdens productie en assemblage, de test op systeemniveau gaat onder meer uit van aanraking door mensen tijdens gebruik, en de ontladingsenergie is veel groter

HBM en CDM zijn tests die uitgaan van statische elektriciteit bij de hantering van IC's in een beheerste fabriek; voor HBM is een spanningsbestendigheid van bijvoorbeeld circa 2 kV een gangbare richtwaarde. De test op systeemniveau gaat daarentegen uit van onder meer ontlading van een persoon die een portier of schakelaar aanraakt, met hoge spanningen van enkele kV tot ruim tien kV (bij luchtontlading tot circa 25 kV), en ook de ontladingsenergie is veel groter. Vaak zijn de beveiligingscircuits in het IC alleen hier niet tegen bestand, dus voor pinnen die naar buiten zijn verbonden worden beveiligingscomponenten zoals TVS-diodes op de printplaat toegevoegd.

Welke uitspraak over HBM (High Bandwidth Memory) is juist?

  1. AEen langzaam geheugen dat slechts één laag flashgeheugen gebruikt
  2. BEen SRAM-cache die in de chip van de CPU is geïntegreerd
  3. CEen geheugen waarbij meerdere DRAM-dies met TSV's worden gestapeld en een hoge bandbreedte wordt bereikt met een zeer brede bus
Antwoord en toelichting tonen

Antwoord: C. Een geheugen waarbij meerdere DRAM-dies met TSV's worden gestapeld en een hoge bandbreedte wordt bereikt met een zeer brede bus

HBM is een geheugen waarbij meerdere DRAM-dies met TSV's worden gestapeld en via een zeer brede databus van 1.024 lijnen met de processor worden verbonden, zodat een hoge datatransferbandbreedte wordt bereikt. Bij HBM3 is dit bijvoorbeeld 6,4 Gb/s per lijn en circa 819 GB/s per stack. HBM wordt gebruikt bij 2.5D-integratie, naast de processor op bijvoorbeeld een silicium-interposer, en is aanwezig in onder meer GPU's voor AI. Het is iets anders dan flash of SRAM-cache.

Veelgestelde vragen

Waar staat HBM voor?

Bij geheugen staat HBM voor High Bandwidth Memory, een gestapeld DRAM volgens JEDEC-standaard. Bij ESD-testen betekenen dezelfde letters het human body model, een daarmee niet verwante test die de ontlading van een geladen persoon via 100 pF en 1,5 kΩ nabootst.

Wat is het verschil tussen HBM en GDDR?

HBM stapelt DRAM-dies en verbindt ze met de processor via een zeer brede bus op een siliciuminterposer, terwijl GDDR afzonderlijke chips op de printplaat gebruikt met smalle maar zeer snelle interfaces. HBM geeft een hogere bandbreedte en een betere energie per bit, tegen hogere kosten.

Waarom zit HBM zo dicht bij de GPU?

Elke HBM-stack heeft meer dan duizend dataverbindingen nodig, die alleen met de fijne bedrading van een siliciuminterposer over enkele millimeters te routeren zijn. Juist korte, dichte verbindingen maken de zeer hoge bandbreedte bij een gematigde snelheid per pin mogelijk.

“HBM (high bandwidth memory)” in de toelichting

Vragen met “HBM (high bandwidth memory)” (30)

  1. Welk verschil tussen de ESD-test op componentniveau van een IC (HBM of CDM) en de ESD-test op systeemniveau die op het afgewerkte apparaat voor de auto wordt uitgevoerd, is juist?
  2. Welke uitspraak over HBM (High Bandwidth Memory) is juist?
  3. Wat is de belangrijkste reden om bij een GPU voor AI de GPU-chip en HBM naast elkaar op één silicium-interposer te monteren?
  4. Hoeveel DRAM-dies kunnen in een HBM-stack gewoonlijk worden gestapeld?
  5. Welke uitspraak over de rol van de basisdie (logic die) onderaan een HBM is juist?
  6. Welke 2.5D-integratietechniek van TSMC wordt veel gebruikt om GPU's voor AI en HBM naast elkaar op een silicium-interposer te verbinden?
  7. Wat is de juiste breedte van de databus per HBM-stack bij de generaties tot en met HBM3?
  8. Een datasheet vermeldt "ESD-bestendigheid: HBM ±2 kV, CDM ±500 V". Welke interpretatie van deze waarden is juist?
  9. Wat is de belangrijkste rol van ESD-beschermingsdiodes die op de in- en uitgangsaansluitingen van een IC zijn aangesloten?
  10. Welke eigenschap van GDDR, het grafische geheugen van GPU's, is juist?
  11. Hoe heet de prestatiebeperking die ontstaat doordat verbetering van de geheugenbandbreedte en -latentie de prestatiewinst van de processor niet bijhoudt?
  12. Welke combinatie van de drie belangrijkste fabrikanten met een groot aandeel in de wereldwijde DRAM-markt is juist?
  13. Wat is de belangrijkste reden dat GPU's geschikt zijn voor matrixbewerkingen en het trainen en inferentie van AI?
  14. Welke methode verbindt chip en substraat één voor één onder verwarming en druk en wordt gebruikt voor dunne chips met veel kromming en bumps met een kleine steek?
  15. Wat is KGD (Known Good Die), dat belangrijk is bij het monteren van meerdere chips in één behuizing?

Vergelijkingen met deze term

Halfgeleider-rekentools

Verwante termen

GPU Silicium-interposer TSV (through-silicon via) Via ESD (elektrostatische ontlading) 2.5D-integratie CoWoS Numerieke apertuur (NA) Memory wall Hybride bonding (hybrid bonding)

Naar de woordenlijst