HBM是什麼？AI晶片背後的堆疊式高頻寬記憶體

生活中的例子：新聞裡的HBM

「HBM賣得好，記憶體公司的獲利大幅成長」「AI用的新GPU，將搭載下一代的HBM」。在這類新聞裡，常會看到HBM這個詞。HBM是給AI計算用的GPU使用的特別記憶體。

例如NVIDIA在2023年發表的GPU「H200」，搭載了141 GB的HBM3E（HBM的一個世代）。它每秒能搬運4.8 TB的資料（NVIDIA的規格）。TB（terabyte）是1,000 GB。聊天AI等服務，就是在資料中心裡排列的這類GPU上執行。

另一方面，手機和一般的電腦，通常不會裝HBM。因為價格高，而且不需要那麼快的速度。身邊的機器使用的，是更便宜、更好處理的一般形式記憶體。

為什麼AI需要「搬運的速度」

AI的計算，要從記憶體讀出大量稱為「權重」的數字來使用。文字AI每產生1個詞，就要讀出大部分的權重。詳細內容在「AI為什麼要用GPU？」中說明。

記憶體每秒能搬運的資料量，稱為「頻寬」。不管GPU的計算電路有多快，頻寬不夠的話，就只能等資料送到。在AI中，頻寬和計算速度一樣重要。

記憶體頻寬的成長，追不上計算速度的成長。這個問題稱為記憶體牆。HBM就是為了讓這道牆稍微降低一點，而加大頻寬的記憶體。

HBM裡面的晶片，和電腦的記憶體一樣是DRAM。它用儲存電的小容器記住0和1，關掉電源內容就會消失。不同的不是記憶的原理，而是晶片的排法和連接方式。下面分成3個原理來看。

原理1：把DRAM晶片垂直疊起來

HBM是把磨薄的DRAM晶片，垂直疊上好幾片的東西。這樣的一組稱為「堆疊」（stack）。2025年的規格訂定了4片到16片。2026年時的產品，以8片或12片為主。

最下面有一片不用來記憶的底座晶片，稱為「基底晶粒」（base die）。它負責在上面疊的DRAM晶片和GPU之間傳遞資料。

疊起來的晶片之間，用垂直貫穿晶片的細金屬柱連接。做法是在矽上鑽出深孔，再填入銅等金屬。這稱為TSV（矽穿孔）。三星（Samsung）在2016年發表，HBM2的1片DRAM晶片上，有超過5,000個TSV的孔。

把晶片疊起來時，傳統的方法是從每片晶片的邊緣拉出細金屬線來連接。用TSV的話，可以在晶片面的內側做出很多連接，上下的距離也非常短。這是能排出很多條通道的原因之一。

原理2：排在GPU的正旁邊

疊好的HBM，會放在和GPU相同的封裝裡，緊貼在旁邊。封裝是把晶片包起來，並和外面的電路板連接的零件。到包起晶片為止的流程，在「半導體晶片是怎麼做出來的？」中說明。

1個堆疊有1,024條通道（最新的HBM4是2,048條）。GPU的周圍會排好幾個堆疊。一般電路板的配線太粗，沒辦法在狹小的地方通過數千條配線。所以在中間放一片矽製的板子，用和做晶片相同的方法，在裡面做出非常細的配線。這稱為中介層（中繼用的板子）。

像這樣把好幾個晶片橫向排在一片中繼板上連接的方法，稱為2.5D封裝。這個名稱的意思是介於平放的「2維」和堆疊的「3維」之間。可以說HBM是把3維的堆疊，用2.5D的方式排在GPU旁邊。

這種組裝方式的代表例子，是台灣台積電（TSMC）的CoWoS技術。台積電說明，這是在大片的矽中介層上，並排放置計算用晶片和HBM的方式。不過，並不是所有使用HBM的產品，都用CoWoS組裝。也有改變中繼板材料的方式，以及其他公司的方式。

原理3：不靠速度，靠「條數」

記憶體每秒能搬運的量，大致是由「通道的條數」乘以「每條的速度」決定。1條通道會接連送出0或1的訊號。1條每秒能送出的0和1的個數，用Gb/s（每秒十億位元）表示。1 Gb/s是每秒10億個。

HBM的規格，是由制定半導體標準的業界團體JEDEC訂定的。2022年訂定的HBM3，1個堆疊有1,024條通道，每條最高6.4 Gb/s。1,024乘以6.4，是每秒約6,554 Gb。把8個0或1（8位元）當作1位元組，除以8，就是每秒約819 GB。

另一方面，遊戲用的顯示卡等，常使用一種稱為GDDR的DRAM。GDDR減少通道的條數，改為讓每一條都非常快。2024年訂定的GDDR7規格中，1顆晶片的通道是32條。1顆晶片最高192 GB/s，換算成每條是48 Gb/s。

每條的速度，GDDR快得多。即使如此，HBM的條數多了好幾十倍，所以合計起來HBM遠遠勝出。正因為HBM的通道可以做得很短，條數才能增加。

增加條數、讓每條以普通速度運作，在耗電上也有好處。要在長配線上非常快地送出訊號，需要很多電力。HBM的通道只到緊鄰的晶片，距離短，速度也普通，所以搬運1個位元的電力很小。AMD在2015年說明，第一代HBM每瓦能搬運的量，約是當時GDDR5的3倍。這是AMD自己做的比較。

從數字來看：各世代的速度

HBM每一代都提高了每條通道的速度。下表的「每個堆疊」，是1個堆疊每秒能搬運的資料量。規格的數值，根據JEDEC的發表。

從HBM到HBM3E，1個堆疊的通道都是1,024條。HBM4倍增為2,048條，規格的數值變成每秒2 TB。HBM2E和HBM3E是把前一代加快的版本，是廠商開始使用的名稱。HBM3E的數值，是整理3家公司2024年發表內容的大略值。第一代的數值，是2015年首次搭載HBM的AMD GPU的數值（4個堆疊合計512 GB/s）。

實際的產品，有時會超過規格的數值。HBM4在2026年開始出貨。每個堆疊，三星發表最高3.3 TB/s，美光（Micron）發表超過2.8 TB/s。要注意，各廠商計算速度的方式和測試條件都不一樣。

為什麼難以製造、價格又高

磨薄之後，不能翹曲地疊起來

到HBM3E為止，堆疊的高度規定在0.72 mm以內。疊了12片的HBM3E，也收在這個高度內。光是除以包含底座的13片，每片就不到0.06 mm。HBM4把上限稍微放寬到0.775 mm。SK海力士（SK hynix）在2024年發表，為了12片的產品，把晶片做得比以前薄40%。薄的晶片容易翹曲或破裂，各公司在堆疊方式和填補縫隙的方法上各有巧思。

1片不良，整組都不良

做出來的東西中良品所占的比例，稱為良率。疊起來的晶片只要有1片不良，整個堆疊就不能用。例如把良品比例99%的晶片疊8片，全部都是良品的比例會降到約92%（0.99連乘8次的計算）。所以在堆疊之前，會把晶片一片一片仔細檢查。

熱容易悶在裡面

疊在內側的晶片產生的熱，必須穿過其他晶片才能散到外面。而且緊鄰的地方，就是耗電量很大的GPU。溫度一升高，電就容易從DRAM的容器漏出，內容變得難以保持。容易散熱的材料和做法，也是各公司競爭的重點。

晶圓和組裝設備不夠用

晶片是在稱為晶圓的圓形矽板上一起製造的。根據美光的說法（2024年），HBM3E要做出相同位元數，用掉的晶圓約是電腦用DDR5的3倍。HBM做得越多，能分給其他記憶體的量就越少。美光在同一時期也表示，2024年份的HBM已經賣完。

組裝的設備也不夠了。台積電的執行長在2024年7月表示，CoWoS的產能在1年內提高到2倍以上，隔年還計畫再提高到2倍。即使如此，當時的預估是，供需要到2025年或2026年才會平衡。

主要廠商，以及新聞的讀法

到2026年為止，製造HBM的主要公司有3家：韓國的SK海力士和三星，以及美國的美光。這3家都是自己設計、製造DRAM的大型記憶體廠商。

HBM最早的規格，是以SK海力士和AMD為中心制定的，在2013年成為JEDEC的規格。第一款搭載HBM的GPU，是2015年發表的AMD Radeon R9 Fury系列。後來，AI計算用的GPU開始使用HBM，需求大幅成長。

在HBM4方面，SK海力士在2025年9月發表已經做好量產準備。2026年，三星在2月發表開始出貨，美光也在3月發表大量生產。

設計GPU的NVIDIA和AMD，是沒有自己工廠的無晶圓廠公司。HBM向記憶體廠商購買，有時由製造GPU晶片的晶圓代工廠負責到組裝為止。公司之間的分工，在「晶圓代工是什麼？」中說明。

新聞裡也常出現「HBM的市占率」。市占率依調查公司而有不同的算法，每一季的變動也很大，所以本文沒有列出數字。看到的時候，請確認是哪家公司、在什麼時候、算的是什麼。

常見的誤解

進一步學習

• 用表格比較記憶體的種類：DDR、LPDDR、GDDR、HBM的差異
• 並排與堆疊的差異：2.5D與3D封裝的差異、矽中介層、有機中介層、矽橋的差異
• 用數字試試看：記憶體頻寬計算器（可以從條數和速度計算頻寬）
• 下一步的用語：微凸塊（連接晶片的小焊料顆粒）、混合鍵合（不用焊料的接合）、KGD（確認為良品的晶片）、小晶片
• 用圖來看：用TSV和微凸塊疊起來的構造圖，在圖解的一覽中
• 相關文章：「AI為什麼要用GPU？」；把晶片疊起來等新的發展方向，請看「微縮之後」