HBMとは? AIの半導体で注目される積み重ねたメモリ

身近なところでは: ニュースに出るHBM

「HBMの売れ行きで、メモリの会社の利益が大きく伸びた」「AI用の新しいGPUに、次の世代のHBMが載る」。こうしたニュースで、HBMという言葉を見かけます。HBMは、AIの計算に使うGPUのための、特別なメモリです。

例えば、NVIDIAが2023年に発表したH200というGPUは、HBM3Eという世代のHBMを141GB積んでいます。1秒間に運べるデータは4.8TBです(NVIDIAの仕様)。TB(テラバイト)は1,000GBです。チャットのAIなどは、データセンターに並んだこうしたGPUの上で動いています。

一方、スマホやふつうのパソコンには、ふつうHBMは入っていません。値段が高く、そこまでの速さが要らないからです。身近な機器では、もっと安くて扱いやすい、ふつうの形のメモリが使われています。

なぜAIには「運ぶ速さ」が要るのか

AIの計算では、「重み」と呼ばれる大量の数を、メモリから読み出して使います。文章のAIは、1語を作るたびに、重みの大部分を読み出します。くわしくは「なぜAIにGPUが使われるの?」で説明しています。

メモリから1秒間に運べるデータの量を「帯域幅」(または帯域)と呼びます。GPUの計算回路がいくら速くても、帯域幅が足りなければ、データが届くのを待つことになります。AIでは、計算の速さと同じくらい、この帯域幅が大事です。

計算の速さの伸びに、メモリの帯域幅の伸びが追いつかない。この問題はメモリウォール(メモリの壁)と呼ばれます。HBMは、この壁を少しでも低くするために、帯域幅を大きくしたメモリです。

HBMの中のチップは、パソコンのメモリと同じDRAMです。電気をためる小さな入れ物で0と1を覚え、電源を切ると中身が消えます。違うのは、記憶のしくみではなく、チップの並べ方とつなぎ方です。以下、3つのしくみに分けて見ていきます。

しくみ① DRAMのチップを縦に積み重ねる

HBMは、薄く削ったDRAMのチップを、縦に何枚も積み重ねたものです。この1組を「スタック」と呼びます。2025年の規格では4枚から16枚までが決められています。2026年時点の製品では、8枚や12枚が中心です。

いちばん下には、記憶用ではない土台のチップがあります。これを「ベースダイ」と呼びます。上に積んだDRAMのチップと、GPUとの間で、データを受け渡す役目をします。

積んだチップどうしは、チップを縦に貫く細い金属の柱でつながっています。シリコンに深い穴をあけ、銅などの金属を詰めて作ります。これをTSV(シリコン貫通電極)と呼びます。Samsungは2016年、HBM2のDRAMのチップ1枚に、5,000個を超えるTSVの穴があると発表しています。

チップを重ねるときの昔からの方法は、各チップの縁から細い金属の線を引き出してつなぐものです。TSVなら、チップの面の内側にたくさんの接続を作れ、上下の距離もごく短くなります。これが、たくさんの通り道を並べられる理由の1つです。

しくみ② GPUのすぐ隣に並べる

積み重ねたHBMは、GPUと同じパッケージの中に、すぐ隣に並べて置きます。パッケージとは、チップを包んで、外の基板とつなぐための部品です。チップを包むところまでの流れは「半導体チップはどうやって作られる?」で説明しています。

1つのスタックには、通り道が1,024本あります(最新のHBM4では2,048本)。GPUのまわりには、このスタックが複数並びます。ふつうの基板の配線は太すぎて、何千本もの配線を狭い場所に通せません。そこで、チップを作るのと同じ方法で、とても細い配線を作り込んだシリコンの板を間に入れます。これをインターポーザ(中継の板)と呼びます。

このように、複数のチップを1枚の中継の板の上に横に並べてつなぐ方法を、2.5D実装と呼びます。平らに並べる「2次元」と、積み重ねる「3次元」の中間、という意味の呼び名です。HBMは、積み重ねた3次元のスタックを、2.5DでGPUの隣に並べたもの、と言えます。

この組み立て方の代表例が、台湾のTSMCのCoWoSという技術です。TSMCは、大きなシリコンの中継の板の上に、計算用のチップとHBMを並べる方式として説明しています。ただし、HBMを使う製品がすべてCoWoSで組み立てられるわけではありません。中継の板の材料を変えた方式や、ほかの会社の方式もあります。

しくみ③ 速さではなく「本数」で稼ぐ

メモリが1秒に運べる量は、大まかには「通り道の本数」と「1本あたりの速さ」の掛け算で決まります。1本の通り道は、0か1かの信号を次々に送ります。1本が1秒に送れる0と1の数は、Gb/s(ギガビット毎秒)で表します。1Gb/sは、1秒に10億個です。

HBMの規格は、半導体の規格を決める業界団体JEDECが定めています。2022年に決まったHBM3では、1つのスタックに1,024本の通り道があり、1本あたり最大6.4Gb/sです。1,024に6.4を掛けると、1秒に約6,554ギガビットです。0か1の8個分(8ビット)を1バイトとして8で割ると、約819GBになります。

一方、ゲーム用のグラフィックスカードなどでは、GDDRという種類のDRAMがよく使われます。GDDRは、通り道を少なくするかわりに、1本1本をとても速くします。2024年に決まったGDDR7の規格では、1つのチップの通り道は32本です。1チップで最大192GB/sで、1本あたりに直すと48Gb/sです。

1本あたりの速さは、GDDRのほうがずっと上です。それでも本数がけた違いに多いので、合計ではHBMが大きく上回ります。HBMは、通り道を短くできるからこそ、本数を増やせるのです。

本数を増やして1本をほどほどの速さで動かすことには、電力の面でも得があります。長い配線で信号をとても速く送るには、多くの電力が要ります。HBMの通り道はすぐ隣までと短く、速さもほどほどなので、1ビットを運ぶ電力が小さくて済みます。AMDは2015年、初代のHBMは、1ワットあたりに運べる量が当時のGDDR5の約3倍だと説明しました。これはAMD自身による比較です。

数字で見る: 世代ごとの速さ

HBMは、世代ごとに1本あたりの速さを上げてきました。下の表の「1スタックあたり」は、1つのスタックが1秒に運べるデータの量です。規格の値は、JEDECの発表によります。

HBMからHBM3Eまでは、1つのスタックの通り道は1,024本です。HBM4では2,048本に倍増し、規格の値は1秒に2TBになりました。HBM2EとHBM3Eは、ひとつ前の世代を速くしたもので、メーカーが使い始めた呼び名です。HBM3Eの値は、3社の2024年の発表をまとめた目安です。最初の世代の値は、2015年に初めて載せたAMDのGPUの値です(4スタックで合計512GB/s)。

実際の製品は、規格の値を上回ることがあります。HBM4は2026年に出荷が始まりました。1スタックあたり、Samsungは最大3.3TB/s、Micronは2.8TB/s超と発表しています。メーカーごとに、速さの数え方や試験の条件が違う点に注意しましょう。

なぜ作るのが難しく、高いのか

薄く削って、反らさずに積む

HBM3Eまでは、スタックの高さが0.72mmまでと決められていました。12枚を積んだHBM3Eも、この高さに収まっています。土台を含めた13枚で割るだけでも、1枚あたり0.06mmに足りません。HBM4では、上限が0.775mmに少し緩められました。SK hynixは2024年、12枚の製品のために、チップを従来より40%薄くしたと発表しました。薄いチップは反ったり割れたりしやすく、積み方とすき間の埋め方に各社の工夫があります。

1枚の不良で、全部が不良になる

作ったもののうち良品の割合を歩留まりと呼びます。積み重ねたチップは、1枚でも不良があると、スタック全体が使えません。例えば、良品の割合が99%のチップを8枚積むと、全部が良品になる割合は約92%に下がります(0.99を8回掛けた計算)。そこで、積む前にチップを1枚ずつ念入りに検査します。

熱がこもりやすい

積み重ねた内側のチップの熱は、ほかのチップを通らないと外へ逃げられません。しかも、すぐ隣には、大量の電力を使うGPUがあります。温度が上がると、DRAMの入れ物から電気が漏れやすくなり、中身を保ちにくくなります。熱を逃がしやすい材料や作り方も、各社が競っている点です。

ウエハと組み立ての設備が足りなくなる

チップは、ウエハと呼ばれるシリコンの円い板の上にまとめて作ります。Micronによると(2024年)、HBM3Eは同じビット数を作るのに、パソコン用のDDR5の約3倍のウエハを使います。HBMを増やすほど、ほかのメモリに回せる量が減ります。同社は同じ時期、2024年分のHBMが売り切れたとも述べています。

組み立ての設備も足りなくなりました。TSMCのCEOは2024年7月、CoWoSの生産能力を1年で2倍以上に増やしたと述べました。翌年もさらに2倍にする計画でした。それでも、需要と供給が釣り合うのは2025年か2026年になるだろう、という見通しでした。

主なメーカーと、ニュースの読み方

2026年時点で、HBMを作る主な会社は3社です。韓国のSK hynixとSamsung、アメリカのMicronです。どれも、DRAMを自社で設計して作る大手のメモリメーカーです。

HBMの最初の規格は、SK hynixとAMDが中心になって作り、2013年にJEDECの規格になりました。HBMを初めて載せたGPUは、2015年に発表されたAMDのRadeon R9 Furyシリーズです。その後、AIの計算用のGPUでHBMが使われるようになり、需要が大きく伸びました。

HBM4では、SK hynixが2025年9月に量産の準備が整ったと発表しました。2026年には、Samsungが2月に出荷を始めたと発表し、Micronも3月に大量生産を発表しています。

GPUを設計するNVIDIAやAMDは、工場を持たないファブレスの会社です。HBMはメモリメーカーから仕入れ、GPUのチップを作るファウンドリが組み立てまで受け持つことがあります。会社の分業は「ファウンドリとは?」で説明しています。

ニュースでは「HBMのシェア」もよく出てきます。シェアは調査会社ごとに数え方が違い、四半期ごとに大きく動くので、この記事では数字を載せていません。見かけたら、どの会社が、いつの、何を数えたかを確かめましょう。

よくある誤解

もっと詳しく学ぶ

• メモリの種類を表で比べる: 「DDR・LPDDR・GDDR・HBMの違い」
• 並べる・積むの違い: 「2.5Dと3D実装の違い」、「シリコンインターポーザ・有機インターポーザ・シリコンブリッジの違い」
• 数字で試す: 「メモリ帯域幅の計算」(本数と速さから帯域幅を計算できます)
• 次の一歩の用語: マイクロバンプ(チップをつなぐ小さなはんだの粒)、ハイブリッドボンディング(はんだを使わない接合)、KGD(良品と確かめたチップ)、チップレット
• 図で見る: TSVとマイクロバンプで積み重ねた構造の図は、図解の一覧にあります
• 関連する記事: 「なぜAIにGPUが使われるの?」、チップを積み重ねるなどの新しい流れは「微細化の先へ」