AIハードウェアとソフトウェアスタック
推薦システムのモデルなどで使われる大きな埋め込み表(エンベディングテーブル)の表引きが、AIのハードウェアで扱いにくい理由として正しいものはどれか。
- A表引きには、非常に多くの掛け算が必要だから
- B埋め込み表は小さいので、チップの上に必ず収まるから
- C計算はほとんどなく、巨大な表のばらばらな場所を読むので、行列の演算器が生かせず、メモリの容量と帯域や遅延で速さが決まるから
答えと解説を見る
正解：C. 計算はほとんどなく、巨大な表のばらばらな場所を読むので、行列の演算器が生かせず、メモリの容量と帯域や遅延で速さが決まるから
推薦システムでは、利用者や商品などのIDごとにベクトルを持つ表が数百GBにもなり、各入力ごとに表のばらばらな行を読み出して足し合わせます。計算はほとんどなく、読み出しは不規則で合体アクセスもキャッシュも効きにくいので、行列の積に強いアクセラレータの得意な形とは大きく違います。表を多数のGPUやCPUのメモリに分けて置き、メモリの容量と帯域を確保する工夫が必要です。
- A. 表引きは読み出しが中心で、掛け算はわずかです。
- B. 数百GBにもなり、チップには収まりません。
- C. 正しい。演算器ではなくメモリの仕組みが鍵になります。