AIハードウェアとソフトウェアスタック
AI向けのアクセラレータが、チップの上に大きなSRAM(数十〜数百MB)を載せることがある主な理由はどれか。
- ASRAMは電源を切ってもデータが消えないから
- BSRAMはDRAMより1ビットあたり安いから
- C重みや途中の結果をチップの中に置いて何度も使い、遅く電力を多く使う外部のメモリへのアクセスを減らすため
答えと解説を見る
正解：C. 重みや途中の結果をチップの中に置いて何度も使い、遅く電力を多く使う外部のメモリへのアクセスを減らすため
チップの外のDRAMからデータを1回読むのにかかるエネルギーは、積和の演算1回の数十〜数百倍にもなります。チップの上のSRAMにデータを置いて何度も使えば、外部のメモリへのアクセスが減り、速さとエネルギーの効率の両方が上がります。ただしSRAMは面積を多く使い高価なので、どれだけ載せるかは、扱うモデルの大きさとコストの釣り合いで決まります。
- A. SRAMは揮発性で、電源を切ると消えます。
- B. SRAMはDRAMより1ビットあたりずっと高価です。
- C. 正しい。データの移動は計算より多くのエネルギーを使います。