AIハードウェアとソフトウェアスタック

スマートフォンのSoCに載るNPUが、AIの推論でCPUより電力の効率が高い主な理由はどれか。

  1. ANPUは電気を使わずに光で計算するから
  2. BINT8などの低い精度の積和の演算器を多数並べ、AIの計算に必要のない汎用の回路を省いているから
  3. CNPUはCPUより必ず高いクロックで動くから
答えと解説を見る

正解：B. INT8などの低い精度の積和の演算器を多数並べ、AIの計算に必要のない汎用の回路を省いているから

CPUは何でも実行できるよう、分岐予測や命令の並べ替えなど、命令ごとに多くの回路を動かします。NPUは行列の積和に特化し、低い精度の演算器を多数並べて、データをチップの中で使い回すように作られているので、1回の演算にかかるエネルギーが桁違いに小さくなります。その分、AI以外の処理や、対応していない演算には向きません。

  • A. 普通のNPUは電子回路です。
  • B. 正しい。専用化で1ワットあたりの演算数を高めています。
  • C. クロックはむしろ低めのことが多いです。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. AIのアクセラレータの性能として示される「○○ TOPS」という値について注意すべき点として正しいものはどれか。
  2. 大規模な学習の効率を表す指標のMFU(Model FLOPs Utilization)の説明として正しいものはどれか。
  3. Transformerのモデルの学習に必要な演算の数の目安として、パラメータ数をN、学習に使うトークンの数をDとしたとき、よく使われる近似はどれか。
  4. パラメータ数Nの大規模言語モデルで、1トークンを生成する推論に必要な演算の数の目安はどれか(アテンションの部分を除く)。
  5. ソフトマックス関数exp(xi)/Σexp(xj)を計算するとき、各xiから最大値を引いてから計算することが多い理由として正しいものはどれか。