AIハードウェアとソフトウェアスタック

AIの推論をクラウドのサーバではなく、スマートフォンなどの端末の中(エッジ)で行う利点として当てはまらないものはどれか。

  1. A端末の中なら、どれほど大きなモデルでも制限なく動かせる
  2. B通信を待たないので応答が速く、通信できない場所でも使える
  3. Cデータを外に送らないので、プライバシーを守りやすい
答えと解説を見る

正解：A. 端末の中なら、どれほど大きなモデルでも制限なく動かせる

エッジでの推論は、通信の遅れがない、通信がなくても動く、写真や音声などのデータを外に送らずに済む、サーバの費用がかからない、といった利点があります。一方で、端末のメモリや電池、発熱には厳しい制約があるので、大きなモデルはそのままでは動きません。量子化や小さなモデルへの蒸留、NPUのような電力の効率の高い専用回路を使って、制約の中で動かします。

  • A. 正しい。端末はメモリと電力に強い制約があります。
  • B. これはエッジの利点です。
  • C. これはエッジの利点です。
この分野を解く 分野ページへ

AIハードウェアとソフトウェアスタックのほかの問題

  1. スマートフォンのSoCに載るNPUが、AIの推論でCPUより電力の効率が高い主な理由はどれか。
  2. AIのアクセラレータの性能として示される「○○ TOPS」という値について注意すべき点として正しいものはどれか。
  3. 大規模な学習の効率を表す指標のMFU(Model FLOPs Utilization)の説明として正しいものはどれか。
  4. Transformerのモデルの学習に必要な演算の数の目安として、パラメータ数をN、学習に使うトークンの数をDとしたとき、よく使われる近似はどれか。
  5. パラメータ数Nの大規模言語モデルで、1トークンを生成する推論に必要な演算の数の目安はどれか(アテンションの部分を除く)。