CPU・GPU・NPUの違い：設計思想・演算器・データ型・電力効率を比較

どんなときに使うか

CPU

分岐が多く逐次的な処理や、システム全体の制御。小さなモデルや、NPUが対応していない演算の実行にも使います。

GPU

AIの学習や大きなモデルの推論、グラフィックス、科学技術計算など、精度の選択肢と柔軟性が必要な大規模な並列計算。

NPU

スマートフォンやパソコンで、写真の補正、音声認識、翻訳などの推論を、電池を減らさずに常に動かしたいとき。モデルを量子化して、NPUが得意なINT8などで実行します。

理解度チェック

1. AI向けのアクセラレータで使われるシストリックアレイが、行列の積を効率よく計算できる主な理由はどれか。
2. AIの推論で、重みをFP32からINT8に変換(量子化)する主な利点はどれか。
3. AIのアクセラレータの性能として示される「○○ TOPS」という値について注意すべき点として正しいものはどれか。

AIハードウェアとソフトウェアスタックの練習問題へ

関連する用語の解説

NPU(ニューラルプロセッシングユニット)

AIのニューラルネットワークの推論処理を、高速かつ低い消費電力で行うための専用回路。スマートフォンやパソコンのSoCに搭載されている。

GPU

Graphics Processing Unit の略。単純な演算器を多数もち、大量のデータを並列に処理するプロセッサ。画像処理のほか、AIの学習や推論に広く使われている。

シストリックアレイ

多数の積和演算器を格子状に並べ、データを隣の演算器へ順に流しながら行列の積を計算する構成。AI向けのアクセラレータで使われる。

INT8

8ビットの符号付き整数(−128〜127)。AIの推論で、重みや活性化の値をスケールを掛けてINT8に変換(量子化)すると、計算とメモリが大きく減り、整数の小さな回路で高速に処理できる。

TOPS

1秒あたりの演算の回数を兆(テラ)の単位で表したAIのアクセラレータの性能の指標。多くは低い精度で数えた理論上の最大値。

関連する比較

• CPUとGPUの違い：構造・得意な処理・用途を比較CPUとGPUを、設計の目的・コア数・実行モデル・キャッシュ・メモリ帯域・分岐・データ転送・得意な処理の観点で表にして比較します。
• I2C・SPI・UARTの違い：配線・速度・使い分けを比較I2C、SPI、UARTを、配線の数・クロック・速度・接続形態・アドレス・誤り検出・マイコンでの主な用途の観点で表にして比較します。
• VerilogとVHDLの違い：2つのハードウェア記述言語を比較VerilogとVHDLを、成り立ち・文法・型・大文字小文字・検証機能・使われる分野・選び方の観点で表にして比較します。
• NVMeとSATAのSSDの違い：速度・インターフェース・選び方NVMeとSATAのSSDを、インターフェース・速度・遅延・コマンドキュー・形状・消費電力・互換性・価格・向いている人の観点で表にして比較します。
• MCUとMPUの違い：マイコンとマイクロプロセッサを比較MCUとMPUを、集積度・クロック・メモリ・OS・リアルタイム性・消費電力・起動時間・コスト・用途の観点で表にして比較します。
• プロセスとスレッドの違い：メモリ・切り替え・使い分けを比較プロセスとスレッドを、メモリ・作成のコスト・コンテキストスイッチ・通信・分離・同期・用途の観点で表にして比較します。