什麼是AI 推論（AI inference）

使用由訓練決定的權重，只從輸入進行順向傳播以得出答案的 AI 處理。所需的運算與記憶體比訓練少。

日文名稱: 推論

「AI 推論（AI inference）」出現在1領域的1道練習題中（CPU與架構等）。

這個名詞所屬的領域: AI硬體與軟體堆疊

練習AI 推論（AI inference）的題目

為了以高速且低功耗進行 AI 推論處理，而搭載於智慧型手機用 SoC 等的專用電路是下列何者？

  1. APLL（鎖相迴路）
  2. BADC（類比數位轉換器）
  3. CNPU（神經網路處理器）
查看答案與解析

正確答案：C. NPU（神經網路處理器）

NPU 是以 8 位元以下的整數等較低的精度，大量平行處理佔神經網路計算大部分的乘加運算之專用電路。其每單位功耗的效能比通用 CPU 高出一個數量級以上，可在智慧型手機內處理照片修正、語音辨識、翻譯等。效能以 TOPS（每秒兆次運算）表示，個人電腦用的 SoC 也日益普遍地搭載。

出現「AI 推論（AI inference）」的題目（1題）

  1. 為了以高速且低功耗進行 AI 推論處理，而搭載於智慧型手機用 SoC 等的專用電路是下列何者？

相關名詞

SoC(系統單晶片) NPU(神經網路處理單元) TOPS（每秒兆次運算） 反向傳播（Backpropagation） 全歸約（All-reduce） 批次大小（Batch size） 注意力機制（Attention mechanism） 知識蒸餾（Knowledge distillation） 計算圖（Computational graph） 訓練後量化（Post-training quantization）

前往名詞解釋列表