AI硬體與軟體堆疊

將AI的軟體堆疊從貼近使用者的上層,依序排列到貼近硬體的下層,下列何者正確?

  1. A框架(PyTorch等)→ 編譯器與執行環境 → 運算函式庫(cuBLAS等)→ 驅動程式 → 硬體
  2. B硬體 → 框架 → 驅動程式 → 函式庫
  3. C驅動程式 → 框架 → 硬體 → 編譯器
查看答案與解析

正確答案:A. 框架(PyTorch等)→ 編譯器與執行環境 → 運算函式庫(cuBLAS等)→ 驅動程式 → 硬體

使用者以PyTorch等框架撰寫模型。框架與AI編譯器、執行環境將計算圖最佳化,矩陣相乘或卷積等則呼叫高度最佳化的運算函式庫的kernel。函式庫透過驅動程式向GPU或NPU下達指令。新硬體要被廣泛採用,不僅需要運算單元的效能,這些層層堆疊的軟體是否齊備也不可或缺。

  • A. 正確。各層隱藏了下一層的差異。
  • B. 順序不對。
  • C. 順序不對。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 關於神經網路的「訓練」與「推論」之差異,下列何者正確?
  2. 下列何者「不是」訓練所需記憶體遠大於同一模型推論的原因?
  3. 以FP32(4位元組)持有權重、梯度與Adam的兩個狀態,來訓練參數量70億(7B)的模型。排除啟動值後,所需記憶體最接近下列何者?
  4. 若以FP16(2位元組)持有參數量70億(7B)的模型權重,權重的記憶體大約是多少?
  5. 將上一題的7B模型從FP16(約14 GB)量化為4位元整數(INT4),權重的記憶體大約是多少?