AI硬體與軟體堆疊

在神經型態運算中執行的脈衝神經網路(SNN),難以直接用一般神經網路的反向傳播法訓練,其主要原因下列何者正確?

  1. ASNN沒有權重
  2. B脈衝的產生取決於是否超過臨界值,是不連續的動作,無法微分
  3. CSNN只能推論,沒有訓練的概念
查看答案與解析

正確答案:B. 脈衝的產生取決於是否超過臨界值,是不連續的動作,無法微分

SNN的每個神經元把輸入的脈衝累積為膜電位,超過臨界值時發出脈衝。這個輸出在0與1之間不連續地切換,因此反向傳播所需的梯度幾乎處處為0或無法定義。所以研究人員在訓練時以平滑函數近似脈衝函數的梯度,或先訓練一般網路再轉換成SNN。建立訓練方法是神經型態運算的課題之一。

  • A. SNN也有突觸權重,訓練的正是這些權重。
  • B. 正確。不連續的發火使梯度難以計算。
  • C. SNN可以訓練,但需要特別的方法。
練習這個領域 前往領域頁面

相關計算工具

AI硬體與軟體堆疊的其他題目

  1. 關於神經網路的「訓練」與「推論」之差異,下列何者正確?
  2. 下列何者「不是」訓練所需記憶體遠大於同一模型推論的原因?
  3. 以FP32(4位元組)持有權重、梯度與Adam的兩個狀態,來訓練參數量70億(7B)的模型。排除啟動值後,所需記憶體最接近下列何者?
  4. 若以FP16(2位元組)持有參數量70億(7B)的模型權重,權重的記憶體大約是多少?
  5. 將上一題的7B模型從FP16(約14 GB)量化為4位元整數(INT4),權重的記憶體大約是多少?

這個領域的比較