AI硬體與軟體堆疊

以尖峰效能100 TFLOPS、記憶體頻寬2 TB/s的加速器執行運算強度為10 FLOP/位元組的處理。以Roofline模型估算,可達成的效能為何?

  1. A100 TFLOPS(受運算限制)
  2. B20 TFLOPS(受記憶體限制)
  3. C10 TFLOPS(受記憶體限制)
查看答案與解析

正確答案:B. 20 TFLOPS(受記憶體限制)

在Roofline模型中,可達成的效能是「尖峰效能」與「頻寬×運算強度」兩者中較小的一方。2 TB/s×10 FLOP/位元組=20 TFLOPS,小於尖峰的100,因此這個處理受記憶體限制,上限為20 TFLOPS。尖峰÷頻寬=50 FLOP/位元組是分界(脊點),只有運算強度高於此值的處理才能達到尖峰效能。

  • A. 運算強度未達50,因此無法達到尖峰。
  • B. 正確。2 TB/s×10=20 TFLOPS。
  • C. 這是以頻寬1 TB/s計算的結果。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. 輸入只有1筆(批次大小為1)時,全連接層的計算(權重矩陣與向量的乘積)容易受記憶體限制,其原因下列何者正確?
  2. 在推論中加大批次大小(一次處理的輸入數量),整體效率容易提升,其原因為下列何者?
  3. 在推論中將批次大小加得過大時的缺點,下列何者正確?
  4. 大型語言模型的推論分為集中處理輸入文章的階段(預填充)與逐一產生一個token輸出的階段(解碼)。下列何者是分別主要決定兩者效能之因素的正確組合(批次較小的情形)?
  5. 大型語言模型推論中使用的KV快取,其作用下列何者正確?