AI硬體與軟體堆疊

以記憶體頻寬2 TB/s的GPU，在批次大小為1的情況下，對權重為FP16約14 GB的模型進行解碼。產生1個token所需時間的下限最接近下列何者？

  1. A約7 µs
  2. B約7 s
  3. C約7 ms
查看答案與解析

正確答案：C. 約7 ms

解碼時每個token都必須讀取所有權重，因此至少需要權重大小÷記憶體頻寬的時間。14 GB÷2 TB/s＝0.007秒＝7 ms，每秒最多約140個token。若將權重量化為4位元而成為約3.5 GB，這個下限就約為1.75 ms。解碼時權重的量化特別有效，原因就在於此。

  • A. 把單位搞錯了1000倍。
  • B. 把單位搞錯了1000倍。
  • C. 正確。14 GB÷2 TB/s＝7 ms。
練習這個領域 前往領域頁面

AI硬體與軟體堆疊的其他題目

  1. Transformer的自注意力之計算量，會如何隨輸入序列長度n增加？
  2. FlashAttention等高速注意力實作的主要概念，下列何者正確？
  3. AI計算中使用的「運算融合（運算子融合）」，其主要目的為下列何者？
  4. 將矩陣相乘的結果加上偏差、再通過ReLU的處理，從3個各別的kernel融合為1個。主要減少的是下列何者？
  5. XLA、TVM、PyTorch的編譯功能這類AI編譯器所進行的主要處理，下列何者正確？