Transformer的自注意力之計算量，會如何隨輸入序列長度n增加？

正確答案：B. 與n的平方成正比增加

在自注意力中，要計算每個token的Query與所有token的Key之間的內積，建立n×n的權重表。因此計算量，以及按直覺實作時中間表所需的記憶體，都與序列長度的平方成正比。長度變為2倍時，注意力的部分會變為4倍，所以處理的文章越長，注意力的效率就越左右整體效能。

• A. 全連接層等部分與n成正比，但注意力是平方。
• B. 正確。因為要比較所有token的組合。
• C. 會隨長度增加。