テンソルコアとは
てんそるこあ
小さな行列どうしの積和を1つの命令でまとめて計算するGPUの演算器。主に低い精度の数値で使い、AIの計算を大幅に速くする。
この用語の分野: GPUプログラミング
解説の中の「テンソルコア」
テンソルコアは、例えば4×4や16×16のような小さな行列の掛け算と足し算を、1つの命令で一度に行う演算器です。
最近のGPUに搭載されているテンソルコア(行列演算ユニット)の特徴として正しいものはどれか。テンソルコアの多くは、この形の積和を1命令で行えます。
GPUの混合精度の計算で、掛け算をFP16などの低い精度で行い、足し合わせ(累積)をFP32で行うことが多い理由として…窓が重なる分だけ入力が重複してメモリは増えますが、何十年も最適化されてきた行列の積のライブラリや、テンソルコアのような行列の演算器をそのまま使えるので、全体として速くなることが多いです。
畳み込みニューラルネットワークで、畳み込みの計算をim2colなどの方法で行列の積に変換して計算することがある理由とし…