混合精度とは

こんごうせいど

計算の部分ごとに違う精度の数値を使うこと。掛け算をFP16などで行い、累積をFP32で行って、速さと精度を両立させる。

この用語の分野: GPUプログラミング

「混合精度」が出てくる問題(2問)

  1. AIの混合精度の学習で、計算の多くをFP16やbfloat16で行いながら、重みの元の値(マスターウェイト)をFP32で保持しておく主な理由はどれか。
  2. GPUの混合精度の計算で、掛け算をFP16などの低い精度で行い、足し合わせ(累積)をFP32で行うことが多い理由として正しいものはどれか。

関連する用語

仮数 bfloat16 情報落ち GPU テンソルコア OpenCL CUDA グリッドストライドループ GPUカーネル シェアードメモリ

用語集の一覧へ