情報落ちとは

じょうほうおち

絶対値が大きく違う2つの数を足したとき、小さい方の数の下位の桁が仮数に入りきらずに失われる現象。小さな値を大量に足す場合に問題になる。

この用語の分野: 計算機算術

解説の中の「情報落ち」

「情報落ち」が出てくる問題(4問)

  1. ほぼ等しい2つの浮動小数点数を引き算したとき、有効な桁が大きく減ってしまう現象を何と呼ぶか。
  2. 単精度の浮動小数点数で、1億(10⁸)に1を足しても結果が1億のまま変わらない。この現象の説明として正しいものはどれか。
  3. 大量の浮動小数点数を足し合わせるときに使われるカハンの加算(補正つき加算)の目的として正しいものはどれか。
  4. AIの混合精度の学習で、計算の多くをFP16やbfloat16で行いながら、重みの元の値(マスターウェイト)をFP32で保持しておく主な理由はどれか。

関連する用語

桁落ち NaN 混合精度 bfloat16 仮数 IEEE 754 INT8 ウォレスツリー FMA(融合積和演算) FP8

用語集の一覧へ