大規模言語モデルの推論を速くする「投機的デコーディング」の考え方として正しいものはどれか。

正解：B. 小さなモデルで数トークン先まで下書きし、大きなモデルでそれらをまとめて1回で検証して、合っている分を一度に採用する

デコードはメモリ律速なので、大きなモデルで1トークンを計算しても数トークンをまとめて計算しても、重みを読む時間はほとんど同じです。そこで、軽い小さなモデルで次の数トークンを予想し、大きなモデルはそれらを1回の順伝播でまとめて確かめ、合っていた分を一度に採用します。予想がよく当たれば、大きなモデルの呼び出しの回数が減って、出力の質を変えずに速くなります。

• A. 推測した答えは必ず大きなモデルで確かめます。
• B. 正しい。結果は大きなモデル単独の場合と同じにできます。
• C. 大きなモデルはそのまま使います。