投機的デコーディングとは

とうきてきでこーでぃんぐ

小さなモデルで数トークン先まで下書きし、大きなモデルでまとめて検証して、合っている分を一度に採用する推論の高速化の方法。

この用語の分野: AIハードウェアとソフトウェアスタック