投機的デコーディング란?

とうきてきでこーでぃんぐ

小さなモデルで数トークン先まで下書きし、大きなモデルでまとめて検証して、合っている分を一度に採用する推論の高速化の方法。

일본어 명칭: 投機的デコーディング

분야: AI 하드웨어·소프트웨어 스택