Welche Aussage zur Grundidee des „Speculative Decoding“, das die Inferenz großer Sprachmodelle beschleunigt, ist richtig?

Antwort: B. Ein kleines Modell entwirft einige Token im Voraus, das große Modell überprüft diese gemeinsam in einem Durchgang, und die korrekten werden auf einmal übernommen

Das Decode ist speicherbegrenzt; die Zeit zum Lesen der Gewichte ist daher nahezu gleich, ob das große Modell ein Token oder mehrere Token gemeinsam berechnet. Ein leichtes kleines Modell sagt deshalb die nächsten Token voraus, das große Modell prüft sie in einem einzigen Forward Pass gemeinsam, und die zutreffenden werden auf einmal übernommen. Treffen die Vorhersagen häufig zu, sinkt die Zahl der Aufrufe des großen Modells, und die Verarbeitung wird bei unveränderter Ausgabequalität schneller.