Welke uitspraak over het principe van "speculatieve decodering" (speculative decoding), die de inferentie van grote taalmodellen versnelt, is juist?

Antwoord: B. Een klein model schrijft enkele tokens vooruit een concept, het grote model verifieert deze in één keer gezamenlijk en de correcte tokens worden in één keer overgenomen

Decode is geheugenbegrensd, dus of een groot model één token of enkele tokens gezamenlijk berekent, de tijd om de gewichten te lezen is vrijwel gelijk. Daarom voorspelt een lichtgewicht klein model de volgende enkele tokens, controleert het grote model ze gezamenlijk in één voorwaartse propagatie en worden de juiste in één keer overgenomen. Als de voorspellingen vaak kloppen, neemt het aantal aanroepen van het grote model af en wordt het sneller zonder de kwaliteit van de uitvoer te veranderen.