Methode om inferentie te versnellen: een klein model schrijft enkele tokens vooruit, een groot model controleert die in één keer en de juiste worden in één keer overgenomen.
Japanse benaming: 投機的デコーディング
“Speculatieve decodering (speculative decoding)” komt voor in 1 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: B. Een klein model schrijft enkele tokens vooruit een concept, het grote model verifieert deze in één keer gezamenlijk en de correcte tokens worden in één keer overgenomen
Decode is geheugenbegrensd, dus of een groot model één token of enkele tokens gezamenlijk berekent, de tijd om de gewichten te lezen is vrijwel gelijk. Daarom voorspelt een lichtgewicht klein model de volgende enkele tokens, controleert het grote model ze gezamenlijk in één voorwaartse propagatie en worden de juiste in één keer overgenomen. Als de voorspellingen vaak kloppen, neemt het aantal aanroepen van het grote model af en wordt het sneller zonder de kwaliteit van de uitvoer te veranderen.
Inferentie (inference) AI-compiler All-reduce Attention Backpropagatie Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity Gradient checkpointing