AI-hardware en softwarestack
Welke uitspraak over het nadeel van een te grote batchgrootte bij inferentie is juist?
- ADe wachttijd tot de te bundelen ingangen compleet zijn en de duur van één verwerking nemen toe, waardoor de respons op één verzoek trager wordt en ook meer geheugen wordt gebruikt
- BDe waarden van de gewichten veranderen, waardoor het antwoord onnauwkeurig wordt
- CDe rekenintensiteit daalt, waardoor de efficiëntie slechter wordt
Antwoord en toelichting tonen
Antwoord: A. De wachttijd tot de te bundelen ingangen compleet zijn en de duur van één verwerking nemen toe, waardoor de respons op één verzoek trager wordt en ook meer geheugen wordt gebruikt
Een grotere batch verhoogt de totale verwerkingscapaciteit (doorvoer), maar doordat gewacht wordt tot andere ingangen binnen zijn en één berekening langer duurt, neemt de tijd tot de terugkeer van één verzoek (latency) toe. Ook het geheugen voor tussenresultaten en de KV-cache groeit evenredig met de batch. Bij conversatietoepassingen wordt de batch vergroot binnen de grens waarin de doelstelling voor de responssnelheid gehaald blijft.