Aantal ingangen dat gezamenlijk wordt verwerkt. Een grotere batch maakt hergebruik van gewichten en dus hogere efficiëntie mogelijk, maar vergroot de vertraging van de respons en het geheugengebruik.
Japanse benaming: バッチサイズ
“Batchgrootte” komt voor in 6 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Antwoord: C. Omdat elk uit het geheugen gelezen gewicht maar voor één multiply-accumulate wordt gebruikt, zodat de rekenintensiteit zeer laag is
Bij een matrix-vectorproduct wordt elk element van de gewichtsmatrix eenmaal gelezen en slechts eenmaal met één element van de ingang vermenigvuldigd en opgeteld. Bij FP16 zijn dat 2 bewerkingen per 2 bytes, een rekenintensiteit van circa 1. Het lezen van de gewichten kost tijd, terwijl de rekeneenheden grotendeels wachten. Als ingangen worden gebundeld (grotere batch) zodat hetzelfde gewicht voor meerdere ingangen wordt gebruikt, stijgt de rekenintensiteit.
Antwoord: C. Omdat eenmaal gelezen gewichten voor de berekening van meerdere ingangen kunnen worden gebruikt, waardoor de rekenintensiteit toeneemt en de rekeneenheden beter worden benut
Bij batchgrootte B wordt het product van de gewichtsmatrix en B vectoren het product van de gewichtsmatrix en een matrix met breedte B. Het lezen van de gewichten blijft gelijk terwijl het rekenwerk B maal zo groot wordt, zodat ook de rekenintensiteit ongeveer B maal zo groot wordt en de bewerking van geheugenbegrensd naar rekenbegrensd opschuift. Bij inferentie op servers wordt de GPU efficiënt benut door verzoeken van veel gebruikers gezamenlijk te verwerken.
Bij batchgrootte B wordt het product van de gewichtsmatrix en B vectoren het product van de gewichtsmatrix en een matrix met breedte B.
Waarom neemt de efficiëntie van de totale verwerking bij in…De grootte van de KV-cache wordt bepaald door aantal lagen × dimensie van Key en Value × aantal tokens × batchgrootte × aantal bytes per element.
Welke uitspraak over wat bij de inferentie van grote taalmo…Backpropagation heeft de tussenresultaten van de voorwaartse propagatie van elke laag nodig, maar als alles wordt opgeslagen, groeit het geheugen evenredig met het aantal lagen en de batchgrootte.
Welke uitspraak over gradient checkpointing (herberekening …Inferentie (inference) Rekenintensiteit (arithmetic intensity) GPU KV-cache Doorvoer (throughput) Gradient checkpointing AI-compiler All-reduce Attention Backpropagatie