Nederlands
Menu

AI-hardware en softwarestack

Waarom neemt de efficiëntie van de totale verwerking bij inferentie gemakkelijk toe als de batchgrootte (het aantal gezamenlijk verwerkte ingangen) wordt vergroot?

  1. AOmdat bij meer ingangen het aantal berekeningen per ingang afneemt
  2. BOmdat bij een grotere batch het aantal gewichten afneemt
  3. COmdat eenmaal gelezen gewichten voor de berekening van meerdere ingangen kunnen worden gebruikt, waardoor de rekenintensiteit toeneemt en de rekeneenheden beter worden benut
Antwoord en toelichting tonen

Antwoord: C. Omdat eenmaal gelezen gewichten voor de berekening van meerdere ingangen kunnen worden gebruikt, waardoor de rekenintensiteit toeneemt en de rekeneenheden beter worden benut

Bij batchgrootte B wordt het product van de gewichtsmatrix en B vectoren het product van de gewichtsmatrix en een matrix met breedte B. Het lezen van de gewichten blijft gelijk terwijl het rekenwerk B maal zo groot wordt, zodat ook de rekenintensiteit ongeveer B maal zo groot wordt en de bewerking van geheugenbegrensd naar rekenbegrensd opschuift. Bij inferentie op servers wordt de GPU efficiënt benut door verzoeken van veel gebruikers gezamenlijk te verwerken.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over het nadeel van een te grote batchgrootte bij inferentie is juist?
  2. De inferentie van een groot taalmodel bestaat uit een fase waarin de invoertekst gezamenlijk wordt verwerkt (prefill) en een fase waarin per token de uitvoer wordt gemaakt (decode). Welke combinatie van wat de prestaties van elke fase hoofdzakelijk bepaalt is juist (bij een kleine batch)?
  3. Welke uitspraak over de rol van de KV-cache bij de inferentie van grote taalmodellen is juist?
  4. Welke uitspraak over wat bij de inferentie van grote taalmodellen gemakkelijk een probleem wordt bij lange teksten of grote batches is juist?
  5. Een model met circa 14 GB aan gewichten in FP16 wordt met batchgrootte 1 gedecodeerd op een GPU met een geheugenbandbreedte van 2 TB/s. Welke waarde benadert de ondergrens van de tijd om één token te genereren het best?