Nederlands
Menu

AI-hardware en softwarestack

Wat is een benadering voor het aantal bewerkingen dat nodig is voor inferentie van één token bij een groot taalmodel met N parameters (zonder het attentiongedeelte)?

  1. ACirca 2N
  2. BCirca 6N
  3. CCirca N²
Antwoord en toelichting tonen

Antwoord: A. Circa 2N

Bij de voorwaartse propagatie van inferentie wordt per gewicht één vermenigvuldiging met de ingang en één optelling uitgevoerd, dus circa 2N bewerkingen per token. Bij 7 miljard parameters is dat circa 14 miljard per token. Voor huidige GPU's is dit een kleine hoeveelheid, maar omdat bij decode in die tijd 14 GB aan gewichten moet worden gelezen, bepaalt niet het rekenwerk maar de geheugenbandbreedte de tijd.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Waarom wordt bij de berekening van de softmaxfunctie exp(xi)/Σexp(xj) vaak eerst de maximumwaarde van elke xi afgetrokken?
  2. Welke uitspraak over het principe van "speculatieve decodering" (speculative decoding), die de inferentie van grote taalmodellen versnelt, is juist?
  3. Waarom zijn opzoekingen in grote embeddingtabellen, zoals die in aanbevelingssystemen worden gebruikt, lastig te verwerken met AI-hardware?
  4. Welke volgorde van de AI-softwarestack, van de bovenste laag dicht bij de gebruiker naar de onderste laag dicht bij de hardware, is juist?
  5. Welke uitspraak over het verschil tussen "training" en "inferentie" van een neuraal netwerk is juist?