Nederlands
Menu

AI-hardware en softwarestack

Een versneller met een piekprestatie van 100 TFLOPS en een geheugenbandbreedte van 2 TB/s voert een bewerking uit met een rekenintensiteit van 10 FLOP/byte. Welke prestatie is volgens het roofline-model haalbaar?

  1. A100 TFLOPS (rekenbegrensd)
  2. B20 TFLOPS (geheugenbegrensd)
  3. C10 TFLOPS (geheugenbegrensd)
Antwoord en toelichting tonen

Antwoord: B. 20 TFLOPS (geheugenbegrensd)

Volgens het roofline-model is de haalbare prestatie de kleinste van "piekprestatie" en "bandbreedte × rekenintensiteit". 2 TB/s × 10 FLOP/byte = 20 TFLOPS, wat kleiner is dan de piek van 100, zodat deze bewerking geheugenbegrensd is met 20 TFLOPS als bovengrens. Piek ÷ bandbreedte = 50 FLOP/byte is de grens (ridge point); alleen bewerkingen met een hogere rekenintensiteit bereiken de piekprestatie.

Rooflinemodel 0.1 1 10 100 1000 Rekenintensiteit (FLOP/byte, log. schaal) Prestaties (FLOP/s, log. schaal) Ridgepunt Piekprestatie Helling = geheugenbandbreedte ← Geheugengebonden Rekengebonden → Vb.: matrix × vector Vb.: matrix × matrix Ridge = piek ÷ bandbreedte
Rooflinemodel · Bekijken in het figurenoverzicht
Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Waarom is de berekening van een volledig verbonden laag (product van gewichtsmatrix en vector) gemakkelijk geheugenbegrensd wanneer er maar één ingang is (batchgrootte 1)?
  2. Waarom neemt de efficiëntie van de totale verwerking bij inferentie gemakkelijk toe als de batchgrootte (het aantal gezamenlijk verwerkte ingangen) wordt vergroot?
  3. Welke uitspraak over het nadeel van een te grote batchgrootte bij inferentie is juist?
  4. De inferentie van een groot taalmodel bestaat uit een fase waarin de invoertekst gezamenlijk wordt verwerkt (prefill) en een fase waarin per token de uitvoer wordt gemaakt (decode). Welke combinatie van wat de prestaties van elke fase hoofdzakelijk bepaalt is juist (bij een kleine batch)?
  5. Welke uitspraak over de rol van de KV-cache bij de inferentie van grote taalmodellen is juist?

Vergelijkingen bij dit onderwerp