Nederlands
Menu

AI-hardware en softwarestack

Een model met 7 miljard (7B) parameters wordt getraind waarbij gewichten, gradiënten en de twee toestanden van Adam allemaal in FP32 (4 bytes) worden bijgehouden. Welke waarde benadert het benodigde geheugen, exclusief activaties, het best?

  1. ACirca 28 GB
  2. BCirca 112 GB
  3. CCirca 14 GB
Antwoord en toelichting tonen

Antwoord: B. Circa 112 GB

Per parameter is dat 4 bytes voor het gewicht, 4 bytes voor de gradiënt en 4 bytes elk voor het eerste en tweede voortschrijdend gemiddelde van Adam, samen 16 bytes. 7 miljard × 16 bytes = 112 miljard bytes, circa 112 GB, waarbij nog het geheugen voor activaties komt. Omdat dit vaak niet in het geheugen van één GPU past, worden maatregelen gebruikt zoals het verdelen van de optimizertoestand over meerdere GPU's en het bijhouden met lagere precisie.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer de gewichten van een model met 7 miljard (7B) parameters in FP16 (2 bytes) worden bijgehouden?
  2. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer het 7B-model uit de vorige vraag van FP16 (circa 14 GB) wordt gekwantiseerd naar 4-bits gehele getallen (INT4)?
  3. Hoeveel drijvendekommabewerkingen (vermenigvuldigingen en optellingen apart geteld) zijn ongeveer nodig om het product van een M×K-matrix en een K×N-matrix te berekenen?
  4. Bij het product van twee N×N-FP16-matrices (2 bytes) worden de twee ingangen eenmaal gelezen en het resultaat eenmaal geschreven. Hoeveel bedraagt de rekenintensiteit (aantal bewerkingen per byte) ongeveer?
  5. Een versneller met een piekprestatie van 100 TFLOPS en een geheugenbandbreedte van 2 TB/s voert een bewerking uit met een rekenintensiteit van 10 FLOP/byte. Welke prestatie is volgens het roofline-model haalbaar?

Vergelijkingen bij dit onderwerp