AI-hardware en softwarestack

Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer de gewichten van een model met 7 miljard (7B) parameters in FP16 (2 bytes) worden bijgehouden?

ACirca 14 GB
BCirca 7 GB
CCirca 28 GB

Antwoord en toelichting tonen

Antwoord: A. Circa 14 GB

Het geheugen voor gewichten volgt uit het aantal parameters × het aantal bytes per parameter. 7 miljard × 2 bytes = 14 miljard bytes, circa 14 GB. Bij inferentie komen daar nog tussenresultaten en bij grote taalmodellen het geheugen voor de KV-cache bij. Met deze berekening wordt eerst bepaald op welke apparaten of GPU's het model kan draaien.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer het 7B-model uit de vorige vraag van FP16 (circa 14 GB) wordt gekwantiseerd naar 4-bits gehele getallen (INT4)?
Hoeveel drijvendekommabewerkingen (vermenigvuldigingen en optellingen apart geteld) zijn ongeveer nodig om het product van een M×K-matrix en een K×N-matrix te berekenen?
Bij het product van twee N×N-FP16-matrices (2 bytes) worden de twee ingangen eenmaal gelezen en het resultaat eenmaal geschreven. Hoeveel bedraagt de rekenintensiteit (aantal bewerkingen per byte) ongeveer?
Een versneller met een piekprestatie van 100 TFLOPS en een geheugenbandbreedte van 2 TB/s voert een bewerking uit met een rekenintensiteit van 10 FLOP/byte. Welke prestatie is volgens het roofline-model haalbaar?
Waarom is de berekening van een volledig verbonden laag (product van gewichtsmatrix en vector) gemakkelijk geheugenbegrensd wanneer er maar één ingang is (batchgrootte 1)?