Nederlands
Menu

AI-hardware en softwarestack

Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer het 7B-model uit de vorige vraag van FP16 (circa 14 GB) wordt gekwantiseerd naar 4-bits gehele getallen (INT4)?

  1. ACirca 7 GB
  2. BCirca 1,75 GB
  3. CCirca 3,5 GB
Antwoord en toelichting tonen

Antwoord: C. Circa 3,5 GB

Doordat één parameter van 16 bits naar 4 bits gaat, wordt het geheugen een vierde, circa 3,5 GB (in de praktijk komt er wat informatie bij, zoals kwantisatieschalen). Door het kleinere geheugen kunnen grote modellen ook op pc's en smartphones draaien, en doordat minder uit het geheugen hoeft te worden gelezen, wordt ook de inferentie sneller. Maatregelen om het precisieverlies klein te houden zijn belangrijk.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Hoeveel drijvendekommabewerkingen (vermenigvuldigingen en optellingen apart geteld) zijn ongeveer nodig om het product van een M×K-matrix en een K×N-matrix te berekenen?
  2. Bij het product van twee N×N-FP16-matrices (2 bytes) worden de twee ingangen eenmaal gelezen en het resultaat eenmaal geschreven. Hoeveel bedraagt de rekenintensiteit (aantal bewerkingen per byte) ongeveer?
  3. Een versneller met een piekprestatie van 100 TFLOPS en een geheugenbandbreedte van 2 TB/s voert een bewerking uit met een rekenintensiteit van 10 FLOP/byte. Welke prestatie is volgens het roofline-model haalbaar?
  4. Waarom is de berekening van een volledig verbonden laag (product van gewichtsmatrix en vector) gemakkelijk geheugenbegrensd wanneer er maar één ingang is (batchgrootte 1)?
  5. Waarom neemt de efficiëntie van de totale verwerking bij inferentie gemakkelijk toe als de batchgrootte (het aantal gezamenlijk verwerkte ingangen) wordt vergroot?

Vergelijkingen bij dit onderwerp