Nederlands
Menu

AI-hardware en softwarestack

Welke volgorde van de AI-softwarestack, van de bovenste laag dicht bij de gebruiker naar de onderste laag dicht bij de hardware, is juist?

  1. AFramework (zoals PyTorch) → compiler of runtime → bewerkingenbibliotheek (zoals cuBLAS) → driver → hardware
  2. BHardware → framework → driver → bibliotheek
  3. CDriver → framework → hardware → compiler
Antwoord en toelichting tonen

Antwoord: A. Framework (zoals PyTorch) → compiler of runtime → bewerkingenbibliotheek (zoals cuBLAS) → driver → hardware

De gebruiker schrijft het model in een framework zoals PyTorch. Het framework en de AI-compiler of runtime optimaliseren de rekengraaf en voor matrixproducten en convoluties worden kernels van sterk geoptimaliseerde bewerkingenbibliotheken aangeroepen. De bibliotheek stuurt via de driver instructies naar de GPU of NPU. Om nieuwe hardware breed gebruikt te krijgen, is niet alleen de prestatie van de rekeneenheden maar ook een compleet gestapelde software onmisbaar.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over het verschil tussen "training" en "inferentie" van een neuraal netwerk is juist?
  2. Welke van de volgende is GEEN reden waarom het geheugen voor training veel groter is dan voor inferentie met hetzelfde model?
  3. Een model met 7 miljard (7B) parameters wordt getraind waarbij gewichten, gradiënten en de twee toestanden van Adam allemaal in FP32 (4 bytes) worden bijgehouden. Welke waarde benadert het benodigde geheugen, exclusief activaties, het best?
  4. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer de gewichten van een model met 7 miljard (7B) parameters in FP16 (2 bytes) worden bijgehouden?
  5. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer het 7B-model uit de vorige vraag van FP16 (circa 14 GB) wordt gekwantiseerd naar 4-bits gehele getallen (INT4)?

Vergelijkingen bij dit onderwerp