Nederlands
Menu

AI-hardware en softwarestack

Welke uitspraak over het verschil tussen "training" en "inferentie" van een neuraal netwerk is juist?

  1. ABij training worden voorwaartse propagatie, terugwaartse propagatie en gewichtsupdate herhaald om de gewichten te bepalen; bij inferentie wordt met vaste gewichten alleen voorwaarts gepropageerd om het antwoord te geven
  2. BZowel bij training als bij inferentie wordt alleen voorwaarts gepropageerd
  3. CBij inferentie worden gewichten bijgewerkt en bij training worden geen gewichten gebruikt
Antwoord en toelichting tonen

Antwoord: A. Bij training worden voorwaartse propagatie, terugwaartse propagatie en gewichtsupdate herhaald om de gewichten te bepalen; bij inferentie wordt met vaste gewichten alleen voorwaarts gepropageerd om het antwoord te geven

Bij training worden de ingangen in volgorde doorgerekend tot de uitgang (voorwaartse propagatie), wordt de fout ten opzichte van het juiste antwoord van de uitgang naar de ingang teruggevoerd om de gradiënt van elk gewicht te bepalen (backpropagation) en worden de gewichten volgens de gradiënt stapsgewijs aangepast; dit wordt met grote hoeveelheden data herhaald. Bij inferentie wordt met de tijdens de training bepaalde gewichten alleen voorwaarts gepropageerd. Backpropagation vergt ongeveer tweemaal zoveel rekenwerk als voorwaartse propagatie en vereist ook het opslaan van tussenresultaten, zodat training veel zwaarder is dan inferentie.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke van de volgende is GEEN reden waarom het geheugen voor training veel groter is dan voor inferentie met hetzelfde model?
  2. Een model met 7 miljard (7B) parameters wordt getraind waarbij gewichten, gradiënten en de twee toestanden van Adam allemaal in FP32 (4 bytes) worden bijgehouden. Welke waarde benadert het benodigde geheugen, exclusief activaties, het best?
  3. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer de gewichten van een model met 7 miljard (7B) parameters in FP16 (2 bytes) worden bijgehouden?
  4. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer het 7B-model uit de vorige vraag van FP16 (circa 14 GB) wordt gekwantiseerd naar 4-bits gehele getallen (INT4)?
  5. Hoeveel drijvendekommabewerkingen (vermenigvuldigingen en optellingen apart geteld) zijn ongeveer nodig om het product van een M×K-matrix en een K×N-matrix te berekenen?