Nederlands
Menu

AI-hardware en softwarestack

Welke uitspraak over pruning (snoeien) van neurale netwerken is juist?

  1. AEen methode om onbelangrijke gewichten op 0 te zetten en zo te verminderen; de ongestructureerde variant, waarbij willekeurig verspreid op 0 wordt gezet, is met hardware moeilijk te versnellen
  2. BEen methode die het aantal gewichten vergroot en de nauwkeurigheid van het model altijd verhoogt
  3. CEen methode die de hoeveelheid trainingsdata vermindert
Antwoord en toelichting tonen

Antwoord: A. Een methode om onbelangrijke gewichten op 0 te zetten en zo te verminderen; de ongestructureerde variant, waarbij willekeurig verspreid op 0 wordt gezet, is met hardware moeilijk te versnellen

Bij pruning worden gewichten met weinig invloed, bijvoorbeeld met een kleine waarde, op 0 gezet om rekenwerk en geheugen te verminderen. Als de nullen echter verspreid liggen, kost het moeite om te achterhalen waar ze zijn, en omdat matrixrekeneenheden en geheugen in aaneengesloten eenheden werken, wordt het in de praktijk nauwelijks sneller. Bij gestructureerde pruning, per kanaal of laag of in een vast patroon op 0 zetten, is versnelling met hardware gemakkelijker.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over de "2:4 gestructureerde sparsity" die door de matrixrekeneenheden van GPU's wordt ondersteund is juist?
  2. Welke uitspraak over knowledge distillation (kennisdestillatie) is juist?
  3. Welke uitspraak over dataparallellisme bij training met meerdere GPU's is juist?
  4. Welke uitspraak over tensorparallellisme, waarbij het matrixproduct van een grote laag die niet in het geheugen van één GPU past over meerdere GPU's wordt verdeeld, is juist?
  5. Waarom wordt bij pipelineparallellisme, waarbij de lagen van het model achtereenvolgens over meerdere GPU's worden verdeeld, de batch in kleine micro-batches verdeeld en doorgestuurd?