AI-hardware en softwarestack

Wat is de belangrijkste reden dat spiking neural networks (SNN's), de modellen die bij neuromorf rekenen worden uitgevoerd, moeilijk rechtstreeks te trainen zijn met de backpropagatie die voor gewone neurale netwerken wordt gebruikt?

  1. ASNN's hebben geen gewichten
  2. BHet afvuren van een spike is een discontinue bewerking die wordt bepaald door het al dan niet overschrijden van een drempel, dus het is niet differentieerbaar
  3. CSNN's kunnen alleen inferentie uitvoeren en kennen het begrip training niet
Antwoord en toelichting tonen

Antwoord: B. Het afvuren van een spike is een discontinue bewerking die wordt bepaald door het al dan niet overschrijden van een drempel, dus het is niet differentieerbaar

Elk neuron van een SNN telt binnenkomende spikes op als membraanpotentiaal en zendt een spike uit wanneer die een drempel overschrijdt. Omdat deze uitvoer discontinu tussen 0 en 1 schakelt, is de gradiënt die backpropagatie nodig heeft bijna overal 0 of niet gedefinieerd. Daarom wordt onderzocht om alleen tijdens het trainen gradiënten te gebruiken waarbij de spikefunctie wordt benaderd met een gladde functie, of om een gewoon netwerk te trainen en het daarna om te zetten in een SNN. Het ontwikkelen van trainingsmethoden is een van de uitdagingen van neuromorf rekenen.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over het verschil tussen "training" en "inferentie" van een neuraal netwerk is juist?
  2. Welke van de volgende is GEEN reden waarom het geheugen voor training veel groter is dan voor inferentie met hetzelfde model?
  3. Een model met 7 miljard (7B) parameters wordt getraind waarbij gewichten, gradiënten en de twee toestanden van Adam allemaal in FP32 (4 bytes) worden bijgehouden. Welke waarde benadert het benodigde geheugen, exclusief activaties, het best?
  4. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer de gewichten van een model met 7 miljard (7B) parameters in FP16 (2 bytes) worden bijgehouden?
  5. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer het 7B-model uit de vorige vraag van FP16 (circa 14 GB) wordt gekwantiseerd naar 4-bits gehele getallen (INT4)?

Vergelijkingen bij dit onderwerp