AI-hardware en softwarestack
Wat is de belangrijkste reden dat spiking neural networks (SNN's), de modellen die bij neuromorf rekenen worden uitgevoerd, moeilijk rechtstreeks te trainen zijn met de backpropagatie die voor gewone neurale netwerken wordt gebruikt?
- ASNN's hebben geen gewichten
- BHet afvuren van een spike is een discontinue bewerking die wordt bepaald door het al dan niet overschrijden van een drempel, dus het is niet differentieerbaar
- CSNN's kunnen alleen inferentie uitvoeren en kennen het begrip training niet
Antwoord en toelichting tonen
Antwoord: B. Het afvuren van een spike is een discontinue bewerking die wordt bepaald door het al dan niet overschrijden van een drempel, dus het is niet differentieerbaar
Elk neuron van een SNN telt binnenkomende spikes op als membraanpotentiaal en zendt een spike uit wanneer die een drempel overschrijdt. Omdat deze uitvoer discontinu tussen 0 en 1 schakelt, is de gradiënt die backpropagatie nodig heeft bijna overal 0 of niet gedefinieerd. Daarom wordt onderzocht om alleen tijdens het trainen gradiënten te gebruiken waarbij de spikefunctie wordt benaderd met een gladde functie, of om een gewoon netwerk te trainen en het daarna om te zetten in een SNN. Het ontwikkelen van trainingsmethoden is een van de uitdagingen van neuromorf rekenen.