Rekenen dat neuronen en synapsen in de hersenen nabootst, informatie uitwisselt als pulsen die spikes heten en alleen rekent wanneer er iets verandert. Het plaatst geheugen dicht bij de berekening en streeft naar een laag verbruik.
Japanse benaming: ニューロモーフィックコンピューティング
“Neuromorf rekenen (neuromorphic computing)” komt voor in 2 oefenvragen uit 1 onderwerpen, bijv. AI-hardware en softwarestack.
Vakgebied: AI-hardware en softwarestack
Neuromorf rekenen modelleert berekeningen naar de neurale circuits van de hersenen. Ten eerste wordt informatie niet als continue waarden voorgesteld, maar door het optreden en het tijdstip van korte pulsen die spikes heten. Ten tweede is het gebeurtenisgestuurd: schakelingen werken alleen wanneer de invoer verandert, en inactieve delen verbruiken vrijwel geen vermogen. Ten derde worden synaptische gewichten dicht bij de plek van de berekening opgeslagen, wat het verplaatsen van gegevens tussen geheugen en rekeneenheden vermindert. Een typisch ontwerp heeft veel cores die elk veel neuronen verwerken, verbonden door een netwerk dat spikes als kleine pakketten verstuurt.
De modellen die op deze hardware draaien, heten spiking neural networks (SNN's). Elk neuron verzamelt binnenkomende spikes als membraanpotentiaal, en wanneer dat een drempel overschrijdt, zendt het een spike uit en wordt het gereset. Omdat de activiteit schaars is en tijdsinformatie op natuurlijke wijze wordt verwerkt, worden SNN's geschikt geacht voor de verwerking van sensorsignalen en voor inferentie op apparaten met een beperkt vermogen. Het afvuren van een spike is echter een discontinue, niet-differentieerbare bewerking, zodat de standaard backpropagatie van gewone neurale netwerken niet direct kan worden toegepast; methoden die de gradiënt met een gladde functie benaderen of getrainde conventionele modellen omzetten, worden onderzocht.
In 2014 kondigde IBM TrueNorth aan, een digitale chip met 1 miljoen neuronen en 256 miljoen synapsen, en rapporteerde een verbruik van ongeveer 70 mW. Intel kondigde zijn onderzoekschip Loihi aan in 2017 en de tweede generatie Loihi 2 in 2021, en presenteerde in 2024 Hala Point, een systeem van 1152 Loihi 2-chips met ongeveer 1,15 miljard neuronen. Dit zijn digitale schakelingen, maar er wordt ook onderzoek gedaan naar analoge componenten zoals resistief geheugen die synaptische gewichten vasthouden en vermenigvuldig-accumuleerbewerkingen in het geheugen uitvoeren, wat nauw samenhangt met in-memory computing.
Voor dichte matrixberekeningen zoals het trainen van grote taalmodellen domineerden conventionele versnellers zoals GPU's in het midden van de jaren 2020. Neuromorf rekenen betaalt zich het meest uit bij schaarse, in de tijd variërende invoer en in toepassingen met strenge vermogensgrenzen. Uitdagingen zijn onder meer trainingsmethoden en nauwkeurigheid van SNN's, volwassen softwaretools en een benchmark die eerlijk vergelijkt met conventionele benaderingen, en er wordt verder onderzocht waar het een voordeel zal hebben.
Antwoord: C. Ze werkt gebeurtenisgestuurd, zodat alleen de delen actief zijn die spikes ontvangen, en het geheugen met de gewichten staat dicht bij de rekeneenheden om gegevensverplaatsing te beperken
Neuromorf rekenen neemt de neurale circuits van de hersenen als model en geeft informatie door als pulsen die spikes heten. Alleen de delen die een spike ontvangen wanneer de invoer verandert, zijn actief, dus bij werklasten met weinig activiteit verbruiken circuits die niets doen nauwelijks energie. De synapsgewichten staan in geheugen binnen elke kern, wat lange gegevensverplaatsingen van en naar de rekeneenheden beperkt. Deze kenmerken onderscheiden het van GPU's, die dichte matrixbewerkingen allemaal tegelijk uitvoeren.
Antwoord: B. Het afvuren van een spike is een discontinue bewerking die wordt bepaald door het al dan niet overschrijden van een drempel, dus het is niet differentieerbaar
Elk neuron van een SNN telt binnenkomende spikes op als membraanpotentiaal en zendt een spike uit wanneer die een drempel overschrijdt. Omdat deze uitvoer discontinu tussen 0 en 1 schakelt, is de gradiënt die backpropagatie nodig heeft bijna overal 0 of niet gedefinieerd. Daarom wordt onderzocht om alleen tijdens het trainen gradiënten te gebruiken waarbij de spikefunctie wordt benaderd met een gladde functie, of om een gewoon netwerk te trainen en het daarna om te zetten in een SNN. Het ontwikkelen van trainingsmethoden is een van de uitdagingen van neuromorf rekenen.
Een GPU laat veel rekeneenheden in de pas met een klok werken om dichte matrixbewerkingen snel uit te voeren. Neuromorf rekenen is gebeurtenisgestuurd, zodat alleen de delen die spikes ontvangen actief zijn, en plaatst geheugen dicht bij de berekening om schaarse werklasten met een laag vermogen te verwerken.
Een neuraal netwerk waarin neuronen communiceren met pulsen die spikes heten. Elk neuron verzamelt invoer als membraanpotentiaal en zendt een spike uit wanneer het een drempel overschrijdt. SNN's zijn de modellen die op neuromorfe hardware draaien.
SNN's zijn moeilijk te trainen omdat spikes niet differentieerbaar zijn, en ook nauwkeurigheid, de volwassenheid van de software en een eerlijke vergelijking met conventionele benaderingen zijn kwesties. Er wordt verder onderzocht in welke toepassingen het zal winnen.
Neuromorf rekenen neemt de neurale circuits van de hersenen als model en geeft informatie door als pulsen die spikes heten.
Wat is de belangrijkste reden dat hardware voor neuromorf r…Het ontwikkelen van trainingsmethoden is een van de uitdagingen van neuromorf rekenen.
Wat is de belangrijkste reden dat spiking neural networks (…GPU Backpropagatie AI-compiler All-reduce Attention Batchgrootte Dataparallellisme FlashAttention Gestructureerde sparsity Gradient checkpointing