AI-hardware en softwarestack
Wat is de belangrijkste reden waarom AI-versnellers soms een groot SRAM (tientallen tot honderden MB) op de chip plaatsen?
- AOmdat SRAM zijn data behoudt als de voeding uitvalt
- BOmdat SRAM per bit goedkoper is dan DRAM
- COm gewichten en tussenresultaten op de chip te houden en herhaaldelijk te gebruiken, zodat minder toegang tot het langzame en veel vermogen verbruikende externe geheugen nodig is
Antwoord en toelichting tonen
Antwoord: C. Om gewichten en tussenresultaten op de chip te houden en herhaaldelijk te gebruiken, zodat minder toegang tot het langzame en veel vermogen verbruikende externe geheugen nodig is
De energie voor één keer data lezen uit DRAM buiten de chip is tientallen tot honderden malen die van één multiply-accumulate. Als data in SRAM op de chip worden gehouden en herhaaldelijk worden gebruikt, nemen de toegangen tot extern geheugen af en verbeteren zowel snelheid als energie-efficiëntie. SRAM neemt echter veel oppervlak in en is duur, zodat de hoeveelheid die wordt geplaatst wordt bepaald door de afweging tussen de grootte van de te verwerken modellen en de kosten.