Nederlands
Menu

AI-hardware en softwarestack

Waarom zijn opzoekingen in grote embeddingtabellen, zoals die in aanbevelingssystemen worden gebruikt, lastig te verwerken met AI-hardware?

  1. AOmdat voor een opzoeking zeer veel vermenigvuldigingen nodig zijn
  2. BOmdat embeddingtabellen klein zijn en altijd op de chip passen
  3. COmdat er vrijwel niet wordt gerekend en op verspreide plaatsen in een enorme tabel wordt gelezen, zodat de matrixrekeneenheden niet worden benut en de snelheid wordt bepaald door geheugencapaciteit, bandbreedte en latency
Antwoord en toelichting tonen

Antwoord: C. Omdat er vrijwel niet wordt gerekend en op verspreide plaatsen in een enorme tabel wordt gelezen, zodat de matrixrekeneenheden niet worden benut en de snelheid wordt bepaald door geheugencapaciteit, bandbreedte en latency

In aanbevelingssystemen kunnen tabellen met een vector per ID, bijvoorbeeld van gebruikers en producten, honderden GB groot zijn, en voor elke ingang worden verspreide rijen van de tabel gelezen en opgeteld. Er wordt vrijwel niet gerekend en de leesacties zijn onregelmatig, zodat coalesced access en caches weinig effect hebben; dit wijkt sterk af van de vorm die versnellers die sterk zijn in matrixproducten goed liggen. De tabel moet over het geheugen van veel GPU's of CPU's worden verdeeld om geheugencapaciteit en bandbreedte te waarborgen.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke volgorde van de AI-softwarestack, van de bovenste laag dicht bij de gebruiker naar de onderste laag dicht bij de hardware, is juist?
  2. Welke uitspraak over het verschil tussen "training" en "inferentie" van een neuraal netwerk is juist?
  3. Welke van de volgende is GEEN reden waarom het geheugen voor training veel groter is dan voor inferentie met hetzelfde model?
  4. Een model met 7 miljard (7B) parameters wordt getraind waarbij gewichten, gradiënten en de twee toestanden van Adam allemaal in FP32 (4 bytes) worden bijgehouden. Welke waarde benadert het benodigde geheugen, exclusief activaties, het best?
  5. Hoeveel bedraagt het geheugen voor de gewichten ongeveer wanneer de gewichten van een model met 7 miljard (7B) parameters in FP16 (2 bytes) worden bijgehouden?