Nederlands
Menu

AI-hardware en softwarestack

Welke van de volgende is GEEN voordeel van AI-inferentie in een apparaat zoals een smartphone (edge) in plaats van op een cloudserver?

  1. AIn een apparaat kunnen modellen van elke grootte zonder beperking draaien
  2. BEr wordt niet op communicatie gewacht, dus de respons is snel en het werkt ook op plaatsen zonder verbinding
  3. CData worden niet naar buiten verzonden, dus privacy is gemakkelijker te beschermen
Antwoord en toelichting tonen

Antwoord: A. In een apparaat kunnen modellen van elke grootte zonder beperking draaien

Inferentie op de edge heeft voordelen zoals geen communicatievertraging, werking zonder verbinding, geen noodzaak om data zoals foto's en spraak naar buiten te sturen en geen serverkosten. Daar staat tegenover dat het geheugen, de batterij en de warmteontwikkeling van het apparaat strenge beperkingen opleggen, zodat grote modellen niet zonder meer draaien. Binnen die beperkingen worden ze aan de praat gehouden met kwantisatie, destillatie naar kleinere modellen en energiezuinige specifieke schakelingen zoals NPU's.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Wat is de belangrijkste reden dat een NPU in een SoC van een smartphone bij AI-inferentie energiezuiniger is dan een CPU?
  2. Welke uitspraak over waar op moet worden gelet bij een waarde als "○○ TOPS" als prestatie van een AI-versneller is juist?
  3. Welke uitspraak over MFU (Model FLOPs Utilization), een maat voor de efficiëntie van grootschalige training, is juist?
  4. Wat is een veelgebruikte benadering voor het aantal bewerkingen dat nodig is om een Transformer-model te trainen, bij N parameters en D trainingstokens?
  5. Wat is een benadering voor het aantal bewerkingen dat nodig is voor inferentie van één token bij een groot taalmodel met N parameters (zonder het attentiongedeelte)?

Vergelijkingen bij dit onderwerp