KI-Hardware und Software-Stack

Welcher der folgenden Punkte trifft nicht als Vorteil zu, wenn die KI-Inferenz nicht auf Cloud-Servern, sondern im Endgerät (Edge) wie einem Smartphone erfolgt?

  1. AIm Endgerät lassen sich beliebig große Modelle ohne Einschränkung ausführen
  2. BDa nicht auf die Kommunikation gewartet wird, ist die Antwort schnell, und die Nutzung ist auch an Orten ohne Verbindung möglich
  3. CDa Daten nicht nach außen gesendet werden, lässt sich der Datenschutz leichter wahren
Antwort und Erläuterung anzeigen

Antwort: A. Im Endgerät lassen sich beliebig große Modelle ohne Einschränkung ausführen

Die Inferenz am Edge hat Vorteile wie fehlende Kommunikationsverzögerung, Funktion ohne Verbindung, kein Versand von Daten wie Fotos oder Sprache nach außen und keine Serverkosten. Andererseits gelten für Speicher, Akku und Wärmeentwicklung des Endgeräts strenge Einschränkungen, sodass große Modelle unverändert nicht lauffähig sind. Innerhalb dieser Grenzen wird mit Quantisierung, Destillation auf kleinere Modelle und energieeffizienten Spezialschaltungen wie NPUs gearbeitet.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Was ist der Hauptgrund dafür, dass eine in den SoC eines Smartphones integrierte NPU bei der KI-Inferenz energieeffizienter ist als die CPU?
  2. Was ist bei der als „○○ TOPS“ angegebenen Leistung von KI-Beschleunigern zu beachten?
  3. Welche Aussage zur Kennzahl MFU (Model FLOPs Utilization) für die Effizienz großen Trainings ist richtig?
  4. Welche Näherung wird häufig als Richtwert für die Zahl der Operationen verwendet, die für das Training eines Transformer-Modells nötig sind, wenn N die Parameterzahl und D die Zahl der Trainings-Token ist?
  5. Welcher Wert ist ein Richtwert für die Zahl der Operationen, die für die Erzeugung eines Tokens bei der Inferenz eines großen Sprachmodells mit N Parametern nötig sind (ohne den Attention-Anteil)?