KI-Hardware und Software-Stack

Welche Aussage zur Hauptaufgabe von KI-Compilern wie XLA, TVM oder der Compile-Funktion von PyTorch ist richtig?

  1. ASie übersetzen die Antworten eines KI-Modells in menschliche Sprache
  2. BSie sammeln automatisch Trainingsdaten
  3. CSie analysieren den Berechnungsgraphen des Modells, optimieren Operator-Fusion, Datenanordnung und Tiling und erzeugen Code für die Zielhardware
Antwort und Erläuterung anzeigen

Antwort: C. Sie analysieren den Berechnungsgraphen des Modells, optimieren Operator-Fusion, Datenanordnung und Tiling und erzeugen Code für die Zielhardware

Ein KI-Compiler übernimmt das Modell als Berechnungsgraphen aus Operationen und Datenflüssen, fusioniert zusammenfassbare Operationen, entfernt überflüssige Berechnungen, wählt die Speicheranordnung und stellt die Kachelgröße ein; daraus erzeugt er zur Zielhardware wie GPU oder NPU passende Kernels. Da sich für dasselbe Modell je Hardware automatisch optimaler Code erzeugen lässt, verringert sich der Aufwand manueller Optimierung erheblich.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Welche Aussage zum „Berechnungsgraphen“ in KI-Frameworks und -Compilern ist richtig?
  2. Welche Aussage zu ONNX ist richtig?
  3. Warum können Inferenz-Laufzeitumgebungen wie TensorRT oder ONNX Runtime schneller sein als die unveränderte Inferenz mit dem Trainings-Framework?
  4. Warum benötigen elementweise Operationen wie ReLU oder Layer-Normalisierung in KI-Berechnungen im Verhältnis zur Zahl ihrer Operationen leicht viel Zeit?
  5. Warum wird die Faltung in Convolutional Neural Networks mitunter mit Verfahren wie im2col in ein Matrixprodukt umgewandelt?