KI-Hardware und Software-Stack

Welche Aussage zu ONNX ist richtig?

  1. ADer Name eines KI-spezifischen Halbleiterchips
  2. BEin Verfahren zur Kompression von KI-Trainingsdaten
  3. CEin gemeinsames Modellformat zum Austausch von Modellen zwischen verschiedenen Frameworks und Inferenz-Laufzeitumgebungen
Antwort und Erläuterung anzeigen

Antwort: C. Ein gemeinsames Modellformat zum Austausch von Modellen zwischen verschiedenen Frameworks und Inferenz-Laufzeitumgebungen

ONNX (Open Neural Network Exchange) ist ein Standard, der den Berechnungsgraphen und die Gewichte eines Modells in einem gemeinsamen Format darstellt. Ein z. B. mit PyTorch trainiertes Modell kann nach ONNX exportiert und in Inferenz-Laufzeitumgebungen anderer Hersteller oder in Werkzeugen für unterschiedliche Hardware geladen und ausgeführt werden. Da Trainings- und Inferenzumgebung entkoppelt werden, lässt sich für jedes Gerät leichter die optimale Laufzeitumgebung wählen.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Warum können Inferenz-Laufzeitumgebungen wie TensorRT oder ONNX Runtime schneller sein als die unveränderte Inferenz mit dem Trainings-Framework?
  2. Warum benötigen elementweise Operationen wie ReLU oder Layer-Normalisierung in KI-Berechnungen im Verhältnis zur Zahl ihrer Operationen leicht viel Zeit?
  3. Warum wird die Faltung in Convolutional Neural Networks mitunter mit Verfahren wie im2col in ein Matrixprodukt umgewandelt?
  4. Welche Aussage zum Unterschied zwischen Post-Training Quantization (PTQ) und Quantization-Aware Training (QAT) ist richtig?
  5. Was ist der Zweck der „Kalibrierung“ bei der Post-Training-Quantisierung, bei der Aktivierungen nach INT8 quantisiert werden?