KI-Hardware und Software-Stack

Was ist der Hauptzweck der „Operator-Fusion“, die bei KI-Berechnungen eingesetzt wird?

  1. AMehrere Operationen werden in einem Kernel zusammengefasst, um das Schreiben und erneute Lesen von Zwischenergebnissen im Speicher einzusparen
  2. BZwei KI-Modelle werden zu einem zusammengeführt, um die Genauigkeit der Antworten zu erhöhen
  3. CRecheneinheiten werden physisch verschmolzen und verbunden
Antwort und Erläuterung anzeigen

Antwort: A. Mehrere Operationen werden in einem Kernel zusammengefasst, um das Schreiben und erneute Lesen von Zwischenergebnissen im Speicher einzusparen

Auf ein Matrixprodukt folgen häufig elementweise Operationen wie Bias-Addition, Aktivierungsfunktion und Normalisierung. Werden diese in getrennten Kernels ausgeführt, werden die Zwischenergebnisse jedes Mal in den Speicher geschrieben und vom nächsten Kernel erneut gelesen; die Speicherzugriffe dauern dann länger als die Berechnung. In einem einzigen Kernel können die Zwischenergebnisse in Registern oder im On-Chip-Speicher verbleiben, während die Berechnung fortgesetzt wird.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Das Addieren eines Bias zum Ergebnis eines Matrixprodukts und das anschließende Durchlaufen von ReLU wurden von drei getrennten Kernels zu einem verschmolzen. Was verringert sich dadurch hauptsächlich?
  2. Welche Aussage zur Hauptaufgabe von KI-Compilern wie XLA, TVM oder der Compile-Funktion von PyTorch ist richtig?
  3. Welche Aussage zum „Berechnungsgraphen“ in KI-Frameworks und -Compilern ist richtig?
  4. Welche Aussage zu ONNX ist richtig?
  5. Warum können Inferenz-Laufzeitumgebungen wie TensorRT oder ONNX Runtime schneller sein als die unveränderte Inferenz mit dem Trainings-Framework?