KI-Hardware und Software-Stack

Warum benötigen elementweise Operationen wie ReLU oder Layer-Normalisierung in KI-Berechnungen im Verhältnis zur Zahl ihrer Operationen leicht viel Zeit?

  1. AWeil die ReLU-Berechnung mehr Operationen erfordert als ein Matrixprodukt
  2. BWeil im Verhältnis zur gelesenen und geschriebenen Datenmenge je Element wenig gerechnet wird und die Geschwindigkeit daher von der Speicherbandbreite bestimmt wird
  3. CWeil sich elementweise Operationen auf der GPU nicht ausführen lassen
Antwort und Erläuterung anzeigen

Antwort: B. Weil im Verhältnis zur gelesenen und geschriebenen Datenmenge je Element wenig gerechnet wird und die Geschwindigkeit daher von der Speicherbandbreite bestimmt wird

ReLU liest jedes Element, vergleicht es mit 0 und schreibt es zurück; der Rechenaufwand je Element ist gering. Die arithmetische Intensität ist sehr niedrig, sodass die Zeit nicht von der Leistung der Recheneinheiten, sondern von der Speicherbandbreite bestimmt wird. Auch wenn solche Operationen nur einen kleinen Teil der Operationszahl ausmachen, können sie einen nicht vernachlässigbaren Anteil der Zeit beanspruchen. Sie werden direkt an ein Matrixprodukt fusioniert oder die Normalisierung wird in einem Kernel zusammengefasst, um Speicherzugriffe zu verringern.

Dieses Thema üben Zur Themenseite

Weitere Fragen zu KI-Hardware und Software-Stack

  1. Warum wird die Faltung in Convolutional Neural Networks mitunter mit Verfahren wie im2col in ein Matrixprodukt umgewandelt?
  2. Welche Aussage zum Unterschied zwischen Post-Training Quantization (PTQ) und Quantization-Aware Training (QAT) ist richtig?
  3. Was ist der Zweck der „Kalibrierung“ bei der Post-Training-Quantisierung, bei der Aktivierungen nach INT8 quantisiert werden?
  4. Bei der Quantisierung großer Sprachmodelle sinkt die Genauigkeit leicht, wenn einige wenige Kanäle große Ausreißer aufweisen. Welche Gegenmaßnahme ist üblich?
  5. Warum beschleunigt eine Quantisierung, bei der nur die Gewichte auf 4 Bit gebracht werden und die Aktivierungen in FP16 bleiben (W4A16), das Decode bei der Inferenz großer Sprachmodelle besonders stark?