KI-Hardware und Software-Stack
Lernen Sie KI-Hardware und -Software mit Multiple-Choice-Fragen kennen: Inferenz im Vergleich zu Training, Quantisierung, arithmetische Intensität und das Roofline-Modell, systolische Arrays, Operator-Fusion und Tiling.
Die Fragen zu diesem Thema folgen in Kürze.
KI-Hardware und Software-Stack: Das Wichtigste
Der Großteil der Berechnungen in neuronalen Netzen sind große Matrix-Multiplikations-Akkumulationen. KI-Hardware reiht daher viele Multiply-Accumulate-Einheiten aneinander und ist darauf ausgelegt, Daten möglichst oft wiederzuverwenden, um den Verkehr zum Speicher zu verringern. Das Training erfordert weit mehr Rechenleistung und Speicher als die Inferenz und außerdem eine höhere numerische Genauigkeit.
Die Leistung wird nicht allein durch die Zahl der Recheneinheiten bestimmt. Die arithmetische Intensität, also die Rechenmenge pro Byte Daten, zeigt zusammen mit dem Roofline-Modell, ob eine Last durch die Rechenleistung oder die Speicherbandbreite begrenzt ist. Dieses Thema behandelt auch, wie KI-Compiler und Inferenz-Laufzeitumgebungen durch Quantisierung, Operator-Fusion und Tiling die Hardwareleistung erschließen.