KI-Hardware und Software-Stack
Welche Aussage zu „2:4 Structured Sparsity“, die von Matrix-Recheneinheiten von GPUs unterstützt wird, ist richtig?
- ADie Gewichte werden in Vierergruppen unterteilt und in jeder Gruppe werden zwei auf 0 gesetzt, ein festes Sparsity-Muster, bei dem die Matrix-Recheneinheit Nullen überspringt und bis zu etwa doppelt so schnell rechnet
- BZwei Viertel der Gewichte werden bei jeder Berechnung zufällig ausgewählt
- CDie Matrix wird in 2 Zeilen und 4 Spalten unterteilt und berechnet
Antwort und Erläuterung anzeigen
Antwort: A. Die Gewichte werden in Vierergruppen unterteilt und in jeder Gruppe werden zwei auf 0 gesetzt, ein festes Sparsity-Muster, bei dem die Matrix-Recheneinheit Nullen überspringt und bis zu etwa doppelt so schnell rechnet
Bei 2:4-Sparsity wird beim Training oder bei der Anpassung dafür gesorgt, dass von je vier aufeinanderfolgenden Gewichten stets zwei 0 sind. Es genügt, die beiden von 0 verschiedenen Werte und eine kleine Information über ihre Position zu speichern; der Speicherbedarf sinkt, und die Matrix-Recheneinheit überspringt Multiplikationen mit 0 und rechnet etwa doppelt so schnell. Durch das feste Muster wird eine Beschleunigung in Hardware möglich, die bei verstreuter Sparsity schwierig ist.