Nederlands
Menu

AI-hardware en softwarestack

Waarom wordt bij convolutionele neurale netwerken de convolutie soms met methoden zoals im2col omgezet in een matrixproduct?

  1. AOmdat het aantal bewerkingen na omzetting tien keer kleiner wordt
  2. BOmdat sterk geoptimaliseerde matrixproductbibliotheken en matrixrekeneenheden zoals tensor cores kunnen worden gebruikt
  3. COmdat het geheugengebruik na omzetting altijd afneemt
Antwoord en toelichting tonen

Antwoord: B. Omdat sterk geoptimaliseerde matrixproductbibliotheken en matrixrekeneenheden zoals tensor cores kunnen worden gebruikt

im2col maakt een grote matrix waarin de ingangswaarden van elk convolutievenster in een kolom staan en berekent de convolutie als product met de matrix van gerangschikte filters. Doordat de vensters overlappen wordt de ingang gedupliceerd en neemt het geheugen toe, maar omdat matrixproductbibliotheken die al tientallen jaren zijn geoptimaliseerd en matrixrekeneenheden zoals tensor cores rechtstreeks kunnen worden gebruikt, wordt het over het geheel vaak sneller. Er bestaan ook implementaties die hetzelfde doen zonder duplicatie.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over het verschil tussen post-training quantization (PTQ) en quantization-aware training (QAT) is juist?
  2. Wat is het doel van "kalibratie" bij post-training quantization waarbij activaties naar INT8 worden gekwantiseerd?
  3. Bij de kwantisatie van grote taalmodellen neemt de nauwkeurigheid gemakkelijk af als slechts enkele kanalen grote uitschieters hebben. Welke maatregel is gebruikelijk?
  4. Waarom maakt W4A16-kwantisatie, waarbij alleen de gewichten 4 bits krijgen en de activaties FP16 blijven, de decode bij de inferentie van grote taalmodellen bijzonder snel?
  5. Welke uitspraak over pruning (snoeien) van neurale netwerken is juist?

Vergelijkingen bij dit onderwerp