AI-hardware en softwarestack

Welke uitspraak over de belangrijkste taak van AI-compilers zoals XLA, TVM en de compilerfunctie van PyTorch is juist?

  1. AHet antwoord van het AI-model in menselijke taal vertalen
  2. BAutomatisch trainingsdata verzamelen
  3. CDe rekengraaf van het model analyseren, bewerkingen samenvoegen, de dataopstelling en tiling optimaliseren en code voor de doelhardware genereren
Antwoord en toelichting tonen

Antwoord: C. De rekengraaf van het model analyseren, bewerkingen samenvoegen, de dataopstelling en tiling optimaliseren en code voor de doelhardware genereren

Een AI-compiler neemt het model als rekengraaf van bewerkingen en datastromen, voegt bewerkingen samen waar dat kan, verwijdert overbodige berekeningen, kiest de geheugenopstelling, stelt tilegroottes af enz., en genereert kernels die bij het doel, zoals een GPU of NPU, passen. Voor hetzelfde model kan voor elke hardware automatisch optimale code worden gemaakt, wat de moeite van handmatige optimalisatie sterk vermindert.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Welke uitspraak over de "rekengraaf" (computational graph) in AI-frameworks en -compilers is juist?
  2. Welke uitspraak over ONNX is juist?
  3. Wat is de belangrijkste reden dat inferentie-runtimes zoals TensorRT en ONNX Runtime sneller kunnen zijn dan inferentie rechtstreeks met een trainingsframework?
  4. Waarom kosten elementgewijze bewerkingen zoals ReLU en layer normalization in AI-berekeningen gemakkelijk veel tijd in verhouding tot het aantal bewerkingen?
  5. Waarom wordt bij convolutionele neurale netwerken de convolutie soms met methoden zoals im2col omgezet in een matrixproduct?

Vergelijkingen bij dit onderwerp