AI-hardware en softwarestack

Welke uitspraak over ONNX is juist?

  1. ADe naam van een speciale halfgeleiderchip voor AI
  2. BEen methode om trainingsdata voor AI te comprimeren
  3. CEen gemeenschappelijk modelformaat voor het uitwisselen van modellen tussen verschillende frameworks en inferentie-runtimes
Antwoord en toelichting tonen

Antwoord: C. Een gemeenschappelijk modelformaat voor het uitwisselen van modellen tussen verschillende frameworks en inferentie-runtimes

ONNX (Open Neural Network Exchange) is een standaard om de rekengraaf en gewichten van een model in een gemeenschappelijk formaat weer te geven. Een model dat bijvoorbeeld met PyTorch is getraind kan naar ONNX worden geëxporteerd en door inferentie-runtimes van andere bedrijven en door tools voor uiteenlopende hardware worden ingelezen en uitgevoerd. Omdat de trainingsomgeving en de inferentieomgeving worden losgekoppeld, is het gemakkelijk per apparaat het optimale uitvoeringsmechanisme te kiezen.

Dit onderwerp oefenen Naar de onderwerppagina

Meer vragen over AI-hardware en softwarestack

  1. Wat is de belangrijkste reden dat inferentie-runtimes zoals TensorRT en ONNX Runtime sneller kunnen zijn dan inferentie rechtstreeks met een trainingsframework?
  2. Waarom kosten elementgewijze bewerkingen zoals ReLU en layer normalization in AI-berekeningen gemakkelijk veel tijd in verhouding tot het aantal bewerkingen?
  3. Waarom wordt bij convolutionele neurale netwerken de convolutie soms met methoden zoals im2col omgezet in een matrixproduct?
  4. Welke uitspraak over het verschil tussen post-training quantization (PTQ) en quantization-aware training (QAT) is juist?
  5. Wat is het doel van "kalibratie" bij post-training quantization waarbij activaties naar INT8 worden gekwantiseerd?

Vergelijkingen bij dit onderwerp