Warum steigt die Effizienz der Gesamtverarbeitung bei der Inferenz tendenziell, wenn die Batchgröße (Zahl der gemeinsam verarbeiteten Eingaben) erhöht wird?

Antwort: C. Weil einmal gelesene Gewichte für die Berechnung mehrerer Eingaben genutzt werden, die arithmetische Intensität steigt und die Recheneinheiten besser ausgelastet werden

Bei Batchgröße B wird aus dem Produkt der Gewichtsmatrix mit B Vektoren ein Produkt der Gewichtsmatrix mit einer Matrix der Breite B. Das Lesen der Gewichte bleibt gleich, die Rechenarbeit wächst aber um den Faktor B; die arithmetische Intensität steigt daher ebenfalls etwa um B, und die Verarbeitung nähert sich vom speicherbegrenzten dem rechenbegrenzten Bereich. Bei der Inferenz auf Servern wird die GPU effizient genutzt, indem die Anfragen vieler Nutzer gebündelt verarbeitet werden.