Ein Modell wird mit 10.000 Trainingsdatenpunkten und einer Mini-Batch-Größe (Batchgröße) von 50 trainiert. Wie viele Gewichtsaktualisierungen gibt es in einer Epoche?

Antwort: B. 200

Eine Epoche ist die Trainingseinheit, in der die gesamten Trainingsdaten einmal verwendet wurden. Beim Mini-Batch-Training wird für jeden Mini-Batch der Gradient berechnet und werden die Gewichte einmal aktualisiert; die Zahl der Aktualisierungen pro Epoche (die Zahl der Iterationen) beträgt daher 10.000 ÷ 50 = 200. Training über 10 Epochen ergibt insgesamt 2000 Aktualisierungen. Mini-Batch-Training liegt zwischen dem Batch-Training, das einmal mit allen Daten aktualisiert, und dem Online-Training, das nach jedem einzelnen Datenpunkt aktualisiert.