Quelle définition du point de contrôle des gradients (recalcul des activations) utilisé en entraînement est correcte ?

Réponse : A. Ne conserver qu'une partie des résultats intermédiaires de la propagation avant et recalculer le reste au besoin pendant la rétropropagation, échangeant du calcul supplémentaire contre une réduction de mémoire

La rétropropagation nécessite les résultats intermédiaires de la propagation avant de chaque couche, mais les conserver tous fait croître la mémoire proportionnellement au nombre de couches et à la taille du lot. Le point de contrôle des gradients ne conserve que les résultats de certaines couches et, lorsque la rétropropagation atteint un segment, recalcule la propagation avant à partir du point sauvegardé pour reconstituer les valeurs nécessaires. Au prix d'environ une propagation avant supplémentaire, la mémoire des activations diminue fortement.