Qu'est-ce que Checkpointing de gradients ?

Méthode qui ne conserve qu'une partie des résultats intermédiaires de la propagation avant et recalcule le reste lorsqu'il est nécessaire à la rétropropagation, réduisant ainsi la mémoire au prix d'un surcroît de calcul.

Nom japonais: 勾配チェックポイント

Domaine: Pile matérielle et logicielle de l'IA