Qu'est-ce que Fonction d'activation ?
Fonction appliquée, dans chaque neurone d'un réseau de neurones, à la somme pondérée des entrées (plus le biais). L'utilisation d'une fonction non linéaire permet à un réseau à plusieurs couches de représenter des relations complexes. Dans les couches cachées, on utilise souvent ReLU ; dans la couche de sortie, on utilise souvent la fonction sigmoïde pour la classification binaire, la fonction softmax pour la classification multiclasse et la fonction identité (qui ne fait rien) pour la régression.
Nom japonais: 活性化関数
« Fonction d'activation » apparaît dans 5 questions d'entraînement réparties sur 2 thèmes, dont Bases de l'apprentissage automatique, Pile matérielle et logicielle de l'IA.
Domaine: Bases de l'apprentissage automatique
Pourquoi une fonction non linéaire est nécessaire
Sans fonction d'activation (avec la fonction identité), chaque couche se réduit à une multiplication par une matrice et à l'addition d'un vecteur. Comme une suite de transformations linéaires se ramène toujours à une seule transformation linéaire, un réseau, aussi profond soit-il, ne peut alors représenter qu'une expression du premier degré des entrées. Intercaler des fonctions d'activation non linéaires permet de représenter des relations qu'une seule droite ne sépare pas, comme XOR, et des relations encore plus complexes.
Fonctions courantes
La fonction sigmoïde σ(z) = 1 ÷ (1 + e^(−z)) produit une sortie comprise entre 0 et 1, que l'on peut traiter comme une probabilité. tanh produit une sortie comprise entre −1 et 1, centrée sur 0. ReLU(z) = max(0, z) est une fonction simple qui renvoie telles quelles les entrées positives et 0 pour les entrées nulles ou négatives ; légère à calculer et peu sujette à la disparition du gradient, elle est la norme dans les couches cachées des réseaux profonds. Des versions lissées de ReLU, comme GELU, sont aussi très utilisées.
Lien avec la disparition du gradient
Pour des entrées de grande valeur absolue, la fonction sigmoïde et tanh saturent à une valeur constante et leur dérivée devient presque nulle. Comme la dérivée de la sigmoïde ne dépasse pas 0,25, l'empilement des couches fait diminuer le gradient par multiplications successives lors de la rétropropagation, et les couches proches de l'entrée apprennent difficilement (disparition du gradient). ReLU, dont la dérivée vaut 1 sur la partie positive, réduit peu le gradient. En revanche, un neurone dont l'entrée est toujours négative garde un gradient nul et cesse d'apprendre ; il existe donc aussi des variantes comme Leaky ReLU, qui ont une petite pente sur la partie négative.
Questions fréquentes
La fonction softmax est-elle une fonction d'activation ?
On la considère comme l'une des fonctions d'activation de la couche de sortie en classification multiclasse. Mais alors que les autres fonctions d'activation se calculent séparément pour chaque neurone, la fonction softmax utilise toutes les valeurs de la couche de sortie pour les convertir en probabilités de somme 1.
A-t-elle un rapport avec l'« activation » des procédés de fabrication des semi-conducteurs ?
Aucun. La fonction d'activation des réseaux de neurones tire son nom de l'imitation de l'excitation (le déclenchement) des neurones biologiques. Dans la fabrication des semi-conducteurs, l'activation désigne le fait de placer par traitement thermique les impuretés implantées sur les sites du réseau cristallin, afin qu'elles produisent des porteurs.