Quel point faut-il surveiller lorsque l'on construit un modèle qui prédit, à partir des dossiers de candidature, si un candidat sera recruté, en prenant comme bonnes réponses les décisions de recrutement passées ?

Réponse : A. Si les décisions passées comportent des biais liés au sexe ou à d'autres critères, le modèle risque d'apprendre ces biais et de les reproduire tels quels, voire de les renforcer

Un modèle d'apprentissage automatique apprend telles quelles les tendances présentes dans les données d'apprentissage ; il apprend donc aussi les discriminations contenues dans les décisions passées et les biais des données, comme le faible nombre de données concernant un groupe particulier. Ajouter des données biaisées ne fait pas disparaître le biais, et même en supprimant la colonne du sexe, le biais peut subsister par l'intermédiaire de caractéristiques fortement liées à celle-ci, comme le parcours ou les loisirs. Il importe de revoir la façon de collecter les données et d'évaluer l'équité, par exemple en vérifiant les taux d'erreur de chaque groupe.