Les scientifiques utilisent des algorithmes d’apprentissage en profondeur pour prédire l’idéologie politique en fonction des caractéristiques faciales

Une nouvelle étude au Danemark a utilisé des techniques d’apprentissage automatique sur des photographies de visages de politiciens danois pour prédire si leur idéologie politique est de gauche ou de droite. La précision des prédictions était de 61 %. Les visages des politiciens de droite étaient plus susceptibles d’avoir des expressions faciales heureuses et moins susceptibles d’avoir des expressions faciales neutres. Les femmes avec des visages attrayants étaient plus susceptibles d’être de droite, tandis que les femmes dont les visages montraient du mépris étaient plus susceptibles d’être de gauche. L’étude a été publiée dans Rapports scientifiques.

Le visage humain est très expressif. Il utilise un réseau complexe de muscles pour diverses fonctions telles que les expressions faciales, la parole, la mastication et les mouvements oculaires. Il y a plus de 40 muscles individuels dans le visage, ce qui en fait la région avec la plus forte concentration de muscles. Ces muscles nous permettent de transmettre un large éventail d’émotions et d’effectuer des mouvements complexes qui sont essentiels à la communication et aux activités quotidiennes.

Les humains déduisent une grande variété d’informations sur les autres personnes en fonction de leurs visages. Ceux-ci incluent des jugements sur la personnalité, l’intelligence, l’idéologie politique, l’orientation sexuelle et de nombreuses autres caractéristiques psychologiques et sociales. Cependant, alors que les humains font ces inférences presque automatiquement dans leur vie quotidienne, il reste controversé quelles caractéristiques exactes des visages sont utilisées pour faire ces inférences et comment.

L’auteur de l’étude, Stig Hebbelstrup, et ses collègues ont voulu explorer s’il était possible d’utiliser des réseaux de neurones informatiques pour prédire l’idéologie politique à partir d’une seule photographie faciale. Les réseaux de neurones computationnels sont une classe d’algorithmes inspirés par la structure et la fonction des cerveaux biologiques. Ils sont constitués de nœuds interconnectés, appelés neurones ou unités artificielles, organisés en couches. Chaque neurone prend l’entrée de la couche précédente, applique une fonction et transmet la sortie à la couche suivante.

L’objectif principal des réseaux de neurones informatiques est d’apprendre des modèles et des relations au sein des données en ajustant les connexions entre les neurones. Ce processus d’apprentissage, souvent appelé formation ou optimisation, est généralement réalisé à l’aide d’une technique appelée rétropropagation. Cela signifie qu’après qu’une erreur est commise dans le résultat, des modifications sont appliquées aux fonctions des nœuds précédents afin de la corriger.

Pour former ce réseau de neurones, les chercheurs ont utilisé un ensemble de photos accessibles au public de candidats politiques aux élections municipales danoises de 2017. Ces photos ont été fournies à la Danish Broadcasting Corporation (DR) pour être utilisées dans la communication publique par les candidats eux-mêmes. Les auteurs notent que ces élections se sont déroulées dans un cadre non polarisé. Les candidats n’ont pas été hautement sélectionnés lors d’élections compétitives au sein de leurs partis et sont donc qualifiés de « derniers amateurs en politique » par les politologues danois.

L’ensemble de données initial consistait en 5 230 photographies faciales. Cependant, les chercheurs ont exclu les photos de candidats représentant des partis aux idéologies moins définies, qui ne pouvaient être classées comme de gauche ou de droite, les photos de visages inadaptées au traitement automatique et celles qui n’étaient pas en couleur.

Un auteur qui ne connaissait pas les noms ou les partis du candidat a ensuite inspecté manuellement les photos et exclu les photos des candidats qui ne semblaient pas être d’origine ethnique européenne. La raison de cette exclusion était que les candidats d’origine non européenne, bien que faciles à identifier visuellement, étaient 2,5 fois plus susceptibles de représenter des partis de gauche.

Enfin, les auteurs ont exclu les photos de candidats portant la barbe, notant que la barbe peut également nuire à la détection des expressions faciales et à certaines autres analyses. L’algorithme a été entraîné séparément sur des photos d’hommes et de femmes. L’ensemble de données final se composait de 4647 photos, dont 1442 étaient des femmes.

Hebbelstrup et ses collègues ont testé la précision de l’algorithme sur un échantillon supplémentaire de parlementaires danois. Cet échantillon a été divisé en hommes et en femmes avec un algorithme appliqué séparément à chacun, mais aucune autre exclusion n’a été effectuée. Toutes les photos ont été modifiées pour s’assurer qu’elles ne montrent que les visages et pour exclure tout autre élément qui pourrait être utilisé pour déduire une idéologie (comme les couleurs de fond ou les vêtements).

Les chercheurs ont créé des mesures de l’état émotionnel exprimé par le visage à l’aide de l’API Face des services cognitifs Azure de Microsoft. Les résultats ont montré que 80% des visages montraient du bonheur, tandis que 19% avaient des expressions neutres. Les auteurs attribuent cela à l’incapacité de l’algorithme à identifier avec précision d’autres types d’expressions faciales. De plus, ils ont utilisé des algorithmes pour évaluer l’attractivité des candidats et la masculinité des candidats masculins.

Les résultats ont montré que le réseau neuronal formé sur ces données était précis à 61 % pour prédire l’idéologie basée sur une photographie faciale chez les hommes et les femmes. En d’autres termes, la précision de l’algorithme de prédiction est meilleure que le hasard.

L’analyse des caractéristiques faciales qui étaient cruciales pour prendre des décisions sur l’idéologie a révélé que la masculinité et l’attractivité n’étaient pas liées à l’idéologie chez les hommes. Cependant, les femmes plus attirantes étaient plus susceptibles d’être des représentantes de partis de droite. Les visages heureux, hommes et femmes, étaient également plus susceptibles d’être des représentants de partis de droite, tandis que les visages aux expressions neutres étaient plus susceptibles d’être de gauche. Bien que rares, les femmes dont les visages montraient du mépris étaient plus susceptibles d’être des représentantes de partis de gauche.

“Nos résultats ont confirmé la menace pour la vie privée posée par les approches d’apprentissage en profondeur. En utilisant un réseau pré-développé et facilement disponible qui a été formé et validé exclusivement sur des données accessibles au public, nous avons pu prédire l’idéologie de la personne photographiée environ 60% du temps dans deux échantillons », concluent les chercheurs.

«Nous fournissons également la première démonstration que l’idéologie prédite par le modèle se connecte à des caractéristiques indépendamment classables du visage. Pour les femmes (mais pas les hommes), des scores d’attractivité élevés ont été trouvés parmi ceux que le modèle a identifiés comme susceptibles d’être conservateurs. Ces résultats sont crédibles étant donné que des recherches antérieures utilisant des évaluateurs humains ont également mis en évidence un lien entre l’attractivité et le conservatisme.

L’étude apporte une contribution précieuse à la compréhension scientifique des liens entre les idéologies et l’apparence. Cependant, il convient de noter qu’il a également des limites dont il faut tenir compte. Notamment, les auteurs ne fournissent pas de pourcentages de politiciens de droite et de gauche dans l’échantillon, mais utilisent une chance de lancer comme référence.

Cependant, si l’une de ces catégories d’hommes politiques constitue plus de 60 % de l’échantillon de photographies, le simple fait de classer tous les candidats comme appartenant à la catégorie dominante produirait une plus grande précision que celle obtenue par l’algorithme de l’étude. Cela mettrait les résultats sous un jour différent. De plus, tous les politiciens dont les photographies ont été incluses dans l’étude étaient danois. Il est possible que les résultats sur d’autres populations ne soient pas les mêmes.

L’étude, “Utiliser l’apprentissage en profondeur pour prédire l’idéologie à partir de photographies faciales : expressions, beauté et informations extra‑faciales», a été écrit par Stig Hebbelstrup, Rye Rasmussen, Steven G. Ludeke et Robert Klemmsen.