Accélérer une machine à racisme.
Portraits suspects
Il y a beaucoup d’utilisations potentiellement – dirons-nous – problématiques pour l’IA, mais en utiliser une pour générer des croquis de police ? Maintenant, c’est juste demander des ennuis.
Comme Vice rapportsdes développeurs indépendants ont créé un programme appelé “Forensic Sketch AI-rtist” qui utilise le texte DALL-E 2 d’OpenAI pour imager l’IA afin de créer des croquis composites “hyperréalistes” de suspects.
Selon les développeurs, ils n’ont pas encore publié le programme, mais “prévoient de contacter les services de police afin d’avoir des données d’entrée” à tester, ont-ils déclaré. Vice dans un e-mail commun.
Du côté client, le programme fonctionne en présentant aux utilisateurs un modèle à remplir qui demande le sexe, l’âge, la couleur de la peau, les cheveux, les sourcils, les yeux, le nez, la barbe et même une description de la mâchoire d’un suspect. Une fois rempli, tout ce qu’un utilisateur a à faire est de choisir le nombre d’images qu’il souhaite et de cliquer sur “générer un profil”.
À partir de là, le système génère des croquis à l’aide de DALL-E d’OpenAI. Voilà, justice !
Préjugés sur préjugés
Mais selon les experts, cette approche est intrinsèquement erronée et en contradiction avec la façon dont les humains se souviennent réellement des visages.
“La recherche a montré que les humains se souviennent des visages de manière holistique, et non caractéristique par caractéristique”, a déclaré Jennifer Lynch de l’Electronic Frontier Foundation. Vice.
“Un processus d’esquisse qui repose sur des descriptions de caractéristiques individuelles comme ce programme d’IA peut donner un visage étonnamment différent de celui de l’agresseur”, a-t-elle ajouté, notant qu’une fois qu’un témoin voit un composite généré, il peut “remplacer” ce dont il s’est réellement souvenu, surtout si c’est étrangement réaliste comme une IA.
Et cela ne touche même pas au potentiel du programme d’IA à exacerber les préjugés – en particulier raciaux – qui peuvent déjà être déjà assez graves dans les croquis créés par l’homme. Fait inquiétant, le DALL-E 2 d’OpenAI a été bien documenté pour produire des images stéréotypées et carrément résultats racistes et misogynes.
“Typiquement, ce sont les groupes marginalisés qui sont déjà encore plus marginalisés par ces technologies à cause des biais existants dans les ensembles de données, à cause du manque de surveillance, parce qu’il y a beaucoup de représentations des personnes de couleur sur Internet qui sont déjà très raciste et très injuste”, a expliqué Sasha Luccioni, chercheuse chez Hugging Face, une entreprise et une communauté en ligne qui plateforme des projets d’IA open source. “C’est comme une sorte de facteur aggravant.”
L’effet ultime est une chaîne continue de préjugés : celle du témoin, des flics qui les interrogent, et maintenant, d’une IA centralisée et défectueuse capable de propager ses préjugés inhérents aux clients potentiels dans tout le pays. À son tour, tout ce qu’il génère, quelle que soit son exactitude, ne fera que renforcer les préjugés des personnes et des systèmes impliqués dans le processus – et du public avec qui ces images seront partagées.
En savoir plus sur l’IA générative : Les flics téléchargent une image du suspect générée à partir de l’ADN, puis la suppriment après une critique de masse
