Chercheurs AWS a présenté une nouvelle méthode d’évaluation des biais dans les algorithmes de reconnaissance faciale lors de la conférence européenne de cette année sur la vision par ordinateur (ECCV), qui ne nécessite pas de données avec des annotations d’identité. Les tests montrent que, malgré la limitation de la méthode à estimer les performances d’un modèle sur des données provenant de divers groupes démographiques, ces estimations sont suffisamment fiables pour identifier les écarts de performances qui indiquent un biais.
Au cours des dernières années, biais algorithmique est devenu un sujet clé de la recherche en intelligence artificielle. Lorsqu’il est utilisé sur des personnes d’origines raciales ou ethniques différentes, le biais d’un logiciel de reconnaissance faciale est décrit comme un écart dans les performances du logiciel.
Le moyen le plus simple de déterminer si un algorithme de reconnaissance faciale est biaisé est de l’entraîner sur un échantillon important de visages humains de différentes données démographiques, puis d’examiner les résultats. Cependant, cela nécessite la collecte de données identitaires annotées, ce qui est d’un coût prohibitif, notamment à grande échelle pour évaluer une machine de reconnaissance faciale.
Une approche pour évaluer le biais dans les systèmes de reconnaissance faciale sans utiliser d’annotations d’identification est présentée dans un étude récente par Amazon. Leurs résultats démontrent que, malgré la simple estimation des performances d’un modèle sur des données provenant de différents groupes démographiques, la méthode suggérée trouve efficacement des différences de performances suggérant un biais. Cette découverte surprenante soulève la possibilité d’un paradigme d’évaluation qui devrait permettre aux développeurs de logiciels de reconnaissance faciale de tester considérablement plus facilement leurs algorithmes de biais.
AWS a mis à disposition du code pour aider à lutter contre les biais dans les modèles d’apprentissage automatique. En utilisant des ensembles de données où des informations démographiques spécifiques avaient été supprimées pour générer des biais, les chercheurs ont formé des programmes de reconnaissance faciale. Dans chaque circonstance, leur méthode a révélé avec précision les performances différentielles dans les groupes démographiques cachés.
Ils ont opposé leur approche à Étalonnage bayésien, la méthode reconnue par l’industrie pour prédire les résultats des modèles de ML. Leurs résultats montrent que la méthode proposée surpasse régulièrement le calibrage bayésien, parfois par une marge significative, car elle n’a utilisé que des données non annotées.
La méthodologie développée par les chercheurs d’AWS est destinée à aider les professionnels de l’IA qui travaillent sur la reconnaissance faciale ou d’autres tâches biométriques similaires à assurer l’équité de leurs modèles.
)