Ils découvrent que l’IA est entraînée avec un catalogue de milliers d’images d’abus sexuels sur mineurs

LAION-5B Il s’agit d’une base de données contenant plus de 5 000 millions d’images extraites automatiquement d’Internet. Cette « tache » dans le catalogue permet à l’IA de générer plus facilement des montages de pornographie enfantine, et en même temps rejette la théorie selon laquelle ces outils étaient censés fonctionner pour les produire : combiner la pornographie adulte avec des photographies génériques d’enfants. Mais les experts ont constaté qu’en réalité, ce n’est pas le cas. Ils ont déjà dans leur « cerveau » des exemples clairs d’abus avec lesquels recréer et produire des montages.

L’organisation allemande à but non lucratif LAION, propriétaire du catalogue, précise sur son site Internet que sa base de données “n’est pas conservée” et que le “caractère non sélectionné de l’ensemble de données” des liens qu’elle contient peut conduire à un « contenu inconfortable et dérangeant ».

Pour le moment, LAION a retiré la base de données, pour s’assurer que le contenu qu’ils partagent “est sûr avant de le republier”. Les photographies d’abus sexuels sur enfants trouvées ne représentent qu’une petite fraction de la base de données LAION-5B, qui contient des milliards d’images. Les chercheurs américains ont expliqué qu’elles avaient probablement été ajoutées involontairement lorsque les créateurs de la base de données prenaient des images des réseaux sociaux et d’autres pages Web.

Cependant, bien qu’il s’agisse d’une petite partie de données, la découverte de ce contenu démontre le manque actuel de connaissances sur l’ensemble des données derrière les outils d’IA les plus puissants. Par exemple, OpenAI n’a jamais précisé où il obtient son matériel de formation ChatGPT ou le reste de ses outils.

Filtres pour éviter la création de contenus criminels

Dans le cas de Stable Diffusion, son créateur – Stability AI – inclut des contrôles et une liste de mots interdits pour empêcher que le moteur soit utilisé pour créer des images montrant des scènes d’abus sexuels sur des mineurs. L’entreprise explique également que dans les dernières versions elle n’a utilisé qu’une partie des images du catalogue LAION-5B lors de la formation.

 Son directeur exécutif, Emad Mostaque, s’est défendu l’année dernière dans Le bord expliquant que “il est de la responsabilité des gens s’ils sont éthiques, moraux et légaux dans la manière dont ils exploitent cette technologie”. “Les mauvaises choses que les gens créent… représenteront un très, très petit pourcentage de l’utilisation totale”, expliquait-il alors.

Ce n’est pas la première fois que Stability AI est confronté à une controverse sur la manière dont il entraîne ses outils. L’entreprise a déjà été signalée pour avoir utilisé du matériel protégé par le droit d’auteur pour entraîner ses modèles.