Les systèmes d’IA sont déjà experts dans l’art de tromper et de manipuler les humains

MADRID, le 10 mai. (EUROPA PRESSE) –

De nombreux systèmes d’intelligence artificielle (IA) ont déjà appris à tromper les humains, même les systèmes qui Ils ont été formés pour être utiles et honnêtes.

Dans un article de synthèse publié dans la revue ‘Motifs’ du département de physique du MIT, des chercheurs décrivent les risques de tromperie des systèmes d’intelligence artificielle et appellent les gouvernements à élaborer des réglementations strictes pour résoudre ce problème dans les plus brefs délais.

“Les développeurs d’IA ne comprennent pas parfaitement les causes des comportements indésirables de l’IA, tels que la tromperie”, réfléchit-il. c’est une déclaration premier auteur Peter S. Park, chercheur postdoctoral sur la sécurité existentielle de l’IA au MIT. “Mais d’une manière générale, nous pensons que la tromperie de l’IA survient parce qu’une stratégie basée sur la tromperie s’est avérée être le meilleur moyen de bien performer dans la tâche de formation de l’IA donnée. La tromperie les aide à atteindre leurs objectifs.”

Park et son équipe ont analysé la littérature en se concentrant sur la manière dont les systèmes d’intelligence artificielle diffusent de fausses informations, par le biais de tromperies apprises, dans lequel ils apprennent systématiquement à manipuler les autres.

L’exemple le plus frappant de tromperie de l’IA que les chercheurs ont découvert dans leur analyse est CICERO de Meta, un système d’IA conçu pour jouer au jeu Diplomacy, qui est un jeu de conquête du monde qui implique la création d’alliances. Bien que Meta prétende avoir formé CICERO à être « largement honnête et serviable » et à “Je ne te poignarderai jamais intentionnellement dans le dos” à ses alliés humains tout en jouant, les données publiées par la société parallèlement à son article scientifique ont révélé que CICERO ne jouait pas loyalement.

“Nous avons découvert que l’IA de Meta avait appris à être un maître de la tromperie”, explique Park. “Alors que Meta a réussi à entraîner son IA pour gagner dans le jeu de Diplomatie (CICERO se classe parmi les 10 % des meilleurs joueurs humains ayant joué plus d’une partie), Meta n’a pas réussi à entraîner son IA à gagner honnêtement.”

D’autres systèmes d’IA ont démontré leur capacité à bluffer lors d’une partie de poker Texas Hold’em contre des joueurs humains professionnels et à simuler des attaques lors du jeu de stratégie Starcraft II. vaincre leurs opposants et déformer leurs préférences pour obtenir un avantage dans les négociations économiques.

Bien qu’il puisse sembler inoffensif pour les systèmes d’IA de tricher dans les jeux, cela peut conduire à des « progrès dans les capacités de tromperie de l’IA » qui pourraient évoluer vers des formes plus avancées de tromperie de l’IA à l’avenir, ajoute Park.

Les chercheurs ont découvert que certains systèmes d’IA ont même appris à tricher aux tests destinés à évaluer leur sécurité. Dans une étude, des organismes d’IA dans un simulateur numérique ont « fait le mort » pour tromper un test conçu pour éliminer les systèmes d’IA à réplication rapide. “En faisant systématiquement fi des tests de sécurité que lui imposent les développeurs humains et les régulateurs, Une IA trompeuse peut bercer les humains dans un faux sentiment de sécurité“, ajoute Park.

Les principaux risques à court terme d’une IA trompeuse sont notamment de permettre à des acteurs hostiles de commettre des fraudes et de perturber les élections, prévient Park. Au fil du temps, si ces systèmes parviennent à perfectionner cet ensemble inquiétant de compétences, les humains pourraient en perdre le contrôle, dit-il.

“En tant que société, nous avons besoin d’autant de temps que possible pour nous préparer à la tromperie la plus avancée des futurs produits d’IA et des modèles open source”, note encore Park. “À mesure que les capacités trompeuses des systèmes d’IA deviennent plus avancées, “Les dangers qu’ils font peser sur la société vont devenir de plus en plus graves.”

Même si Park et ses collègues ne croient pas que la société dispose encore de mesures adéquates pour lutter contre la tromperie de l’IA, ils sont encouragés par le fait que les décideurs politiques ont commencé à prendre le problème au sérieux à travers des mesures telles que la loi européenne sur l’IA et le décret du président Biden sur l’IA. Mais il reste à voir, a déclaré Park, si les politiques conçues pour atténuer la tromperie de l’IA peuvent être strictement appliquées, étant donné que les développeurs d’IA Ils ne disposent pas encore des techniques nécessaires pour garder ces systèmes sous contrôle.

“Si interdire la tromperie de l’IA est politiquement irréalisable à l’heure actuelle, nous recommandons que les systèmes d’IA trompeurs soient classés comme à haut risque”, conclut Park.