Pourquoi il est si dangereux pour l’intelligence artificielle d’apprendre à mentir : « Ils nous tromperont comme le font les riches » | Technologie

Un joueur de poker a de mauvaises cartes mais fait la plus grosse mise. Le reste des joueurs est effrayé par le bluff et concède la victoire. Un acheteur souhaite négocier un produit, mais ne montre aucun intérêt. Regardez d’abord d’autres choses et demandez. Ensuite, sans grande intention, vous demandez ce que vous voulez vraiment pour obtenir un prix moins cher. Ces deux exemples réels ne proviennent pas d’humains, mais de modèles réalisés avec l’intelligence artificielle (IA). Un nouvel article scientifique intitulé Canulars liés à l’IA : une étude d’exemples, de risques et de solutions potentielles dans le magazine Motifs analyse des cas connus de modèles qui ont menti, dissimulé ou flatté des humains pour atteindre leurs objectifs. Les robots ne sont conscients de rien et recherchent uniquement le meilleur moyen d’obtenir ce qu’ils recherchent, mais les auteurs estiment que ces tromperies naissantes prédisent des résultats terribles si la législation ne limite pas les options de l’IA.

« À l’heure actuelle, ma plus grande crainte concernant la tromperie de l’IA est qu’une IA autonome et super intelligente utilise ses capacités de tromperie pour former une coalition croissante d’alliés humains et, éventuellement, utilise cette coalition pour accéder au pouvoir, dans la poursuite de l’objectif à long terme d’une IA. une cible mystérieuse qui ne serait connue qu’après coup », déclare Peter S. Park, chercheur postdoctoral en sécurité existentielle de l’IA au Massachusetts Institute of Technology (MIT) et l’un des principaux auteurs de l’article.

Cette grande peur de Park est une hypothèse, mais nous l’avons déjà vue dans une IA programmée pour un jeu. Meta a annoncé en 2022 que son modèle Cicero avait battu ses rivaux humains en Diplomatieun jeu de stratégie qui mélange les détails du Risquele poker et l’émission de télévision Survivants, selon les mots de l’entreprise. Comme dans la vraie diplomatie, l’une des ressources est de mentir et de dissimuler. Les employés de Meta ont remarqué que lorsque Cicéron mentait, ses pièces devenaient pires et ils le programmaient pour qu’il soit plus honnête. Mais ce n’était pas vraiment le cas.

Peter S. Park et ses co-auteurs ont également testé l’honnêteté de Cicéron. « Il appartenait aux auteurs de l’article de corriger la fausse déclaration de Meta sur la prétendue honnêteté de Cicéron qui avait été publié dans Science”. Le contexte politique du jeu Diplomatie C’est un risque bien moindre que les contextes réels avec leurs élections et leurs conflits militaires. Mais il y a trois faits à garder à l’esprit, explique Park : « Premièrement, Meta a entraîné avec succès son IA pour exceller dans la poursuite du pouvoir politique, même dans un jeu. Deuxièmement, Meta a essayé, mais a échoué, de former cette IA pour être honnête. Et troisièmement, il appartenait à des scientifiques extérieurs indépendants de démystifier, longtemps après coup, le mensonge de Meta selon lequel son IA en quête de pouvoir était censée être honnête. La combinaison de ces trois faits est, à mon avis, une source d’inquiétude suffisante », a déclaré Park.

Comment ils mentent vraiment

Les chercheurs pensent que des modèles spécifiques d’IA ont montré qu’ils peuvent tromper de plusieurs manières : ils peuvent manipuler comme dans la diplomatie, feinter en disant qu’ils feront quelque chose alors qu’ils savent qu’ils ne le feront pas, bluffer comme au poker, marchander dans les négociations, faire le mort pour éviter d’être détecté ou tromper les évaluateurs humains en leur faisant croire que l’IA a fait ce qu’elle devrait alors qu’elle ne l’a pas fait.

Tous les types de tromperie n’impliquent pas ce type de connaissances. Parfois, et involontairement, les modèles d’IA sont des « courtisans » et suivent simplement l’opinion que chaque utilisateur souligne dans ses questions : « La flatterie pourrait conduire à de fausses croyances persistantes chez les humains. Les allégations flatteuses sont spécialement conçues pour attirer l’utilisateur. Lorsqu’un utilisateur rencontre ces réponses, il peut être moins susceptible de vérifier les faits. « À long terme, cela pourrait donner lieu à des croyances qui sont loin de la vérité », écrivent les auteurs dans l’article.

Personne ne sait avec certitude comment faire en sorte que ces modèles ne trompent pas, explique Park : « Avec notre niveau actuel de compréhension scientifique, personne ne peut entraîner de manière fiable de grands modèles de langage pour ne pas tromper. » De plus, de nombreux ingénieurs dans de nombreuses entreprises se consacrent à la création de modèles différents et plus puissants. Tout le monde n’a pas le même intérêt initial à ce que leurs robots soient honnêtes : « Certains ingénieurs prennent très au sérieux le risque de tromperie de l’IA, au point de préconiser ou de mettre en œuvre des mesures de sécurité liées à l’IA. D’autres ingénieurs ne prennent pas cela aussi au sérieux et estiment qu’appliquer un processus d’essais et d’erreurs suffira pour évoluer vers une IA sûre et non menteuse. Et il y en a encore d’autres qui refusent même d’accepter l’existence d’un risque de tromperie de l’IA », explique Park.

Ils l’utiliseront pour augmenter leur pouvoir

Dans l’article, ils comparent l’IA super intelligente à la façon dont les riches aspirent à obtenir de nouvelles parts de pouvoir : « Tout au long de l’histoire, les acteurs fortunés ont utilisé la tromperie pour accroître leur pouvoir », écrivent-ils. La façon dont Park clarifie cela permet de mieux comprendre à quel point le rôle d’une IA qui veut gagner du pouvoir peut être subreptice : « Les sociétés d’IA sont engagées dans une course incontrôlée pour créer une IA super intelligente qui surpasse les humains dans la plupart des domaines économiques et stratégiques. capacités pertinentes. Une IA de ce type, comme les riches, serait experte dans la réalisation de plans à long terme au service d’une recherche trompeuse du pouvoir sur diverses parties de la société, comme influencer les politiciens avec des informations incomplètes ou fausses, financer la désinformation dans les médias ou les enquêteurs. , et éluder toute responsabilité en utilisant les lois. Tout comme l’argent se traduit en pouvoir, de nombreuses capacités de l’IA, comme la tromperie, se traduisent également en pouvoir », explique Park.

Tous les universitaires ne partagent pas ce niveau de peur. Le professeur à l’Université d’Édimbourg Michael Rovatsos, s’adressant à SMC Espagne, estime que les dangers à long terme sont trop spéculatifs : « Je ne suis pas tellement convaincu que la capacité de tromperie crée un risque de perte de contrôle sur les systèmes d’IA, si elle est adéquate. la rigueur est appliquée dans sa conception ; Le vrai problème est qu’actuellement ce n’est pas le cas et que les systèmes sont lancés sur le marché sans ces contrôles de sécurité. “La discussion sur les implications à long terme des capacités trompeuses soulevée par l’article est très spéculative et fait de nombreuses hypothèses supplémentaires sur des choses qui peuvent ou non se produire.”

La solution que propose l’article pour que ces systèmes ne surpassent pas leurs créateurs est la législation. L’UE attribue à chaque système d’IA l’un des quatre niveaux de risque suivants : minime, limité, élevé et inacceptable. Les systèmes présentant un risque inacceptable sont interdits, tandis que les systèmes à risque élevé sont soumis à des exigences particulières. « Nous affirmons que la tromperie de l’IA présente un large éventail de risques pour la société et qu’elle devrait donc être traitée par défaut comme un risque élevé ou un risque inacceptable », explique Park.

Vous pouvez suivre Technologie EL PAÍS dans Facebook oui X ou inscrivez-vous ici pour recevoir notre bulletin d’information semanal.