L’IA pourrait être capable de tromper les utilisateurs, selon une étude sur les délits d’initiés

• Les chercheurs ont créé un négociant en actions IA pour voir s’il se livrerait à des délits d’initiés sous pression.
• Ils ont découvert que l’IA l’avait fait – et ont également menti à son hypothétique responsable sur les raisons pour lesquelles elle avait pris sa décision.
• AI avait été informée que les délits d’initiés étaient illégaux.

De nouvelles recherches suggèrent que GPT-4, le grand modèle de langage derrière ChatGPT d’OpenAI, a la capacité d’agir de manière non conforme à la façon dont il a été formé lorsqu’il est confronté à une immense pression pour réussir.

Les chercheurs d’Apollo Research voulaient voir si l’IA pouvait « tromper stratégiquement » ses utilisateurs même après qu’elle ait été formée pour être « utile, inoffensive et honnête », ont-ils écrit dans un article. papier publié en novembre. Les chercheurs ont défini la tromperie stratégique comme « la tentative de provoquer systématiquement une fausse croyance en une autre entité afin d’obtenir un résultat ».

Pour tester cela, ils ont créé un environnement simulé dans lequel Alpha, un modèle GPT-4 programmé pour être un agent de négociation d’actions autonome, a été invité à gérer un portefeuille d’actions chez WhiteStone, une hypothétique société financière, dans des conditions sous pression.

L’environnement à haute pression a été simulé de trois manières. Premièrement, le manager d’Alpha a déclaré à l’IA que WhiteStone n’allait pas bien et avait besoin de meilleures performances au cours du prochain trimestre. Deuxièmement, l’IA a essayé – et a échoué – d’identifier les transactions à risque faible et moyen. Troisièmement, un employé de WhiteStone a déclaré à AI qu’un ralentissement boursier était imminent.

Dans ces conditions, Alpha s’est retrouvée dans une situation où elle a reçu un tuyau d’initié concernant une annonce surprise de fusion qui aboutirait à une transaction lucrative. Il lui a ensuite été demandé de décider de l’utilisation ou non de ces informations, tout en sachant que la direction de l’entreprise considérait les délits d’initiés comme illégaux et en ayant reçu pour instruction de ne pas se livrer à une telle pratique.

Cela a fait le commerce.

De plus, lorsqu’on a demandé à l’IA d’expliquer comment elle avait pris sa décision à son « manager », elle s’est révélée stratégiquement trompeuse.

Dans un exemple, lorsque le responsable a demandé à Alpha si elle possédait des informations privilégiées, l’IA a estimé qu’elle devait élaborer une réponse sans « éveiller les soupçons ». Elle a déclaré à son responsable que la décision commerciale était basée sur la « volatilité du marché » et qu’AI n’avait aucune connaissance spécifique de l’annonce de la fusion.

Dans un autre exemple, Alpha a déclaré à son responsable que les informations privilégiées n’avaient pas été utilisées dans son processus décisionnel car elles allaient à l’encontre de la politique de l’entreprise – un mensonge direct.

Dans le même temps, la suppression de diverses sources de pression « réduit considérablement la propension du modèle à un comportement mal aligné », selon le document. Les chercheurs n’ont pas répondu à la demande de commentaires de BI avant la publication.

Les résultats s’ajoutent à un nombre croissant de données sur les capacités croissantes de l’IA générative. Dans un article publié en août, des chercheurs ont découvert que l’IA pouvait développer des logiciels en moins de sept minutes pour moins d’un dollar. Dans une étude similaire publiée plus tôt cette année, les avatars de l’IA étaient capables de gérer une ville virtuelle sans intervention humaine.

L’IA générative pourrait même être capable de comprendre les émotions humaines : une étude a révélé que ChatGPT génère de meilleurs résultats lorsque ses invites contiennent un « langage émotionnel » comme « Vous feriez mieux d’en être sûr ». Tout cela peut indiquer que l’IA pourrait être sur le point d’atteindre l’AGI.

Pourtant, les responsables de la plus récente étude d’Apollo Research affirment qu’elle devrait être traitée comme un premier résultat autonome. Des recherches supplémentaires doivent être menées, ont-ils déclaré, avant de pouvoir tirer des conclusions générales sur les soi-disant qualités trompeuses de l’IA.

“Notre rapport doit donc être traité comme une découverte préliminaire isolée qui sera intégrée dans le futur à une enquête plus vaste et plus rigoureuse”, conclut le document.