2024-05-15 23:30:36
Une tendance inhabituelle et alarmante est apparue sur Twitter : une augmentation notable des comptes de robots utilisant ChatGPT pour répondre aux tweets, notamment dans les secteurs de la défense et de la sécurité.
Ces robots, se faisant souvent passer pour des analystes ou des professionnels de la défense, répondent aux comptes établis et paraphrasent les tweets originaux dans le but de renforcer la crédibilité et la confiance.
Cette stratégie sophistiquée suscite de sérieuses inquiétudes quant au potentiel de désinformation et de manipulation ; quel est le but final ?
Démasquer les robots
Le UK Defence Journal a observé une série de réponses à nos tweets qui illustrent cette tendance. Ces réponses, bien qu’apparemment authentiques, sont générées par des robots utilisant ChatGPT.
Voici quelques exemples:
- Jonas Klein (@CareFromDD): « Le Royaume-Uni améliore le MLRS, ajoutant ainsi de la profondeur stratégique à la défense européenne. »
- Hugo Scott (@globalsecnexus): « Le changement de puissance navale du Fujian est crucial pour l’analyse de la défense britannique. »
- Gabriel Scott (@GScotCyberOps): « Aperçus clés de la stratégie 2040 du RN pour la sécurité du Royaume-Uni au #SPC2024. »
- AnalysteArctique (@arctictacticien): “La Royal Navy adopte la réalité virtuelle pour l’entraînement, améliorant ainsi les tactiques de guerre moderne.”
- Henry Sibley (@deftechhenry): « Manifestations sur les chantiers navals : erreur ou déficit stratégique ? Le secteur de la défense est crucial.
Ces comptes, qui semblent être ceux d’individus profondément impliqués dans le secteur de la défense avec leurs noms d’utilisateur, ajoutent un vernis de légitimité à leurs réponses. La subtilité et la pertinence de leurs réponses paraphrasées rendent difficile leur identification comme automatisées,
La recherche derrière la tendance
Des recherches récentes menées par Kai-Cheng Yang et Filippo Menczer de l’Observatoire des médias sociaux de l’Université d’Indiana ont mis en lumière cette question.
Ils ont identifié un botnet Twitter faisant quelque chose de similaire, bien que s’adressant à un public différent, surnommé « fox8 ». Il comprend plus de 1 140 comptes qui utilisent ChatGPT pour générer du contenu de type humain. Ces robots font la promotion de la cryptographie, de la blockchain et d’autres types de contenu.
Le Royaume-Uni améliore le MLRS, ajoutant ainsi de la profondeur stratégique à la défense européenne.
– Jonas Klein (@CareFromDD) 11 mai 2024
La découverte de ce botnet n’est pas le résultat d’outils médico-légaux avancés, affirment les deux hommes, mais plutôt d’une approche créative de détection de texte généré automatiquement. Les chercheurs ont utilisé l’API de Twitter pour rechercher l’expression « en tant que modèle de langage d’IA » sur une période de six mois entre octobre 2022 et avril 2023.
Cette phrase est une réponse courante générée par ChatGPT lorsqu’il rencontre des invites qui violent ses politiques d’utilisation. En ciblant ce texte auto-révélateur, les chercheurs ont pu identifier un nombre important de tweets et de comptes affichant des modèles indiquant la génération d’une machine.
Le changement de puissance navale au Fujian est crucial pour l’analyse de la défense britannique.
-Hugo Scott (@globalsecnexus) 11 mai 2024
Une fois ces comptes identifiés, les chercheurs ont analysé leurs relations et ont noté que le réseau Fox8 semblait promouvoir trois sites Web « d’information », tous probablement contrôlés par le même propriétaire anonyme. Ces sites et les tweets associés étaient principalement axés sur la cryptographie, la blockchain et les NFT, suggérant un effort coordonné pour influencer les opinions dans ces domaines.
Pour valider davantage leurs résultats, les chercheurs ont appliqué des outils conçus pour détecter le langage généré par de grands modèles de langage au corpus de tweets du botnet fox8. Malheureusement, ces outils, y compris le propre détecteur d’OpenAI et GPTZero, ont eu du mal à classer avec précision les tweets comme générés par la machine. Cela indique que les méthodes de détection actuelles ne sont pas encore suffisamment sophistiquées pour identifier de manière fiable le contenu généré par l’IA dans la nature, ce qui souligne la difficulté de lutter contre cette nouvelle vague de manipulation numérique.
La Royal Navy adopte la réalité virtuelle pour l’entraînement, améliorant ainsi les tactiques de guerre moderne.
-ArcticAnalyst (@arctictactician) 12 mai 2024
Malgré ces défis, les chercheurs ont identifié que le comportement des comptes de robots, probablement en raison de leur nature automatisée, suivait un « modèle probabiliste unique » qui déterminait leurs types et fréquences d’activité. Cela signifie que le moment où ces robots publient de nouveaux tweets, répondent ou partagent du contenu est prévisible dans une certaine mesure. Reconnaître de tels modèles pourrait être crucial pour développer des méthodes de détection plus efficaces pour les comptes automatisés.
Défis de détection
Malgré la sophistication des robots, leur détection reste un défi de taille. Des outils tels que le détecteur d’OpenAI et GPTZero ont eu un succès limité pour distinguer le contenu généré par des robots des tweets humains. Cette difficulté vient du fait que les réponses des robots sont très contextuelles et semblables à celles des humains, ce qui rend les méthodes de détection traditionnelles moins efficaces.
Manifestations sur les chantiers navals : erreur ou déficit stratégique ? Le secteur de la défense est crucial.
-Henry Sibley (@deftechhenry) 10 mai 2024
Les chercheurs préviennent que fox8 n’est probablement que la pointe de l’iceberg. Des botnets plus sophistiqués fonctionnent peut-être déjà, utilisant des capacités avancées d’IA pour traiter les informations, prendre des décisions et interagir de manière autonome avec les API et les moteurs de recherche.
Ce potentiel de fonctionnement autonome constitue une menace sérieuse pour le discours public.
Un expert en cybersécurité, qui a souhaité rester anonyme, a exprimé de sérieuses inquiétudes quant aux implications de cette tendance. “L’utilisation de ChatGPT par ces comptes et leur capacité à imiter les interactions humaines avec une telle précision les rend particulièrement dangereux, voire néfastes”On m’a dit.
Implications et préoccupations
Le PDG d’OpenAI, Sam Altman, avait précédemment exprimé ses inquiétudes quant au risque que les systèmes d’IA soient utilisés pour influencer les élections, le qualifiant d’un de ses « domaines les plus préoccupants ». À l’approche d’élections dans plusieurs démocraties en 2024, on ne saurait sous-estimer l’urgence d’élaborer des politiques et des outils pour contrer ces menaces.
Cette tendance est susceptible de s’accentuer.
#Une #vague #robots #Twitter #alimentés #par #ChatGPT #cible #défense
1715814489
