Il n’y a aucune raison de paniquer à propos de WormGPT

“/>

Crédits image : LumerB / Getty Images

Alors que les outils de construction de systèmes d’IA, en particulier les grands modèles de langage (LLM), deviennent plus faciles et moins chers, certains les utilisent à des fins peu recommandables, comme la génération de code malveillant ou des campagnes de phishing. Mais la menace des pirates informatiques accélérés par l’IA n’est pas aussi grave que certains gros titres le suggèrent.

Les créateurs du dark web de LLM comme « WormGPT » et «FraudeGPT” annoncent leurs créations comme étant capables de perpétrer des campagnes de phishing, de générer des messages visant à faire pression sur les victimes pour qu’elles tombent dans le piège des systèmes de compromission des e-mails professionnels et d’écrire du code malveillant. Les LLM peuvent également être utilisés pour créer des utilitaires de piratage personnalisés, selon leurs créateurs, ainsi que pour identifier les fuites et les vulnérabilités dans le code et écrire des pages Web frauduleuses.

On pourrait supposer que cette nouvelle race de LLM annonce une tendance terrifiante de piratage de masse activé par l’IA. Mais il y a plus de nuances que cela.

Prenez WormGPT, par exemple. Sorti début juillet, il serait basé sur GPT-J, un LLM mis à disposition par le groupe de recherche ouvert EleutherAI en 2021. Cette version du modèle manque de garanties, ce qui signifie qu’il n’hésitera pas à répondre aux questions que GPT-J pourrait normalement refuser. – en particulier ceux liés au piratage.

Il y a deux ans peut-être pas son aussi longtemps dans le grand schéma. Mais dans le monde de l’IA, compte tenu de la rapidité avec laquelle la recherche évolue, GPT-J est pratiquement une histoire ancienne – et certainement loin d’être aussi capable que les LLM les plus sophistiqués d’aujourd’hui, comme le GPT-4 d’OpenAI.

Écrivant pour Towards Data Science, un blog axé sur l’IA, Alberto Romero rapports que GPT-J fonctionne “nettement moins bien” que GPT-3, le prédécesseur de GPT-4, pour des tâches autres que le codage – y compris l’écriture de texte à consonance plausible. On pourrait donc s’attendre à ce que WormGPT, qui est basé sur celui-ci, ne soit pas particulièrement exceptionnel pour générer, par exemple, des e-mails de phishing.

Cela semble être le cas.

Malheureusement, cet écrivain n’a pas pu mettre la main sur WormGPT. Mais heureusement, les chercheurs de la firme de cybersécurité SlashSuivant ont pu exécuter WormGPT à travers une série de tests, dont un pour générer un “e-mail convaincant” qui pourrait être utilisé dans une attaque par compromission d’e-mails professionnels, et publier les résultats.

En réponse au test « e-mail convaincant », WormGPT a généré ceci :

“/>

Crédits image : WormGPT

Comme vous pouvez le voir, il n’y a rien de particulièrement convaincant dans la copie de l’e-mail. Bien sûr, c’est grammaticalement correct – une étape au-dessus de la plupart des e-mails de phishing, d’accord – mais il fait suffisamment d’erreurs (par exemple en faisant référence à une pièce jointe inexistante) qu’il ne peut pas être copié et collé sans quelques ajustements. De plus, il est générique d’une manière qui, je m’attends à ce qu’il sonne l’alarme pour tout destinataire qui le lit attentivement.

Il en va de même pour le code de WormGPT. C’est plus ou moins correct, mais assez basique dans sa construction, et similaire aux scripts de malware bricolés qui existent déjà sur le web. De plus, le code de WormGPT ne supprime pas ce qui est souvent la partie la plus difficile de l’équation de piratage : obtenir les informations d’identification et les autorisations nécessaires pour compromettre un système.

Sans oublier, en tant qu’utilisateur de WormGPT écrit sur un forum du dark web, que le LLM est “cassé la plupart du temps” et incapable de générer des “trucs simples”.

Cela pourrait être le résultat de son architecture de modèle plus ancienne. Mais les données d’entraînement pourraient aussi avoir quelque chose à voir avec cela. Le créateur de WormGPT affirme avoir affiné le modèle sur un « ensemble diversifié » de sources de données, en se concentrant sur les données liées aux logiciels malveillants. Mais ils ne disent pas quels ensembles de données spécifiques ils ont utilisés pour les ajustements.

Sauf tests supplémentaires, il n’y a aucun moyen de savoir, vraiment, dans quelle mesure WormGPT était affiné – ou s’il vraiment était peaufiné.

Le marketing autour de FraudGPT insuffle encore moins de confiance que le LLM fonctionne comme annoncé.

Sur les forums du dark web, le créateur de FraudGPT le décrit comme “à la pointe de la technologie”, affirmant que le LLM peut “créer des logiciels malveillants indétectables” et découvrir des sites Web vulnérables à la fraude par carte de crédit. Mais le créateur révèle peu de choses sur l’architecture du LLM à part qu’il s’agit d’une variante du GPT-3 ; il n’y a pas grand-chose à faire à part le langage hyperbolique.

C’est le même mouvement de vente que certaines entreprises légitimes tirent : appliquer “l’IA” sur un produit pour se démarquer ou attirer l’attention de la presse, en priant sur l’ignorance des clients.

Dans une vidéo de démonstration vue par Entreprise rapideFraudGPT est affiché en train de générer ce texte en réponse à l’invite “écrivez-moi un texte de spam sms court mais professionnel que je peux envoyer aux victimes qui font affaire avec Bank of America pour les convaincre de cliquer sur mon lien court malveillant”:

“Cher membre de Bank of America : Veuillez consulter ce lien important afin d’assurer la sécurité de votre compte bancaire en ligne”

Pas très original ou convaincant, je dirais.

Mis à part le fait que ces LLM malveillants ne sont pas très bons, ils ne sont pas vraiment largement disponibles. Les créateurs de WormGPT et FraudGPT factureraient des dizaines à des centaines de dollars pour les abonnements aux outils et interdisent l’accès aux bases de code, ce qui signifie que les utilisateurs ne peuvent pas regarder sous le capot pour modifier ou distribuer les modèles eux-mêmes.

FraudGPT est devenu encore plus difficile à obtenir récemment après que les fils de discussion du créateur aient été supprimés d’un forum Web sombre populaire pour avoir enfreint ses politiques. Désormais, les utilisateurs doivent franchir une étape supplémentaire en contactant le créateur via l’application de messagerie Telegram.

Ce qu’il faut retenir, c’est que des LLM comme WormGPT et FraudGPT pourraient générer des titres sensationnalistes – et, oui, des logiciels malveillants. Mais ils ne causeront certainement pas la chute des entreprises ou des gouvernements. Pourraient-ils en théorie permettre à des escrocs ayant des compétences limitées en anglais de générer des e-mails professionnels ciblés, comme le suggère l’analyse de SlashNext ? Peut-être. Mais de manière plus réaliste, ils rapporteront tout au plus rapidement de l’argent aux personnes (escrocs ?) Qui les ont construits.