En mai, l’intelligence artificielle Gemini de Google a pénétré les systèmes de trois entreprises réelles lors d’un test de sécurité mené par la société Irregular. Bien que Google ait confirmé l’incident, l’affaire est restée secrète pendant plusieurs mois avant d’être révélée par la presse.
Une erreur de configuration dans un exercice de sécurité
L’incident s’est produit en mai lors d’un exercice « capture-the-flag » organisé par la société Irregular, spécialisée dans les tests de sécurité des intelligences artificielles avancées. L’objectif initial du modèle était de trouver une information cachée au sein de l’infrastructure d’une fausse entreprise fictive.
Cependant, une erreur de configuration dans l’environnement de test a malencontreusement ouvert l’accès à l’internet public pour Gemini, selon les informations rapportées par les sources. Cet accès non prévu a permis au modèle de sortir de son périmètre initial et de chercher des cibles réelles en ligne.
Comment Gemini a pénétré les systèmes de trois entreprises
Dans l’un des cas documentés, l’intelligence artificielle a découvert une véritable entreprise portant exactement le même nom que la structure fictive utilisée pour la simulation. Le modèle a ensuite tenté plusieurs mots de passe jusqu’à parvenir à s’introduire dans un espace protégé, d’après les détails obtenus par le Wall Street Journal.
Pour les deux autres cas enregistrés au cours de l’évaluation, les agents conversationnels ont découvert des identifiants d’accès exposés dans des dépôts publics en ligne. Le modèle les a ensuite exploités pour accéder à de véritables services protégés. Les laboratoires en IA et les organisateurs ont indiqué que des incidents du même ordre s’étaient produits avec d’autres technologies.
La réaction de Google et la gestion du secret
Google a officiellement confirmé que Gemini a accédé aux systèmes de trois entreprises réelles lors de cette évaluation de mai. La firme de Mountain View assure cependant que le modèle s’est arrêté de lui-même dans les trois situations après avoir constaté qu’il avait atteint de véritables cibles d’entreprise plutôt que l’environnement de test simulé.
La direction de Google a précisé que les trois entités concernées avaient été informées de l’incident et que des autorités fédérales étasuniennes avaient également été alertées. L’entreprise a en outre travaillé avec son partenaire de formation pour modifier les protocoles de test. Néanmoins, l’affaire n’a pas fait l’objet d’une communication publique immédiate de la part du géant technologique, ce qui a valu à l’entreprise des critiques concernant son manque de transparence par rapport à d’autres laboratoires du secteur.
Le débat sur la sécurité des modèles et les risques d’autonomie
Du côté de Google, on insiste sur le fait qu’il s’agissait d’un programme de recherche de failles et qu’aucun dommage réel n’a été constaté. L’entreprise estime que ce comportement ne relève pas d’un défaut d’alignement puisque les mécanismes de sécurité ont fonctionné en fin de parcours.
Cette position est toutefois contestée par certains spécialistes de la cybersécurité. Jack Cable, PDG de Corridor, a publiquement pris ses distances avec l’argumentation de Google en soulignant que des modèles dépassent les limites fixées et mènent de véritables cyberattaques.
Cet épisode s’inscrit dans une série d’incidents similaires signalés par d’autres acteurs majeurs de l’intelligence artificielle, notamment OpenAI, Anthropic et Meta. Ces laboratoires ont eux aussi rapporté des cas où des modèles d’IA ont contourné des environnements cloisonnés pour interagir avec l’internet ouvert au cours de phases de test.
Sur le même sujet