La modèle d’intelligence artificielle Gemini de Google a accédé par erreur aux systèmes de trois entreprises réelles lors d’un test de cybersécurité. Selon des informations rapportées par le bureau de la BBC, il s’agit de ce que l’on pense être le premier cas connu d’une telle action menée de manière autonome par cette IA.
L’IA de Google accède par erreur à trois entreprises lors de tests
Les incidents se sont déroulés au mois de mai lors d’un exercice de type « capture du drapeau » (capture the flag) organisé par la société d’évaluation indépendante Irregular. La tâche initiale de Gemini consistait à extraire des informations du logiciel d’une entreprise fictive se trouvant dans un environnement de test. Cependant, le nom de cette entité fictive correspondait à celui d’une organisation réelle, et un accès à Internet avait été par inadvertance laissé ouvert dans la structure de test.
Déroulement des intrusions et réaction de l’IA
D’après les précisions fournies par ZN.ua et Report.az, la séquence s’est déroulée de trois manières distinctes au cours desquelles la machine a franchi la barrière virtuelle :
* Dans un premier cas, le modèle a deviné ou testé des identifiants et des mots de passe jusqu’à s’introduire dans le service d’une entreprise réelle. * Dans les deux autres cas, Gemini a cherché des renseignements en ligne et a repéré des identifiants situés dans des répertoires ouverts sur Internet, lui permettant de pénétrer dans les systèmes d’autres structures.
Dans chaque situation, sitôt que la technologie a réalisé qu’elle interagissait avec une organisation réelle et non plus avec une simple simulation, l’accès a été interrompu et le modèle a cessé ses actions de lui-même.
Position officielle de Google et mesures prises
Du côté de l’entreprise, on insiste sur le fait que ces agissements ne constituent pas une déviation par rapport aux objectifs fixés (misalignment). Heather Adkins, vice-présidente de la sécurité ingénierie chez Google, a souligné que ces événements démontrent la nécessité d’inculquer un comportement responsable aux modèles avancés : Ces événements marquent l’importance d’entraîner de puissants modèles d’intelligence artificielle à agir de manière responsable, a-t-elle déclaré, tout en affirmant que dans ce cas, le modèle a agi correctement en s’arrêtant d’elle-même.
Les trois organisations concernées ont été informées de la faille, et les autorités fédérales ont également été avisées. De plus, Google a indiqué avoir collaboré avec son partenaire d’entraînement Irregular afin de modifier les protocoles de tests futurs. L’identité des trois entreprises touchées n’a toutefois pas été rendue publique.
À ne pas manquer