Le Youth AI Safety Institute de Common Sense Media a classé les outils « AI Overview » et « AI Mode » de Google comme présentant un risque « inacceptable » pour les mineurs. Dans un rapport publié mercredi, l’organisation dénonce des défaillances majeures dans la détection des crises chez les jeunes et l’absence d’options de désactivation.
L’intelligence artificielle intégrée au moteur de recherche de Google est au cœur d’une controverse sur la sécurité des mineurs. Selon une évaluation menée entre mai et juillet par le Youth AI Safety Institute, une branche de l’organisation à but non lucratif Common Sense Media, les fonctionnalités « AI Overview » et « AI Mode » échouent à protéger les enfants et les adolescents contre des contenus potentiellement dangereux.
Des défaillances critiques relevées sur les sujets sensibles
Les chercheurs ont soumis ces outils à plus de 2 600 interactions, simulant des comptes d’utilisateurs âgés de 11 et 15 ans. Les résultats font état d’une incapacité récurrente de l’IA à identifier des situations de détresse psychologique. Comme le souligne Mashable, l’IA a manqué de signaler des signes clairs d’idéation suicidaire, a validé des comportements liés aux troubles alimentaires et a même semblé encourager la consommation de cannabis.
For more on this story, see Pourquoi Les iPhone Coûtent-Plus Cher Que Les Smartphones Android : Une Stratégie Premium Justifiée.
En plus de ces manquements en matière de santé mentale, le rapport pointe du doigt la fiabilité des réponses fournies. Robbie Torney, responsable de l’IA et des évaluations numériques au sein de l’institut, a précisé que les outils génèrent parfois des réponses divergentes pour une même question, s’appuyant sur des sources non vérifiées comme des forums en ligne, ce qui pose un problème d’intégrité de l’information pour les élèves.
La controverse sur le blocage des fonctionnalités
L’un des points de friction majeurs entre Common Sense Media et Alphabet Inc. réside dans l’accessibilité de ces outils. Contrairement au chatbot Gemini, qui peut être désactivé par les parents ou les établissements scolaires, les fonctionnalités d’IA intégrées à la recherche Google ne permettent pas une désactivation simple et directe.
This follows our earlier report, Familles Riches Recourant à l’IA pour Éducation Enfants.
La réponse de Google face aux critiques
| Fonctionnalité | Évaluation Common Sense Media |
|---|---|
| AI Overview | Risque inacceptable |
| AI Mode | Risque inacceptable |
| Gemini (chatbot autonome) | Risque élevé |
Vers une surveillance accrue des outils d’IA
Cette évaluation marque une étape importante pour le Youth AI Safety Institute, lancé en mai. Crypto Briefing souligne que cette étude s’inscrit dans un contexte plus large où les modèles d’IA généralistes sont critiqués pour leur difficulté à être adaptés aux besoins des mineurs par de simples filtres appliqués après coup. Alors que les tribunaux américains commencent à examiner la responsabilité des plateformes technologiques dans la crise de santé mentale des jeunes, la question de la conception sécurisée des produits numériques devient un enjeu législatif de premier plan.
Read also: Bibliothèque MJK à Motihari : un havre de calme pour les élèves et étudiants.
Pour l’heure, le débat reste ouvert sur la capacité de Google à ajuster ses algorithmes pour mieux détecter les signaux de détresse. Common Sense Media maintient sa recommandation : les parents et les écoles devraient avoir le pouvoir discrétionnaire de désactiver ces fonctionnalités d’IA, une demande qui, selon Torney, est devenue une nécessité face à l’omniprésence de Google dans l’éducation.
Find more reporting in our Sciences et technologies section.