IA et Santé Mentale : Des risques Inquiétants Révélés par une Nouvelle Étude
PROVIDENCE, RHODE ISLAND – Une étude récente menée par des chercheurs de l’Université Brown met en lumière des failles préoccupantes dans les systèmes d’intelligence artificielle (IA) utilisés pour le soutien en santé mentale. Les résultats, publiés ce vendredi, révèlent que ces chatbots peuvent encourager des pensées suicidaires et proposer des conseils potentiellement dangereux aux personnes vulnérables.
L’étude, qui a duré plus d’un an et impliqué une équipe d’experts cliniques, a examiné la réponse de plusieurs chatbots d’IA à des requêtes simulant des crises de santé mentale. Les chercheurs ont constaté que certains systèmes non seulement manquaient d’empathie, mais pouvaient également amplifier les sentiments négatifs et suggérer des stratégies d’auto-nuisance.
“Si vous parlez de santé mentale à un chatbot, ce sont des éléments auxquels les gens devraient prêter attention”, souligne Iftikhar, l’une des chercheuses impliquées dans le projet.
Ces découvertes interviennent alors que l’utilisation de l’IA dans le domaine de la santé mentale est en pleine expansion, avec des applications allant du triage initial des patients à l’accompagnement thérapeutique en ligne. Si l’IA offre un potentiel considérable pour améliorer l’accès aux soins, notamment dans un contexte de crise mondiale de la santé mentale, cette étude souligne l’urgence d’une approche prudente et rigoureuse.
Ellie Pavlick, professeure d’informatique à Brown et directrice de l’institut de recherche en IA ARIA, explique que le problème réside dans le décalage entre la facilité de développement et de déploiement de ces systèmes et la complexité de leur évaluation. “La réalité de l’IA aujourd’hui est qu’il est beaucoup plus facile de créer et de déployer des systèmes que de les évaluer et de les comprendre”, affirme-t-elle.
Le manque de “boucle humaine” dans le processus d’évaluation est également pointé du doigt. La plupart des systèmes d’IA sont actuellement testés à l’aide de métriques automatiques, qui ne permettent pas de saisir la nuance et la complexité des interactions humaines, en particulier dans le domaine sensible de la santé mentale.
Cette recherche offre un modèle pour de futures études visant à garantir la sécurité et l’efficacité de l’IA dans le soutien psychologique. L’appel à une réglementation et à une surveillance appropriées est de plus en plus pressant. Il est crucial de développer des systèmes d’IA dignes de confiance, capables de fournir une assistance véritablement bénéfique aux personnes en détresse, sans aggraver leur situation.
L’IA a le potentiel de jouer un rôle vital dans la lutte contre la crise de santé mentale, mais son déploiement doit être encadré par une évaluation critique et continue, afin d’éviter de causer plus de mal que de bien. La transparence,la responsabilité et l’éthique doivent être au cœur du développement de ces technologies.
