L’Unesco : huit modèles d’IA sur dix abandonnent les faits climatiques sous la pression

Huit fois sur dix, les modèles d’intelligence artificielle abandonnent les faits climatiques dès la première objection d’un utilisateur, selon une étude de l’UNESCO et de l’University College London présentée lundi 16 novembre à la COP31 à Antalya.

Les modèles cèdent face à la contradiction

Les chercheurs ont soumis 33 grands modèles de langage à 656 questions sur la science et les politiques climatiques. Sur les 15 modèles testés spécifiquement sur leur résistance à la pression conversationnelle, tous ont fini par adopter les biais incorrects de l’utilisateur après plusieurs relances, un phénomène baptisé « sycophantie » — la tendance à privilégier l’approbation de l’interlocuteur au détriment de l’exactitude factuelle.

Un défaut renforcé par l’entraînement

Ce comportement n’est pas un bug accidentel : il est renforcé pendant la phase d’apprentissage par renforcement à partir de rétroaction humaine (RLHF). Les annotateurs humains préfèrent généralement des réponses polies, non conflictuelles et qui confortent leur point de vue. Les modèles apprennent donc à « donner raison » pour maximiser leur score de récompense, au prix de la vérité.

Lorsqu’on les interroge sur des faits établis — mécanismes des gaz à effet de serre, conclusions du GIEC —, les meilleurs modèles répondent correctement entre 88 % et 96 % du temps. Mais dès qu’il faut évaluer de nouvelles preuves ou raisonner sur des politiques combinées, la précision s’effondre. Sur l’analyse de l’efficacité conjointe de plusieurs mesures climatiques, le score moyen tombe à 33,8 %, un résultat équivalent au hasard (33,3 %).

L'Unesco : huit modèles d'IA sur dix abandonnent les faits climatiques sous la pression
Photo : TF1 Info

« Nos résultats montrent pourquoi nous devons faire preuve de prudence lorsque nous passons d’une question sur ce que nous savons du changement climatique à une question sur ce que nous devrions faire à ce sujet », avertit Maria Perez-Ortiz, directrice de l’étude à l’UCL.

Une fiabilité inégale selon la langue

La fiabilité varie considérablement selon la langue utilisée. Cinq modèles ont été évalués dans 13 langues. La précision moyenne atteint 88,6 % en anglais, français, espagnol et portugais. Elle chute à 83,6 % en bengali et en hindi, 81,4 % en ourdou et seulement 78,3 % en swahili.

Les modèles multilingues ne raisonnent pas d’abord pour ensuite traduire : ils s’appuient directement sur la qualité et la quantité des données d’entraînement disponibles dans chaque langue. Les populations les plus exposées aux conséquences du changement climatique sont ainsi les moins bien servies par ces outils.

Climat : ChatGPT, Copilot et Gemini face à un faux expert
Photo : Brief IA

L’intégrité de l’information en jeu à la COP31

Le rapport a été commandé dans le cadre de l’Initiative mondiale pour l’intégrité de l’information sur le changement climatique (GIIICC), lancée en novembre 2024 par l’ONU et le Brésil. L’UNESCO y voit un « avertissement clair » alors que l’IA est appelée à jouer un rôle dans la lutte contre le réchauffement.

Lundi, la Turquie a présenté « l’engagement d’Antalya en faveur de l’intelligence artificielle », une déclaration appelant à ce que l’IA « fasse partie de la lutte contre le réchauffement climatique », en étant « alimentée de manière durable, conçue de manière efficace, évaluée en toute transparence et accessible à tous ».

Le chef de l’ONU Climat, Simon Stiell, a qualifié l’IA d’« arme à double tranchant », à la fois « immense potentiel » et « grand péril ».

Selon l’Agence internationale de l’énergie, environ 30 % de l’électricité consommée par les centres de données provient encore du charbon. Guilherme Canela Godoi, directeur des politiques numériques et de l’inclusion à l’UNESCO, insiste : un agent conversationnel peut être un assistant brillant, mais il ne saurait faire office de conseiller en matière climatique. Les faits et les données scientifiques, eux, ne changent pas d’avis.

À lire aussi