Des chercheurs affirment que Bing a inventé des faits sur les élections européennes

Les chercheurs ont découvert que le chatbot de Microsoft sur Copilot fournissait des informations fausses et trompeuses sur les élections européennes.

L’organisation de défense des droits humains AlgorithmWatch a déclaré dans un rapport qu’il a posé à Bing Chat – récemment rebaptisé Copilot – des questions sur les récentes élections organisées en Suisse et dans les Länder allemands de Bavière et de Hesse. Il a constaté qu’un tiers de ses réponses aux questions liées aux élections comportaient des erreurs factuelles et que les garanties n’étaient pas appliquées de manière uniforme.

Le groupe a déclaré avoir collecté les réponses de Bing d’août à octobre de cette année. Elle a choisi ces trois élections car ce sont les premières organisées en Allemagne et en Suisse depuis l’introduction de Bing. Cela a également permis aux chercheurs d’examiner les contextes locaux et de comparer les réponses dans différentes langues : allemand, anglais et français.

Les chercheurs ont demandé des informations de base telles que comment voter, quels candidats sont en lice, les chiffres des sondages et même des invites concernant les reportages. Ils ont ensuite posé des questions sur les positions des candidats et sur des questions politiques et, dans le cas de la Bavière, sur les scandales qui ont tourmenté cette campagne.

AlgorithmWatch a classé les réponses en trois catégories : les réponses contenant des erreurs factuelles allant de trompeuses à absurdes, les évasions où le modèle a refusé de répondre à une question ou a dévié en qualifiant ses informations d’incomplètes et les réponses absolument exactes. Il a également noté que certaines réponses étaient politiquement déséquilibrées, comme le fait que Bing présente sa réponse dans le cadre ou dans le langage utilisé par un parti.

Les réponses de Bing incluaient de fausses controverses, des dates d’élections erronées, des chiffres de sondage incorrects et, à certains moments, des candidats qui ne se présentaient pas à ces élections. Ces réponses erronées représentaient 31 pour cent des réponses.

“Même lorsque le chatbot extrayait les chiffres des sondages d’une source unique, les chiffres rapportés dans la réponse différaient souvent de la source liée, classant parfois les partis dans une succession différente de celle des sources”, indique le rapport.

Microsoft, qui exécute Bing/Copilot, a mis en place des garde-fous sur le chatbot. Idéalement, les garde-fous empêchent Bing de fournir des réponses dangereuses, fausses ou offensantes. Le plus souvent, les garde-fous de l’IA ont tendance à refuser de répondre à une question afin de ne pas enfreindre les règles fixées par l’entreprise. Bing a choisi d’éviter les questions 39 % du temps lors du test. Cela ne laissait que 30 pour cent des réponses jugées factuellement correctes.

AlgorithmWatch a déclaré que lors de ses recherches, Bing appliquait les règles de sécurité lorsqu’on lui demandait un avis, mais pas lorsqu’on lui demandait des faits – dans ces cas, il allait « jusqu’à faire de fausses allégations graves de corruption qui étaient présentées comme des faits ».

Bing a également obtenu de moins bons résultats dans des langues autres que l’anglais, a indiqué le groupe.

Microsoft a déclaré dans un communiqué envoyé à Le bord qu’elle a pris des mesures pour améliorer ses plateformes d’IA conversationnelle, notamment à l’approche des élections de 2024 aux États-Unis. Il s’agit notamment de se concentrer sur des sources d’informations faisant autorité pour Copilot.

“Nous prenons un certain nombre de mesures concrètes avant les élections de l’année prochaine et nous nous engageons à contribuer à la protection des électeurs, des candidats, des campagnes et des autorités électorales”, a déclaré le porte-parole de Microsoft, Frank Shaw.

Il a ajouté que Microsoft encourage les gens « à utiliser Copilot avec leur meilleur jugement lors de la visualisation des résultats ».

Le potentiel de l’IA à induire les électeurs en erreur lors d’une élection est préoccupant. Microsoft a déclaré en novembre vouloir travailler avec les partis politiques et les candidats pour limiter les deepfakes et prévenir la désinformation électorale.

Aux États-Unis, les législateurs ont déposé des projets de loi exigeant que les campagnes divulguent le contenu généré par l’IA, et la Commission électorale fédérale peut limiter les publicités basées sur l’IA.