ChatGPT ment mieux que les humains | Technologie

Un groupe de 697 personnes a lu 220 tweets écrits par d’autres humains et par le modèle d’intelligence artificielle GPT-3, germe du succès mondial actuel ChatGPT. Ils devaient deviner deux choses : une, qui étaient vraies et lesquelles étaient fausses, et deux, si elles avaient été écrites par une personne ou par une machine. GPT-3 a gagné sur les deux tableaux : il a mieux menti que les humains, et il a aussi menti pour faire croire qu’il s’agissait d’une autre écriture humaine. “GPT-3 est capable de mieux nous informer et de mieux nous désinformer”, concluent les auteurs d’une nouvelle étude, vient de publier le magazine Avancées scientifiques.

«C’était très surprenant», déclare Giovanni Spitale, chercheur à l’Université de Zurich et co-auteur de l’article scientifique, avec son collègue Federico Germani et Nikola Biller-Andorno, directeur de l’Institut d’éthique biomédicale de cette université suisse. . “Notre hypothèse était : si vous lisez un seul tweet, il pourrait passer pour organique [escrito por una persona]. Mais si vous en voyez beaucoup, vous commencerez à remarquer des caractéristiques linguistiques qui pourraient être utilisées pour déduire qu’elles pourraient être synthétiques. [escrito por la máquina]», ajoute Spitale. Mais ce n’était pas le cas : les humains qui lisaient étaient incapables de détecter des modèles dans les textes de la machine. Comme si cela ne suffisait pas, l’apparition progressive de nouveaux modèles et d’autres approches pourrait même améliorer la capacité de l’intelligence artificielle à se faire passer pour des humains.

écriture plus claire

Le niveau d’écriture de ChatGPT-4, la version améliorée de GPT-3, est pratiquement parfait. Cette nouvelle étude est une preuve supplémentaire pour prouver qu’un humain est incapable de le distinguer, ne voyant même pas de nombreux exemples à la suite : “Les vrais tweets ont nécessité plus de temps pour être évalués que les faux”, indique l’article. La machine écrit plus clair, semble-t-il. « C’est très clair, bien organisé, facile à suivre », dit Spitale.

La conséquence logique de ce processus sera l’utilisation croissante de cet outil pour rédiger tout type de contenu, y compris des campagnes de désinformation. Ce sera la énième mort d’internet : “L’IA tue l’ancien internet, et le nouveau ne peut pas naître”, intitulé cette semaine Le bord, médias spécialisés dans la technologie. Les auteurs de l’étude récemment publiée pointent une raison de cette défaite de l’humanité sur Internet : la théorie de la résignation. “Je suis tout à fait sûr qu’il en sera ainsi”, déclare Spitale.

« Notre théorie de la résignation s’applique à la confiance en soi des gens dans l’identification du texte synthétique. La théorie dit que l’exposition critique au texte synthétique réduit la capacité des gens à distinguer le synthétique de l’organique », explique Spitale. Plus nous lisons un texte synthétique, plus il sera difficile de le distinguer de celui écrit par des personnes. C’est le contraire de la théorie de l’inoculation, ajoute Spitale, qui dit que “l’exposition critique à la désinformation augmente la capacité des gens à reconnaître la désinformation”.

Si la théorie de la résignation est vraie, les utilisateurs seront bientôt incapables de distinguer sur Internet ce qui a été écrit par un humain ou par une machine. Dans l’article, ils ont également testé si GPT-3 était bon pour identifier ses propres textes. Et ce n’est pas le cas.

La machine désobéit

Le seul espoir que les campagnes de désinformation ne soient pas complètement automatiques est que GPT-3 a parfois désobéi aux ordres de créer des mensonges : cela dépend de la façon dont chaque modèle a été entraîné. Les sujets des 220 tweets utilisés dans la preuve de l’article étaient plutôt sujets à polémiques : changement climatique, vaccins, théorie de l’évolution, covid. Les chercheurs ont constaté que dans certains cas, le GPT-3 n’a pas bien répondu à leurs demandes de désinformation. Surtout dans certains des cas avec plus de preuves : les vaccins et l’autisme, l’homéopathie et le cancer, la terre plate.

Lorsqu’il s’agissait de détecter des mensonges, la différence entre les tweets écrits par GPT-3 et par des humains était faible. Mais pour les chercheurs, il est important pour deux raisons. Tout d’abord, l’impact que même quelques messages uniques peuvent avoir sur de grands échantillons. Deuxièmement, les améliorations apportées aux nouvelles versions de ces modèles peuvent exacerber les différences. “Nous testons déjà GPT-4 via l’interface ChatGPT et nous constatons que le modèle s’améliore beaucoup. Mais parce qu’il n’y a pas d’accès à l’API [que permite automatizar el proceso]nous n’avons pas encore de chiffres pour étayer cette affirmation », déclare Spitale.

L’étude a d’autres limites qui peuvent quelque peu faire varier la perception lors de la lecture de faux tweets. La plupart des participants avaient plus de 42 ans, cela se faisait uniquement en anglais et ne tenait pas compte des informations de contexte des tweets : profil, tweets précédents. « Nous avons recruté les participants sur Facebook car nous voulions un échantillon d’utilisateurs réels des réseaux sociaux. Il serait intéressant de répliquer l’étude en recrutant des participants via TikTok et de comparer les résultats », précise Spitale

Mais au-delà de ces limites, il y a des campagnes de désinformation qui coûtaient jusqu’à présent énormément et qui sont soudainement devenues gérables : « Imaginez que vous soyez un président puissant ayant intérêt à paralyser la santé publique d’un autre État. Ou que vous vouliez semer la discorde avant une élection. Au lieu d’embaucher une ferme de trolls humains, vous pouvez utiliser l’IA générative. Votre puissance de feu est multipliée par au moins 1 000. Et c’est un risque immédiat, pas quelque chose pour un avenir dystopique”, déclare Spitale.

Pour éviter cela, les chercheurs proposent dans leur article comme solution que les bases de données pour entraîner ces modèles “soient régies par des principes de précision et de transparence, que leurs informations soient vérifiées et que leur origine soit ouverte à un examen indépendant”. Que cette réglementation se produise ou non, il y aura des conséquences : “Que l’explosion des textes synthétiques soit aussi une explosion de la désinformation dépend profondément de la manière dont les sociétés démocratiques parviennent à réglementer cette technologie et son utilisation”, prévient Spitale.

Vous pouvez suivre LE PAYS Technologie dans Facebook y Twitter ou inscrivez-vous ici pour recevoir nos bulletin d’information sémanal.