Étude : Chat GPT, l’intelligence artificielle oublieuse

Nouvelle étude
Chat GPT oublie : l’intelligence artificielle devient-elle plus stupide ?

Le chat GPT est médiatisé et redouté. Mais l’intelligence artificielle oublie apparemment assez rapidement ce qu’elle a appris ou su. Qu’est-ce que cela signifie pour les utilisateurs ?

Comme le dit le proverbe, les élèves ne sont aussi bons que leurs professeurs. Transféré à ChatGPT cela signifie : L’artificiel L’intelligence n’est pas nécessairement plus intelligente que la personne qui génère (encore) la connaissance et la soumet au programme. Et pourtant, le chatbot et l’intelligence artificielle sont célébrés et redoutés à parts égales. Des études et expériences antérieures ont montré que l’intelligence artificielle était capable de comprendre, traduire et résumer des textes. Mais pas seulement : Chat GPT passe également avec succès les examens exigeants des études de médecine ou de droit.

Chercheurs de l’Université de Stanford voulait savoir si l’intelligence artificielle restera aussi intelligente. Ou si, comme pour les humains, des lacunes dans les connaissances s’ouvriront à un moment donné. Pour ce faire, les scientifiques disposaient d’une version gratuite (3.5) et d’une version payante (GPT 4) de Chat GPT traitant diverses tâches. Le chatbot devait résoudre des problèmes mathématiques et répondre à des questions sensibles. Il doit également générer un code et résoudre une énigme. Pour ce faire, les chercheurs ont évalué les réponses du chatbot de mars et juin 2023.

Résultat : les performances du chat GPT diminuent. Exemple mathématique : Les chercheurs ont voulu savoir grâce à l’intelligence artificielle si 17 077 est un nombre premier. En mars, la version payante (Chat GPT-4) a répondu oui de manière fiable. Trois mois plus tard, le taux de succès pour la bonne réponse est tombé à 2 %. En revanche, la version gratuite, Chat GPT 3.5, s’était améliorée. Le taux de réussite est passé à près de 87 %.

Les chercheurs ont enregistré quelque chose de similaire pour les questions sensibles. Chat GPT 4 était moins disposé à répondre à ces questions tandis que la version gratuite répondait à plus de questions. La longueur des réponses différait également. Le chat GPT 4 a obtenu des réponses plus courtes en juin. Bien que le programme n’ait pas répondu à toutes les questions en mars, il a fourni une raison à l’époque. Trois mois plus tard, cela ne s’est pas produit du tout. Avec Chat GPT 3.5, en revanche, les réponses sont devenues plus longues. Les chercheurs expliquent cela avec une mise à jour des programmes de chat. Les deux pourraient être mis à jour en fonction de certaines dates.

Les deux programmes de chat faisaient déjà des erreurs lors du codage et de la résolution de puzzles en mars – mais trois mois, c’était beaucoup plus.

Ne comptez pas trop sur Chat GPT

L’intelligence artificielle devient-elle plus stupide ?

Les chercheurs l’ont dit un peu plus diplomatiquement : “Nos résultats montrent que le comportement de Chat GPT 3.5 et GPT 4 a considérablement changé sur une période de temps relativement courte”, indique le document. Il est donc nécessaire de surveiller et d’évaluer régulièrement le comportement des modèles. On ne sait toujours pas ce qui a causé la perte de qualité dans les réponses de Chat GPT.

Dans le service en ligne Twitter, les résultats de Stanford ont soulevé les premières questions. “Les utilisateurs payants du Chat GPT méritent une réponse car nous avons payé le modèle (…)”, a tweeté un utilisateur. Peter Welinder, directeur d’Open AI, a rejeté le fait que l’intelligence artificielle devient de plus en plus stupide. “Notre objectif est de rendre chaque nouvelle version de modèle plus intelligente que la précédente, mesurée sur un large éventail de tâches. Nous n’apportons jamais de modifications aux versions de modèles épinglés qui ont un impact sur les dépenses”, a-t-il annoncé via Twitter.

A Stanford, les chercheurs veulent vérifier leurs résultats dans une étude à long terme. En attendant, ils conseillent aux utilisateurs de surveiller le programme de chat. Chat GPT reste une chose avant tout pour l’instant : Une technologie qui peut filtrer et présenter les connaissances à la vitesse de la lumière, mais sur laquelle on ne peut pas compter comme on le pensait auparavant.