ChatGPT mieux que les étudiants de premier cycle pour résoudre les problèmes SAT, selon une étude | ChatGPT

ChatGPT peut résoudre des problèmes à un niveau qui correspond ou dépasse un étudiant de premier cycle, selon une nouvelle étude.

Les chercheurs ont découvert que le grand modèle de langage GPT-3 qui sous-tend le chatbot fonctionnait à peu près aussi bien que les étudiants américains de premier cycle lorsqu’on leur demandait de résoudre des problèmes de raisonnement qui apparaissent sur des tests d’intelligence ou des examens tels que le test d’admission dans un collège américain, le SAT.

Des psychologues de l’Université de Californie à Los Angeles ont testé la capacité de GPT-3 à prédire l’image suivante dans un tableau complexe de formes, après avoir converti les images en un format texte que le modèle pourrait traiter et s’être également assuré que le modèle n’aurait jamais rencontré les questions. avant.

Les mêmes problèmes ont été posés à 40 étudiants de premier cycle de l’UCLA et les chercheurs ont découvert que le GPT-3 résolvait correctement 80 % des problèmes, bien au-dessus du score moyen d’un peu moins de 60 % pour les participants humains.

Les chercheurs ont également incité le modèle à résoudre certaines questions «analogiques» SAT – en sélectionnant des paires de mots liés d’une manière ou d’une autre – qui, selon eux, n’avaient pas été publiées sur Internet et n’auraient donc pas pu apparaître dans la grande quantité de données. formé sur. Par rapport aux scores SAT des candidats à l’université, l’équipe de l’UCLA a constaté que l’IA surpassait le score moyen des humains.

Dans un autre test, le modèle a moins bien réussi. Les chercheurs lui ont demandé, ainsi qu’aux étudiants volontaires, de faire correspondre un passage en prose avec une nouvelle courte différente qui véhiculait le même sens. Dans ce test, GPT-3 a fait moins bien que les étudiants, bien que GPT-4 – le successeur amélioré de GPT-3 – ait fait mieux que son prédécesseur, selon la recherche, qui était publié dans la revue Nature Human Behavior.

L’étude a révélé que GPT-3 affichait une capacité “étonnamment forte” à repérer des modèles et à déduire des relations, “égalant ou même dépassant les capacités humaines dans la plupart des contextes”.

L’auteur principal de l’étude, Taylor Webb, a déclaré que le modèle pilotant ChatGPT n’était pas au niveau de l’intelligence artificielle générale ou de l’intelligence au niveau humain.

Il a dit qu’il avait du mal avec les interactions sociales, le raisonnement mathématique et la résolution de problèmes qui nécessitent de comprendre l’espace physique, comme déterminer quels outils sont les meilleurs pour transférer des bonbons d’un bol à un autre. Néanmoins, la technologie avait fait un bond en avant.

«Ce n’est certainement pas une intelligence humaine entièrement générale. Mais il a définitivement fait des progrès dans un domaine particulier », a déclaré Webb, chercheur postdoctoral en psychologie à l’UCLA.

Les chercheurs de l’UCLA ont ajouté que sans accès au fonctionnement interne de GPT-3, qui est développé par la société OpenAI basée à San Francisco, ils ne pouvaient pas déterminer comment fonctionnent les capacités de raisonnement du modèle et s’il pense comme un humain ou montre un nouveau forme d’intelligence.

“GPT-3 pourrait être une sorte de pensée comme un humain”, a déclaré Keith Holyoak, professeur de psychologie à l’UCLA. “Mais d’un autre côté, les gens n’ont pas appris en ingérant tout Internet, donc la méthode de formation est complètement différente. Nous aimerions savoir si cela fonctionne vraiment comme les gens le font, ou s’il s’agit de quelque chose de tout nouveau – une véritable intelligence artificielle – qui serait incroyable en soi.