Balázs Kovács, professeur de comportement organisationnel à Yale SOM, et son collègue Gaël Le Mens, professeur d’économie et de commerce à l’Université Pompeu Fabra de Barcelone, partagent un intérêt pour l’étude de la typicité, c’est-à-dire de la qualité d’une chose, qu’il s’agisse d’un restaurant. , un roman policier ou une publication sur les réseaux sociaux, est conforme à l’opinion générale sur ce que devrait être ce genre de chose.
Pour déterminer cet idéal abstrait, ils ont passé trois ans à former un modèle de traitement du langage naturel appelé BERT pour reconnaître et évaluer la « typicité », un idéal déterminé en regroupant les opinions du plus grand nombre de personnes possible. Ils l’ont alimenté avec des milliers de descriptions de livres et de tweets et, avec une équipe d’assistants embauchés sur Internet qui étiquetaient manuellement chaque élément, ont passé des heures à peaufiner le modèle.
À l’automne 2022, ils disposaient enfin de suffisamment de données pour rédiger un article, qui a été accepté par la revue. Sciences sociologiques. Mais entre le moment où l’article a été accepté et celui où il a été imprimé, un nouveau logiciel d’IA appelé ChatGPT a été rendu public. ChatGPT avait absorbé un énorme ensemble de données d’informations accessibles au public – comprenant des millions de livres et, probablement, des tweets – et pouvait simuler automatiquement les réponses humaines, y compris les réponses à la question de savoir si quelque chose était typique de son genre. Il n’était pas nécessaire de l’entraîner avec des données supplémentaires étiquetées par des assistants de recherche.
En d’autres termes, trois années de travail pourraient désormais être dupliquées instantanément.
«On pourrait pleurer», dit Le Mens.
Mais au lieu de cela, les chercheurs ont décidé de vérifier si ChatGPT, après aucune formation, fonctionnait aussi bien que BERT avec une formation supplémentaire avec les données étiquetées par les assistants de recherche. Si tel est le cas, ChatGPT pourrait être un outil précieux dans leur travail et dans celui d’autres spécialistes des sciences sociales dont les recherches reposent sur le codage de grandes quantités de texte. Ils ont récemment publié leurs résultats dans un nouvel article de la revue Actes de l’Académie nationale des sciences.
“Cela arrive au bon moment”, déclare Kovács. “ChatGPT est le bon outil pour les questions que nous posons depuis longtemps.” Et comme ils réfléchissaient depuis longtemps aux évaluations de typicité, ils savaient exactement comment les utiliser.
Ils ont découvert que ChatGPT, même sans formation, fonctionnait aussi bien, voire mieux, que BERT lorsqu’il s’agissait de déterminer la typicité des descriptions de livres et des tweets. Les implications pour les recherches futures étaient énormes.
«C’est du bon et du mauvais», dit Le Mens. « C’est bien parce que les personnes qui disposent de moins d’argent pour la recherche et qui fréquentent des collèges plus petits peuvent faire des recherches et traiter des textes de manière plus rentable. Ils n’ont pas non plus besoin d’une formation en informatique. Cela rend ce type de recherche moins élitiste.
Par exemple, pour l’étude sur les tweets politiques, Kovács et Le Mens ont dépensé 3 000 £ pour embaucher des personnes chargées de lire chaque tweet et d’en déterminer la typicité. Même en utilisant une version payante de ChatGPT, le coût d’examen des mêmes données à l’aide de l’outil était de 4 $.
Si vous utilisez l’outil sans vous assurer qu’il reproduit fidèlement ce qu’il est censé mesurer (c’est-à-dire si vous n’utilisez pas d’évaluateurs humains pour tester ce que fait le modèle), vous pourriez constater que le modèle est très biaisé à certains égards.
L’inconvénient est que les chercheurs ne comprennent pas toujours que, comme tout autre outil, ChatGPT n’est pas applicable à tous les projets de recherche. Avec le projet de Kovács et Le Mens, cela a bien fonctionné car la détermination de la typicité dépend de l’agrégation des opinions de nombreuses personnes différentes, mais ce n’est peut-être pas le cas pour toutes les expériences.
“C’est un grand saut d’un décor à l’autre”, prévient Le Mens. « Il faut être heureux, mais il ne faut pas être trop enthousiaste. Si vous utilisez l’outil sans vous assurer qu’il reproduit fidèlement ce qu’il est censé mesurer, c’est-à-dire si vous n’utilisez pas d’évaluateurs humains pour tester ce que fait le modèle, vous pourriez constater que le modèle est très biaisé à certains égards. Une autre question est de savoir si ChatGPT sera un jour capable d’expliquer ses notes comme un humain.
« Tout le monde parle de l’IA », dit-il. « De nombreuses tâches deviennent beaucoup plus rapides et moins coûteuses. Dans ce petit exemple, l’IA semble fonctionner aussi bien que les humains. Mais on ne sait pas ce que l’avenir nous réserve.»
