Contre la perversion du système d’évaluation scientifique | Science

Il est bien connu que la recherche est le principal moteur du progrès économique et social ; mais il doit fonctionner correctement pour nous permettre d’améliorer véritablement nos vies. Malheureusement, il existe des preuves évidentes qui indiquent la nécessité d’en réparer certains aspects substantiels, tels que le manque de financement adéquat, la faible importance accordée dans notre pays à la recherche interdisciplinaire, la nécessité d’un pacte étatique sur la recherche, l’évaluation des chercheurs et l’attraction et la rétention des talents. Dans cet article nous nous concentrerons sur ces deux derniers aspects : l’évaluation et le talent.

En Espagne, les recherches des chercheurs, des professeurs d’université et de ceux qui aspirent à le devenir sont évaluées presque exclusivement sur la base de critères bibliométriques. C’est-à-dire avec une comptabilisation du volume de publications, de citations et d’autres mesures de nature numérique. Mais, à quelques exceptions près, l’évaluation par les pairs est exclue. Autrement dit, les experts en la matière émettent des jugements argumentés sur les contributions les plus pertinentes des chercheurs à l’avancement des connaissances.

Les partisans de l’utilisation de critères d’évaluation bibliométriques soutiennent qu’ils sont plus « objectifs » et moins coûteux que l’évaluation par les pairs. La mesure clé ici est ce qu’on appelle le facteur d’impact des revues dans lesquelles les chercheurs publient nos résultats. Ce facteur est calculé pour chaque revue de la manière suivante : chaque année, le facteur d’impact d’une revue est le résultat de la division du nombre total de citations que les articles de cette revue ont reçu au cours des deux années précédentes, par le nombre d’articles. publié dans ledit magazine au cours de ces deux années.

La réalité est que ces mesures indirectes ne sont pas adéquates pour évaluer les contributions scientifiques des chercheurs. Une étude de Philip Campbell, alors rédacteur en chef de Nature (ver « Échapper au facteur d’impact », Nature Vol. 8, 2008) a révélé que les trois quarts des articles publiés dans cette prestigieuse revue ne contribuent pas au calcul du facteur d’impact de la revue. En effet, 80 % des articles publiés dans Nature au cours d’une année donnée, ils reçoivent moins de 20 nominations au cours des deux années suivantes.

D’autre part, on sait qu’il existe des éditeurs de revues qui, lors du processus de révision, demandent aux auteurs d’un article de citer d’autres articles récemment publiés dans la même revue. Ils parviennent ainsi à augmenter artificiellement l’impact du magazine.

Bref, on peut affirmer que le fait de publier un article dans une revue à fort impact ne signifie pas du tout que ledit article constitue une contribution scientifique de grande qualité. Il serait nécessaire d’analyser en détail la pertinence des citations reçues par l’article en question et la raison de ces citations, puisqu’un article peut recevoir de nombreuses citations du fait qu’il contient des résultats erronés. L’exemple le plus connu est un article qui aurait démontré que la fusion nucléaire était possible à température ambiante.

Pratique des maladies

Mesurer la production académique par poids a apporté avec lui un bon nombre de des trucs caractéristiques du picaresque si courant dans notre pays. Voici quelques exemples de faute professionnelle.

Un chercheur peut augmenter son Nombres faire un accord de publication avec d’autres, qui apparaîtront comme co-auteurs de leurs articles, en échange d’apparaître comme co-auteurs sur les articles des autres. Cet accord s’étend également aux rencontres réciproques.

Le connu appât à clics, c’est-à-dire des articles dont les titres sont capables d’attirer l’attention d’autres chercheurs parce qu’ils traitent d’un sujet à la mode, même si ces articles sont des contributions sans intérêt. Une autre stratégie consiste à rédiger des articles résumant l’état de l’art dans un domaine (articles de enquête), car ils sont plus susceptibles de recevoir plus de citations que les articles contenant des contributions originales.

D’autres fois, il est décidé de diviser un résultat scientifique en morceaux qui ne dépassent pas le unité minimale publiable. Cette astuce est également connue sous le nom de publication salami. Cela augmente artificiellement le nombre de citations et de publications.

Dans EL PAÍS, ainsi que dans d’autres médias, ont récemment été publiés diverses nouvelles qui rendent compte de certaines de ces mauvaises pratiques qui pervertissent le système d’évaluation et qui atteignent des cas extrêmes comme la publication d’articles d’une ou deux pages et nulle pertinence scientifique, contenant des centaines d’auto-citations sans rapport avec le contenu desdits articles. Notre collègue José Luis Vertegay Il a également récemment publié un excellent article sur cet aspect (« Productivité et qualité scientifique : les deux faces d’une même médaille ? Université 02/04/2024)

Qu’est-ce qui devrait être fait?

Une idée raisonnable pour approcher une mesure plus fidèle de la qualité de la production scientifique consiste à utiliser des critères qui fonctionnent au niveau international dans les pays les plus avancés scientifiquement. Par exemple, le Déclaration sur l’évaluation de la recherche (DORA, San Francisco, 2013), le Déclaration conjointe d’évaluation de la recherche en informatique (Informatique Europe, 2020) o la Déclaration de Malaga de la Société Informatique Scientifique d’Espagne (SCIE, 2020). Dans tous ces cas, il est insisté sur le fait que l’évaluation doit inclure une évaluation par les pairs des contributions scientifiques, analysant en détail les contributions au-delà de ce que l’on appelle « l’état de l’art ». C’est-à-dire, au-delà des connaissances actuelles sur le sujet étudié, ainsi que des possibilités que de telles contributions soient utiles à d’autres chercheurs pour obtenir des résultats plus nombreux et meilleurs, conformément à la célèbre phrase d’Isaac Newton : « Si j’ai réussi à voir « Plus j’ai progressé parce que je me suis tenu sur les épaules de géants.

Mais avant tout, ces méthodes d’évaluation doivent être complétées par quelque chose qui semble évident : la responsabilité de celui qui utilise l’évaluation pour prendre des décisions.

Les conséquences de cette façon d’évaluer

Nous souhaitons souligner les conséquences négatives du système actuel pour fixer l’objectif que doivent poursuivre les chercheurs pour progresser dans leur carrière professionnelle. Nous cherchons à donner des raisons pour changer les choses.

Dans trop de cas, les efforts se concentrent sur la production d’articles dans le but d’accumuler des citations ; pas nécessairement qu’ils soient importants d’une manière ou d’une autre. Nous avons vérifié que cette absurdité est une réalité. En se fixant cet objectif, de nombreux jeunes qui débutent leur carrière scientifique sont tentés de se joindre à ce jeu de rencontres. Malheureusement, la plupart du temps, ils ne sont pas appelés à participer à des recherches intéressantes qui représentent un défi intellectuel avec lequel grandir en tant que chercheurs. Le résultat est que les jeunes promesses les plus talentueuses sont fugan vers d’autres lieux éloignés du système de recherche universitaire espagnol. Ceci est particulièrement grave et courant dans notre domaine, l’Intelligence Artificielle, car il existe de nombreuses réclamations émanant d’autres pays ou d’entreprises privées offrant de meilleures ressources et conditions salariales.

La fuite des talents contrecarre nos options de croissance. D’une certaine manière, l’illusion que nous avions placée dans un avenir où les nouvelles générations devraient jouer le rôle principal est détruite. Nos diplômés ont besoin de perspectives d’évolution dans leur carrière professionnelle qui motivent leur intérêt à devenir un élément essentiel de notre système de R&D&I. Il est essentiel d’offrir des contrats stables et des conditions de travail décentes, notamment des salaires compétitifs qui reconnaissent la valeur de leur travail. La simple publication de documents potentiellement citables ne devrait pas être un élément à prendre en compte pour attirer des talents. En bref, pour attirer et retenir les talents de la recherche en Espagne, il faut un changement de paradigme dans la gestion des connaissances générées.

Nous ne voulons pas mettre fin à ces lignes sans proposer des solutions pour attirer et retenir les talents. Pas original peut-être. Nous suggérons d’examiner les systèmes suivis par les pays autour de nous et qui ont donné de bons résultats. Par exemple, le modèle britannique. Là-bas, le financement des centres de recherche et des départements universitaires dépend d’évaluations externes par les pairs et les résultats des évaluations ont un impact sur les salaires des chercheurs, y compris des jeunes doctorants. Par conséquent, la responsabilité des dirigeants de faire croître les institutions comprend des mesures non seulement pour retenir les talents, mais aussi pour les attirer. Outre les conditions salariales, l’élément clé est également la capacité à passionner les jeunes par la qualité des projets d’enseignement et de recherche.

Nous avons laissé de nombreuses questions importantes sans réponse. Par exemple, est-il souhaitable qu’il y ait des universités où la recherche ne soit pas un objectif prioritaire ? La recherche dans les grandes entreprises du secteur privé doit-elle être financée par des fonds publics ? Ces aspects et d’autres devraient faire l’objet d’un débat si nous voulons un système de RDI de qualité comparable à celui des pays les plus avancés scientifiquement.

Vous pouvez suivre MATÉRIEL dans Facebook, X e Instagramcliquez ici pour recevoir notre newsletter hebdomadaire.