Qu’est-ce qu’un évaluateur par les pairs ?

Un évaluateur par les pairs est une personne qui évalue le travail de recherche effectué par une autre personne. L’évaluateur est généralement un chercheur possédant des compétences similaires à celles nécessaires pour mener à bien la recherche qu’il évalue.

À quoi sert l’évaluation par les pairs ?

Les financeurs et les éditeurs de recherche peuvent être incertains de la qualité d’un projet ou d’un rapport de recherche. Beaucoup font appel à des évaluateurs par les pairs pour évaluer la qualité d’un projet ou d’un rapport.

Comment la qualité de l’évaluation par les pairs pourrait-elle être améliorée par la formation des évaluateurs ?

La formation des évaluateurs par les pairs pourrait les rendre plus aptes à identifier les forces et les faiblesses de la recherche qu’ils évaluent.

Objectif de l’étude

L’objectif principal était de déterminer si la formation des évaluateurs par les pairs améliorait la qualité de leur travail.

Méthodologie

Une recherche d’études comparant la formation des évaluateurs par les pairs à l’absence de formation, à différents types de formation ou aux pratiques standard des revues ou des organismes de financement a été effectuée. Les informations ont été extraites et les résultats de toutes les études pertinentes ont été résumés. La confiance dans les preuves a été évaluée en fonction de facteurs tels que les méthodes d’étude et la taille des échantillons.

Résultats principaux

L’étude a analysé 10 études impliquant 1213 unités d’analyse (722 évaluateurs et 491 manuscrits). Huit études portaient uniquement sur des évaluateurs de revues, tandis que les deux autres portaient sur des évaluateurs de subventions.

Les principaux résultats sont les suivants :

• Des courriels rappelant aux évaluateurs de vérifier les éléments des listes de contrôle de rapport, par rapport à la pratique standard des revues, ont probablement peu ou pas d’effet sur l’exhaustivité des rapports (preuves issues de 2 études portant sur 421 manuscrits).
• La formation des évaluateurs, par rapport à la pratique standard des revues, peut légèrement améliorer la capacité des évaluateurs à détecter les erreurs (preuves issues d’une étude portant sur 418 évaluateurs). Les évaluateurs qui ont reçu une formation ont identifié en moyenne 3,25 erreurs sur 9, tandis que ceux qui n’ont pas reçu de formation en ont identifié 2,7 sur 9.
• La formation des évaluateurs, par rapport à la pratique standard des revues, peut avoir peu ou pas d’effet sur l’évaluation de la qualité de l’évaluation par les parties prenantes (preuves issues de 6 études portant sur 616 évaluateurs et 60 manuscrits).
• L’effet d’un cours vidéo, par rapport à l’absence de cours vidéo, sur la concordance entre les évaluateurs est incertain (preuves issues d’une étude portant sur 75 évaluateurs).
• Une rétroaction individuelle structurée sur la notation, par rapport à des informations générales sur la notation, peut avoir peu ou pas d’effet sur l’évolution de la concordance entre les évaluateurs (preuves issues d’une étude portant sur 41 évaluateurs).

Limites des preuves

La confiance dans la plupart des preuves est limitée en raison du manque d’informations importantes et du nombre insuffisant d’évaluateurs inclus dans les études. de plus, il n’est pas clair si les études ont mesuré la qualité de l’évaluation par les pairs de manière valide et fiable.

Mise à jour des preuves

Les preuves sont à jour jusqu’en avril 2022.