L’alarme de la papeterie recherche des similitudes avec le texte trouvé dans de faux papiers.Crédit : Raimund Koch/Getty
Un outil logiciel qui analyse les titres et les résumés des articles scientifiques et détecte les textes similaires à ceux trouvés dans les faux articles suscite l’intérêt des éditeurs.
L’outil, appelé Papermill Alarm, a été développé par Adam Day, directeur de la société de services de données savantes Clear Skies à Londres, au Royaume-Uni. Day dit qu’il a passé en revue tous les titres répertoriés dans la base de données de citations PubMed via le système et a découvert que 1% des articles actuellement répertoriés contiennent un texte très similaire à celui des articles produits par les papeteries – des entreprises ou des particuliers qui fabriquent des manuscrits scientifiques sur commande. L’alarme de la papeterie ne dit pas avec certitude si un article est fabriqué, mais signale ceux qui méritent une enquête plus approfondie.
La lutte contre les usines de faux papier qui produisent de la science factice
Day dit que son analyse n’est pas destinée à estimer l’ampleur de la papeterie parmi les entrées de PubMed, car elle ne peut reconnaître que les papiers similaires à ceux des papeteries connues. De nombreuses autres usines de papier pourraient exister, et des journaux légitimes pourraient également être signalés pour avoir un libellé similaire, dit-il. « C’est comme un filet de pêche. Ce n’est pas une canne à pêche.
Anna Abalkina, économiste à l’Université libre de Berlin qui étudie les papeteries, affirme que la communauté scientifique bénéficiera de contrôles automatisés capables de détecter des papiers potentiellement faux.
Soumissions suspectes
De nombreux éditeurs utilisent déjà des logiciels et d’autres méthodes pour aider à détecter les activités frauduleuses et repérer les papiers indésirables. Certains systèmes de traitement de manuscrits peuvent détecter et signaler si de nombreuses soumissions proviennent du même ordinateur, par exemple – un signe qu’une personne ou une organisation pourrait produire un grand nombre d’études. Mais Day dit que son approche de l’analyse de texte est nouvelle. Six éditeurs, dont SAGE à Thousand Oaks, en Californie, où Day travaille en tant que data scientist, ont exprimé leur intérêt à utiliser Papermill Alarm pour filtrer les manuscrits soumis.
L’outil utilise un algorithme d’apprentissage en profondeur pour comparer la langue utilisée dans les titres et les résumés des manuscrits avec celle utilisée dans les articles connus pour provenir de papeteries. La comparaison est basée sur des listes d’articles de papeterie compilées par des détectives de l’intégrité de la recherche, dont Elisabeth Bik et David Bimler (également connu sous le pseudonyme de Smut Clyde). L’outil utilise un système de feux de signalisation, attribuant des drapeaux rouges aux articles présentant de nombreuses similitudes avec des articles de papeterie connus, des drapeaux orange à ceux présentant certaines similitudes et des drapeaux verts à ceux n’en ayant aucune.
Qu’est-ce qui motive un détective scientifique infiltré ? Un détective de faux papiers s’exprime
Jusqu’à présent, il y a eu peu d’estimations de la prévalence des articles provenant des papeteries. Un mois de juin rapport du Comité d’éthique de la publication à Eastleigh, au Royaume-Uni, ont suggéré que 2 % des articles soumis aux revues proviennent de papeteries et ont déclaré que le problème « menaçait de submerger les processus éditoriaux d’un nombre important de revues ».
La conclusion d’Even Day selon laquelle 1 % des articles PubMed publiés proviennent de papeteries est « trop élevée pour le confort », dit Bimler. « Ces journaux indésirables sont cités. Les gens s’en servent pour étayer leurs propres mauvaises idées et soutenir des programmes de recherche sans issue », ajoute-t-il.
Bik dit que le nombre réel d’articles de papeterie répertoriés dans PubMed pourrait être encore plus élevé, mais souligne que leur impact sur la science dans son ensemble est probablement faible, car la plupart de ces articles ne sont pas très cités ou influents. “Mais cela nuit à la réputation de la science et à la confiance que nous accordons aux documents de recherche”, dit-elle.
