Le peer review à l’ère de l’open science : enjeux et évolutions

Les formes traditionnelles du peer review font régulièrement l’objet de critiques de la part des chercheurs eux-mêmes : le processus est jugé lent, coûteux et opaque. L’abondante littérature sur le sujet souligne également d’autres écueils du peer review  (Souder 2011) : les biais en faveur d’auteurs issus de prestigieuses institutions ; un traitement inéquitable selon le niveau de maîtrise d’anglais des auteurs ; le risque de privilégier les résultats au détriment de la méthode, l’application de procédures inadaptées à l’évaluation de manuscrits à fort caractère interdisciplinaire ; et plus généralement, un tropisme pour ce que L. Souder nomme « scientific conservatism » (Souder 2011:55).

Par ailleurs, alors que le nombre d’articles augmente de manière exponentielle, les revues sont confrontées à la difficulté de trouver des rapporteurs. M. Kovanis et ses co-auteurs (Kovanis et al. 2016) alertent sur les atteintes à la qualité du processus engendrées par la sur-sollicitation d’un nombre restreint de rapporteurs. De plus, la pénurie de rapporteurs est aggravée par le fait que l’évaluation ne porte plus seulement sur des manuscrits mais s’étend désormais également à des jeux de données, du code informatique par exemple. Ainsi que le soulignent B. Lawrence et ses co-auteurs (Lawrence et al. 2011:11), le peer review de données sources nécessite de recourir non seulement aux compétences de spécialistes de la discipline, mais aussi de s’appuyer sur des experts techniques.

Autre paradoxe du peer review : alors que la publication d’articles dans des revues considérées comme prestigieuses reste déterminante dans l’attribution de financements et de promotions, l’activité de reviewing s’avère peu ou mal valorisée.

Selon J.P. Tennant et ses co-auteurs (Tennant et al. 2017), grâce aux possibilités offertes par l’édition numérique, nous assistons à une période d’expérimentation et d’innovation dans le domaine du peer review. Or si des outils répondent aux besoins de traçabilité et d’interopérabilité, il s’agit moins d’une évolution technique que culturelle.

Dans quelle mesure le paradigme de l’open science peut-il apporter des réponses à la crise du peer review ? Par ailleurs, de quoi l’open peer review est-il le nom ?

Quels sont les impacts sur le peer review de la logique de décloisonnement inhérente à l’open science?

De quelle manière les institutions de recherche peuvent-elles jouer un rôle plus actif dans un écosystème de la publication dominé par les éditeurs ? La publicisation des évaluations renforce-t-elle ou fragilise-t-elle les reviewers?

Nouveaux lieux, nouvelles compétences, nouveaux usages. Quels critères de qualité dans de nouveaux espaces de circulation du savoir ?

Le groupe de travail Dialogu’IST propose son cinquième atelier, le mercredi 29 novembre 2017, portant sur « Nouveaux lieux, nouvelles compétences, nouveaux usages. Quels critères de qualité dans de nouveaux espaces de circulation du savoir ? ».

Seront mis en exergue l’évolution des activités des professionnels de l’information, avec des savoir-faire émergents, des métiers innovants – comme le data librarian – des partenariats pertinents en vue de répondre aux objectifs en lien avec l’évaluation de la recherche et ce, dans le cadre de la loi pour une République numérique. Les intervenants issus de la BnF, du CNRS, de l’Inserm, de l’Université proposeront des témoignages et des retours d’expériences sur ce sujet complexe, qui nécessitera d’autres discussions au cours de prochains ateliers Dialogu’IST programmés en 2018 et 2019.

Basé sur la dynamique d’échanges libres et spontanés, l’atelier en visioconférence permet de donner la parole à tous les acteurs concernés, scientifiques et professionnels de l’information.

Accéder au h-index d’un chercheur pour mesurer l’impact de ses publications | CoopIST – Cirad

Le h-index (ou facteur h) est un indicateur d’impact des publications d’un chercheur. Il prend en compte le nombre de publications d’un chercheur et le nombre de leurs citations.

Le h-index peut aussi être calculé pour une entité de recherche (institution, laboratoire…), ou pour une revue. Le h-index d’un chercheur est de plus en plus demandé dans les dossiers de soumission aux appels à projet ou dans le cadre d’évaluations de la recherche.

Source : Coopérer en information scientifique et technique – Cirad – Accéder au h-index d’un chercheur pour mesurer l’impact de ses publications

Médiatiser la bibliométrie auprès des chercheurs : au-delà de l’évaluation de la recherche

La bibliométrie est prise ici au sens le plus large, « l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication » (Pritchard, 1969), et non pas dans un sens restrictif (uniquement l’analyse des publications et de leurs citations dans une optique d’évaluation). Cette définition englobe donc les termes de scientométrie, de métriques des publications, de métriques alternatives, ou altmetrics.

Ressources :

Journée innométriques

Le colloque Innométriques vise à répondre aux attentes globales de l’ESR sur les usages des bases et outils de métrique. Il s’agit en particulier de :
– Clarifier les attentes et les usages des outils de métriques à l’heure du text and data mining (TDM).
– Mieux maîtriser les usages des bases et outils de métrique dans le cadre de l’activité de recherche et de la gestion de la recherche : intervalle de confiance des indicateurs, portée pour l’interprétation des
résultats de la publication scientifique.
– Œuvrer à l’amélioration de la visibilité de la production scientifique française.
– Construire une vision prospective partagée sur les nouveaux usages de la métrique.

Colloque « Open Access et évaluation de la Recherche : vers un nouvel écosystème ?

Comités de lecture ou d’évaluation, classements nationaux et internationaux, outils bibliométriques, réseaux sociaux académiques, « e-réputation »… : sous de multiples formes, des plus institutionnalisées aux moins formalisées, l’évaluation est plus que jamais un élément central de régulation du champ de la recherche.

Quatre axes de réflexions structureront les deux journées :

1 – L’évaluation ouverte avant et après publication.
2 – L’évaluation institutionnelle et l’Open Access.
3 – E-réputation et Open-Access.
4 – Retours d’expérience : l’évaluation institutionnelle en question.

Au-delà du facteur d’impact, quelles alternatives aux métriques traditionnelles?

En 1961, E. Garfield inventait l’Impact Factor, un indicateur comparant la notoriété des revues et pas celle des articles, contrairement à une idée communément répandue. Cette métrique, incontournable dans les domaines de l’évaluation et du pilotage de la recherche, suscite des controverses : biais, interprétations erronées voire pernicieuses, schéma inadapté à certains champs disciplinaires, etc.
Par ailleurs, la diversification des modes de diffusion scientifique a conduit à s’intéresser à d’autres types d’indicateurs. C’est en 2010 qu’apparaissent les premières occurrences du terme « Altmetrics » et que le champ d’étude des mesures alternatives apparaît véritablement. Ce phénomène protéiforme qui connait une rapide expansion fait encore l’objet d’un flou sémantique : Altmetrics (Article Level Metric) ou Almetrics (Alternative Metric). En effet, ces métriques alternatives recouvrent des indicateurs variés : le nombre de téléchargements et de consultations d’un article, le nombre de citations dans des revues scientifiques, les commentaires sur les réseaux sociaux, les partages et archivages ou encore les citations dans les médias généralistes. Elles servent donc tout aussi bien à mesurer la notoriété et l’audience d’un article que la grande diversité des activités autour de lui. L’instantanéité, l’impact sociétal de la recherche, la mesure des usages des données scientifiques constituent les points forts de ces mesures et offrent des bases nouvelles à la réflexion sur la bibliométrie.
Ces métriques constituent donc une alternative aux traditionnelles citations pour valoriser la recherche.
Dès lors, on peut se demander quel peut être l’apport des métriques alternatives aux systèmes d’évaluation très codifiés déjà déployés.
Quelle légitimité ces métriques peuvent-elles revendiquer ? Quelles réponses ces indicateurs peuvent-ils apporter? Dans quelle mesure l’émergence de métriques alternatives comme les altmetrics peut-elle ou non constituer une opportunité pour les chercheurs en SHS notamment ?
Plus généralement, le recours aux indicateurs induit-il une forme de normalisation de la production scientifique ?

La 1/2 journée d’étude Doccitanist : « Evaluation scientifique, qui croire et pourquoi ? » est en ligne !

Vous n’avez pas pu participer à la 1/2 journée d’étude du réseau Doccitanist qui a eu lieu le jeudi 8 octobre 2015 à Toulouse . Retrouvez toutes les vidéos sur notre chaîne Doccitanist

Source : Doccitanist – Professionnels de l’IST d’Occitanie – La 1/2 journée d’étude Doccitanist : « Evaluation scientifique, qui croire et pourquoi ? » est en ligne !