évaluation

Bulletin d’information sur l’édition scientifique Numéro 10

Bulletin d'IES , , 0 commentaire

Ceci est le dixième numéro du bulletin d’information visant à mieux informer la communauté
mathématique (et d’autres) sur les questions liées à l’édition scientifique. N’hésitez pas à le
faire circuler autour de vous et notamment dans votre laboratoire et/ou établissement.
Bonne lecture !

Bulletin d’information sur l’Edition Scientifique n°10 décembre 2022 BulletinEditionScientifique_08

1. RÉFORME DE L’ÉVALUATION AU NIVEAU EUROPÉEN : LE CNRS PARMI LES
PREMIERS SIGNATAIRES
2. MDPI, FRONTIERS,… : LES ÉDITEURS DE LA ZONE GRISE
3. ACCÈS OUVERT : LE CNRS ANALYSE LES PRATIQUES DE SES CHERCHEURS
4. CARNET ROSE : OPUS, LA NOUVELLE PLATEFORME ÉDITORIALE D’UNIVERSITÉ
PARIS CITÉ

Lire la suite

Avenir des modèles de publication scientifique et de l’évaluation par les pairs

La Société Informatique de France (SIF) et la Société de Mathématiques Appliquées et Industrielles (SMAI) co-organisent une journée de présentation et d’échanges sur l’avenir des modèles de diffusion des publications scientifiques et de l’évaluation par les pairs. Les thèmes abordés couvriront l’évaluation par les pairs, les mesures bibliométriques, l’édition libre et les archives ouvertes.

La valeur des données de recherche : une nouvelle opportunité pour l’évaluation scientifique ?

Le groupe de travail Dialogu’IST propose son sixième atelier le mardi 12 juin 2018 (9h00-13h), portant sur La valeur des données de recherche : une nouvelle opportunité pour l’évaluation scientifique ?

Seront mis en exergue le rôle des données scientifiques dans la qualité de la recherche et les pistes qu’elles ouvrent pour l’évaluation de la recherche et des chercheurs.
Issus de laboratoires de recherche, de services de documentation et d’organismes de formation, les intervenants proposeront des états des lieux et des témoignages sur ces questions.

Basé sur la dynamique d’échanges libres et spontanés, l’atelier en visioconférence permet de donner la parole à tous les acteurs concernés, scientifiques et professionnels de l’information.

Le peer review à l’ère de l’open science : enjeux et évolutions

Les formes traditionnelles du peer review font régulièrement l’objet de critiques de la part des chercheurs eux-mêmes : le processus est jugé lent, coûteux et opaque. L’abondante littérature sur le sujet souligne également d’autres écueils du peer review  (Souder 2011) : les biais en faveur d’auteurs issus de prestigieuses institutions ; un traitement inéquitable selon le niveau de maîtrise d’anglais des auteurs ; le risque de privilégier les résultats au détriment de la méthode, l’application de procédures inadaptées à l’évaluation de manuscrits à fort caractère interdisciplinaire ; et plus généralement, un tropisme pour ce que L. Souder nomme « scientific conservatism » (Souder 2011:55).

Par ailleurs, alors que le nombre d’articles augmente de manière exponentielle, les revues sont confrontées à la difficulté de trouver des rapporteurs. M. Kovanis et ses co-auteurs (Kovanis et al. 2016) alertent sur les atteintes à la qualité du processus engendrées par la sur-sollicitation d’un nombre restreint de rapporteurs. De plus, la pénurie de rapporteurs est aggravée par le fait que l’évaluation ne porte plus seulement sur des manuscrits mais s’étend désormais également à des jeux de données, du code informatique par exemple. Ainsi que le soulignent B. Lawrence et ses co-auteurs (Lawrence et al. 2011:11), le peer review de données sources nécessite de recourir non seulement aux compétences de spécialistes de la discipline, mais aussi de s’appuyer sur des experts techniques.

Autre paradoxe du peer review : alors que la publication d’articles dans des revues considérées comme prestigieuses reste déterminante dans l’attribution de financements et de promotions, l’activité de reviewing s’avère peu ou mal valorisée.

Selon J.P. Tennant et ses co-auteurs (Tennant et al. 2017), grâce aux possibilités offertes par l’édition numérique, nous assistons à une période d’expérimentation et d’innovation dans le domaine du peer review. Or si des outils répondent aux besoins de traçabilité et d’interopérabilité, il s’agit moins d’une évolution technique que culturelle.

Dans quelle mesure le paradigme de l’open science peut-il apporter des réponses à la crise du peer review ? Par ailleurs, de quoi l’open peer review est-il le nom ?

Quels sont les impacts sur le peer review de la logique de décloisonnement inhérente à l’open science?

De quelle manière les institutions de recherche peuvent-elles jouer un rôle plus actif dans un écosystème de la publication dominé par les éditeurs ? La publicisation des évaluations renforce-t-elle ou fragilise-t-elle les reviewers?

Nouveaux lieux, nouvelles compétences, nouveaux usages. Quels critères de qualité dans de nouveaux espaces de circulation du savoir ?

Le groupe de travail Dialogu’IST propose son cinquième atelier, le mercredi 29 novembre 2017, portant sur « Nouveaux lieux, nouvelles compétences, nouveaux usages. Quels critères de qualité dans de nouveaux espaces de circulation du savoir ? ».

Seront mis en exergue l’évolution des activités des professionnels de l’information, avec des savoir-faire émergents, des métiers innovants – comme le data librarian – des partenariats pertinents en vue de répondre aux objectifs en lien avec l’évaluation de la recherche et ce, dans le cadre de la loi pour une République numérique. Les intervenants issus de la BnF, du CNRS, de l’Inserm, de l’Université proposeront des témoignages et des retours d’expériences sur ce sujet complexe, qui nécessitera d’autres discussions au cours de prochains ateliers Dialogu’IST programmés en 2018 et 2019.

Basé sur la dynamique d’échanges libres et spontanés, l’atelier en visioconférence permet de donner la parole à tous les acteurs concernés, scientifiques et professionnels de l’information.

Médiatiser la bibliométrie auprès des chercheurs : au-delà de l’évaluation de la recherche

La bibliométrie est prise ici au sens le plus large, « l’application des mathématiques et des méthodes statistiques aux livres, articles et autres moyens de communication » (Pritchard, 1969), et non pas dans un sens restrictif (uniquement l’analyse des publications et de leurs citations dans une optique d’évaluation). Cette définition englobe donc les termes de scientométrie, de métriques des publications, de métriques alternatives, ou altmetrics.

Ressources :

Journée innométriques

Le colloque Innométriques vise à répondre aux attentes globales de l’ESR sur les usages des bases et outils de métrique. Il s’agit en particulier de :
– Clarifier les attentes et les usages des outils de métriques à l’heure du text and data mining (TDM).
– Mieux maîtriser les usages des bases et outils de métrique dans le cadre de l’activité de recherche et de la gestion de la recherche : intervalle de confiance des indicateurs, portée pour l’interprétation des
résultats de la publication scientifique.
– Œuvrer à l’amélioration de la visibilité de la production scientifique française.
– Construire une vision prospective partagée sur les nouveaux usages de la métrique.

Colloque « Open Access et évaluation de la Recherche : vers un nouvel écosystème ?

Comités de lecture ou d’évaluation, classements nationaux et internationaux, outils bibliométriques, réseaux sociaux académiques, « e-réputation »… : sous de multiples formes, des plus institutionnalisées aux moins formalisées, l’évaluation est plus que jamais un élément central de régulation du champ de la recherche.

Quatre axes de réflexions structureront les deux journées :

1 – L’évaluation ouverte avant et après publication.
2 – L’évaluation institutionnelle et l’Open Access.
3 – E-réputation et Open-Access.
4 – Retours d’expérience : l’évaluation institutionnelle en question.

Au-delà du facteur d’impact, quelles alternatives aux métriques traditionnelles?

En 1961, E. Garfield inventait l’Impact Factor, un indicateur comparant la notoriété des revues et pas celle des articles, contrairement à une idée communément répandue. Cette métrique, incontournable dans les domaines de l’évaluation et du pilotage de la recherche, suscite des controverses : biais, interprétations erronées voire pernicieuses, schéma inadapté à certains champs disciplinaires, etc.
Par ailleurs, la diversification des modes de diffusion scientifique a conduit à s’intéresser à d’autres types d’indicateurs. C’est en 2010 qu’apparaissent les premières occurrences du terme « Altmetrics » et que le champ d’étude des mesures alternatives apparaît véritablement. Ce phénomène protéiforme qui connait une rapide expansion fait encore l’objet d’un flou sémantique : Altmetrics (Article Level Metric) ou Almetrics (Alternative Metric). En effet, ces métriques alternatives recouvrent des indicateurs variés : le nombre de téléchargements et de consultations d’un article, le nombre de citations dans des revues scientifiques, les commentaires sur les réseaux sociaux, les partages et archivages ou encore les citations dans les médias généralistes. Elles servent donc tout aussi bien à mesurer la notoriété et l’audience d’un article que la grande diversité des activités autour de lui. L’instantanéité, l’impact sociétal de la recherche, la mesure des usages des données scientifiques constituent les points forts de ces mesures et offrent des bases nouvelles à la réflexion sur la bibliométrie.
Ces métriques constituent donc une alternative aux traditionnelles citations pour valoriser la recherche.
Dès lors, on peut se demander quel peut être l’apport des métriques alternatives aux systèmes d’évaluation très codifiés déjà déployés.
Quelle légitimité ces métriques peuvent-elles revendiquer ? Quelles réponses ces indicateurs peuvent-ils apporter? Dans quelle mesure l’émergence de métriques alternatives comme les altmetrics peut-elle ou non constituer une opportunité pour les chercheurs en SHS notamment ?
Plus généralement, le recours aux indicateurs induit-il une forme de normalisation de la production scientifique ?