Archives du mot-clé évaluation de la recherche

Quels standards internationaux pour la recherche en éducation ?

Dans un premier article, « à la recherche d’une science pour l’éducation », nous avons abordé les questions posées par la quête d’un modèle scientifique unique de référence pour les recherches en éducation.

Cette invocation d’un modèle scientifique de référence va inévitablement de pair avec une affirmation qu’il y aurait, « à l’international », des résultats incontestables et des normes de qualité scientifique qu’il serait temps de prendre en compte.

Lors des Controverses de Descartes, Franck Ramus a notamment réagi à la présentation de l’étude « Lire Écrire CP » de Roland Goigoux  dont il saluait la rigueur tout en rajoutant « Il reste à faire évaluer les résultats et à publier au niveau international. C’est comme ça que le travail est expertisé. Ce processus est propre à la recherche scientifique, il est essentiel. Alors on peut commencer à parler des résultats mais pas avant. Ici, on a fait le contraire (…) » (d’après Gaëlle Guernalec-Levy sur le site Gynger).

Dans la même intervention, en faisant notamment allusion à la méta-analyse de John Hattie, il déplorait qu’il y a « tellement de connaissances au niveau international, c’est un crime de les cacher aux enseignants ». Continuer la lecture de Quels standards internationaux pour la recherche en éducation ? 

A la recherche d’une Science pour l’éducation

A l’occasion d’un article hagiographique sur Céline Alvarez, on a pu lire récemment, dans un magazine bien connu dans le monde éducatif, la phrase suivante : « Les neurosciences sont les seules à pouvoir nous renseigner sur la complexité de l’être humain » ( «Le cerveau d’un enfant varie selon la pédagogie qu’on lui applique », Lorraine Rossignol, Télérama, 19 février 2016).

Dans son simplisme grotesque, l’affirmation a suscité quelques vives réactions de lecteurs, mais la plupart des professionnels de l’éducation se sont contentés de réactions narquoises. Sur le fond, elle ne fait pourtant que caricaturer ce que l’on entend parfois, y compris dans certaines institutions de l’éducation nationale.

C’est un mouvement qui évoque le ressac : l’agenda médiatique ou politique est régulièrement saisi par telle ou telle personnalité qui invoque l’urgence de donner une base scientifique aux pratiques éducatives.

Cela évoque souvent une réplique de (mauvais) boulevard :

  • Sur un ton expert indigné : « comment est-il possible qu’à notre époque on ne se décide pas à enfin utiliser les acquis de la science pour enseigner !? » ;
  • Sur un ton politique exaspéré : « il faut en finir avec l’idéologie et enfin appliquer dans les salles de classe les méthodes appuyées sur des vrais sciences » ;
  • Sur un ton universitaire sarcastique : « il faudra m’expliquer pourquoi on ne pourrait pas appliquer à l’éducation les protocoles scientifiques qui ont fait leur preuve dans les autres domaines » ;
  • Sur un ton journalistique: «  de nouvelles recherches capitales pour l’éducation de nos enfants sont pourtant ignorées par le système académique ! ».

Continuer la lecture de A la recherche d’une Science pour l’éducation 

Les recherches sur l’éducation sont-elles des sciences comme les autres ?

Capture d’écran 2014-12-16 à 08.05.33Définir une recherche scientifique de qualité en éducation, soulève de nombreux débats un peu partout dans le monde occidental. Las du manque de crédibilité d’une science trop confuse, les décideurs souhaitent pouvoir s’appuyer sur des réponses fiables issues de la recherche en éducation. Pour cela, deux questions fondamentales sont soulevées : quels sont les principes d’une recherche en éducation de qualité ? Comment le savoir et les connaissances issus de ces recherches se thésaurisent-ils ? C’est sur cette question de cumulativité des résultats que les recherches en éducation peuvent paraitre faibles. Il semblerait que des efforts de mobilisation et d’articulation des démarches scientifiques issus des différents champs disciplines constitutifs ne soient pas toujours satisfaisants, en France comme ailleurs. Les comités d’évaluation de la recherche dans de nombreux pays (comme le REF au Royaume-Uni, le HCERES en France, l’ERA en Australie ou le KNAW aux Pays-Bas) ont pour objectif d’examiner et de juger les résultats de la recherche, de les rendre plus visibles aux yeux au grand public et de justifier ainsi les dépenses des fonds publics utilisés pour financer les programmes de recherche.

Les chercheurs doivent donc publier leurs résultats mais pas n’importe où ni n’importe comment. Si l’on s’en réfère au billet de blog « Qu’est-ce qu’un bon chercheur ?« , « le bon chercheur c’est celui dont les pairs disent qu’il est un bon chercheur » mais aussi « le bon chercheur c’est celui qui publie beaucoup » ou encore « le bon chercheur c’est celui qui est cité », également « le bon chercheur c’est celui qui publie beaucoup et qui est cité  » et enfin « le bon chercheur c’est celui qui ne fait pas comme les autres »…Toutes ces suggestions sont le reflet d’analyses bibliométriques (destinées à évaluer les qualités scientifiques d’un chercheur, quel que soit son domaine) et déclenchent de nombreuses querelles au sein des communautés scientifiques.

Mais comment les productions scientifiques peuvent-elles utilisées dans le domaine de l’éducation ? Comment valoriser ces résultats ?  Ces questions sont liées à la dissémination des résultats des recherches et leur accessibilité sociale.

Avec ces discussions en toile de fond, nous présentons dans le Dossier de veille de l’IFÉ n°97 décembre 2014, «Production et valorisation des savoirs scientifiques sur l’éducation», une revue de littérature de textes récents sur la question de scientificité des recherches en éducation, sur les dispositifs de publication et de valorisation des productions scientifiques.

De l’expérimentation en éducation

Un  numéro récent de la revue Formation-Emploi (CEREQ) s’intéresse aux expérimentations sociales, qui concernent en l’occurence des problématiques éducatives souvent traitées dans ce carnet (décrochage scolaire, portefeuille de compétences à l’université, etc.). Nous renvoyons donc les lecteurs à la lecture de ce numéro particulièrement intéressant (Formation emploi 2014/2 (n° 126)).

On soulignera juste ici un article d’Agathe Devaux-Spatarakis concernant l’expérimentation par assignation aléatoire, qui s’intéresse aux leçons à tirer d’évaluations de projets financés par le Fonds d’expérimentation jeunesse au début des années 90. Parmi ces projets figurait notamment la « mallette des parents« , projet emblématique s’il en est puisqu’il avait été proposé par l’École d’économie de Paris (qui n’a pas entendu parler de Thomas Picketty ?) au recteur de Créteil qui est ensuite devenu directeur de la DGESCO (qui n’a pas entendu parler de Jean-Michel Blanquer ?).

La Mallette des parents a notamment eu la particularité de bénéficier d’un financement (620 000 €) qu’on rencontre rarement dans la recherche en éducation et d’un soutien politique qui lui a permis de devenir un projet officiel de la DGESCO au niveau national.

L’article, équilibré, montre bien les intérêts de cette méthode mais aussi les conditions, assez difficiles, à remplir pour que ce genre d’évaluation de projets féconde à la fois la recherche et l’action publique. En l’occurence, le succès relatif de la Mallette des parents par rapport à d’autres expérimentations semble reposer sur le fait que ce projet a été conçu dès le départ par des chercheurs, avec un enrôlement fort des responsables de politiques publiques dans la logique scientifique proposée. A contrario, il montre la difficulté, dans d’autres projets, de concilier la logique scientifique avec les contraintes institutionnelles, l’agenda des politiques publiques ou, plus simplement, les valeurs et les pratiques des professionnels sur le terrain. L’article souligne alors les enjeux plus généraux en matière de politiques publiques de ce genre de démarches (voir aussi l’article des promoteurs de la démarche sur la Vie des idées).

Dans la lignée de la réflexion que nous avons entamée avec le dossier de janvier dernier sur la démarche de la preuve en éducation, il est clair que cette démarche, promue par Esther Duflo et de nombreux économistes, se nourrit d’une critique, explicite ou implicite, de la recherche en éducation traditionnelle qui devrait céder le pas à des démarches plus expérimentales.

Neurosciences, économie, psychologie : quelles que soient les origines disciplinaires revendiquées, le point commun de ces postures est de rarement emprunter la voie du dialogue avec les recherches existantes en éducation mais plutôt de chercher à s’y substituer avec des moyens (financiers, médiatiques, politiques..) largement supérieurs.

Dans le cas de la Mallette des parents, nous ne discuterons pas de la pertinence de l’expérience et de sa généralisation, qui est discutée par ailleurs, en particulier par des chercheurs spécialistes de ces questions (cf. notamment Séverine Kakpo).

Ce qui nous intéresse ici c’est de constater que les économistes  n’ont pas jugé utile de prendre en considération dans le cadre de leur projet les recherches existantes sur le sujet, dès lors qu’elles n’étaient pas dans l’aire paradigmatique qui convenait à l’expérimentation.

Ainsi, quand on consulte la « revue de littérature » invoquée dans le rapport officiel de l’École d’économie de Paris, on constate l’absence totale de tout chercheur francophone de référence sur la question, une note de fin d’article expliquant « To select these non-economic studies, we firstly identified several literature reviews written in english – a choice explaining the few French references – on parental involvement in non-economic fields, as well as reports from the U. S. Department of Education and from the U. K. Departments for Education and Skills and for Children, Schools and Families. »  sans que ce choix ne semble avoir besoin d’être justifié plus avant !

Dans un domaine – l’éducation- dont on connait l’extrême sensibilité aux contextes nationaux (l’éducation est culturelle dans un sens ontologique), le choix de se baser sur l’état des savoirs exclusivement issus des pays anglo-saxons laisse perplexe.

Plus largement, le choix volontaire de circonscrire la revue de littérature aux travaux de nature « empirique » (quantitatifs, en fait) ne laisse aucune place aux enquêtes plus qualitatives reposant par exemples sur de longues heures d’observation ou d’entretiens. L’idée qu’une pluralité de regards et de méthodes soit indispensable pour saisir la complexité d’un processus éducatif (et prétendre agir dessus) ne semble pas aller de soi.

On pourrait, certes, sans doute retourner le compliment à bien des recherches en éducation, dont le périmètre de citations est parfois  restreint à un sous-courant de quelque école de pensée.  Mais, en l’occurence, la « puissance de feu » du projet considéré, qui fait largement référence, suscite forcément des exigences proportionnelles.

En fin de compte, ce qui apparaît c’est le déséquilibre persistant de traitement entre des démarches expérimentales, parfois fort onéreuses mais très à la mode, et les autres démarches scientifiques, comme si seules les premières – par la magie des tableaux de chiffres- pouvaient prétendre à un statut « vraiment » scientifique, en éducation comme ailleurs…

Les téléchargements comme traces d’impact des recherches

Évaluera-t-on un jour les productions scientifiques en éducation en fonction de leur écho sur Internet ou du nombre de téléchargements des publications qui en sont issues ? La question apparaît aujourd’hui incongrue, mais demain ?

Le magazine Research Trends, qui émane de l’éditeur Elsevier, vient en effet de publier un article concernant l’utilisation du nombre de téléchargement d’articles comme indicateur alternatif (à la bibliométrie traditionnelle) de l’impact de la recherche et de l’échange de connaissances entre secteur privé et secteur universitaire (consultable en ligne). Il s’agit, dans cette étude, d’un focus sur  un rapport commandé par le ministère britannique concernant la performance de la recherche du Royaume Uni à l’aune d’un certain nombre de comparaisons internationales.

Au delà du cas d’espèce, assez éloigné de nos préoccupations, il est intéressant de constater la multiplication des études exploratoires visant, d’une part, à identifier des indicateurs d’impact social des recherches et, d’autre part, à mieux prendre en compte les traces multiples laissées par la circulation des productions scientifiques sur Internet. La recherche académique la plus « classique » est au centre de ces réflexions : il ne faut pas se cacher le fait que bien des gouvernements sont régulièrement à la recherche de moyens permettant de justifier des réduction ou des réorientations de crédits dans un contexte financier tendu.

Mais cela interpelle aussi la recherche dans des secteurs, comme l’éducation, dont une grande part de la légitimité provient de la contribution qu’ils sont censés apporter à l’amélioration des pratiques qu’ils étudient. On peut souhaiter qu’on n’invente pas d’indicateur chiffré de l’impact d’une recherche en éducation, artefact inévitablement monstrueux de tous points de vue. En la matière, on sait qu’un séminaire ou une formation qui rassemble les experts les plus pertinents sur une question, ou qu’un chercheur convaincant qui réussit à partager la table d’un futur ministre, sont deux façons parmi beaucoup d’autres d’impacter les pratiques et les politiques, dont on voit mal comment elles pourraient être objectivées dans quelque tableau de bord !

Ceci étant rappelé, dans la suite de nos réflexions sur les sciences en éducation et sur le passage de la recherche aux pratiques, on peut se demander dans quelle mesure il sera un jour possible d’identifier la circulation des concepts, des idées et des résultats de la recherche en recensant les traces laissées par les productions sur les différents supports que sont les plate-formes scientifiques, les portails éducatifs ou académiques, les blogs, les réseaux sociaux, etc.

Il est de ce point de vue amusant de jeter un oeil aux indicateurs de téléchargement de nos dossiers de veille sur les pages hébergés par notre site institutionnel, telles que les restituent les statistiques réalisées par l’outil bien connu AWStats. Même si l’on ne sait rien ou pas grand chose de la lecture qui en est faite (ou non), le téléchargement d’un fichier PDF d’une vingtaine de pages n’est pas un acte totalement anodin.

Sur la période qui correspond presque aux deux premiers mois de l’année 2014, on constate par exemple que le dossier sur les neurosciences et l’éducation est encore téléchargé plus de 8000 fois alors qu’il était déjà le dossier le plus consulté en 2013, dépassant au total les 30000 téléchargements !  Ici, le sujet, scientifiquement mais aussi politiquement assez « chaud » suscite visiblement un intérêt qui dépasse largement le cercle habituel de nos lecteurs.

Derrière, on trouve le dossier sur la façon dont la recherche fait ses preuves en éducation (9500 téléchargements) publié en janvier 2014, le dossier  sur le lycée, à la croisée de tous les parcours, sorti juste avant le début des congés scolaires de Noël 2013 (3300 téléchargements) ou un plus vieux dossier sur les effets de l’éducation familiale toujours très consulté plus de deux ans après sa publication (5300).

En étant conscients des limites inhérentes à ce genre d’outils, les chiffres donnent des indications sur la circulation de nos dossiers, sur la popularité relative de certains thèmes et sur l’étendue de la diffusion qu’on peut présumer de la diffusion de ces dossiers, sans forcément prétendre en inférer des indicateurs de qualité du travail réalisé.

Constater  qu’un dossier sur la décentralisation dans l’éducation est largement moins téléchargé qu’un dossier sur les compétences ne dit pas grand chose sur la qualité relative du dossier rédigé, mais beaucoup sur la différence de populations intéressées par la thématique : on peut par exemple imaginer qu’il y a plus d’enseignants concernés par l’enseignement par compétences, que d’éducateurs disposés à lire 23 pages sur les relations entre l’éducation et les collectivités locales !

Il serait intéressant de recouper ces chiffres avec d’autres sites qui s’adressent prioritairement aux professionnels de l’éducation, dont il faut rappeler qu’ils sont plus d’un million en France, rien que dans le périmètre de l’éducation nationale (nombre officiel de personnels du ministère), ce qui incite à la modestie…

Annexe : quelques statistiques sur l’année civile 2013

Numéro Mois de publication Titre Téléchargements
 86  sept.2013  Neurosciences et éducation : la guerre des cerveaux  23 267
 79 nov. 2012  Pédagogie + Numérique = Apprentissages 2.0
14 967
 84  mai 2013  Le décrochage scolaire : diversité des approches, diversité des dispositifs 13 414
 63  juin 2011  Les effets de l’éducation familiale sur la réussite scolaire  13 163
 82 févr. 2013  Des projets pour mieux apprendre ? 12 533
 76  juin 2012  Le défi de l’évaluation des compétences 7 351
 81  janv. 2013  Aux frontières de l’École ou la pluralité des temps éducatifs  6 489
 83  avr. 2013  Décentralisation et politique éducative  6 297
 68  nov. 2011  Regards d’aujourd’hui sur l’enfance  5 561

Pourquoi parler de « recherche scientifique » en éducation ?

A la faveur de l’éditorial du Monde de mercredi 12 décembre sur les (mauvaises) performances de la France à l’enquête PIRLS, on voit encore apparaître le terme de « recherches scientifiques » sur l’apprentissage de la lecture. Le lecteur distrait pourra y voir une sorte de truisme ou de pléonasme involontaire. Cette expression n’apparaît pourtant pas par hasard.

Je l’ai en effet entendu  récemment cet été, dans la bouche de Laurent Bigorgne (directeur de l’Institut Montaigne) lors d’une séance de la concertation pour la Refondation de l’école. Je l’ai entendu encore dans celle de certains intervenants à la journée « sciences cognitives » organisée par la DGESCO au collège de France.

A chaque fois, c’est en fait devenu le moyen de distinguer clairement ses préférences en matière de recherche sur l’éducation et d’en stigmatiser implicitement une partie : il y aurait d’un côté les recherches « scientifiques » qui reprennent très précisément les protocoles des sciences expérimentales et miment autant que possible la situation du laboratoire (avec groupe témoin, variables contrôlées, etc.), et de l’autre côté les recherches » idéologiques », qui prôneraient des méthodes basées sur des convictions militantes sans « preuves » scientifiques. C’est d’ailleurs l’ensemble des recherches en éducation qui ne se font pas sous la bannière des discipline canoniques (histoire, philosophie) ou expérimentales (psychologie sociale, cognitive…) qui sont visées à plus ou moins long terme.

Le terrain d’élection de cette théorie est depuis quelques années en France celui de la lecture, profitant de la bataille plus ou moins mythique entre tenants de la lecture globale et syllabique, fortement instrumentalisée politiquement par l’ancienne majorité.  Le problème principal, à mes yeux, est qu’on glisse progressivement du terrain de la lecture, sur lequel je n’ai pas personnellement de doctrine, à celui d’une conception générale des relations entre les recherches et l’éducation qui me semble lourde de confusions et d’erreurs.

Cette critique implicite se nourrit des faiblesses historiques d’une partie des recherches en sciences humaines et sociales (pas seulement en éducation), dont les arènes de confrontation scientifiques sont restreintes et souvent nationales, ce qui ne favorise pas toujours une certaine rigueur.  Néanmoins, la question qui n’est pas posée est celle de savoir si l’on peut considérer qu’une recherche qui se fait en articulation constante avec des pratiques et des politiques publiques, comme celle de l’éducation, peut être appréciée dans ses méthodologies de la même façon que celle qui se peut se faire avec des souris de laboratoire.

On voit bien, ne serait-ce que sur la question de la lecture/écriture, que le problème des élèves français n’est pas qu’une question d’apprentissage du code mais aussi un problème d’inhibition dès qu’il s’agit de s’exprimer et de raconter, qui renvoie à des problèmes de normes scolaires et culturelles plus larges.

Comme cela s’est produit aux Etats-Unis ou en Angleterre avec une partie du mouvement de l’Evidence Based Education, la conception qui arrive trop rapidement est celle d’une vérité scientifique qui serait établie au sein des laboratoires universitaires et qu’il ne resterait plus qu’à appliquer à un terrain enfin débarrassé des idéologues et des pédagogues.

Ce faisant, on privilégie une conception technicienne de l’enseignement, dont l’essentiel résiderait dans une série de techniques à standardiser et à appliquer dans toutes les classes, sans trop s’encombrer des spécificités des public, des dimensions affectives et des contextes sociaux et culturels. Or, de nombreuses études montrent qu’enseigner signifie aussi en grande partie savoir improviser, savoir s’adapter, savoir comprendre une situation, bref, un métier qui repose tout autant sur l’intuition, l’expérience ou les valeurs que sur un ensemble de procédures codifiées et reproductibles. C’est toute la difficulté de concevoir une formation des enseignants complète et efficace.

On privilégie par ailleurs une vision partielle et étroite de l’éducation, dans laquelle on va par exemple isoler tel apprentissage ou telle performance scolaire, sans plus s’interroger sur le contenu visé, sur sa nature et sur son sens. Comme s’il y avait des contenus scolaires « neutres » et universels, sans indexation sociale ni culturelle, que chaque élève pourrait assimiler indifféremment.

Iil règne aujourd’hui un grand désarroi et une  incertitude sur la « bonne façon » de retrouver l’élan démocratique que l’on attend de l’école. Chercher la solution dans le recours aux recherches vraiment « scientifiques » comme dans la sanctuarisation de contenus universaux représente deux types de raccourcis qui risquent fort de se transformer en autant d’impasses.

Pour aller plus loin

Revues en éducation et « publication phares » dans Google Scholar

Parallèlement à mon précédent article sur le classement 2011 des revues en éducation dans les listes ERIH, j’ai jeté un oeil aux « publications phares » que présente Google Scholar.

Si, en effet, chacun s’accorde à émettre de nombreuses suspicions sur la façon dont fonctionne la version « académique » du célèbre moteur de recherche, c’est un secret de polichinelle de rappeler que du jeune doctorant aux responsables d’organisations de recherche, tout le monde consulte régulièrement Google Scholar. Dans le domaine des SHS, en particulier, GS est l’une des rares façons de disposer d’une base de données gratuite dont la couverture bibliographique est relativement étendue à défaut d’être rigoureuse et explicitée.

Il est dans ce cadre intéressant de constater que parmi ces  » publications phares francophones« , présentées par le moteur, on trouve un certain nombre de revues en éducation dont le point commun est d’être particulièrement bien exposées depuis quelques temps sur le web,  qu’elles aient été mises en lignes dès leur origine ou qu’elles aient été intégrées sur des portails tels que Cairn et/ou Revues.org. Il faudrait d’ailleurs examiner de façon plus systématique quel est l’effet « barrière mobile », c’est- à-dire si la visibilité ou le nombre de citations de tel ou tel article change à partir du moment où l’article devient consultable librement, sans paiement préalable.

Si l’on ne peut pas affirmer, dans un raccourci réducteur, que des classements de revues seraient inférés de ce type d’indicateurs, il n’en demeure pas moins qu’un effet de notoriété au moins indirect est vraisemblable.

A ce niveau, le poids des citations (voire des auto-citations…) entre publications en ligne est remarquable, quel que soit leur statut. Autrement dit, pour être mis en avant dans GS, l’important est d’être cité par d’autres publications indexées par Google Scholar.

Il suffit de regarder, à titre d’exemple, quelles sont les citations retenues par GS pour un article du regretté V. Carette sur les enseignants efficaces, paru dans la RFP, Quatre citations, parmi les 11 retenues, proviennent d’un seul dossier (sur l’évaluation des apprentissages) que j’avais réalisé avec Laure Endrizzi. En fait, les quatre citations correspondent à quatre versions différentes d’un même travail de synthèse, distinguées ici en fonction de leur serveur de stockage (HAL SHS, IFE ENS Lyon, etc.).

 

 

Les revues à visibilité internationale et les autres… selon les listes ERIH

Les classements des revues de recherche constituent un enjeu fort dans l’organisation du champ scientifique. Nous avions consacré en 2009 un dossier à cette problématique, dans un contexte de vives polémiques concernant  alors l’évaluation des activités des chercheurs : « productivité et qualité scientifique : avec quelles publications compter ?« . Nous revenons aujourd’hui sur une partie de ce thème en faisant le point, pour le domaine de la recherche en éducation, sur l’édition 2011 du classement des listes ERIH (European Reference Index for the Humanities), publiée par la Fondation européenne pour la science il y a un an dans une relative indifférence.

Le classement 2007-2008 des revues en trois catégories (« A », « B » et « C ») avait été ressenti comme un classement hiérarchique plus que comme une catégorisation en fonction du lectorat plus ou moins international, tel que prétendait le faire pourtant les listes ERIH. Pour parer cette critique, l’édition 2011 a mis en oeuvre de nouvelles catégorie : « NAT », « INT1 » et « INT2 ».

Les revues européennes « NAT » comme « national« , souvent liées à une aire linguistique , sont censées avoir comme lectorat principal une communauté universitaire nationale ou régionale.

Les revues « INT » comme « international« , aussi bien européennes que non européennes, sont celles qui sont censées être régulièrement citées à un niveau mondial. Ces dernières revues sont elles-mêmes réparties en deux sous-catégories :

  • INT1 qui regroupe les publications internationales à « haute visibilité »;
  • INT2 qui regroupe les publications internationales à « visibilité significative ».

Une catégorie spécifique, les W category journals, regroupe les revues qui ont publié leur premier numéro dans les trois dernières années avant la date de clôture pour la soumission au panel d’experts (22 janvier 2009 pour l’éducation).

531 revues ont été ainsi catégorisées pour la discipline Pedagogical and Educational Research, qu’on peut retrouver en interrogeant la base des ERIH revised lists sur le site de l’ESF.

Quel est le résultat pour la France ?

On trouve 21 revues françaises (contre une soixantaine dans le classement des revues référantes de l’AERES, voire autour de 70 en y ajoutant les revues « interface »). Ces 21 revues sont donc logiquement censées constituer une liste approchante, sinon complètement à jour, des revues françaises qui ont un rayonnement significatif au niveau national et surtout international. On trouvera la liste actuelle, comparée à celle de 2007, dans  le tableau récapitulatif à la fin de cet article.

Qu’en retenir ?

D’abord un gag : la même revue Repères (didactique du français) est mentionnée deux fois, la faute à deux ISSN différents (l’un correspondant aux anciennes collections). En revanche, elle est classée de façon différente : une fois en catégorie nationale (avec l’actuel ISSN), l’autre fois en catégorie internationale (avec l’ancien ISSN). Comment ont travaillé les « experts » ? Deux hypothèses parmi d’autres : soit c’est un comptage automatique de citations (par exemple dans Google Scholar) qui aboutit à mieux « évaluer » l’ancien que le nouvel ISSN; soit c’est une appréciation au doigt mouillé qui a aboutit à mieux classer celui qui ne porte pas dans le classement le sous-titre « recherche en didactique du français langue maternelle ». Bref, rigueur, précision et sérieux au programme !

Ensuite, quatre revues figurent dans la catégorie « INT1 ».

Parmi elles, Enfance est une revue plutôt ancrée dans le champ de la psychologie et qui s’intéresse, certes, au développement de l’enfant, mais dont la classification dans la catégorie « éducation et recherche pédagogique » est un peu abusive. Ceci dit, le principal problème réside surtout dans le fait que cette revue a apparemment cessé de paraître depuis…2008 ! Dommage…

Sinon, on trouve dans cette catégorie la Revue française de pédagogie, qui y était déjà lors du précédent classement, ainsi que deux nouvelles : Education & Didactique et Recherches en didactique des mathématiques.

La promotion d’Education & Didactique est impressionnante, puisque cette revue ne figurait même pas dans ce classement en 2007… pour la bonne raison que c’est une revue qui n’a commencé de paraître qu’en 2007 ! Cette revue parvient par là même à s’affranchir de la règle qui faisait que les revues ayant publié leur premier numéro dans les trois ans précédemment la date limite de soumission au comité étaient censées relever d’une catégorisation spécifique, la W category journal. Comme on peut s’interroger sur la profondeur de la lecture des revues indexées par les experts (au vu des anomalies précédemment relevées), on peut conjecturer sur cette place. Le fait que dès le départ, la revue a joué le jeu de l’accès en ligne, par une présence sur l’excellent portail Revues.org, n’est sans doute pas étranger à cette présence. D’autres facteurs d’influence ont pu s’exercer ?

Encore plus surprenante est la présence ici de la revue Recherches en Didactique des mathématiques, car si la didactique des mathématiques tient incontestablement une place centrale en France, on s’étonne que la composition exclusivement française du comité scientifique et du comité de rédaction n’ait pas fait ciller les experts de l’ESF…

En regard de cette promotion de la didactique, dont le caractère dominant sur la recherche en éducation française est ici bien illustré, il faut noter la rétrogradation de la revue Histoire de l’éducation, dorénavant considérée comme revue d’influence nationale ou régionale (au sens d’aire linguistique).

Dans la catégorie INT2 et NAT, parmi les éléments notables, on retiendra :

  • la disparition de la revue sur l’orientation scolaire et professionnelle (de l’INETOP-CNAM) et la rétrogradation de la revue Education permanente dans la catégorie NAT, ce qui semble indiquer une sensibilité faible à certaines approches professionnelles
  • l’entrée de la revue de l’ADMEE (Mesure et évaluation en éducation)
  • l’entrée de la revue de didactique éditée par l’IREM de Strasbourg, Annales de didactique et de sciences cognitives, qui confirme le poids prépondérant des didactiques dans l’édition 2011 des listes ERIH en éducation.
  • la rétrogradation de la Revue internationale de Sèvres dans la catégorie nationale, ce qui est un peu bizarre au regard du caractère éminemment international de cette revue, qui pourrait être plutôt une conséquence du fait que la RIES n’est pas à proprement dit une revue à comité de lecture (ce pourquoi l’AERES l’a référencée en revue « interface »).
Bref, sans aller plus avant dans cet examen, on ne peut que constater qu’on est encore loin d’un classement qui, même sans prétendre à l’exhaustivité, pourrait à tout le moins présenter des garanties de rigueur et de cohérence minimales…
Récapitulatif : les revues françaises dans la liste ERIH, catégorie « pedagogical and educational research ».

 

Titre de la revue (liste ERIH) Catégorie 2007 Catégorie 2011
Orientation scolaire et professionnelle NAT
Education et didactique INT1
Enfance INT1 INT1
Recherches en didactique des mathématiques NAT INT1
Revue française de pédagogie INT1 INT1
Carrefours de l’éducation NAT INT2
Education & Sociétés INT2 INT2
Education et formation NAT INT2
Formation/emploi INT2 INT2
Mesure et évaluation en éducation INT2
Penser l’éducation INT2 INT2
Repères INT2 INT2
Annales de didactique et de sciences cognitives NAT
Aster NAT NAT
Didaskalia NAT NAT
Education permanente INT2 NAT
Histoire de l’éducation INT1 NAT
Le Télémaque NAT NAT
Les sciences de l’éducation pour l’ère nouvelle NAT NAT
Recherche et formation NAT NAT
Repères. Recherche en didactique du français langue maternelle INT2 NAT
Revue internationale d’éducation Sèvres INT2 NAT

Nous nous intéresserons dans un prochain billet à la liste des revues dressée par l’AERES  en sciences de l’éducation …

Citations : la qualité ne s’oppose pas à la quantité ?

Les chercheurs en éducation qui produisent le plus, en termes de publications de recherche (articles et ouvrages principalement), sont aussi ceux qui sont les plus cités par leurs pairs. On observe par ailleurs une polarisation, au sein des universitaires suisses entre d’une part le groupe -minoritaire- des professeurs qui publient beaucoup et sont souvent cités, et d’autre part le groupe – plus nombreux- de ceux qui publient très peu et ne sont presque jamais cités.

Ce sont en substance les principales conclusions de l’étude présentée à la conférence annuelle ECER 2011 par Andrea Diem, à l’issue d’une enquête menée avec Stefan Wolter sur les professeurs en éducation des universités helvétiques.

Ils ont pour cela analysé et comparé la présence de leur échantillon d’universitaires dans le Science Social Citation Index (WOS – Thomson Reuters) et dans Google Scholar, constatant d’ailleurs des tendances congruentes dans les deux bases malgré les différences bien connues (Google Scholar prend mieux en compte les ouvrages et les autres types de productions scientifiques que les articles de revue, mais ses critères d’inclusion restent souvent obscurs).
En revanche, la langue agit toujours comme un facteur de discrimination forte, les universitaires francophones (essentiellement de Genève) étant désavantagés du fait de la fermeture totale du Web of Science à toute publication francophone (des revues de langue allemande sont en revanche inclues).

La course à la citation n’est pas encore une pratique courante dans la plupart des disciplines de SHS et particulièrement dans le domaine de l’éducation.
Néanmoins, les procédures d’évaluation des équipes de recherche et des chercheurs comme les différents modes de classement des institutions d’enseignement supérieur y ont un recours croissant, puisque les citations dans les revues à comité de lecture sont un des rares moyens d’approcher la qualité. Dans la mesure où les revues à comité de lecture pratiquent en effet une évaluation qualitative par les pairs, lors des expertises visant à accepter ou refuser un papier, il est souvent présumé que l’indicateur du nombre de citations inclut par conséquent une dimension qualitative.

Stratégies de publications : vers la fin des actes de colloque ?

Reprenant un débat intéressant lu sur Academia.edu (sorte de facebook universitaire), Éric Verdeil pose sur son blog « Rumor » la question de savoir si, en terme de carrière de recherche, il vaut mieux diriger des ouvrages collectifs ou des dossiers thématiques de revue.

Il passe de façon précise les arguments pour et contre les différentes possibilités de publication, dans le contexte actuel d’utilisation croissante des citations dans des dispositifs d’évaluation, mais aussi au regard du coût des publications, de la visibilité sur le web, dans les bases de données, etc.

Il remarque notamment que les ouvrages collectifs ( tels que les Actes de colloque) qui passent par des procédures de sélection par les pairs souvent légères voire inexistantes, sont peut-être condamnés à terme comme outils de publications pertinents pour la carrière.

Une réflexion qui ne peut qu’interpeller les habitudes de publications en sciences humaines et notamment en éducation, où nombre d’ouvrages collectifs sont en fait encore des actes de colloque plus ou moins remaniés.