Archives du mot-clé évaluation de la recherche

Un état actuel de la recherche en éducation

L’Association britannique de recherche en éducation (British Educational Research Association) a choisit, dans son dernier bulletin « Resarch Intelligence » (disponible en ligne), de faire le point sur la situation de la recherche en éducation. Comme le pointe Alis Oancea, rédactrice en chef de RI, l’histoire des critiques externes de la recherche en éducation est sans doute aussi vieille que celle de la recherche en éducation elle même, que ce soit en Grande Bretagne ou ailleurs.

Que ce soit aux États Unis ou en Angleterre, les dernières décades du XX° siècle ont été marquées par une litanie constante de pamphlets, de polémiques et de controverses qui ont maintenu un climat constant de scepticisme et de défiance envers les travaux de recherche en éducation. Cette critique a atteint un sommet au milieu des années 90 en Angleterre, avec la publication de trois documents différents : le discours de D. Hargreaves à la Teacher Training Agency en 1996, le rapport commandé par l’inspection britannique (‘OFSTED) à J. Tooley et D.Darby en 1998 et un autre rapport en 1998 sur l’excellence de la recherche sur l’éducation commandé par le ministère de l’éducation à J. Hillage.

Où en est la recherche en éducation plus d’une dizaine d’années après ces rapports extrêmement critiques ? Comment les chercheurs britanniques en éducation y ont répondu ? Quels sont les progrès qui ont été accomplis et les nouveaux défis à relever ?Voilà en quoi s’emploie la vingtaine d’articles rassemblés dans ce numéro, rédigés par des chercheurs représentants des différents groupes de travail thématiques de l’association. D’autres articles font par ailleurs le point sur la situation spécifique au Pays de Galles, en Irlande du Nord et en Écosse d’une part,  et sur la France, la Suisse et la Suède, d’autre part.

À quand un bêtisier de Shanghai ?

Nous n’essayerons pas ici de discuter la pertinence ou les résultats du dernier classement des universités réalisé par une université chinoise. Les lecteurs intéressés consulteront avec profit le débat en cours sur le blog de Pierre Dubois.  Tout universitaire sérieux qui prend la peine de regarder les critères utilisés par ce classement sur-médiatisé ne peut qu’en conclure que ce type de classement est à la qualité universitaire ce que la « star academy » est à la chanson française.

On sait pourtant que l’existence même d’un classement le rend tellement simple d’appropriation, qu’il sera repris même par des gens dont le sérieux est censé caractériser l’action et la parole.

C’est ainsi qu’on a entendu, lors d’un conseil d’administration de l’ex-INRP à l’automne dernier, de « hauts responsables » évoquer l’intérêt pour l’ENS de se renforcer de l’apport des recherches en éducation dans la perspective de l’amélioration du rang dans le classement de Shanghai !  Que le dit classement soit basé en quasi-totalité  sur des indicateurs (prix, bibliométrie…) qui ne concernent pas les sciences humaines avaient du leur échapper…

Rien de nouveau sous le soleil sans doute. Déjà, dans les années 80, les responsables des universités contestaient les classements réalisés par exemple par le magazine l’Étudiant… sauf quand ils avaient le bonheur de se trouver en tête et qu’ils l’utilisaient alors abondamment pour se féliciter de leur bilan.

Comme il est sans doute vain, par conséquent, d’espérer que même le monde académique soit capable de se soustraire à la magie  des classements, ne faudrait-il pas au moins prendre le parti d’en rire en confectionnant un bêtisier des déclarations qu’ils provoquent ?

Les enjeux de qualité de la recherche en éducation scrutés à Genève

Genève fera office pendant une semaine de centre névralgique des réflexions sur la qualité de la recherche en éducation.

A partir du lundi 13 septembre, en effet,  s’y déroulera le congrès AREF 2010 (Actualités de la recherche en éducation et en formation), placé cette année sous le signe de la « cartographie » de la recherche en éducation francophone, thématique qui invite les contributeurs à mettre en perspective leurs travaux dans le champ au regard des questions vives, des points aveugles et de la dimension contextuelle dans laquelle se situent les recherches.

De nombreux acteurs de l’INRP participeront à ces journées. L’équipe de la Veille scientifique (VST) apportera en particulier sa contribution récente en matière de cartographie, concernant les grandes tendances de la recherche en éducation appréhendées à travers les articles de trois revues européennes.

Prolongeant les journées AREF, le projet européen EERQI propose à Genève son deuxième séminaire de travail (vendredi 17 et samedi 18 septembre), afin de présenter les résultats intermédiaires de son travail concernant la qualité des publications scientifiques en éducation et la possibilité de définir de nouveaux indicateurs. Alors que les précédentes tentatives de classement des revues par la Fondation européenne de la science ont suscité de large critiques partout en Europe (cf. notre dossier paru en juillet 2009), le projet EERQI apparaît comme une voie différente d’approcher l’enjeu de la qualité scientifique dans les productions de recherche du domaine des sciences humaines et sociales.

Les inscriptions sont encore ouvertes jusqu’à ce soir (vendredi 3 septembre).

La recherche en éducation au prisme des revues

Le Dossier d’actualité n°55 de la VST, Tendances de la recherche en éducation à travers trois revues européennes, expose les premiers enseignements d’une démarche comparative systématique de productions de recherche en éducation dans des périodiques scientifiques, sur une période de publication de 10 ans. Ce dossier est le fruit d’une étude « prototype » qui vise à  recenser et analyser des thèmes et des auteurs publiés sur une période significative dans des revues de recherche généralistes, considérées comme des revues de référence. Nous souhaitons disposer ainsi d’indices robustes et consistants sur les principales tendances et évolutions de la recherche en éducation.

Trois revues à comité de lecture ont été choisies pour fournir la base du corpus : la Revue française de pédagogie (RFP), le British Educational Research Journal (BERJ) et le Scandinavian Journal of Educational Research (SJER). Les articles de chaque revue, publiés entre 1999 et 2009, ont été systématiquement intégrés dans une base de données bibliographique et indexés à partir des mots clés du Thésaurus européen des systèmes éducatifs (TESE), maintenu par l’unité Eurydice de la commission européenne.

Le dossier en chiffres :

  • 3 revues dépouillées
  • 150 numéros parus de 1999 à 2009 (date officielle de publication)
  • 1157 articles de recherche recensés et indexés
  • 1668 auteurs
  • 439 articles issus de la Revue française de pédagogie (RFP)
  • 416 articles issus du British Educational Research Journal (BERJ)
  • 302 articles issus du Scandinavian Journal of Educational Research (SJER)
  • 400 mots clés utilisés environ

Malgré les obstacles culturels et linguistiques, voire épistémologiques, il apparaît possible d’engager une démarche comparative systématique des productions de recherche, du moins sur des périodiques scientifiques. Tant les indicateurs quantitatifs construits par l’indexation que les analyses plus qualitatives autour de quelques thèmes apportent en effet des informations généralement cohérentes, souvent pertinentes, parfois inédites. Autrement dit, il est possible de construire une base empirique pour analyser des productions de recherche en éducation à un niveau international.

Productivité et qualité scientifique : avec quelles publications compter ?

L’année universitaire a été marquée par des contestations, diverses mais durables, d’une partie des universitaires et des étudiants contre les réformes gouvernementales (loi « LRU », décret sur les enseignants-chercheurs…). On trouvera des synthèses, des lectures, des analyses et des points de vue très intéressants sur cette question dans le dossier mis en ligne par La Vie des Idées.

Parmi les motifs de la contestation, la question des modes d’évaluation des universitaires et de leur productivité scientifique a tenu une place non négligeable, tant elle touchait  l’identité professionnelle de ceux que l’on appelle les « enseignants-chercheurs ».

Classements de revues, bibliométrie, indices de citation, palmarès, indicateurs de qualité : la polémique, à la fois nationale et internationale, a en effet porté sur des notions souvent mal connues dans le monde des sciences humaines et sociales.

Le cœur de la controverse réside surtout dans l’idée que l’on puisse utiliser des mesures quantitatives opérées sur des publications pour apprécier la productivité scientifique des chercheurs et enseignants-chercheurs. Si la communauté scientifique est plutôt attachée aux dispositifs d’évaluation par les pairs (peer review), l’évaluation par les chiffres fascine en effet toujours les décideurs et les profanes soucieux de disposer de références simples à comprendre et à manipuler.

C’est pourquoi nous avons consacré le dossier d’actualité n° 46 de la VST à cette question, en nous ‘interrogeant autant que possible sur la traduction de ces problématiques dans le domaine de la recherche en éducation.