Evidence-based education à la DPU : exemple d’une revue systématique sur les compétences des enseignants

suite des billets
– « La recherche en éducation au Danemark : vers plus de centralisation »
– et  « L’école danoise d’éducation (DPU) : enseignement, recherche et bonnes pratiques »

Un des premières étapes de la revue systématique consiste à constituer l’équipe qui réalisera la « review », et donc de « recruter » les chercheurs, danois ou non, qui connaissent la problématique traitée.

Ensuite le travail se décompose grossièrement en trois temps, et s’échelonne sur une durée de 3 à 9 mois selon le cas : la documentation existante est identifiée par l’équipe du Clearinghouse, selon une stratégie de recherche prédéfinie ; chaque étude est ensuite évaluée, conjointement par les chercheurs et les membres de l’équipe du Clearinghouse, en vue de sélectionner celles qui seront retenues pour l’analyse détaillée. Enfin, ces mêmes chercheurs préparent leur réponse à la question de départ, en s’appuyant explicitement sur les conclusions extraites des études sélectionnées ; cette extraction a auparavant été réalisée en binôme par un chercheur et un membre du Clearinghouse qui sont tenus de s’accorder sur les résultats à extraire, et surtout d’en évaluer l’importance (« weight of evidence »).

Rien de bien novateur ici me direz-vous, à juste titre ! C’est dans le détail de la méthodologie que se fait la différence. Chaque étape du processus est documentée à l’aide de grilles standardisées, inspirées de celles produites par l’EPPI-centre et éventuellement ajustées en fonction du thème de la revue. Chaque décision prise, quelle que soit l’étape, est notée. La transparence du protocole d’une part et la traçabilité des décisions d’autre part constituent des éléments clés caractéristiques de la méthodologie employée. Rien n’est laissé au hasard, en apparence évidemment, ne me faites pas penser ce qui ne me viendrait pas à l’esprit !!!

La revue systématique réalisée en 2008 pour le compte du Ministère de l’éducation norvégien, intitulée Teacher competences and pupil achievement in pre-school and school (pdf, 101 pages) offre un exemple concret des différentes étapes mentionnées et de la synthèse produite à l’issue du processus de rewiewing. La question de départ était : « Which dimensions of teachers’ manifest competences can be shown, through effect studies, to contribute to pupil achievement? ».

L’analyse s’est déroulée conformément aux étapes suivantes :

1/ cadre conceptuel et terminologique
2/ sélection des sources
3/ conception des requêtes
4/ filtrage (automatisé) sur titre et résumé
5/ filtrage sur le plein texte
6/ extraction et encodage des études
7/ mapping systématique (agrégation des grilles unitaires)
8/ rédaction de la synthèse
9/ implications pour les pratiques, les politiques et les recherches

Pour chaque source identifiée comme pertinente, un profil d’interrogation est conçu, par raffinement progressif. Pour ERIC, qui est la base de données bibliographiques la plus importante en matière d’éducation, le profil est le suivant :

((PT=(142 reports: evaluative) or PT=(143 reports: research))) and (DE=(“academic achievement” or “educational attainment” or “student promotion” or “social promotion” or “achievement” or “black achievement” or “graduation” or “high achievement” or “knowledge level” or “low achievement” or “mathematics achievement” or “overachievement” or “reading achievement” or “scholarship” or “scholarly communication” or “scholarly writing” or “science achievement” or “underachievement” or “writing achievement” or “achievement gains” or “achievement rating” or “grading” or “credit no credit grading” or “pass fail grading” or “excellence in education” or “school effectiveness” or “student characteristics” or “diversity student”)) and (DE=(“teacher influence” or “teacher behavior” or “teacher competencies” or “teacher effectiveness” or “teacher clarity” or “teacher leadership” or “teacher participation” or “teacher persistence” or “teacher response” or “teacher role”)).

La requête conçue pour PsychInfo, base de données bibliographiques en psychologie, est la suivante :

((DE=(“academic achievement” or “academic overachievement” or “academic underachievement” or “mathematics achievement” or “reading achievement” or “science achievement” or “performance” or “group performance” or “student attitudes” or “student characteristics” or “student attitudes” or “student engagement” or “student records”)) and (DE=(“teacher characteristics” or “preschool teachers”))) not (DE=(“college students” or “college athletes” or “community college students” or “education students” or “junior college students” or “nursing students” or “rotc students” or “college teachers”))

Les requêtes s’appliquant aux bases allemande (FIS-Bildung), suédoise (Libris), finlandaise (Jykdok), danoise (Dansk Pædagogisk Base), norvégienne (Norbok) ainsi qu’aux « educational index » britannique et australien, ont bien évidemment été définies dans la langue nationale correspondante.

Après la suppression des doublons, l’examen des titres et des résumés, à l’aide d’un logiciel développé par l’EPPI-centre (EPPI-reviewer), permet ensuite d’exclure un grand nombre de références sur les quelques 6000 identifiées lors de la phase d’interrogation.

Les critères d’exclusion les plus « productifs » sont les suivants :

  • « wrong scope » : Not offering information on how pupils are affected by teacher competencies, i.e. what teachers know, value and do in the classroom context
  • « wrong paper » : Not a paper with data from empirical research: Editorials, commentaries, book reviews, policy documents, resources, guides, manuals, bibliographies, opinion papers, theoretical papers, philosophical papers, research-methodology papers
  • « wrong institution » : Not on activities in ordinary preschool, ordinary primary or ordinary secondary school
  • « only formal teacher competencies » : Studies only comparing outcomes in pupils of teachers having none, some or full teacher education
  • « wrong research » : Not offering data from original research i.e. only summarizing research done by others. (However systematic reviews can be included)

Ce filtrage de niveau 1 a abouti à l’inclusion de 386 références dans le processus de reviewing, ce qui est estimé excessif pour l’analyse des résultats. Un critère supplémentaire (« published before 1998 ») est introduit pour éliminer plus de 250 références. L’étape suivante consiste à confirmer la présélection, en examinant le contenu des 73 références sélectionnées. Au final, ce sont les résultats de 70 études qui sont extraits et analysés pour la synthèse, à l’aide des outils encore une fois fournis par l’EPPI-centre (REPOSE Guidelines & Keywording Strategy). L’encodage combine des critères spécifiques en lien avec la question initiale et des critères génériques sur l’étude, organisés selon les entrées suivantes (cf pp. 79-89 de la revue) :

  • Critères spécifiques : teacher competence + pupils results + context of the study
  • Critères génériques : administrative details + study aims and rationale + study policy or practice focus + results and conclusions + study method + quality of study – reporting + quality of study – weight of evidence
  • A titre d’illustration, voici quelques questions parmi celles utilisées pour décrire la qualité des études :

    • Is there an adequate description of the sample used in the study and how the sample was identified and recruited?
    • Is there an adequate description of the methods of data analysis?
    • Is the study replicable from this report?
    • Do the authors avoid selective reporting bias? (e.g. do they report on all variables they aimed to study, as specified in their aims/research questions?)

    … et enfin quelques autres permettant de pondérer les résultats en fonction de l’importance de l’étude (littéralement son poids : « weight of evidence ») en matière de données probantes :

    • Were users / relatives of users appropriately involved in the design or conduct of the study?
    • Have sufficient attempts been made to establish the repeatability or reliability of data collection methods or tools?
    • Have sufficient attempts been made to establish the validity or trustworthiness of data analysis?
    • Have sufficient attempts been made to justify the conclusions drawn from the findings, so that the conclusions are trustworthy?

    En conclusion la pondération s’appuie sur 4 questions conclusives, évaluant chaque étude selon les valeurs « high », « medium » ou « low ».

    • A: Taking account of all quality assessment issues, can the study findings be trusted in answering the study question(s)?
    • B: Appropriateness of research design and analysis for addressing the question, or sub-questions, of this specific systematic review.
    • C: Relevance of particular focus of the study (including conceptual focus, context, sample and measures) for addressing the question, or sub-questions, of this specific systematic review
    • D: Overall weight of evidence

    Dans la phase suivante de mapping, les grilles correspondant à chaque étude sont fusionnées pour permettre une vue globale sur les résultats de la revue systématique, tant en terme de caractéristiques générales que de caractéristiques propres à la problématique traitée. On obtient ainsi un ensemble de tableaux similaires à ceux présentés ci-dessous (pp. 33-43) :

    À l’issue du mapping, 15 études dont la qualité générale a été estimée faible sont exclues. La synthèse s’appuie donc sur les 55 études restantes. L’analyse se nourrit de la conception de la compétence telle que définie dans le projet DeSeCo de l’OCDE, et les résultats sont analysés à l’aune du modèle théorique développé par Mujis & Reynolds en 2002 sur les relations entre les caractéristiques des enseignants et les performances des élèves.

    Les recommandations et implications pour les praticiens, les décideurs et les chercheurs sont ensuite formulées à l’issue des différentes phases détaillées ci-dessus.  Mais pour les résultats, je vous invite à consulter directement le document final !

    Et voilà ! Merci à ceux qui sont arrivés à la fin de ce billet, volontairement détaillé, explicitant le processus de reviewing adopté par le Clearinghouse danois. Assez fascinant en termes de rationalisation… Bien que nos objectifs soient somme toute convergents et que les principes de base nous soient familiers, nos méthodes de travail à la VST sont bien éloignées d’une telle démarche systématique et caractérisées par une plus ou moins grande variabilité selon les sujets, les personnes et aussi selon les jours (chut !). Sans doute gagnerions-nous à tester cette approche in vivo pour mieux en appréhender les éléments transférables dans notre travail de tous les jours ! Peut être faudrait-il même lancer une revue systématique sur les méthodes de veille scientifique en éducation…

    Bibliographie / sitographie

    – le Dossier d’actualité n°18 de la VST, intitulé Qu’est-ce qu’une bonne recherche en éducation ? (mai 2006)
    http://www.inrp.fr/vst/LettreVST/18-mai-2006.php

    – les travaux du CERI / OCDE sur la recherche en éducation fondée sur des données probantes (EBPR – evidence-based policy research in education) (2003-07)
    http://www.oecd.org/document/29/0,3343,en_2649_35845581_31237469_1_1_1_1,00.html

    International Clearinghouse of Educational Research

    – la production scientifique danoise dans le champ de l’éducation *:
    http://www.dpu.dk/site.aspx?p=10816

    – la présentation du Clearinghouse danois, incluant la Concept Note (pdf)
    http://www.dpu.dk/site.aspx?p=10810

    – la méthodologie détaillée de l’EPPI-Centre (Institut d’éducation, université de Londres) :
    http://eppi.ioe.ac.uk/cms/Default.aspx?tabid=89

    * au moment de l’écriture de ce billet les bases de données recensant la production scientifique danoise et les travaux de type EBE publiés dans les organismes tiers, ne sont pas accessibles.


    Une réflexion au sujet de « Evidence-based education à la DPU : exemple d’une revue systématique sur les compétences des enseignants »

    Laisser un commentaire

    Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *