Des données pas si probantes que cela…

Nous ne sommes  spécialistes ni en méta-analyses ni en statistiques ou en enquêtes quantitatives. Néanmoins, certaines affirmations ou raccourcis surprenants repérés dans Visible Learning nous ont amenés à chercher dans les lectures et compte-rendus de l’ouvrage des éclairages concernant des aspects qui semblaient problématiques. Nous avons assez facilement découvert de nombreuses sources qui pointent des approximations voire de grossières erreurs qu’on ne s’attend pas à trouver dans un ouvrage qui bénéficie d’une telle aura scientifique. Il faudrait sans doute faire la part des inévitables controverses interprétatives, de la mauvaise foi et des vrais problèmes épistémologiques. En tout état de cause, ces questions là ne peuvent être passées sous silence.

Merci d’avance aux lecteurs qui voudront bien corriger et enrichir ce billet en réagissant.

Comment est calculée la taille de l’effet ?

L’ouvrage d’Hattie est centré sur la taille de l’effet (effect size), pour laquelle Hattie utilise une méthode populaire qui mesure combien deux groupes diffèrent en calculant un écart à la déviation standard (pour mieux comprendre cette notion de taille de l’effet, lire par exemple ce billet de Nicolas Gauvrit). Dans une méta-analyse, cela implique que les données utilisées ont la même signification, sauf à calculer des moyennes à partir de résultats qui agrègent des processus différents. C’est par exemple le cas si on agrège des résultats d’examens à une évaluation sommative (épreuve pour un diplôme par exemple) et les résultats d’une évaluation formative (examen en classe durant l’année) : les différentes notes n’ont pas la même signification et on ne peut les mélanger dans une méta-analyse. Un problème central dans les analyses de Visible Learning réside dans le fait que la taille de l’effet repose sur la division de la différence moyenne par la déviation standard, alors même que cette déviation standard est différente selon les populations étudiées : un groupe d’élèves sélectionnés sera plus performant qu’un groupe d’élèves en difficultés (donc avec des déviations standard différentes) ce qui signifie que le même progrès scolaire dans les deux groupes aboutira à une taille de l’effet différent. De même, la nécessité d’agréger des moyennes sous forme de nombres amène souvent à prendre comme des mesures d’évaluations scolaires ce qui est parfois de nature sensiblement différente, comme par exemple des scores d’estime de soi.

effect-size-hattie

Visible Learning repose ensuite sur le postulat que seules les tailles d’effet supérieurs à 0.4 méritent de retenir l’attention, ce que l’on voit matérialisé par la fameuse délimitation sur les « baromètres », qui sépare le côté gauche regroupant les tailles d’effet inférieures à 0,4 et le côté droit, « zone d’effet désiré », correspondant aux tailles d’effet supérieures à 0,4.

Cette délimitation est le produit de deux hypothèses.

La première repose sur le fait que 0.4 est la taille d’effet moyenne obtenue en agrégeant l’ensemble des études utilisées dans l’ouvrage. Un effet supérieur à 0.4 signifie donc que le phénomène est situé dans la moitié supérieure si on prend comme seuil cette moyenne… mais si et seulement si on postule qu’il est légitime de calculer une moyenne de toutes les tailles d’effet de toutes les études. Ce qui ne va pas de soi !

La deuxième hypothèse est qu’Hattie constate que la taille de l’effet qui rend compte de l’amélioration moyenne des résultats des élèves d’une année sur l’autre varie entre 0.2 et 0.4. Un effet supérieur à 0.4 signifierait donc qu’on est en présence d’une progression moyenne significativement supérieure à ce qu’on pourrait attendre… si l’on mesure effectivement des résultats scolaires correspondant à l’ensemble d’une scolarité d’une année.

Or on trouve par exemple dans l’ouvrage des statistiques sur les écoles d’été : la taille de l’effet avant/après l’école d’été est de 0.23. C’est un effet comparable au progrès scolaire accompli durant toute une année,  ce qui est un non-sens manifeste car les effets se cumulent : on ne peut comparer la taille d’effet  d’une école d’été à celle d’une année sans école d’été car tous les élèves bénéficient au moins d’une année scolaire « normale » ! Par ailleurs, parmi les études des école d’été prises en compte dans l’ouvrage, l’une mesure essentiellement les résultats des élèves en écriture et lecture, pendant que l’autre prend en compte un ensemble de résultats incluant les maths mais aussi l’estime de soi ou l’attitude envers le travail scolaire. En rassemblant des méta-analyses qui déjà agrègent des résultats différents, l’étude de Hattie se base sur de mauvaises données.

On peut trouver le même type d’erreurs dans d’autres tailles d’effets. Ainsi, comme le montre Neil Brown (2013), Hattie conclut qu’il n’y a pas d’effet significatif de genre sur la réussite scolaire puisque la taille de l’effet n’est que de 0.12 en faveur des garçons. Parmi les méta-analyses sélectionnées, l’une mesure deux processus : le fait que les filles ont une habilité verbale supérieure (0.24) à celle des garçons (qui se retrouvent donc avec -0,24 par rapport aux filles), mais aussi que les garçons ont une capacité supérieure à manier les quantités (0.43). Que fait Hattie ? Il agrège les deux mesures et en fait une moyenne qui aboutit à un effet marginal… sauf que rien ne justifie de faire une moyenne entre deux processus aussi différents, qui auraient justifié deux tailles d’effet distincts (habileté verbale et capacité à manier les quantités).

Relation de corrélation ou relation de causalité ?

Le processus qui est présenté comme ayant la plus grande taille d’effet dans le « classement » de Visible Learning (2009) est le self-report grades, autrement dit l’auto-évaluation de sa performance par l’élève. Dans les publications ultérieures, cet effet est renommé par Hattie « self expectations », mais avec les mêmes données. Intrigués par le niveau très élevé -1,44 de cette taille d’effet, nous avons voulu comprendre ce que recouvrait cet effet. Ce faisant, nous avons découvert un article de Kristen DiCerbo  (psychologue de l’éducation américaine) qui a regardé de façon attentive quelles sont les études utilisées par Hattie sur ce point. Or, il est apparu que les méta-analyses sélectionnées par Hattie portaient toutes sur le degré de corrélation entre les résultats aux épreuves estimées par les élèves et leur résultat effectif, et non sur l’effet de cette auto-évaluation sur leur réussite scolaire. Ces analyses pointaient seulement que les élèves sont plutôt de bon juges de leur niveau scolaire, mais elles ne disaient absolument rien concernant les moyens d’améliorer leur réussite. La corrélation était ainsi transformée improprement en taille d’effet, donc en relation de causalité, ce qui est une des erreurs basiques que l’on vous enseigne à débusquer dans les cours de méthodologie de la recherche…

Jusqu’à quel point une théorie peut résister à l’accumulation d’erreurs « de détail » ?

Nous avons trouvé de nombreuses autres objections concernant les méthodes statistiques utilisées par Hattie, dont notamment celle d’utiliser des tailles d’effets négatifs pour certaines pratiques (par exemple pour la pratique intensive de la télévision), ce qui ne choque pas les éducateurs mais fait frémir certains experts pour qui une probabilité ne peut pas être négative.

Aux différentes objections levées ça et là, il est parfois répondu par Hattie ou ses soutiens qu’il s’agit d’un détail ou d’une erreur malencontreuse qui sera corrigé dans une prochaine mise à jour. Le problème de l’entreprise Visible Learning réside dans le fait que certaines erreurs manifestes obligent à aller vérifier dans chacune des méta-analyses correspondant à un effet s’il s’agit bien de l’effet décrit et non d’un artefact qui s’éloigne substantiellement de la nature des processus dont on est censé mesurer les résultats. Le diable ne réside peut-être pas toujours dans les détails, mais il est pour le moins gênant qu’une recherche, qui repose pour l’essentiel sur l’argument de conviction de la méga-analyse innovante permise par une utilisation experte des statistiques, puisse ne pas être incontestable sur la méthodologie qu’elle emploie. A partir de quelle quantité d’erreurs une démonstration ne soutient plus la théorie qu’elle est censée construire ?

L’utilisation des méta-analyses, singulièrement celle de John Hattie, est souvent donnée comme étalon des données probantes en éducation, qui devraient se substituer non seulement aux savoirs d’expériences des acteurs mais aussi aux savoirs des sciences de l’éducation « traditionnelles », toujours suspectées d’insuffisante rigueur scientifique. Force est de constater qu’il nous parait pour l’instant imprudent de postuler que la méthode de la méta-analyse, telle qu’elle est pour l’instant pratiquée en éducation, est toujours synonyme de données probantes…


Références


Les autres billets de la chronique sur Visible Learning

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *