Quand trop de données tue l’information : les limites des méta-analyses

Les méta-analyses utilisées dans l’ouvrage de John Hattie sont mobilisées en vue de calculer la grandeur d’effet (size effect) d’un dispositif ou d’une pratique pédagogique sur la réussite scolaire. La crédibilité scientifique de ces méta-analyses repose sur leur capacité à utiliser un langage commun, en l’occurrence les statistiques, pour comparer des dizaines, des centaines voire des milliers de situations éducatives sur un même thème, là où une recherche « ordinaire », qu’elle soit quantitative ou qualitative, ne porte que sur une population de quelques centaines ou dizaines de personnes sur un territoire limité.

Qu’est-ce qu’une méta-analyse ?

Imaginons une question telle que : « quels sont les effets sur la réussite scolaire de l’usage des tablettes numériques en classe ? ».

On peut disposer de plusieurs études qui ont comparé les résultats d’élèves partageant les mêmes caractéristiques sociales et scolaires, les uns utilisant les tablettes et les autres non. On peut aussi avoir des recherches qui ont analysé les résultats des mêmes élèves lors de séquences d’apprentissage-enseignement avec les tablettes et sans les tablettes, pour examiner dans quelle mesure leurs performances scolaires sont impactées.  L’objectif de la méta-analyse est de rassembler l’ensemble de ces études pour vérifier si une tendance forte se dégage. Les biais et les variations conjoncturelles ou locales de chaque étude sont censés être ainsi réduits, voire éliminés, dès lors que l’on constate un effet suffisamment massif et univoque à grande échelle. Si la moitié des études met par exemple en évidence un effet important et positif des tablettes sur les résultats scolaires, et que l’autre moitié conclut à l’absence d’effet, le résultat de l’agrégation, via la méta-analyse, amènera à conclure à un effet globalement « non significatif ». L’amélioration des résultats dans certaines études sera probablement à imputer à un autre facteur. A contrario, s’il apparaît que dans tous les cas, les résultats des élèves s’améliorent quand la tablette est utilisée, on formulera l’hypothèse d’un effet significatif des tablettes sur la réussite scolaire.

La méta-analyse est notamment censée permettre de relativiser les facteurs de variation qui n’ont pas été repérés lors d’une recherche isolée ou dans un contexte régional tellement « évident » pour les chercheurs qu’ils l’ont naturalisé à leur insu. On peut par exemple comparer les effets des tablettes auprès d’élèves dans des champs disciplinaires très différents d’un pays à l’autre, sans se poser forcément la question du rapport spécifique entre le « contenu »  des savoirs et les tablettes : est-ce que pour des élèves d’âge comparable, on apprend les mêmes mathématiques de la même façon en France, en Colombie ou au Canada ? Est- ce qu’on mesure alors l’effet des tablettes sur la réussite scolaire ou l’effet des tablettes sur un certain type d’apprentissage mathématique? A priori, la méta-analyse permet de « raboter» en quelque sorte ces contingences en produisant des scores globaux qui relativisent ces différences. C’est l’un de ses avantages mais aussi sa limite.

Les méta-analyses reposent aussi sur des données empiriques, si possible de nature expérimentale ou quasi-expérimentale, qui peuvent souffrir de certains biais méthodologiques.  Imaginons par exemple, dans le type de situations qu’on rencontre dans l’éducation nationale, celui de la mobilisation différentielle des acteurs. Reprenons notre exemple des tablettes en classe : il est envisageable que les enseignants des classes « avec tablettes » se mobilisent de façon différente dans leur activité d’enseignement parce qu’ils sont intégrés dans un dispositif innovant, qui les valorise, les stimule, etc. Mais mesure-t-on alors l’effet propre des tablettes ou l’effet de mobilisation conjoncturelle des enseignants ? Le contraire a aussi été constaté lors de certaines expériences : les enseignants des classes « témoins », là où il ne se passait rien « de nouveau », se sont plus mobilisés sous l’effet de l’observation comparative car ils savaient être observés. L’effet va-t-il se maintenir dans le temps, passé le « moment » de l’enquête ? Autrement dit, on peut mesurer des résultats d’expérience de façon formellement très rigoureuse, sans être absolument certain que l’on mesure ce que l’on voulait vraiment mesurer. C’est pourquoi les chercheurs qui recourent aux procédés expérimentaux préfèrent souvent des enquêtes contrôlées en laboratoire et des échantillons aléatoires (groupes tirés au sort par exemple), ce qui est plus compliqué à faire en milieu écologique (i.e. dans la vie réelle des écoles par exemple).

Une mesure quantitative qui unifie des informations très hétérogènes

Au delà de ce problème, le principal risque de la méta-analyse est de rassembler des résultats qui sont parfois profondément différents dans leur nature et d’oublier, par la magie de l’agrégation des chiffres et surtout de leur moyenne, qu’ils peuvent renvoyer à des instruments, des processus et des populations difficilement comparables (les anglo-saxons parlent usuellement de mélanger apples and oranges ). L’argument n’en est pas vraiment un : toute étude scientifique compare des phénomènes qui sont différents (sinon il n’y aurait rien à comparer), l’essentiel étant de maitriser ces différences, de les identifier suffisamment pour savoir ce qui « fait la différence » qui nous intéresse. Plus on élargit l’angle de vision, plus on met en commun des cultures, des représentations et des langages différents. On connait tous les problèmes que posent les enquêtes PISA de ce point de vue, aussi sophistiquées soient-elles.  Le meilleur moyen de concilier les informations intéressantes qu’on recueille à grande échelle sans risquer d’écraser la réalité des situations particulières sous l’agrégation statistique consiste à compléter les volets quantitatifs par des volets qualitatifs (observations de type ethnographique, entretiens, confrontations…) visant à augmenter autant que possible la compréhension de ce qui passe vraiment derrière les processus formels. Il s’agit aussi d’éviter de ne prendre en compte que les critères facilement mesurables (ex. notes aux examens) en oubliant que certains acquis de l’apprentissage ne se traduisent pas immédiatement dans des résultats scolaires.

Or, la plupart du temps, les méta-analyses ne se posent pas ce type de questions, censées avoir été réglées en amont, lors de la réalisation de chaque recherche singulière. Est-ce vraiment le cas, alors qu’on sait que de nombreuses recherches ont une validité qui est implicitement réduite à leur contexte national, régional, linguistique, social ou culturel ?

Il faut ici notamment remarquer que la plupart des grandes méta-analyses que l’on cite dans le domaine de l’éducation sont des travaux non seulement de langue anglaise, mais surtout à base d’enquêtes anglophones et réalisées quasi-exclusivement dans des aires anglophones (très souvent limitées à quelques pays d’un ensemble comprenant les États-Unis, l’Australie, la Nouvelle-Zélande, le Royaume-Uni et le Canada anglophone, plus rarement Hong-Kong et l’Inde). Autrement dit, on postule que les « devoirs à la maison », par exemple, renvoient à un processus globalement équivalent à Sydney, à Washington, à Birmingham… comme à Marseille, Lisbonne ou Francfort. Est-ce vraiment le cas ? John Hattie est conscient du problème, puisqu’il reprend (p.254) les critiques émises par Gert Biesta (1) et y répond en suggérant d’enrichir et de nuancer ces travaux quantitatifs par des revues de travaux plus qualitatifs. En attendant, l’essentiel des conclusions est basé sur l’impact du nombre, pour le meilleur et pour le pire…

D’une information partielle à une catégorisation partiale

Cette absence de nuances est d’autant plus gênante qu’il s’avère que les catégories utilisés par Hattie pour caractériser telle ou telle pratique pédagogique sont des constructions relativement arbitraires et subjectives, bien éloignées des vertus d’objectivité et de neutralité que revendiquent les méta-analyses. Nous l’avons vu quand Hattie construit les profils des enseignants « facilitateurs » ou « activateurs ».

On peut reprendre ici les propos de Jean-Yves Rochex (2)  (2016, p. 42) concernant les travaux de synthèse sur « l’effet-maître » ou les « pratiques efficaces ». Selon lui, certains de ces travaux « (…) reposent sur des méta-analyses qui, au fur et à mesure que l’on passe d’un niveau d’analyse à l’autre, gomment de plus en plus les détails et les spécificités des pratiques que l’on transforme en variables pour en mesurer « les effets » (processus propre et nécessaire à toute mise en catégorie et variables statistiques) et facilitent ainsi les fréquents glissements terminologiques ou conceptuels qui identifient beaucoup trop vite souci d’explicitation à instruction directe, enseignement magistral, schéma démonstration-application, ou même pédagogie et enseignement traditionnel, et qui construisent en retour une figure adverse à l’aide de catégories tout aussi globales assimilant paradigme de l’apprentissage, pédagogie de la découverte, constructivisme ou même pédagogie active ».

---

(1) Bien qu’il prenne l’universitaire bien connu pour une femme, ce dont témoigne l’emploi de she  à la place de he…

(2) Rochex Jean-Yves (2016). “Traquer les implicites pour combattre les inégalités : bonnes pratiques ou vigilance partagée ?”  Dialogue, n° 162, p. 37-43

---

Les autres billets de la chronique sur Visible Learning

• John Hattie et le Saint Graal de l’enseignement
• Des données pas si probantes que cela…
• Qu’apporte finalement Visible Learning ?

---

---