Enquêtes internationales : apports, limites et prolongements

Les Mercredi de la bibliothèque ont été l’occasion d’un échange de points de vue entre Nathalie Mons et Jean-Yves Rochex sur les apports et limites des enquêtes internationales. Pour N. Mons, les enquêtes internationales, dont les médias ont fait un sujet d’actualité depuis quelques temps, notamment à l’occasion des premiers éléments des enquêtes PISA et PIRLS publiés en décembre 2007, permettent une réflexion sur la qualité de l’enseignement. La finalité de départ (fin des années 1950’) des évaluations internationales était une meilleure connaissance des systèmes éducatifs. « Établir un palmarès international des systèmes éducatifs n’est pas le principal objectif de ce petit groupe de spécialistes en évaluation. Les futurs fondateurs de l’IEA (International Association for the Evaluation of Educational Achievement) visent, surtout, grâce à ce « laboratoire mondial géant » qui offre une grande variété de situations éducatives (Husen, 1987) à se doter de moyens jusqu’alors jamais mis en oeuvre pour analyser les facteurs explicatifs des performances scolaires. » (N. Mons, 2004).

Par souci d’égalité, on s’est longtemps focalisé sur les ressources allouées à chaque élève, sur les carrières. Désormais, on s’attache plus aux acquis, sur ce que l’élève apprend. Le classement par niveau de compétences met en évidence la notion d’échec scolaire et, inversement, la capacité à « produire » des élites scolaires. Ces inégalités scolaires, globales et sociales sont variables selon les pays (et à contexte similaire, résultats différents).

Ces diverses enquêtes permettent de faire des études comparatives. Pisa porte sur des compétences « hors programmes scolaires », mais d’autres déclinaisons collent plus aux contenus des enseignements (cf. IEA). Les indicateurs utilisés montrent certes une corrélation entre contexte économique et résultats, un lien entre contexte familial et résultats, c’est-à-dire le caractère plus ou moins reproducteur des écoles selon les pays. En revanche, les évaluations permettent aussi de constater que ce caractère reproducteur varie significativement : la réussite scolaire est par exemple beaucoup plus liée à l’origine sociale des élèves en Allemagne qu’en Finlande ou en Corée du Sud. Autrement dit, à situation socio-économique donnée, tous les systèmes éducatifs n’ont pas le même caractère reproducteur des inégalités. Par conséquent, “School matters” (l’école compte), contrairement donc aux conclusions qui ont été longtemps tirés des célèbres études du rapport Coleman aux Etats-Unis dans les années 60.

Et pour N. Mons, un cadre national ne permet évidemment pas ce même type d’analyse, car alors le cadre éducatif est une donnée qu’on ne peut pas envisager dans sa variation.Ces apports étant soulignés, il convient de passer en revue un certain nombre de critiques quant aux mesures des performances et des contextes :

• pas de mesure de l’ensemble des dimensions d’une discipline mais uniquement celles qui sont internationalisables ;
• agrégation de scores de dimensions multiples ;
• élaboration d’items discutables (QCM) ;
• échantillonnage pas toujours conforme ;
• problème de comparabilité : diversité des âges de début de scolarité obligatoire, pratiques de redoublement : ces choix politiques biaisent-ils l’étude? ;
• existence de biais culturels : peuvent-ils, vont-ils invalider les résultats? ;
• certains indicateurs statistiques sont faibles (certains pays ne sont pas rigoureux dans leurs déclarations) ;
• le vœu de T. Husen de créer un laboratoire mondial a du mal à se réaliser du fait d’un cadre théorique trop faible (beaucoup de données, peu de conclusions) ;
• faible potentialité pour un guidage politique : manque d’analyse.

Pour compléter ces deux dernières limites, N. Mons ajoute des critiques quant à l’exploitation politique et médiatique des évaluations internationales:

• médiatiques, parce que les médias se focalisent sur les palmarès ;
• politiques, parce que ces évaluations servent d’appui à l’idéologie dominante ;
• enfin, ces enquêtes représentent un coût non négligeable pour les petits pays.

Dans l’esprit de sa participation au consortium Pisa 2009, N. Mons énonce quelques nécessaires réflexions sur le renouvellement de l’enquête et invite à:

• repenser l’État nation comme cadre d’analyse, du fait de l’existence d’états fédéraux, de politiques de décentralisation variables ;
• prendre en compte les contextes histoires, politiques, sociaux ;
• intégrer des indicateurs de nature qualitative (impliquant la création de typologies) ;
• adopter une analyse relativiste des résultats ;
• conforter les résultats de toute étude ;
• envisager une conception multiple alliant efficacité ET égalité et prenant aussi en compte l’attitude des élèves par rapport à l’école ;
• traquer les exploitations politiques abusives.

J.-Y. Rochex a articulé son propos autour de trois points : l’analyse du contexte de ces enquêtes, la critique des postulats, de la puissance métrique relatifs aux données et les analyses secondaires élaborées par son équipe de recherche quant à l’attitude des élèves en situation de réponse à l’enquête.

Si les niveaux de compétences ne sont pas inintéressants en terme de productivité, on ne sait pas si les résultats et indicateurs mis en œuvre participent de connaissances scientifiques ou de visées politiques (on mesure, mais on ne s’appuie pas sur des théories préalables). Si les analyses comparatives (telles que celles menées par N. Mons) peuvent aider, il n’est pas évident de savoir à quoi on attribue le différentiel de performance.Le mode de raisonnement de ce type d’enquête s’appuie sur des entités indépendantes, or il est important de prendre en compte les interactions.

D’un point de vue technique, un aspect qui fait débat, est la manière dont ce type d’enquêtes est construit. Pisa évalue des compétences définies comme des « aptitudes à réaliser des tâches s’inscrivant dans des situations de la vie réelle » ; or, la vie réelle induit des attitudes, des comportements, des valeurs qui ne sont pas neutres dans cette « aptitude à réaliser ». Ces compétences son considérées comme indépendantes des contextes nationaux, linguistiques, culturels ; or, dans les enquêtes sur la littéracie, il y a risque d’ethnocentrisme [on lira sur ce sujet l’article de M. Rémond, dans la RFP : les traductions et les connotations des textes proposés aux élèves ne sont pas culturellement neutres].

Pour J.-Y. Rochex, le niveau de généralité n’est pas opératoire. Une autre des « dimensions » mesurées par PISA sont les tâches, ramenées à des échelles (trois en ce qui concerne la littéracie), ce qui brouillent la réflexion, par un double postulat d’unicité et de continuité. J.-Y. Rochex insiste sur la prévalence de choix psychométrique, dressant un modèle de réponse à l’item : postulat de constance des compétences mesurées/item, recherche d’un même niveau de difficulté quel que soit le groupe ou le sujet (induit des effets de palmarès, de classement). Les outils utilisés gomment un grand nombre d’informations, d’inégalités, d’éléments de contexte. « Cela signifierait-il qu’il existe une conception substantialiste de la compétence ? ». En réalité, les différences d’ancrage culturel devraient être prises en compte pour expliquer les divergences de résultats.

L’équipe ESCOL (Paris 8) a mené un travail d’analyses secondaires et complémentaires des épreuves de l’enquête PISA 2000 portant sur la littéracie. Il s’agit d’observer comment les élèves font pour passer les épreuves. On constate que les échelles de performances sont avérées en haut et en bas (bonnes et mauvaises performances) mais que les élèves « moyens » ne sont pas pris en compte.Il ne suffit pas d’évaluer les compétences cognitives de traitement de l’information (s’informer, interpréter, réfléchir) mais aussi les compétences à mettre à distance des expériences personnelles, culturelles. Il y a enchâssement du mode de travail cognitif dans un mode de travail culturel et social. (Voir Bautier, Crinon, Rayou & Rochex, 2006).

L’intervention de J.-Y. Rochex peut être complétée par le numéro de la Revue française de pédagogie qui a consacré un dossier à « PISA : analyses secondaires, questions et débats théoriques et méthodologiques » (n°157). Il est ressorti du débat qui a suivi les deux interventions, outre quelques détails techniques, la nécessité de compléter et/ou conforter les évaluations internationales. Les postulats et conclusions liés à ces évaluations ne doivent pas être uniquement orchestrés par des choix politiques et médiatiques, il est de la responsabilité des chercheurs d’apporter leur éclairage pour nuancer, exploiter, contrer et surtout contextualiser ces données.

Pour alimenter le débat :

• Bautier Élisabeth, Crinon Jacques, Rayou Patrick & Rochex Jean-Yves (2006). « Performances en littéracie, modes de faire et univers mobilisés par les élèves : analyses secondaire de l’enquête PISA 2000 ». Revue française de pédagogie, n° 157, octobre-décembre, p. 85-101.
• Grenet Julien (2008). « Pisa : une enquête bancale ? ». La vie des idées.fr
• Husen T. (1987). « Policy Impact of IEA Research». Comparative Education Review, vol. 31, n° 1, p. 29-46.
• Husen T., Postlethwaite N. (1996). «A Brief History of the International Association for the Evaluation of Educational Achievement (IEA)». Assessment in Education, vol. 3, n° 2, p. 129-141.
• INRP (2008). L’Europe de l’éducation. Bibliographie indicative.
• Le café pédagogique (2007). « Pisa – Pirls 2006 ». Les Dossiers du café.
• Mons Nathalie (2007). « PISA : des indicateurs pour lutter contre les inégalités scolaires ». Le café pédagogique, 2 décembre 2007.
• Mons Nathalie (2007). « L’évaluation des politiques éducatives. Apports, limites et nécessaire renouvellement des enquêtes internationales sur les acquis des élèves ». Revue internationale de politique comparée, vol. 14, 2007/3.(voir aussi : communication séminaire EHESS, 2004)
• OCDE (2008). PISA 2006 : Les compétences scientifiques : Un atout pour l’avenir. Paris : OCDE.
• Pamart Marie-France (2003). Évaluation des systèmes éducatifs. Bibliographie du Centre de documentation du CIEP.
• Rémond Martine (2006). « Éclairages des évaluations internationales PIRLS et PISA sur les élèves français ». Revue française de pédagogie, n°157, octobre-décembre, p. 71-84.

Pour mémoire :

Propos de Xavier Darcos, le 11 décembre 2007 (site du ministère de l’Éducation nationale) :

« […] la parution, au cours des dernières semaines, des deux enquêtes internationales PISA et PIRLS, a livré un constat alarmant sur l’état de notre système scolaire. L’enquête PIRLS, qui mesure les performances en lecture des élèves âgés de 9 à 10 ans, montre que la France réussit plutôt moins bien, dans ce domaine, que les autres pays de l’Union européenne. A l’exception de la Slovénie, de la Pologne, de l’Espagne, de la Belgique francophone et de la Roumanie, tous les autres pays européens font mieux que nous. […] L’enquête PISA menée par l’OCDE auprès des élèves âgés de quinze ans montre que les résultats obtenus vers la fin de la scolarité obligatoire sont à la fois médiocres pour la culture scientifique, où la France se situe à peine dans la moyenne des pays de l’OCDE, inquiétants pour la compréhension de l’écrit, où la part des bons élèves recule et celle des élèves en difficulté régresse, et alarmants pour les mathématiques où les résultats de la France régressent et où la part des élèves les plus faibles augmente de 37%. »

---

---