Archives du mot-clé évaluation

Savoirs et savoir-faire : quand l’Asie et l’Océanie (s’)interrogent

Supposons que nous partions des évaluations PISA 2012 :
–       « Shanghai est en tête du classement en mathématiques » […] ; viennent ensuite Singapour, Hong-Kong, Taipei, la Corée, Macao, le Japon, le Lichtenstein, la Suisse et les Pays-Bas ».
–       « Shanghai, Hong-Kong, Singapour, le japon et la Corée sont les plus performants en compréhension de l’écrit ». (OCDE, Principaux résultats de l’enquête PISA 2012)
Voilà, c’est dit, c’est plié, et certains en France ou ailleurs se prennent à rêver. Et si on réformait le système éducatif pour en faire un système à la coréenne (pourquoi la Corée du Sud ? sans doute parce que l’organisation politico-économique semble plus proche de nos systèmes ?).

Le journal Les Échos a publié, dans sa rubrique « finances-marchés » un article intitulé « Éducation : les clefs du miracle asiatique ».
Pour situer l’ampleur des réformes qui nous attendent, on peut lire en début d’article : « Chaque année, le jeudi de la deuxième semaine de novembre, la Corée du Sud ferme entre 13 h 05 et 13 h 45. Les avions n’ont plus l’autorisation de décoller ou d’atterrir. Le trafic automobile est interrompu sur plusieurs axes. Et les policiers coupent leurs sirènes. Quarante minutes sacrées. Le moment du test de compréhension orale d’anglais des 650.000 lycéens du pays, qui jouent leur destin sur cette seule journée d’examen d’entrée à l’université ».

Avant d’en arriver à la phase d’évaluation des apprentissages, comment faciliter l’acquisition des apprentissages ? Quelques lectures récentes relatives à des observations in situ, confirme le discours ambiant : tout indique qu’en Asie aussi l’efficacité repose sur des enseignants de qualité !

Rien de nouveau sans doute pour qui s’intéresse à la formation des enseignants : formation initiale de qualité (contenus à revoir, donc) ; certification basée aussi bien sur des savoirs disciplinaires que sur les compétences face aux élèves (concours, vous avez dit concours ?) ; implication des enseignants dans des projets de recherche (comment s’enrichir les uns les autres) ; tutorat des nouveaux enseignants par les pairs (à Shanghai, un enseignant a un coach pour la matière à enseigner et un autre pour la pédagogie) ; travail collaboratif entre enseignants, recherche commune de méthodes alternatives face aux élèves en difficulté, confrontations, observations d’autres cours.

Un Think Tank australien (Grattan Institute) a étudié la mise en place de programmes d’apprentissage professionnel, se déroulant sur environ 130 sessions de 45-55 minutes. Ces sessions comprennent : une dizaine de sessions portant sur le plan de développement individuel (objectifs personnels liés aux objectifs de l’école) ; une douzaine de sessions collectives par matière ou niveau d’enseignement ; 24 observations et confrontations de pratiques d’autres enseignants, des sessions de mentorat (surtout pendant les deux premières années d’exercice) ; une dizaine de sessions d’évaluation (déceler les points forts et les points faibles de sa pratique) ; une quarantaine d’heure consacrées à la participation à des groupes de recherche sur des problématiques éducatives.

Cette organisation du temps nécessite des aménagements dans l’emploi du temps et les méthodes de travail des enseignants, des changements pour les écoles, des investissements , qui seraient largement compensés en terme de qualité et d’efficacité.

Ressources:
– Jensen Ben (2014). Making time for great teaching. Melbourne : Grattan Institute.
– Jensen Ben (2012). Catching up :learning from the best school systems in East Asia. Melbourne : Grattan Institute.

 

PISA : savoir regarder au delà de l’effet palmarès

Dans quelques jours, le 3 décembre, la vague PISA va déferler sur la France.

Les quelques indiscrétions  lâchées dans les milieux ministériels et l’empressement journalistique qui en a découlé depuis laisse en effet prévoir une couverture sans précédent en France pour la publication des résultats de l’enquête 2012 de l’OCDE.

Pour ceux qui voudraient se mettre à jour sur ce qu’est l’enquête PISA, nous invitons à consulter, outre la présentation officielle par l’OCDE, le Que Sais Je ? sur « les enquêtes PISA » publié par Georges Felouzis et Samuel Charmillot ainsi que le dossier que nous lui avons consacré : PISA, ce que l’on en sait et ce que l’on en fait (d’autres références consultables en ligne sont mentionnées à la fin de cet article).

Rappelons déjà que si le classement de la France va sans doute nourrir une grande partie des commentaires, c’est loin d’être l’information la plus intéressante de l’enquête triennale sur les acquis des élèves.

En effet, la position de tel ou tel pays dans le classement peut évoluer très rapidement sans que cela reflète nécessairement des écarts problématiques  entre systèmes éducatifs. Autant il peut par exemple y avoir du sens à comparer la place respective des différents pays européens dans PISA, autant étalonner la performance française au regard des résultats de Shanghai ou de la Corée du sud est assez vain au regard de cultures et de pratiques scolaires aussi différentes.

Un ministre néerlandais avait évoqué il y a quelques temps l’objectif pour son système éducatif de figurer dans le « top 5 » de PISA, ce qui montre l’absurdité de raisonnements purement concurrentiels induits par certaines lectures de l’enquête.  Vouloir piloter une politique éducative avec PISA en ligne de mire, c’est en fait saper sa pertinence scientifique comme instrument de mesure, puisque cela veut dire qu’on infléchit son comportement en fonction du thermomètre. Une loi sociologique bien connue que les responsables de politiques publiques devraient mieux intégrer !

Plus que la position de son pays dans le classement, il faut en fait regarder ce que le résultat global recouvre précisément.

Pour la France en l’occurrence, deux problème centraux risque d’être une nouvelle fois mis en exergue par PISA :

  • d’une part une détérioration des résultats des élèves français depuis une dizaine d’années, tendance beaucoup plus préoccupante que le résultat absolu;
  • d’autre part une aggravation des disparités entre les élèves, disparités étroitement liées à une ségrégation croissante entre établissements qui recoupe en grande partie une tendance à la séparation entre publics selon leur origine sociale et culturelle.

De ce point de vue, l’enquête de l’OCDE oblige à se poser des questions sur la façon dont la République respecte les missions qu’elle donne à son système éducatif, ce qui est déjà beaucoup !

Par ailleurs, il ne faut pas oublier que PISA sanctionne ce qui s’est passé durant la formation d’un jeune pendant ses quinze premières années : c’est donc autant le produit de l’enseignement reçu 10 ans auparavant à l’école primaire (ou par son éducation familiale) que le produit de sa scolarité dans ses dernières années de collège. Difficile, dans ces conditions, de pointer telle ou telle politique conjoncturelle menée par tel ou tel ministre.

Mesurer les acquis à 15 ans signifie aussi qu’on ne les mesure pas à 18 ans ou à 20 ans : PISA « favorise » ainsi tendantiellement  les systèmes qui organisent des tris sélectifs des élèves plus tard (par exemple au moment de l’accès à l’enseignement supérieur) plutôt que ceux qui les différencient précocement au niveau du collège (comme c’était le cas pour l’Allemagne). Il est probablement plus « juste » de différer la différenciation mais encore faut-il avoir conscience de ces choix et de leurs implications.

Il faut enfin garder à l’esprit que PISA , pour des raisons parfaitement légitimes, se focalise sur l’utilisation des savoirs par les élèves (ce qu’ils appellent un peu rapidement « ‘compétences ») dans seulement trois grands domaines (compréhension écrite, culture mathématique, culture scientifique et technique). C’est déjà beaucoup, mais cela signifie aussi que l’éducation physique et sportive, l’histoire, les langues vivantes étrangères et divers autres domaines d’apprentissage scolaire ne sont pas pris en compte.

Autrement dit, PISA nous dit des choses passionnantes sur les acquis cognitifs des élèves de 15 ans, voire au-delà, mais ne nous dit pas tout sur la formation du jeune et du citoyen au regard des valeurs que chaque système entend construire ou transmettre via son école. Cela peut paraître évident, mais il n’est pas inutile de le rappeler…

 

 

Parmi les références librement consultables en ligne :

 

 

 

 

 

 

Évaluer différemment les élèves : l’exemple danois

Pas de notes avant 15 ans, pas de palmarès des établissements, des examens qui privilégient les projets ou les travaux inédits, l’utilisation généralisé des TIC dans l’évaluation : le Danemark présente une série de caractéristiques susceptible de faire réfléchir sur les relations entre l’apprentissage et les évaluations scolaires.

Ce n’est certainement pas un modèle à recopier (les écoles était d’ailleurs ces derniers jours bloquées par un conflit entre les enseignants et les municipalités) mais il a le mérite d’aider à faire bouger les lignes et de considérer différemment des traits de notre système considérés comme naturels voire inhérents à toute situation scolaire.

En France, toute réforme des modalités du Bac semble porter atteinte à la civilisation (universelle, cela va de soi), dévaluer les diplômes ou menacer l’équilibre des savoirs. De ce point de vue, il est pour le moins salutaire de voir qu’un pays comme le Danemark, qui n’est ni une contrée du tiers-monde ni un pays exotique loin du coeur de l’Europe, développe des pratiques d’évaluation différentes !

Une école qui n’était pas obsédée par l’évaluation

L’équivalent de notre « école du socle commun » est la « Folkeskole », qui comprend l’enseignement primaire et l’enseignement secondaire inférieur (collège), dans un parcours de dix ans (dont un an de pré-scolaire au début).

Cette école obligatoire rassemble 600 000 élèves, encadrés par 51 000 enseignants (un peu moins de 19 élèves par classe).

C’est un système décentralisé, organisé autour de 1605 écoles pilotées par 98 municipalités, qui repose largement sur la confiance et fonctionne sans système d’inspection : l’évaluation se situe traditionnellement à un niveau local.

Concernant l’évaluation des élèves, la situation est tout aussi étonnante aux yeux d’un observateur français, puisque les danois ne connaissent pas les notes avant le grade 8, qui correspond à l’âge de 15 ans !  Revers de la médaille, personne, à part les enseignants dans leur classe, ne sait trop ce qui se passe entre le grade 1 et le grade 9.

A noter, par ailleurs, que la notation suit une échelle de 7 points (détail sur le site du ministère)

Au tournant des années 2000, les inévitables résultats PISA (jugés décevants) ainsi qu’une étude de l’OCDE poussent le gouvernement à prendre des mesures pour améliorer la culture de l’évaluation dans le système. L’objectif est surtout d’améliorer le taux de poursuite d’études dans l’enseignement supérieur, afin que 95% des élèves poursuivent leur formation au delà de l’enseignement secondaire.

C’est ainsi que des tests nationaux ont été mis en place en 2008 pour suivre les acquis des élèves au cours de la scolarité dans les grands domaines (danois, anglais, mathématiques, géographie, biologie, physique-chimie).

Tout ces tests se déroulent par ordinateur et sont adaptatifs : les questions proposées s’adaptent aux réponses des élèves. Ainsi, une réponse incorrecte amène une question plus facile, et une réponse correcte, une question plus difficile.

Les résultats restent confidentiels. Ils ne sont publics qu’à leur niveau national agrégé et ne sont communiqué qu’à la famille, sans les résultats au niveau de la classe ou de l’école, pour éviter toute dérive en terme de palmarès. L’objectif est de n’utiliser les tests que comme un outil pédagogique pour les enseignants, en vue d’adapter leurs pratiques, si nécessaire.

Des livrets de suivi des élèves (student plans) ont également été introduits, prévoyant au moins une évaluation par an dans toutes les matières (sans que la forme de cette évaluation et son inscription dans le libre ne soient imposés au niveau national). Un dispositif qui semble mal vécu par les enseignants, qui y voient une routine administrative pesante et sans grande utilité.

Des examens qui valorisent les compétences plus que la répétition

Le « Gymnasium » est l’équivalent de notre lycée (245 établissements très autonomes), au niveau de l’enseignement secondaire supérieur. Ces trois années sont organisées dans la voie générale, commerciale ou technique, suivies par 65% d’une génération (139 000 élèves) dans des classes qui regroupent en moyenne 28 élèves. Les élèves reçoivent trois notes par sujet en moyenne, ainsi qu’une note finale quand la matière est terminée.

Au moment de la sortie du lycée, une évaluation externe et centralisée intervient dans 7 domaines : 5 obligatoires (danois, mathématiques, anglais, chimie et sciences) + 2 domaines choisis chaque année de façon aléatoire par le ministère la veille de l’épreuve nationale (autrement dit, pas d’impasse possible…). Comme certaines matières font également l’objet d’un examen à l’oral (anglais, chimie…), chaque élève passe au total 9 examens.

On pourrait dire que les points de similarité avec notre baccalauréat s’arrêtent ici. Les examens danois sont en effet considérés comme des épreuves de compétences plus que de mémorisation ou de répétition. Elles privilégient par exemple des travaux sur des textes que les élèves n’ont jamais eu l’occasion d’étudier durant la scolarité ou sur des périodes historiques qui ne figurent pas au programme.

En outre, l’élève peut recourir à tous les types d’aide, y compris des ouvrages ou des ordinateurs. D’ailleurs, l’ordinateur personnel est d’usage courant. La seule limite est l’interdiction de communication, hormis dans certains cas. De toutes façons, sauf rares exceptions (certaines formules de mathématiques par exemple), la structure des examens fait qu’il n’y a pas de « bonnes » réponses toutes faites à recopier.

Ces examens terminaux peuvent prendre des formes extrêmement diversifiées :

  • sujet pluridisciplinaire avec interrogation orale par différents enseignants;
  • examen écrit de 4 à 5 heures avec accès à Internet;
  • 15 à 20 pages de dissertation écrite sur un projet spécialisé, à faire en deux semaines;
  • examen oral en groupe, avec notation individuelle;
  • examen oral individuel avec 30 mn de préparation….ou 24 heures !;
  • examen oral de présentation de projet, avec questions aléatoires de type « grand oral » sur d’autres sujets.

 L’ordinateur et Internet en voie de banalisation dans les examens

L’utilisation des TIC est d’ailleurs centrale dans les pratiques d’enseignement et d’apprentissage au Danemark, qui est allé assez loin en matière de culture numérique pour assurer l’alignement entre les pratiques, les objectifs pédagogiques et les modes d’évaluation.L’utilisation d’Internet pendant les examens a donné l’occasion de divers articles en Europe ( cf. article de Charles Brisson sur Thot-Cursus).

Dès 1997, l’ordinateur était autorisé dans les examens écrits des voies commerciales et techniques, puis généralisé en 2000 dans toutes les filières (98% des élèves utilisaient alors déjà un PC dans les examens écrits de la voie commerciale).Depuis 2001, des sujets sont donnés via CD-Rom, les devoirs écrits peuvent être réalisés sur traitement de texte (ou excel) et la copie à rendre imprimée.

Enfin, depuis 2008, l’usage d’Internet se répand au niveau des examens, avec les premiers sujets permettant l’accès en ligne en 2010 dans certaines matières (danois, mathématiques, sciences sociales, économie…) et, à partir de 2014, les examens d’anglais également.

Il pourra s’agir, en l’occurrence, non plus de réaliser une traduction ou un thème, car dans ce cas là le recours aux outils Internet videra l’épreuve de son sens, mais de comparer par exemple la pertinence de trois traductions proposées par les services en ligne et d’étayer son argumentation !

———————–

Aller plus loin : présentation en anglais du système danois sur le site du ministère.

______________

Cet article a été écrit suite à la conférence de la présidence Irlandaise de l’Union européenne « Better Assessment and Evaluation to Improve Teaching and Learning« , dans le cadre d’une visite d’études du réseau européen sur les compétences clés KeyCoNet.

La pédagogie universitaire : il y a ceux qui en parlent et ceux qui en font (ADIUT 2013)

L’ADIUT

L’ADIUT, vous connaissez ? Moi pas, jusqu’à il y a encore peu, je l’avoue… mais voilà : je viens de passer deux jours en immersion avec les participants du 4e colloque national de l’ADIUT, alors je ne peux plus faire comme si je n’en connaissais pas l’existence…

L’Assemblée des directeurs d’instituts universitaires de technologies donc : un vrai réseau, pas un club de VIP campées sur la préservation de leurs privilèges ! un réseau avec une volonté d’échanger, de mutualiser, de capitaliser les expériences de chacun de ses membres : des hommes et des femmes directeur(trice)s d’IUT, responsables de département, enseignant(e)s…
« des compétences nationales au service d’un enseignement supérieur de proximité » lit-on sur leur site web… la formule ne me paraît pas usurpée.

Quelle est la composition de ce réseau ? Comment fonctionne-t-il ?

115 IUT qui délivrent sur l’ensemble du territoire français 658 diplômes universitaires de technologie (DUT) et 852 licences professionnelles (LP) dans 25 spécialités, dont 16 relèvent du secteur industriel et 9 du secteur tertiaire.

Des programmes pédagogiques nationaux (PPN) rénovés depuis 2006 pour tenir compte des exigences du LMD ; ces PPN structurent à l’échelle nationale l’offre des DUT en précisant les objectifs, les horaires, les coefficients, les modalités pédagogiques (y compris les modalités d’évaluation) et la mise en œuvre du fameux PPP (projet personnel et professionnel de l’étudiant), commun à toutes les spécialités.

Des outils et ressources au service de tous les membres :

  • un campus numérique IUTenligne, né en réponse aux appels d’offre du début des années 2000, lancés par le MESR, et une plateforme MIEL (Moodle) pour les cours ;
  • des associations qui mobilisent les acteurs du réseau autour de la création d’entreprise et de l’entrepreneuriat (CREA-IUT), qui fédèrent les échanges relatifs aux questions informatiques (CRI-IUT) et qui rassemblent les enseignants de langue (APLIUT).

L’ADIUT, ce sont aussi des structures complémentaires en matière de gouvernance :

  • l’UNPIUT : l’Union nationale des Présidents d’IUT, qui a un rôle clé à jouer dans les liens entre les IUT et les milieux socio-économiques ;
  • des ARIUTs (assemblées régionales) qui veillent à promouvoir les synergies dans le périmètre géographique dans lequel elles officient ;
  • les ACD (assemblées de chefs de département) qui oeuvrent à la pollinisation des pratiques et à l’homogénéité du système IUT au sein des 25 spécialités des secteurs secondaire et tertiaire.

 

Le colloque pédagogie et professionnalisation

La 4e édition du colloque Pédagogie et professionnalisation de l’ADIUT s’est donc déroulée du 20 au 22 mars 2013 à Lyon, à l’IUT Lumière, avec comme fil rouge le thème de l’évaluation.

Un thème fédérateur nécessairement : non seulement parce que l’évaluation est partout aujourd’hui, comme l’avaient parfaitement mis au jour les contributeurs au colloque de l’ADMÉÉ 2011, mais aussi parce que dans sa version certificative, avec le DUT, elle a joué et joue encore un rôle extrêmement structurant dans la dynamique de réseau nourrie par l’ADIUT. Et j’ajouterai aussi parce que, dans l’esprit de ses membres, elle ne se résume pas à un produit final : l’évaluation, c’est une démarche, ou plus exactement une pluralité de démarches qui sont autant de jalons pour mener bien sûr à l’obtention d’un diplôme … et à l’insertion professionnelle. Et y figurent en bonne place le PPP, déjà mentionné, et toutes les initiatives en émergence ou en voie de consolidation autour de l’évaluation des formations et des enseignements.

Le colloque m’a semblé fort réussi, en tous cas, proposant une belle alternance de séances plénières avec des conférenciers brillants et d’ateliers thématiques permettant d’aller au delà de la simple juxtaposition d’expériences pour adopter collectivement un positionnement plus analytique, même si les temps d’échanges étaient parfois un peu courts.

J’en ferai ici un bref compte-rendu, assez descriptif pour le coup, n’ayant guère le temps d’approfondir les notes prises. Un compte-rendu un peu à la manière d’un synopsis, qui vous donnera peut être envie d’aller voir la vidéo d’une des conférences ou de consulter le résumé d’un atelier (tout sera mis en ligne prochainement, je vous indiquerai le lien).

Je commencerai par les conférences plénières.

Conférence de Marc Romainville – évaluation des enseignements par les étudiants

Dans la première conférence introductive, Marc Romainville (Facultés universitaires de Namur) s’interroge sur la contribution de l’évaluation des enseignements par les étudiants (EEE) à une démarche qualité plus globale visant à améliorer les pratiques enseignantes. Il souligne le caractère éminemment paradoxal de l’EEE, avec d’une part des recherches convergentes qui confirment la validité et la fiabilité des jugements émis par les étudiants, malgré certains biais, et d’autre part une méfiance quasi-viscérale à l’égard de ce type d’approche de la part des enseignants.

Son propos le conduit à insister sur la nécessité de miser sur la transparence et de rendre explicite l’ensemble du processus d’évaluation, depuis ses fondements jusqu’à ses effets en aval, en passant par les jugements de valeur (inhérents) qui sont émis.

Dans sa dernière partie, il identifie les conditions les plus propices à la mise en œuvre d’une EEE :

  • le fait de bénéficier d’un soutien institutionnel fort qui favorise l’intégration de l’EEE dans la politique de l’établissement (établir par ex une charte de l’EEE)
  • le fait que les enseignants ne doivent pas être dépossédés, mais au contraire impliqués dans la démarche tout du long : définition des objectifs, procédures, critères et modalités de circulation de l’information, usages et publicités des résultats (les rendre par ex responsables de la remontée des résultats après contextualisation)
  • le fait de prévoir une partie commune, permettant d’obtenir des résultats consolidés à l’échelle de l’établissement, et une partie adaptée aux enseignements concernés
  • le fait de se préserver de tout excès conduisant à faire de l’évaluation pour l’évaluation et de veiller à ce que la fréquence d’administration et la longueur des questionnaires soient raisonnables
  • le fait d’épargner dans un premier temps les innovations pédagogiques pour éviter de stigmatiser ce qui pourrait relever de maladresses ou de simples tâtonnements
  • le fait de privilégier une diversité de méthodes (quantitative / qualitative ; pendant / à la fin des cours ; outils synthétiques / analyses plus approfondies ; etc.) pour croiser les résultats
  • le fait de prêter attention à l’information faite aux étudiants, tant sur les motifs et les procédures que sur les effets (quelles améliorations à l’issue des évaluations ?) ; dans certains établissements, la participation des étudiants à la définition des critères devient par ex une occasion de développer la citoyenneté académique
  • le fait de travailler la cohérence entre l’EEE et d’autres modalités d’évaluation, dans la perspective d’une démarche qualité plus globale visant les formations, voire l’institution
  • le fait de ne pas négliger l’accompagnement ni le suivi, en étant par ex attentif à la manière de communiquer des résultats négatifs (pas forcément simple… il paraît que les hommes et les femmes ne réagissent pas de la même manière quand leur susceptibilité est mise à mal)…

 

Conférence de Nicole Rege Colet – évaluation des enseignants

La deuxième intervention plénière a été l’occasion pour Nicole Rege Colet (Université de Strasbourg) de revenir sur les crispations abusives à l’égard de ce qui distingue « évaluation des enseignements » et « évaluation des enseignants ».

En dénonçant des pratiques individuelles perçues souvent comme trop « libérales », elle examine les principaux enjeux liés à l’évaluation des enseignants et les conditions propices à la mise en œuvre d’une évaluation responsable qui relèguerait l’intention de « contrôle » au profit d’une intention de développement pédagogique : il s’agirait dès lors d’apprécier l’autonomie, la responsabilité et l’engagement envers la qualité de l’enseignement et des apprentissages.

Dans cette perspective, elle défend l’idée que l’évaluation des enseignements n’est en définitive qu’un des leviers pour améliorer les pratiques, au même titre que la formation instituée quand elle existe, le conseil pédagogique, l’accompagnement des innovations, la recherche appliquée à la pratique enseignante (SoTL) et les mesures relatives à la valorisation des carrières académiques.

Elle plaide donc pour un dispositif intégré visant le développement professionnel des enseignants, dans le cadre d’une démarche qualité plus globale.

Elle alerte toutefois sur les réflexions qui sont à mener en amont pour s’accorder collectivement sur ce qu’il convient de mesurer et sur comment il convient de le faire. Elle souligne les difficultés à inscrire la démarche en diachronie (comment mesurer la progression ?), à avoir conscience des modèles pédagogiques qui sous-tendent implicitement les modalités d’évaluation (mesure-t-on la conformité à un dogme plutôt qu’à un autre ?) et à pouvoir appréhender les écarts entre intentions et pratiques dans les compétences mesurées.

 

Conférence de Stéphanie Mailles-Viard Metz sur les apports du numérique dans l’auto-évaluation de l’étudiant et de l’enseignant

Après une journée d’atelier, les conférences plénières reprennent avec tout d’abord celle de Stéphanie Mailles-Viard Metz (IUT de Montpellier) qui s’intéresse aux apports du numérique dans l’acquisition de compétences transversales telles que la réflexivité, l’autonomie, la compréhension, l’orientation, la collaboration. Pour ce faire, elle rend compte de 5 expériences menées avec une centaine d’étudiants d’IUT :

  • des QCM pour préparer à un examen (tests MIEL)
  • des cartes mentales pour améliorer la compréhension
  • la mise en place d’indicateurs dans un groupe projet (auto-évaluation et co-évaluation)
  • un e-portfolio pour approfondir la connaissance de soi et s’orienter
  • un tableau blanc partagé pour travailler à plusieurs de façon synchrone

L’analyse de ces expériences met en évidence une plus-value contrastée. La dimension « réflexivité » est toutefois fortement créditée, tant pour les étudiants que pour les enseignants qui disposent, au travers de ces différents outils, de traces d’activité. Ces traces sont en effet autant d’indices pour comprendre ce qui se passe en dehors de l’espace-temps du cours (on parle de « présentiel enrichi »), même si leur nature hétérogène peut les rendre difficiles à exploiter. Le coût en termes de temps est également considéré comme un frein sérieux.

 

Conférence d’André Tricot sur l’évaluation des connaissances

Un enseignant conçoit des tâches (QCM, exercices, problèmes, etc.) pour vérifier les connaissances de ses étudiants. Si la tâche est réussie, il considère que la connaissance est maîtrisée et inversement le fait d’échouer à réaliser la tâche est considéré comme un bon indicateur de la non-maîtrise de ladite connaissance. Et bien, c’est FAUX.

André Tricot (IUFM de Midi-Pyrénées) nous invite à une plongée dans les dessous de l’évaluation des connaissances… et soulève avec brio quelques lièvres :

1/ on peut avoir une connaissance mais ne pas savoir la mobiliser à bon escient.

Si la consigne n’est pas explicite par ex., un élève ne pensera pas à utiliser Pythagore et des prix nobels de Princeton, qui eux aussi connaissent le théorème, se fieront à leur intuition pour résoudre un problème qu’ils estiment simples et se tromperont.

Dans les approches par compétences par exemple, il importe de savoir si on s’intéresse au fait que l’étudiant pense à mobiliser la connaissance ou bien au fait qu’il sait l’utiliser.

2/ ne pas savoir une fois réaliser une tâche ne signifie pas qu’on n’a pas la connaissance.

Il suffit en effet d’activer un stéréotype pour qu’il se réalise : les femmes peuvent avoir des résultats équivalents à ceux des hommes dans une série de problèmes à résoudre ; mais si ces problèmes sont présentés comme étant un test d’intelligence (où il est bien connu que les femmes sont plus faibles), leurs résultats seront effectivement inférieurs.

C’est donc l’accumulation des tâches qui va permettre de se faire une idée générale du niveau de connaissance.

3/ des novices peuvent être plus performants que des experts dans un exercice relevant d’une démarche diagnostique si le problème posé est original ou inhabituel.

Dans le cas d’une panne de moteur par exemple, les novices vont appliquer une procédure qui peuvent les conduire plus rapidement au bon diagnostic que les experts qui eux vont s’appuyer sur leur expérience (et sur les probabilités les plus fortes).

Il importe donc de distinguer les formats de connaissance qu’on cherche à évaluer et de savoir si on s’intéresse aux procédures, aux automatismes ou aux stratégies.

4/ le « testing effect » : une évaluation intermédiaire avant l’évaluation finale a toujours une influence positive sur les résultats finaux. Autrement dit, le fait de tester la mobilisation d’une connaissance, plutôt que la connaissance elle même, contribue à la réussite des étudiants.

Pour en accroître la portée, on peut offrir un bonus de points à ceux qui auront le plus progressé entre les deux évaluations.

 

La conclusion d’A. Tricot rejoint celle de S. Mailles-Viard Metz, toute deux convergeant vers l’auto-évaluation : plus un étudiant sait s’évaluer, plus il sait apprendre.

Du côté des enseignants, les « bonnes pratiques » visent à se centrer davantage sur les progrès que sur les classements, ne serait-ce que pour échapper à la constante macabre (les sempiternels 3 tas de copies : bons, moyens, mauvais). Il s’agit donc de ne pas stigmatiser l’erreur, de valoriser plutôt l’effort personnel et de privilégier des évaluations « privées » pour éviter la comparaison, toujours défavorable aux plus faibles.

 

Conférence de Charles Hadji sur la dimension éthique de l’évaluation

Charles Hadji (Université Grenoble Alpes) donne le ton de cette dernière conférence plénière du colloque de l’ADIUT : l’évaluation sera démocratique ou ne sera pas.

À une époque marquée par une débauche de classements et d’évaluations en tout genre, il plaide pour un retour à la raison.

Il ne s’agit donc pas de rejeter toute évaluation. La pratique évaluative est en effet utile car elle participe à la conduite éclairée de l’action. Elle produit un jugement d’acceptabilité par une mise en rapport entre le service rendu et le service attendu. La question des attentes est donc primordiale : il importe de savoir ce qu’on est en droit d’attendre légitimement de la réalité évaluée (critères) et dans quelle mesure la réalité évaluée est en adéquation avec ce que l’on attend (indicateurs).

Ces jugements d’acceptabilité, fortement marqués culturellement, sont tiraillés entre estimation (importance) et appréciation (valeur) : on cherche à estimer l’ampleur des inégalités et on apprécie la qualité d’un enseignement. L’évaluation ne se limite pas à la mesure…

Plusieurs risques pèsent sur les pratiques d’évaluation. D’un point de vue méthodologique d’abord, il s’agit d’accepter la dimension de jugement, de faire l’effort de l’explicitation et de résister à l’impérialisme du quantitatif. Sur le plan éthique et social, il s’agit de réfléchir aux finalités légitimes, sans perdre de vue le risque d’asservissement idéologique (politique du chiffre par ex) et en se gardant de tout abus de pouvoir. Là encore, comme chez A. Tricot, il y a bien l’idée de ne pas classer, pour ne pas humilier. L’évaluation doit en définitive servir l’homme plutôt que le pouvoir ou l’argent. Et son contenu doit l’emporter sur la relation (entre l’évaluateur et l’évalué), sinon l’évaluation est malsaine.

 

Et je n’oublierai pas pour finir ces quelques paroles chantonnées par M. Hadji, que seuls quelques avertis aux cheveux honorablement blancs ont reconnues (et pas moi 🙂 :

J’ai pris la route droite
La route défendue
La route maladroite
Dans ce monde tordu
En allant tout droit tout droit tout droit
Je me suis retrouvé derrière moi !
Qui erre
Qui espère
Dans ce monde mystère
Qui erre
Qui espère
Dans ce monde en émoi ?

On m’a dit « la famille »,
Les dollars les autos
On m’a dit « la faucille »,
On m’a dit « le marteau »,
On m’a dit on m’a dit on m’a dit
Et puis on s’est contredit !
Qui pense
Qui danse
Dans cette effervescence
Qui pense
qui danse
Dans ce monde en émoi ? (…)

 

Et sur ces paroles, je vous dis à bientôt pour le compte-rendu de l’atelier qui portait sur l’évaluation des enseignements et des formations.

 

BIBLIOGRAPHIE

ENQA (2006). Références et lignes directrices pour le management de la qualité dans l’espace européen de l’enseignement supérieur. Bruxelles : European Association for Quality Assurance in the European Higher Education Area [traduit par le Comité national d’évaluation de l’enseignement supérieur]. http://www.enqa.eu/files/ESG%20version%20FRA.pdf

Hadji, C. (2012). Faut-il avoir peur de l’évaluation ? Bruxelles : De Boeck.

Mailles-Viard Metz, S., Loisy, C., & Leiterer, L. (2011). Effet du format de structuration de l’information sur la créativité de la présentation personnelle de l’étudiant. Revue internationale de pédagogie de l’enseignement supérieur, 27(1). Consulté à l’adresse http://ripes.revues.org/446

Rege Colet, N., & Berthiaume, D. (2012). L’évaluation des enseignants universitaires. Spirale, (49), p. 221 235.

Roediger III, H. L., & Butler, A. C. (2011). The Critical Role of Retrieval Practice in Long-term Retention. Trends in Cognitive Sciences, 15(1), p. 20 27. doi:10.1016/j.tics.2010.09.003

Romainville, M., & Coggi, C. (Éd.). (2009). L’évaluation de l’enseignement par les étudiants : Approches critiques et pratiques innovantes. Bruxelles : De Boeck.

Romainville, M., Goasdoué, R., & Vantourout, M. (2012). Évaluation et enseignement supérieur. Bruxelles : De Boeck.

Tralongo, S., & Le Hung, M. (Éd.). (2012). Le Projet Personnel et Professionnel de l’étudiant : l’exemple des IUT. Espr’IUT.

Un palmarès des écoles… en Angleterre

Le Department of Education d’Angleterre vient de publier son classement des écoles primaires. Le blog du Guardian en publie une synthèse : « Primary school league tables 2012 : how does each place compare?« . Basé sur les résultats nationaux (effectués aux niveaux équivalant aux CE1, CM2 et 4ème), communément appels SATS, ce classement trie donc les écoles selon les résultats en lecture, en anglais et en maths. Globalement, le niveau monte, le nombre d’écoles en dessous d’un niveau « plancher » a été réduit de presque 2/3 depuis un an.

Mais ce qui peut impressionner le lecteur français, outre ce type de classement, ce sont les variables étudiées:

  • géographiques
  • par types d’école
  • par religions (cultes musulman , méthodiste, juif, sikh; athées, catholiques romans ou anglicans)

L’article du Guardian donne les résultats par domaines , niveaux  et districts scolaires, mais on peut en savoir BEAUCOUP plus  en allant sur le site du Department of Education , où les Performance tables nous disent tout sur la plus petite école d’Angleterre (enfin, presque toutes les écoles). Les données sont affichables sur le site mais aussi téléchargeable (tableur).

  •  des données financières, telles que le coût par élève;
  • des données relatives aux personnels, aux élèves
  • les rapports d’inspection de l’établissement (pour comprendre la spécificité  de l’inspectorat anglais, on lira le Dossier d’actualité de Rémi Thibert, en français ou en anglais); à titre d’exemple: le rapport d’inspection d’une école primaire dans l’Essex , prise au hasard dans le tableau de l’Ofsted (Office for Standards in Education, Children’s Services and Skills).

Mais toutes les écoles ne donnent pas autant de renseignements…

Se préparer aux tests… et ignorer le reste !

On sait qu’un travers des tests et examens scolaires consiste à ce que les enseignants comme les élèves concentrent leurs activités sur les connaissances et les disciplines qui sont évaluées, délaissant les autres objets d’enseignement.

Un rapport de Nathalie Mons au réseau européen Eurydice avait ainsi livré en 2009 une synthèse intéressante des savoirs sur les effets théoriques et réels de l’évaluation standardisée. Elle y montrait notamment que c’est surtout le fait de faire des tests à grande échelle « à forts enjeux »  pour l’évaluation des élèves, des enseignants ou des étudiants qui altère le bon fonctionnement des écoles.

Norberto Bottani relève sur son blog  un effet pervers particulièrement caricatural de la politique de multiplication des tests au Texas. Dans une école, la politique de l’établissement a consisté à concentrer tous les enseignements sur les mathématiques et la lecture, et eux seuls,  afin que les élèves  (third grade : autour de 8-9 ans) soient particulièrement performants dans ces  deux domaines qui comptent pour les tests de l’état (Texas Assessment of Knowledge and Skills Test).  L’établissement était ainsi devenu l’un des meilleurs du Texas… pendant que ses élèves ignorait tout des sujets qui ne rentraient pas dans les exercices de mathématiques ou de lecture.

Comme l’obsession de la performance avait en outre conduit cette école à diverses falsifications pour gonfler les résultats de ses élèves, un rapport a été commandité qui a dénoncé  les dérives de l’établissement.

De tests censés inciter les écoles à améliorer l’apprentissage de leurs élèves, on était passé à des écoles cherchant pas tous les moyens à améliorer leurs résultats aux tests. D’où l’intérêt de réfléchir à deux fois avant de multiplier les instruments de contrôle et d’évaluation des performances scolaires…

Un nouveau tour de PISA

PISA encore ? On est maintenant tellement habitués à entendre la fameuse enquête internationale de l’OCDE citée au détour de toute conversation sur les performances de notre système éducatif, qu’on a l’impression de tout savoir sur la dégradation supposée de la position de la France dans les résultats PISA. Et si l’essentiel n’était pas là ?

En effet, plus que le fait de savoir si tel ou tel pays a progressé ou baissé de 10 points par rapport à son voisin, l’intérêt de PISA c’est de fournir  des  données de comparaison à une échelle à laquelle aucun laboratoire isolé ne pourrait rêver.

Pourquoi « nos » élèves ont tant de mal à répondre aux questions construites plutôt qu’aux QCM ? Pourquoi le redoublement plombe-t-il les résultats moyens de la France ? Quelles sont les compétences privilégiées par PISA par rapport aux connaissances transmises par nos programmes ?  Les résultats sont-ils meilleurs dans un système de tronc commun unique ou dans un système de filières de niveau ? Voilà quelques questions, parmi tant d’autres, que PISA permet de poser, sinon de trancher.

De nombreux chercheurs à travers le monde ne s’y sont pas trompés et n’ont pas hésité à utiliser les données de PISA pour approfondir telle ou telle question, y compris en les retraitant différemment de la façon dont l’OCDE les avait présentées. C’est cette diversité d’utilisation de l’évaluation internationaleque nous avons voulu mettre en valeur à travers le dossier « PISA : ce que l’on en sait et ce que l’on en fait« .

Un intérêt des chercheurs qui ne se dément pas,  au vu du nombre de travaux et de publications dont les thèmes sont reliés à PISA (et dont notre dossier ne donne qu’un petit aperçu). Encore récemment, nous avons dénombré plus de vingt communications à la conférence  de l’Association européenne de recherche en éducation (ECER 2011) à Berlin dont le titre comprenait une référence explicite à PISA.

Ceci noté, il n’était pas possible de faire l’impasse sur les utilisations de PISA dans le débat public. Ne serait-ce que pour souligner les réactions plus que contrastées de différents pays face aux résultats. Rien de commun entre l’Allemagne, qui a mis en oeuvre une profonde réforme de l’éducation suite aux résultats PISA, et les États-Unis, qui n’y ont accordé qu’une indifférence polie ! Quand à la France, on voit  PISA être de plus en plus évoqué depuis quatre ans à l’appui de telle ou telle orientation, et ce n’est pas le débat de la campagne présidentielle qui devrait inverser la tendance.

Tout cela justifiait donc que l’on se penche une nouvelle fois sur PISA, thème désormais solidement ancré sur l’agenda scientifique comme sur l’agenda politique.

Forces et faiblesses du système éducatif français : ce que nous apprennent les statistiques

En cherchant bien évidemment tout autre chose, je suis tombée sur cet article de Claude Sauvageot et Nadine Dalsheimer, intitulé « La situation éducative de la France comparée à celle d’autres pays de l’Union européenne ou de l’OCDE », qui est paru dans le n°78 de la revue Education et formations (novembre 2008).
Le panorama dressé ici a retenu mon attention, tout simplement parce qu’il fait écho à cette tentation que nous avons tous de réduire la complexité à quelques formules faciles à retenir, faciles à s’approprier : sans langue de bois, l’article met en évidence certaines spécificités du système éducatif français, ses forces et ses faiblesses, à la lumière d’une sélection d’indicateurs de l’éducation produits par l’OCDE, par Eurydice et Eurostat, et par la Commission Européenne dans le cadre du suivi des objectifs de Lisbonne. Les publications périodiques qui servent d’appui à cet article sont les suivantes :
– la collection des Regards sur l’éducation de l’OCDE (cf. RSE 2009)
– celle des Chiffres clés d’Eurydice / Eurostat
– celle des Rapports annuels de suivi des objectifs de Lisbonne (cf. édition 2009),
– et celle des Etats de l’école, publiés par le Ministère de l’éducation nationale français, avec les données fournies par la DEPP.
Continuer la lecture de Forces et faiblesses du système éducatif français : ce que nous apprennent les statistiques 

L’enseignement primaire anglais en examen

Le numéro de septembre dernier de la Revue internationale d’éducation comporte notamment une intéressante chronique de Marrousia Raveaud sur la controverse britannique en cours, suscitée par les premiers résultats, très critiques, d’une commission indépendante de chercheurs sur les réformes de l’école primaire des 20 dernières années.

Mal accueillis par le ministère, qui tente de discréditer leur validité scientifique, les nombreux et divers premiers rapports intermédiaires concluent en effet à l’échec global des réformes guidées par l’obsession gouvernementale de pilotage par les évaluations nationales (à base de tests standardisés), le rétrécissement des programmes aux disciplines de base et la concurrence entre établissements.

On peut retrouver ces rapports sur le site de la commission « The Primary Review« … ainsi d’ailleurs que l’article de Marroussia Raveaud !