L’ADIUT
L’ADIUT, vous connaissez ? Moi pas, jusqu’à il y a encore peu, je l’avoue… mais voilà : je viens de passer deux jours en immersion avec les participants du 4e colloque national de l’ADIUT, alors je ne peux plus faire comme si je n’en connaissais pas l’existence…
L’Assemblée des directeurs d’instituts universitaires de technologies donc : un vrai réseau, pas un club de VIP campées sur la préservation de leurs privilèges ! un réseau avec une volonté d’échanger, de mutualiser, de capitaliser les expériences de chacun de ses membres : des hommes et des femmes directeur(trice)s d’IUT, responsables de département, enseignant(e)s…
« des compétences nationales au service d’un enseignement supérieur de proximité » lit-on sur leur site web… la formule ne me paraît pas usurpée.
Quelle est la composition de ce réseau ? Comment fonctionne-t-il ?
115 IUT qui délivrent sur l’ensemble du territoire français 658 diplômes universitaires de technologie (DUT) et 852 licences professionnelles (LP) dans 25 spécialités, dont 16 relèvent du secteur industriel et 9 du secteur tertiaire.
Des programmes pédagogiques nationaux (PPN) rénovés depuis 2006 pour tenir compte des exigences du LMD ; ces PPN structurent à l’échelle nationale l’offre des DUT en précisant les objectifs, les horaires, les coefficients, les modalités pédagogiques (y compris les modalités d’évaluation) et la mise en œuvre du fameux PPP (projet personnel et professionnel de l’étudiant), commun à toutes les spécialités.
Des outils et ressources au service de tous les membres :
- un campus numérique IUTenligne, né en réponse aux appels d’offre du début des années 2000, lancés par le MESR, et une plateforme MIEL (Moodle) pour les cours ;
- des associations qui mobilisent les acteurs du réseau autour de la création d’entreprise et de l’entrepreneuriat (CREA-IUT), qui fédèrent les échanges relatifs aux questions informatiques (CRI-IUT) et qui rassemblent les enseignants de langue (APLIUT).
L’ADIUT, ce sont aussi des structures complémentaires en matière de gouvernance :
- l’UNPIUT : l’Union nationale des Présidents d’IUT, qui a un rôle clé à jouer dans les liens entre les IUT et les milieux socio-économiques ;
- des ARIUTs (assemblées régionales) qui veillent à promouvoir les synergies dans le périmètre géographique dans lequel elles officient ;
- les ACD (assemblées de chefs de département) qui oeuvrent à la pollinisation des pratiques et à l’homogénéité du système IUT au sein des 25 spécialités des secteurs secondaire et tertiaire.
Le colloque pédagogie et professionnalisation
La 4e édition du colloque Pédagogie et professionnalisation de l’ADIUT s’est donc déroulée du 20 au 22 mars 2013 à Lyon, à l’IUT Lumière, avec comme fil rouge le thème de l’évaluation.
Un thème fédérateur nécessairement : non seulement parce que l’évaluation est partout aujourd’hui, comme l’avaient parfaitement mis au jour les contributeurs au colloque de l’ADMÉÉ 2011, mais aussi parce que dans sa version certificative, avec le DUT, elle a joué et joue encore un rôle extrêmement structurant dans la dynamique de réseau nourrie par l’ADIUT. Et j’ajouterai aussi parce que, dans l’esprit de ses membres, elle ne se résume pas à un produit final : l’évaluation, c’est une démarche, ou plus exactement une pluralité de démarches qui sont autant de jalons pour mener bien sûr à l’obtention d’un diplôme … et à l’insertion professionnelle. Et y figurent en bonne place le PPP, déjà mentionné, et toutes les initiatives en émergence ou en voie de consolidation autour de l’évaluation des formations et des enseignements.
Le colloque m’a semblé fort réussi, en tous cas, proposant une belle alternance de séances plénières avec des conférenciers brillants et d’ateliers thématiques permettant d’aller au delà de la simple juxtaposition d’expériences pour adopter collectivement un positionnement plus analytique, même si les temps d’échanges étaient parfois un peu courts.
J’en ferai ici un bref compte-rendu, assez descriptif pour le coup, n’ayant guère le temps d’approfondir les notes prises. Un compte-rendu un peu à la manière d’un synopsis, qui vous donnera peut être envie d’aller voir la vidéo d’une des conférences ou de consulter le résumé d’un atelier (tout sera mis en ligne prochainement, je vous indiquerai le lien).
Je commencerai par les conférences plénières.
Conférence de Marc Romainville – évaluation des enseignements par les étudiants
Dans la première conférence introductive, Marc Romainville (Facultés universitaires de Namur) s’interroge sur la contribution de l’évaluation des enseignements par les étudiants (EEE) à une démarche qualité plus globale visant à améliorer les pratiques enseignantes. Il souligne le caractère éminemment paradoxal de l’EEE, avec d’une part des recherches convergentes qui confirment la validité et la fiabilité des jugements émis par les étudiants, malgré certains biais, et d’autre part une méfiance quasi-viscérale à l’égard de ce type d’approche de la part des enseignants.
Son propos le conduit à insister sur la nécessité de miser sur la transparence et de rendre explicite l’ensemble du processus d’évaluation, depuis ses fondements jusqu’à ses effets en aval, en passant par les jugements de valeur (inhérents) qui sont émis.
Dans sa dernière partie, il identifie les conditions les plus propices à la mise en œuvre d’une EEE :
- le fait de bénéficier d’un soutien institutionnel fort qui favorise l’intégration de l’EEE dans la politique de l’établissement (établir par ex une charte de l’EEE)
- le fait que les enseignants ne doivent pas être dépossédés, mais au contraire impliqués dans la démarche tout du long : définition des objectifs, procédures, critères et modalités de circulation de l’information, usages et publicités des résultats (les rendre par ex responsables de la remontée des résultats après contextualisation)
- le fait de prévoir une partie commune, permettant d’obtenir des résultats consolidés à l’échelle de l’établissement, et une partie adaptée aux enseignements concernés
- le fait de se préserver de tout excès conduisant à faire de l’évaluation pour l’évaluation et de veiller à ce que la fréquence d’administration et la longueur des questionnaires soient raisonnables
- le fait d’épargner dans un premier temps les innovations pédagogiques pour éviter de stigmatiser ce qui pourrait relever de maladresses ou de simples tâtonnements
- le fait de privilégier une diversité de méthodes (quantitative / qualitative ; pendant / à la fin des cours ; outils synthétiques / analyses plus approfondies ; etc.) pour croiser les résultats
- le fait de prêter attention à l’information faite aux étudiants, tant sur les motifs et les procédures que sur les effets (quelles améliorations à l’issue des évaluations ?) ; dans certains établissements, la participation des étudiants à la définition des critères devient par ex une occasion de développer la citoyenneté académique
- le fait de travailler la cohérence entre l’EEE et d’autres modalités d’évaluation, dans la perspective d’une démarche qualité plus globale visant les formations, voire l’institution
- le fait de ne pas négliger l’accompagnement ni le suivi, en étant par ex attentif à la manière de communiquer des résultats négatifs (pas forcément simple… il paraît que les hommes et les femmes ne réagissent pas de la même manière quand leur susceptibilité est mise à mal)…
Conférence de Nicole Rege Colet – évaluation des enseignants
La deuxième intervention plénière a été l’occasion pour Nicole Rege Colet (Université de Strasbourg) de revenir sur les crispations abusives à l’égard de ce qui distingue « évaluation des enseignements » et « évaluation des enseignants ».
En dénonçant des pratiques individuelles perçues souvent comme trop « libérales », elle examine les principaux enjeux liés à l’évaluation des enseignants et les conditions propices à la mise en œuvre d’une évaluation responsable qui relèguerait l’intention de « contrôle » au profit d’une intention de développement pédagogique : il s’agirait dès lors d’apprécier l’autonomie, la responsabilité et l’engagement envers la qualité de l’enseignement et des apprentissages.
Dans cette perspective, elle défend l’idée que l’évaluation des enseignements n’est en définitive qu’un des leviers pour améliorer les pratiques, au même titre que la formation instituée quand elle existe, le conseil pédagogique, l’accompagnement des innovations, la recherche appliquée à la pratique enseignante (SoTL) et les mesures relatives à la valorisation des carrières académiques.
Elle plaide donc pour un dispositif intégré visant le développement professionnel des enseignants, dans le cadre d’une démarche qualité plus globale.
Elle alerte toutefois sur les réflexions qui sont à mener en amont pour s’accorder collectivement sur ce qu’il convient de mesurer et sur comment il convient de le faire. Elle souligne les difficultés à inscrire la démarche en diachronie (comment mesurer la progression ?), à avoir conscience des modèles pédagogiques qui sous-tendent implicitement les modalités d’évaluation (mesure-t-on la conformité à un dogme plutôt qu’à un autre ?) et à pouvoir appréhender les écarts entre intentions et pratiques dans les compétences mesurées.
Conférence de Stéphanie Mailles-Viard Metz sur les apports du numérique dans l’auto-évaluation de l’étudiant et de l’enseignant
Après une journée d’atelier, les conférences plénières reprennent avec tout d’abord celle de Stéphanie Mailles-Viard Metz (IUT de Montpellier) qui s’intéresse aux apports du numérique dans l’acquisition de compétences transversales telles que la réflexivité, l’autonomie, la compréhension, l’orientation, la collaboration. Pour ce faire, elle rend compte de 5 expériences menées avec une centaine d’étudiants d’IUT :
- des QCM pour préparer à un examen (tests MIEL)
- des cartes mentales pour améliorer la compréhension
- la mise en place d’indicateurs dans un groupe projet (auto-évaluation et co-évaluation)
- un e-portfolio pour approfondir la connaissance de soi et s’orienter
- un tableau blanc partagé pour travailler à plusieurs de façon synchrone
L’analyse de ces expériences met en évidence une plus-value contrastée. La dimension « réflexivité » est toutefois fortement créditée, tant pour les étudiants que pour les enseignants qui disposent, au travers de ces différents outils, de traces d’activité. Ces traces sont en effet autant d’indices pour comprendre ce qui se passe en dehors de l’espace-temps du cours (on parle de « présentiel enrichi »), même si leur nature hétérogène peut les rendre difficiles à exploiter. Le coût en termes de temps est également considéré comme un frein sérieux.
Conférence d’André Tricot sur l’évaluation des connaissances
Un enseignant conçoit des tâches (QCM, exercices, problèmes, etc.) pour vérifier les connaissances de ses étudiants. Si la tâche est réussie, il considère que la connaissance est maîtrisée et inversement le fait d’échouer à réaliser la tâche est considéré comme un bon indicateur de la non-maîtrise de ladite connaissance. Et bien, c’est FAUX.
André Tricot (IUFM de Midi-Pyrénées) nous invite à une plongée dans les dessous de l’évaluation des connaissances… et soulève avec brio quelques lièvres :
1/ on peut avoir une connaissance mais ne pas savoir la mobiliser à bon escient.
Si la consigne n’est pas explicite par ex., un élève ne pensera pas à utiliser Pythagore et des prix nobels de Princeton, qui eux aussi connaissent le théorème, se fieront à leur intuition pour résoudre un problème qu’ils estiment simples et se tromperont.
Dans les approches par compétences par exemple, il importe de savoir si on s’intéresse au fait que l’étudiant pense à mobiliser la connaissance ou bien au fait qu’il sait l’utiliser.
2/ ne pas savoir une fois réaliser une tâche ne signifie pas qu’on n’a pas la connaissance.
Il suffit en effet d’activer un stéréotype pour qu’il se réalise : les femmes peuvent avoir des résultats équivalents à ceux des hommes dans une série de problèmes à résoudre ; mais si ces problèmes sont présentés comme étant un test d’intelligence (où il est bien connu que les femmes sont plus faibles), leurs résultats seront effectivement inférieurs.
C’est donc l’accumulation des tâches qui va permettre de se faire une idée générale du niveau de connaissance.
3/ des novices peuvent être plus performants que des experts dans un exercice relevant d’une démarche diagnostique si le problème posé est original ou inhabituel.
Dans le cas d’une panne de moteur par exemple, les novices vont appliquer une procédure qui peuvent les conduire plus rapidement au bon diagnostic que les experts qui eux vont s’appuyer sur leur expérience (et sur les probabilités les plus fortes).
Il importe donc de distinguer les formats de connaissance qu’on cherche à évaluer et de savoir si on s’intéresse aux procédures, aux automatismes ou aux stratégies.
4/ le « testing effect » : une évaluation intermédiaire avant l’évaluation finale a toujours une influence positive sur les résultats finaux. Autrement dit, le fait de tester la mobilisation d’une connaissance, plutôt que la connaissance elle même, contribue à la réussite des étudiants.
Pour en accroître la portée, on peut offrir un bonus de points à ceux qui auront le plus progressé entre les deux évaluations.
La conclusion d’A. Tricot rejoint celle de S. Mailles-Viard Metz, toute deux convergeant vers l’auto-évaluation : plus un étudiant sait s’évaluer, plus il sait apprendre.
Du côté des enseignants, les « bonnes pratiques » visent à se centrer davantage sur les progrès que sur les classements, ne serait-ce que pour échapper à la constante macabre (les sempiternels 3 tas de copies : bons, moyens, mauvais). Il s’agit donc de ne pas stigmatiser l’erreur, de valoriser plutôt l’effort personnel et de privilégier des évaluations « privées » pour éviter la comparaison, toujours défavorable aux plus faibles.
Conférence de Charles Hadji sur la dimension éthique de l’évaluation
Charles Hadji (Université Grenoble Alpes) donne le ton de cette dernière conférence plénière du colloque de l’ADIUT : l’évaluation sera démocratique ou ne sera pas.
À une époque marquée par une débauche de classements et d’évaluations en tout genre, il plaide pour un retour à la raison.
Il ne s’agit donc pas de rejeter toute évaluation. La pratique évaluative est en effet utile car elle participe à la conduite éclairée de l’action. Elle produit un jugement d’acceptabilité par une mise en rapport entre le service rendu et le service attendu. La question des attentes est donc primordiale : il importe de savoir ce qu’on est en droit d’attendre légitimement de la réalité évaluée (critères) et dans quelle mesure la réalité évaluée est en adéquation avec ce que l’on attend (indicateurs).
Ces jugements d’acceptabilité, fortement marqués culturellement, sont tiraillés entre estimation (importance) et appréciation (valeur) : on cherche à estimer l’ampleur des inégalités et on apprécie la qualité d’un enseignement. L’évaluation ne se limite pas à la mesure…
Plusieurs risques pèsent sur les pratiques d’évaluation. D’un point de vue méthodologique d’abord, il s’agit d’accepter la dimension de jugement, de faire l’effort de l’explicitation et de résister à l’impérialisme du quantitatif. Sur le plan éthique et social, il s’agit de réfléchir aux finalités légitimes, sans perdre de vue le risque d’asservissement idéologique (politique du chiffre par ex) et en se gardant de tout abus de pouvoir. Là encore, comme chez A. Tricot, il y a bien l’idée de ne pas classer, pour ne pas humilier. L’évaluation doit en définitive servir l’homme plutôt que le pouvoir ou l’argent. Et son contenu doit l’emporter sur la relation (entre l’évaluateur et l’évalué), sinon l’évaluation est malsaine.
Et je n’oublierai pas pour finir ces quelques paroles chantonnées par M. Hadji, que seuls quelques avertis aux cheveux honorablement blancs ont reconnues (et pas moi 🙂 :
J’ai pris la route droite
La route défendue
La route maladroite
Dans ce monde tordu
En allant tout droit tout droit tout droit
Je me suis retrouvé derrière moi !
Qui erre
Qui espère
Dans ce monde mystère
Qui erre
Qui espère
Dans ce monde en émoi ?
On m’a dit “la famille”,
Les dollars les autos
On m’a dit “la faucille”,
On m’a dit “le marteau”,
On m’a dit on m’a dit on m’a dit
Et puis on s’est contredit !
Qui pense
Qui danse
Dans cette effervescence
Qui pense
qui danse
Dans ce monde en émoi ? (…)
Et sur ces paroles, je vous dis à bientôt pour le compte-rendu de l’atelier qui portait sur l’évaluation des enseignements et des formations.
BIBLIOGRAPHIE
ENQA (2006). Références et lignes directrices pour le management de la qualité dans l’espace européen de l’enseignement supérieur. Bruxelles : European Association for Quality Assurance in the European Higher Education Area [traduit par le Comité national d’évaluation de l’enseignement supérieur]. http://www.enqa.eu/files/ESG%20version%20FRA.pdf
Hadji, C. (2012). Faut-il avoir peur de l’évaluation ? Bruxelles : De Boeck.
Mailles-Viard Metz, S., Loisy, C., & Leiterer, L. (2011). Effet du format de structuration de l’information sur la créativité de la présentation personnelle de l’étudiant. Revue internationale de pédagogie de l’enseignement supérieur, 27(1). Consulté à l’adresse http://ripes.revues.org/446
Rege Colet, N., & Berthiaume, D. (2012). L’évaluation des enseignants universitaires. Spirale, (49), p. 221 235.
Roediger III, H. L., & Butler, A. C. (2011). The Critical Role of Retrieval Practice in Long-term Retention. Trends in Cognitive Sciences, 15(1), p. 20 27. doi:10.1016/j.tics.2010.09.003
Romainville, M., & Coggi, C. (Éd.). (2009). L’évaluation de l’enseignement par les étudiants : Approches critiques et pratiques innovantes. Bruxelles : De Boeck.
Romainville, M., Goasdoué, R., & Vantourout, M. (2012). Évaluation et enseignement supérieur. Bruxelles : De Boeck.
Tralongo, S., & Le Hung, M. (Éd.). (2012). Le Projet Personnel et Professionnel de l’étudiant : l’exemple des IUT. Espr’IUT.