Le groupe de travail Pepieta a réalisé un suivi ce premier bac CGEA rénové. Des observations et des recherches-actions visent à définir des facteurs de réussite pour cette nouvelle épreuve exigeante. L’épreuve consiste en une présentation orale de 5 minutes basée sur la réalisation préalable de 4 fiches. Elle est complétée d’un entretien avec le jury de 15 minutes. Elle interroge les pratiques des enseignants et leurs modalités d’évaluation.
Continuer la lecture de « Un bac professionnel rénové et une évaluation du raisonnement à l’oral »Étiquette : évaluation formative
Unisciel : 10 ans déjà et pas une ride !
Unisciel ne s’occupe pas simplement de valoriser les ressources numériques pour l’enseignement des sciences dans le supérieur. Né dans la mouvance des universités numériques thématiques (après une impulsion initiale au sein du RUCA – réseau universitaire des centres d’autoformation dans les années 1990), le groupement d’intérêt scientifique (GIS ) a su évoluer depuis 10 ans pour aujourd’hui se distinguer nettement des autres projets d’UNT.
C’est la dimension “accompagnement” qui prévaut et qui structure les activités du groupement bien au-delà de l’appui même à la conception de ressources, qui figurait aussi dans les missions premières. Au premier plan, ce sont des projets multiples visant l’appropriation de ces ressources et oeuvrant plus largement pour la transformation pédagogique des 45 établissements membres. Le numérique n’est donc plus l’entrée privilégiée dans la pédagogie, même s’il ne s’agit pas de l’évacuer bien entendu (voir le projet Socles 3 par ex., un parcours de niveau licence, en ligne, structuré et scénarisé à partir des ressources Unisciel existantes).
Les problématiques sont multiples donc, depuis la lutte contre l’échec en licence et la mise en oeuvre de la loi ORE (au coeur des journées annuelles qui se sont déroulées à l’ENS de Lyon la semaine dernière), à la prise en compte des besoins des étudiants salariés, des étudiants internationaux ou des étudiants en situation de handicap, à l’accompagnement des pratiques pédagogiques et aux transformations curriculaires (AAP NCU notamment), en passant par la diffusion de la culture scientifique auprès d’un public plus large (cf. par ex. le Mooc Quidquam et la série-documentaire Kezako). Continuer la lecture de « Unisciel : 10 ans déjà et pas une ride ! »
Les tests initiaux de prérequis à l’université : du diagnostic à la remédiation ?
Sélectionner pour réduire l’échec ou sélectionner par l’échec ?
Difficile d’exiger des universités qu’elles fassent réussir le plus grand nombre alors qu’elles ont obligation d’accueillir tous les néo-bacheliers qui en feraient la demande… qu’il s’agisse de leur premier ou de leur troisième choix. Difficile pour elles de mobiliser leurs personnels pour être performantes en matière d’enseignement alors que la pédagogie ne fait l’objet d’aucune reconnaissance professionnelle et que l’excellence scientifique se trouve dopée depuis quelques années par la multiplication des Labex, Idex et autres programmes d’investissement…
Comme le montrent les travaux de François Sarfati (2013 ; 2015), pour faire avec ces injonctions paradoxales, les universités biaisent, elles trouvent des moyens d’inoculer de la sélection dans le système : par tirage au sort quand le nombre de postulants est pléthorique au vu des capacités d’accueil ; sur dossier scolaire dans les filières médicales évidemment, mais aussi de plus en plus dans certains cursus dérogatoires, tels que les doubles licences ou bilicences, dont l’offre en sciences, moins importante qu’en sciences humaines et sociales, a explosé ces dernières années en région parisienne. Sans doute faudrait-il aussi mentionner au nombre des mécanismes de sélection, les préinscriptions via APB, autorisées par les établissements sur la base des moyennes de la classe de Première et des deux premiers trimestres de Terminale.
Bien sûr, toutes les filières universitaires ne sont pas logées à la même enseigne. Il y a celles qui jouent la dissuasion en pointant les faibles chances de réussite des bacheliers technologiques et professionnels dans la présentation même du diplôme, parce leurs effectifs sont de toutes les façons assurés, et il y a celles, déficitaires, peu regardantes sur l’origine des bacheliers, parce que leur existence est conditionnée par le nombre d’étudiants inscrits… Dans ce dernier cas, tout se passe comme si la sélection par l’échec était une modalité parmi d’autres : elle est tacitement cautionnée par certaines facultés comme un mal nécessaire, non pas pour assurer un service public égalitaire, mais pour maintenir leurs propres ressources, financières et humaines. En outre, les jeunes qui souhaitent un statut d’étudiant pour des raisons diverses et variées, y trouvent soi-disant aussi leur compte ; mais sait-on combien ils sont vraiment à vouloir endosser le rôle d’étudiant-fantôme ?
Personne n’est dupe, ce fonctionnement n’est bien entendu pas satisfaisant… Dans certaines académies, on voit apparaître (et disparaître ?) des circulaires stipulant la priorité des bacs technologiques et professionnels dans les filières courtes dites « sélectives » (STS et IUT), se risquant même parfois à fixer des quotas d’inscription en leur faveur, ou bien à flécher très explicitement les bacheliers titulaires d’une mention. Les meilleurs d’entre eux sont donc « orientés » vers les filières qui ont été créées pour eux à l’origine… Mais n’était-ce pas déjà le cas ?
Devant les inerties multiples, peu de politiques cherchent à éradiquer les racines du mal, et le système se maintient tant bien que mal. On se tourne alors vers les néo-bacheliers, on cherche à les responsabiliser… La mise en place de l’« orientation active », en visant à informer les lycéens de leurs chances de réussite dans telle ou telle filière du supérieur, s’inscrit dans cette démarche. Il s’agit de les accompagner « pour les aider à choisir les formations universitaires les mieux adaptées à leur parcours et à leur(s) projet(s) ». Les évaluations d’acquis, sous la forme de tests de prérequis ou de tests de positionnement, répondent à cette même logique de centration sur les étudiants, en fournissant des éléments d’appréciation de leur « adéquation » à la formation visée. Orientation active et évaluations d’acquis ciblent en définitive plutôt les jeunes qui ont un parcours difficile, pour les autres la question se pose à peine. Pourtant, si le choix final d’orientation reste à la seule appréciation des jeunes et de leur famille, la marge de manœuvre paraît en définitive bien réduite : dans un système où le « libre accès » est couplé à une offre d’éducation extrêmement hiérarchisée, les bons élèves s’orientent là où ils le souhaitent et les moins bons là où ils parviennent à s’inscrire !
Les évaluations d’acquis au service du continuum moins 3 plus 3 ?
À l’occasion du lancement de la plateforme Faq2sciences par Unisciel, il nous a semblé opportun d’essayer de comprendre les enjeux associés aux évaluations d’acquis à l’entrée dans le supérieur et d’examiner d’un peu plus près l’expérience belge menée depuis le début des années 2000 à l’initiative de l’université de Namur – la seule francophone qui soit suffisamment documentée – pour gagner un peu de hauteur de vue (Vieillevoye et al., 2012 ; Wathelet & Vieillevoye, 2013).
L’objectif poursuivi avec ce type de dispositif est d’amener les nouveaux étudiants à prendre conscience de leurs forces et de leurs faiblesses, tout en les incitant à être proactifs dans leurs apprentissages. La marge de manœuvre paraît d’emblée plus grande qu’avec l’orientation active, car la démarche échappe en partie aux forces d’inertie du système éducatif : les étudiants (avec ou sans les enseignants) peuvent avoir prise sur leurs faiblesses, contrairement à d’autres facteurs tels que l’origine sociale et surtout le parcours scolaire antérieur, qui conditionne fortement la réussite.
Pour autant, les modalités de mise en œuvre de ces évaluations d’acquis peuvent faire débat. En France où les réflexions sont récentes, certains plaident pour une épreuve externe commune par domaine disciplinaire d’étude : c’est notamment l’option qui vient d’être choisie par Unisciel pour Faq2sciences. D’autres argumentent pour des tests ajustés par les enseignants eux-mêmes dans chaque cursus : c’est le choix opéré en 2008 par l’Université Joseph Fourier à Grenoble, dont le dispositif s’inspire largement de ce qui est développé à Namur, et en 2009 par Unisciel qui a lancé le le projet POS, nourri par les enseignants de sciences des 18 universités partenaires participant aujourd’hui à cette action. Dans un cas, on focalise en quelque sorte sur des préacquis génériques, le test permet aux étudiants de se positionner sur une échelle globale ; dans l’autre, on cible les connaissances et compétences liées aux attendus de formation, à savoir les prérequis. Dans l’un et l’autre cas, il ne s’agit pas d’un test d’admission, la visée est formative et seuls les étudiants ont accès aux détails de leurs résultats. Les tests de positionnement misent sur les stratégies d’autorégulation des étudiants, les tests de prérequis sont plus impliquants pour les enseignants, en amont et en aval.
En l’absence d’éléments suffisants pour poursuivre l’analyse comparée, nous nous concentrons dans la suite de cet article sur les tests de prérequis. Tels que définis dans le dispositif belge, ils n’ont pas pour but de tester les connaissances de façon extensive à partir d’un inventaire exhaustif des préacquis, mais de sélectionner celles qui sont les mieux à même de prédire la réussite en première année. L’idée n’est pas pour les universités où ils sont déployés de s’ériger en juge de ce qui a été bien ou mal assimilé dans le secondaire…
L’évaluation des prérequis ne sanctionne pas, elle sert à établir un diagnostic et s’inscrit dans une démarche préventive ; l’étudiant autodiagnostiqué faible sur certains prérequis peut essayer d’y remédier seul, par son travail personnel, ou bien avec l’aide de ses enseignants dès les premiers cours, ou bien en rejoignant d’autres étudiants identifiés comme ayant des difficultés semblables, indépendamment du parcours antérieur, dans des groupes de tutorat ad hoc. L’enjeu n’est donc pas seulement le bagage de l’étudiant à son arrivée dans le supérieur, il est aussi question d’apprentissage de l’autonomie et en particulier de savoir apprendre (Beaumont et al., 2011 ; Boud & Molloy, 2013).
Ce faisant, indirectement, l’étudiant est alerté sur les exigences liées aux études qu’il va suivre. Cette remarque n’a rien d’anodin, en tous cas dans le contexte universitaire français. Tous les travaux qui traitent des difficultés d’acculturation des étudiants à l’université pointent ce défaut d’explicitation des exigences pédagogiques comme un élément fort de rupture avec le secondaire. Tout aussi indirectement, en participant à la conception des tests en amont ou en réajustant les premiers cours en fonction des lacunes repérées dans les tests en aval, les enseignants fournissent cet effort d’explicitation qui contribue à la cohérence d’ensemble de la formation.
Les enjeux autour de ces tests de prérequis sont donc multiples… et leur contribution à quelques grandes causes telles que réduire les inégalités renforcées ou fabriquées dans la scolarité antérieure, favoriser la continuité entre le secondaire et le supérieur, sortir de la « rhétorique du déficit » dénonçant la baisse de niveau…, n’est sans doute pas à négliger, même si peu étayée en tant que telles par les recherches empiriques.
La mise en œuvre des tests de prérequis dans les universités belges
Pour mieux comprendre de quoi il retourne, tournons-nous vers la Belgique, et en particulier l’université de Namur, pionnière sur ces questions de prérequis depuis le début des années 2000 (Vieillevoye et al., 2012 ; Wathelet & Vieillevoye, 2013).
La question de savoir ce que savent ou ne savent pas les nouveaux étudiants s’y pose sans doute avec plus d’acuité qu’ailleurs, du fait de la forte décentralisation du système scolaire belge : la délivrance du certificat de fin d’études secondaires relève en effet de la responsabilité de pouvoirs organisateurs publics (collectivités) ou privés (associations, confessionnelles ou non) qui disposent d’une large autonomie dans les enseignements dispensés, bien que la législation sur les attendus « communs » se soit durcie ces dernières années. Difficile dans ce contexte pour les universités de connaître le bagage de connaissances et de compétences des jeunes qui arrivent, difficile aussi pour ces jeunes de savoir si leur bagage est suffisant pour aborder l’enseignement supérieur dans de bonnes conditions. Les enquêtes PISA confirment d’ailleurs la très forte hétérogénéité des acquis d’apprentissage en Belgique francophone, déterminée à la fois par l’origine sociale des élèves et par l’établissement scolaire fréquenté.
Après plus de dix ans d’expérience, le projet Passeports pour le bac [1], lancé en 2003 par la Commission de l’enseignement des facultés universitaires de Namur, puis étendu à partir de 2007 aux trois autres universités membres de l’Académie Louvain, préconise une démarche en quatre phases :
- identification des prérequis,
- mesure de leur maîtrise par les étudiants,
- adaptation des enseignements au vu des résultats globaux,
- actions spécifiques de remédiation, plus ou moins individualisées.
Dans le cadre des Passeports pour le bac, un soin particulier a été apporté au choix des prérequis, nécessaires à l’édification des fondations du projet : entretiens avec des enseignants, questionnaires auprès d’étudiants de 1ère année, analyse de matériaux pédagogiques ont permis d’identifier des prérequis à la fois disciplinaires et transversaux et, avec le temps, de stabiliser une définition.
Est ainsi considérée comme un « prérequis » toute connaissance ou compétence qui d’une part est nécessaire à la maîtrise d’un cours, d’une discipline ou d’un programme, ou plus généralement à l’affiliation aux pratiques d’étude, et qui d’autre part ne fait pas l’objet d’un enseignement systématique et explicite par les enseignants du premier cycle (soit parce qu’elle est supposée acquise dans le secondaire, soit parce qu’on estime qu’elle s’acquiert « en faisant », comme par exemple la prise de note).
D’autres propriétés ont pu être dégagées : un « bon » prérequis concerne nécessairement une certaine proportion d’étudiant ; il doit pouvoir être mesuré dès le début de l’année universitaire et faire l’objet d’un enseignement explicite dans un délai et avec des moyens raisonnables ; il doit aussi être sollicité dans différentes configurations (professeurs, cours, disciplines…). En définitive, la validité d’un prérequis se joue sur sa capacité à « faire mentir les prédictions » : la remédiation doit permettre de neutraliser les lacunes.
En 2015, 12 Passeports sont ainsi proposés aux nouveaux étudiants, autant en sciences humaines qu’en sciences, technologies et médecine. Ils sont disciplinaires (mathématiques, biologie, chimie, anglais…) ou transversaux (vocabulaire, compréhension globale, compréhension fine). Tous se présentent sous la forme de QCM en ligne ; ils ont été élaborés en collaboration avec les équipes pédagogiques et sont réévalués chaque année. Chaque questionnaire teste plusieurs prérequis, et chaque prérequis est testé avec plusieurs questions. Plusieurs versions des Passeports existent, pour éviter les fuites.
Les étudiants restent anonymes mais sont identifiés sur la plateforme à l’aide d’un code. La passation est facultative, mais elle est groupée et donc synchrone : les étudiants d’un même groupe sont réunis dans une salle et passent ensemble le test correspondant à leur passeport. Ils consultent en ligne leurs résultats quelques jours après la passation du test, et sont informés de leur niveau de maîtrise, prérequis par prérequis, selon une échelle à trois niveaux, inspirée de la taxonomie de Bloom : bonne maîtrise (score > 75%), maîtrise partielle (score entre 60 et 80%), non acquisition (score < 60%). Dans ce contexte, une note moyenne portant sur l’ensemble des questions du test n’aurait pas de sens pour l’étudiant. D’une façon générale, les notes, dans une approche formative, sont à utiliser avec modération : elles focalisent l’attention davantage sur les performances que sur les apprentissages et peuvent avoir un effet très négatif en terme d’estime de soi sur les étudiants peu compétents (Wiliam, 2010).
Un « bon » feedback ne se borne pas au diagnostic, il incite les étudiants à s’engager dans une activité consciente pour améliorer leur niveau de maîtrise, en autonomie ou avec l’appui de leurs enseignants, ces derniers recevant les résultats de l’ensemble du groupe. Une subvention est attribuée à chaque établissement participant aux Passeports pour le bac afin de mettre en place des actions de remédiation. Selon les équipes pédagogiques, ces actions prennent alors des formes variées : des séances tutorées par option en petits groupes, des séances thématiques de renforcement, des entretiens individuels, des activités d’autoremédiation en ligne… Les enseignants adaptent aussi parfois leurs premiers cours en fonction des résultats du groupe.
Quand la remédiation des prérequis fait mentir les prédictions
Les différents croisements opérés entre le passé biographique, le parcours scolaire antérieur, les résultats au certificat de fin d’études secondaires, et ceux obtenus aux Passeports et aux examens de fin de première année d’université confirment ce que de nombreuses recherches ont par ailleurs déjà mis en évidence en France (Endrizzi, 2010) : la scolarité antérieure, et en particulier les notes finales au certificat et le type de programme suivi (filière générale, renforcée en mathématiques et/ou avec des options sélectives telles que les langues anciennes) constituent des indicateurs fiables de la valeur scolaire générale des élèves et des prédicteurs tout aussi fiables de la réussite universitaire, alors que les caractéristiques socio-biographiques interviennent dans une moindre mesure à ce niveau d’éducation. Ce qui est nouveau avec les Passeports pour le bac, c’est le lien encore plus fort qui a pu être mis en évidence entre le passé scolaire et les résultats aux tests de prérequis, autorisant à conclure que les interventions visant une meilleure maîtrise de ces prérequis peuvent neutraliser en partie les effets d’un passé scolaire moyen, voire marqué par des difficultés chroniques. C’est ce que confirme en tout état de cause l’évaluation du dispositif menée en 2010-11 : la réussite académique des étudiants ayant bénéficié des remédiations s’est avérée supérieure à celle des étudiants qui n’y ont pas participé, à résultats identiques aux Passeports.
Les retours d’expérience du dispositif de l’UJF, réalisé dans le même esprit que les Passeports belges [2] et ajusté continuellement depuis 2008, vont dans le même sens (Hoffmann et al., 2013). Interrogés sur l’impact du test, les étudiants confirment sa fonction d’alerte, qu’il s’agisse simplement de comprendre que l’université exige une certaine implication en terme de travail personnel ou de réaliser plus précisément leurs faiblesses pour retravailler certains contenus lacunaires, seuls ou dans un groupe de tutorat. A contrario, ceux qui réussissent le test voit leur sentiment d’efficacité personnelle renforcé. La corrélation entre les résultats aux examens du semestre S1 et la maîtrise des prérequis apporte un éclairage également intéressant : elle montre que c’est le score global au test de prérequis qui constitue finalement le meilleur prédicteur de réussite académique. Autrement dit, un étudiant avec un score faible pour un nombre limité de prérequis a moins de difficulté à réussir son semestre qu’un étudiant dont le score global est insuffisant.
Des dispositifs intégrés… pour une première année de transition ?
Ce qui rend ces expériences intéressantes en termes de lutte contre l’échec à l’université, c’est leur caractère intégré : les tests sont mis en œuvre de façon articulée, par une triple opération d’identification des prérequis, de mesure de leur maîtrise et de remédiation auprès des étudiants, impliquante pour les étudiants et pour les enseignants. C’est une avancée tangible par rapport aux séances de tutorat des années 1990 en France qui ne captaient que les étudiants déjà presque acculturés, qui avaient besoin de se rassurer sur leurs acquis mais qui étaient surtout désireux de retrouver une configuration pédagogique mieux connue (la « classe »), pour échanger avec les tuteurs et leurs pairs et pour sortir de l’anonymat universitaire (Endrizzi, 2010).
Ces dispositifs intégrés donnent alors tout son sens à ce que l’évaluation peut avoir de « formatif » (William, 2010) : un feedback des forces et des faiblesses couplé à des pistes d’actions pour améliorer le niveau constaté ou remédier aux faiblesses identifiées d’une part, l’adhésion à la démarche formative, c’est-à-dire la reconnaissance de la valeur du feedback pour une meilleure intégration dans le processus d’apprentissage d’autre part. L’évaluation formative est prospective plutôt que rétrospective, elle dégage des solutions à mettre en œuvre dans l’action ou ultérieurement et vise à rendre l’étudiant actif en le guidant dans sa prise de décision. Dans un fonctionnement vertueux, les enseignants, de leur côté, mieux informés du niveau réel de leurs étudiants, peuvent adapter leur enseignement. Autrement dit, un feedback de qualité s’inscrit dans un processus d’amélioration qui engage l’étudiant et implique l’enseignant à différentes étapes. La perspective pour les étudiants n’est donc pas seulement la maîtrise de tel ou tel prérequis, comme on l’a déjà souligné, mais bien la capacité à réguler leurs propres apprentissages dans un environnement d’études où ils n’ont pas d’emblée leurs repères. Et l’autorégulation a besoin de ce feedback.
Considérer les nouveaux étudiants comme étant autonomes dans leurs apprentissages a été une erreur, les enseignants en sont désormais conscients. L’idée que les contenus disciplinaires puissent être mis au service des « compétences pour étudier » la première année ne semble dès lors pas si incongrue. Une année de transition, donc, durant laquelle le recours à l’évaluation formative se banaliserait, pas seulement en début d’année, mais dans les pratiques enseignantes ordinaires : la prochaine étape ? (Beaumont et al., 2011 ; Boud & Molloy, 2015 ; Sarfati, 2015 ; Wathelet & Vieillevoye, 2013).
Bibliographie
- « Banque de positionnement, savoir anticiper », Unisciel [en ligne] http://www.unisciel.fr/banque-de-positionnement-pouvoir-anticiper/
- Endrizzi L. (2010). « Réussir l’entrée dans l’enseignement supérieur». Dossier d’actualité n°59. Lyon : INRP.
- Hoffmann C., Douady J. & Buty C. (2013). « Test initial de prérequis : quelles corrélations avec la réussite en première année universitaire? ». In Congrès AREF 2013, Montpellier, 27-30 août.
- Sarfati F. (2013). « Peut-on décrocher de l’université? », Agora débats/jeunesses, 1/2013 (n° 63), p. 7-21.
- Sarfati F. (2015). « L’université face au décrochage», La vie des idées, 14 avril 2015.
- Vieillevoye S., Wathelet V. & Romainville M. (2012). « Maîtrise des prérequis et réussite à l’université». In M. Romainville et Ch. Michaut (dir.), Réussite, échec et abandon dans l’enseignement supérieur. Bruxelles : De Boeck, p. 221-249.
- Wathelet V. et Vieillevoye S. (2013). « Évaluation formative des compétences prérequises à l’entrée de l’université ». In M. Romainville, R. Goasdoué & M. Vantourout (dir.), Évaluation et enseignement supérieur. Bruxelles : De Boeck, p. 55-72.
- Wiliam D. (2010). « Le rôle de l’évaluation formative dans les environnements d’apprentissage efficaces». In H. Dumont, D. Istace & F. Benavides (dir.), Comment apprend-on ? La recherche au service de la pratique. Paris : Éditions de l’OCDE, p. 143-170.
——————
[1] Le « bac » en Belgique correspond au niveau « licence » en France.
[2] Trois différences notables sont observées cependant. Le questionnaire, adressé aux étudiants inscrits en première année de licence sciences et technologies, est généré de façon aléatoire pour chaque étudiant à partir d’une banque de questions comportant une vingtaine de prérequis, pondérés selon les dominantes disciplinaires des parcours. Il est librement accessible avant et après le test calé en présentiel la première semaine de la rentrée. La communication des résultats se fait immédiatement après le test, prérequis par prérequis.
NB : cet article a été rédigé dans le cadre d’un partenariat entre l’IFÉ et Unisciel.