Archives du mot-clé qualité

A la recherche d’une Science pour l’éducation

A l’occasion d’un article hagiographique sur Céline Alvarez, on a pu lire récemment, dans un magazine bien connu dans le monde éducatif, la phrase suivante : « Les neurosciences sont les seules à pouvoir nous renseigner sur la complexité de l’être humain » ( «Le cerveau d’un enfant varie selon la pédagogie qu’on lui applique », Lorraine Rossignol, Télérama, 19 février 2016).

Dans son simplisme grotesque, l’affirmation a suscité quelques vives réactions de lecteurs, mais la plupart des professionnels de l’éducation se sont contentés de réactions narquoises. Sur le fond, elle ne fait pourtant que caricaturer ce que l’on entend parfois, y compris dans certaines institutions de l’éducation nationale.

C’est un mouvement qui évoque le ressac : l’agenda médiatique ou politique est régulièrement saisi par telle ou telle personnalité qui invoque l’urgence de donner une base scientifique aux pratiques éducatives.

Cela évoque souvent une réplique de (mauvais) boulevard :

  • Sur un ton expert indigné : « comment est-il possible qu’à notre époque on ne se décide pas à enfin utiliser les acquis de la science pour enseigner !? » ;
  • Sur un ton politique exaspéré : « il faut en finir avec l’idéologie et enfin appliquer dans les salles de classe les méthodes appuyées sur des vrais sciences » ;
  • Sur un ton universitaire sarcastique : « il faudra m’expliquer pourquoi on ne pourrait pas appliquer à l’éducation les protocoles scientifiques qui ont fait leur preuve dans les autres domaines » ;
  • Sur un ton journalistique: «  de nouvelles recherches capitales pour l’éducation de nos enfants sont pourtant ignorées par le système académique ! ».

Continuer la lecture de A la recherche d’une Science pour l’éducation 

Un étudiant, ça juge… énormément !

Des étudiants qui ne viennent pas en cours, ou qui y viennent pour faire autre chose ? Des étudiants qui parlent de leurs cours dans les couloirs, qui expriment leur opinion sur leurs enseignants à la terre entière, sur un réseau social ou un autre, en ligne ou pas ? Vraiment pas sérieux… ou bien ?

Sans doute que ça existe depuis la nuit des temps, ou presque… Marc Romainville dit souvent qu’ils votent par les pieds en désertant les cours inintéressants ou inutiles… Jean-Marie Barbier, lui, évoque l’évaluation « implicite » (on ne dit rien, on ne vient pas) et l’évaluation « spontanée » (on vient, mais on n’en pense pas moins et on partage ces – mauvaises – impressions avec ses camarades, ses proches), l’une et l’autre s’opposant à l’évaluation « instituée » (on dispose d’un cadre explicite pour évaluer ses cours, dans une visée clairement formative en lien avec le développement professionnel, et/ou administrative en lien avec la gestion de carrière).

Un étudiant, ça juge donc énormément… et ça ne se trompe pas forcément, si l’on en croit les recherches qui examinent la fiabilité des jugements étudiants dans les évaluations institutionnelles ! Et même 50, 100 ou 200 étudiants qui jugent de la qualité de leurs cours au travers de questionnaires anonymisés valent sans doute mieux qu’un seul étudiant représentant tous les autres dans une instance ou une autre, figé dans une posture militante peu susceptible d’impacter positivement les dynamiques d’enseignement et d’apprentissage. C’est en tous cas une des conclusions du dernier « Dossier de veille de l’IFÉ » (n°93, La qualité de l’enseignement : un engagement des établissements, avec les étudiants ?) – le numéro double de l’été !

Mais il n’est pas rare que l’on préfère l’implicite et le spontané à l’institué… et quand l’institué existe, il prend des formes tellement bureaucratiques, que les effets en sont nécessairement amoindris.  Parce que le préjugé sur le fait que les étudiants ne sont pas des interlocuteurs fiables est tenace et que le risque d’exacerber une relation clients – prestataires est réel… Parce que les enseignants(-chercheurs) tendent à brandir leur « liberté pédagogique » dès qu’il est question de les évaluer sur leur activité d’enseignement, pour laquelle d’ailleurs ils ne sont généralement pas formés et qui ne compte pas dans leur carrière.

Tout cela manque globalement de vision stratégique… une autre des conclusions du « Dossier de veille ». Et l’abrogation de l’arrêté Lang du 23 avril 2002 par l’ancien gouvernement en France, confirmée par le nouveau, presque à l’insu des professionnels concernés, peut aisément être interprétée comme un signe de cette faible vision stratégique : cet arrêté qui rendait obligatoire l’évaluation de tous les enseignements par tous les étudiants et qui stipulait une prise en compte des résultats dans le contrat entre l’État et l’établissement, a en effet été remplacé en août 2011 par un autre qui relègue l’évaluation des enseignements par les étudiants (EEE) au rang de catalyseur du dialogue entre enseignants et étudiants…

On a beau entendre dire que l’enseignement est désormais considéré comme un domaine clé de la qualité des établissements d’enseignement supérieur (pas tout à fait au même titre que la recherche, évidemment, mais quand même)… ce n’est pas gagné ! En réalité, c’est surtout le Processus de Bologne qui le « dit », mais dans les faits… en France, il s’agit surtout de ne pas faire de vague… Et comme souvent les médias, en réduisant l’évaluation à la notation des  enseignants (cf Le Monde du 22/02/2013 par ex, au moment de la sortie du rapport Le Déaut, à l’issue des Assises de l’enseignement supérieur) n’arrangent rien.

Après tout, pourquoi faudrait-il se soucier du fait que, quand on leur demande leur avis, les étudiants pensent à 62% que leur réussite n’est pas la priorité de l’université et qu’ils estiment à 78% que leur avis ne compte pas pour leur établissement ? Pourquoi faudrait-il s’émouvoir du fait que 56% des étudiants issus de milieux défavorisés trouvent que l’encadrement est insuffisant et qu’ils sont aussi 59% à dire que les enseignants ne sont pas pédagogues ? (cf Baromètre 2014 de l’UNEF, auprès de 6500 étudiants).

Parce qu’enseigner est un « métier de l’humain », comme on dit parfois, qui met en présence des enseignants et des étudiants partageant a priori un intérêt pour des savoirs dans un environnement donné, et que l’humain, avec ses propres valeurs, dans cet environnement, est perfectible… l’un dans son métier d’enseignant, l’autre dans son métier d’étudiant. Parce que, si l’humain n’aime pas être jugé dans sa « personne », une évaluation lui permettant de mieux comprendre ses forces et faiblesses en tant qu’actif peut, à certaines conditions, constituer un levier pour améliorer sa pratique (toujours en tant qu’enseignant ou étudiant)… « explicite » et « collectif » : deux mots clés assurément pour aborder ces questions d’évaluation des enseignements dans une perspective de « professionnalisation » des acteurs !

Si l’histoire de l’EEE dans l’hexagone est encore toute jeune, ailleurs les pratiques sont plus anciennes et mieux documentées… Le Dossier de veille de l’IFÉ est l’occasion de faire le bilan et de montrer comment 30 ans de recherches nord-américaines et une dizaine d’années de recherches européennes fournissent un terreau fertile pour consolider la qualité de l’enseignement à l’aide d’évaluations instituées. Après une première partie sur l’émergence des politiques qualité au niveau des États et des établissements et une deuxième sur les réformes françaises, le Dossier examine dans une troisième partie les modalités à privilégier pour que les évaluations par les étudiants ne relèvent pas d’une simple routine stéréotypée mais soient porteuses de sens, dans une dynamique globale de transformation des processus d’enseignement-apprentissage, d’amélioration de la qualité des formations et de valorisation de l’activité enseignante.

Législation française en matière d’évaluation des enseignements dans le supérieur (1992-2014)

En préparant mon prochain dossier de veille sur la qualité de l’enseignement (n°93, à paraître), il m’est apparu utile à un moment donné de faire le point sur les textes qui encadrent les questions d’évaluation des enseignements… d’autant que je me suis aperçue, un peu par hasard, en allant chercher le lien hypertexte sur Légifrance, que le fameux arrêté Lang de 2002 n’était plus en vigueur…

Avec l’abolition de cet arrêté du 23 avril 2002 (le plus prescriptif à ce jour en matière d’évaluation par les étudiants, mais aussi le plus ambitieux quant à son utilisation), la tendance semble être d’aller vers une responsabilisation plus forte des établissements dans le choix des modalités d’évaluation à mettre en œuvre, basée notamment sur le renforcement des conseils de perfectionnement.
La dimension formative de l’évaluation par les étudiants reste présente (arrêté du 9 avril 1997), mais le lien avec l’habilitation des formations disparaît. Officiellement, il s’agit plutôt désormais de stimuler le dialogue entre les équipes pédagogiques, les étudiants et les milieux socioprofessionnels, en vue d’améliorer la qualité des formations (cf. arrêté du 22 janvier 2014).
Une vision moins normative donc, qui est cohérente compte tenu des critiques parallèles essuyées par l’AERES, mais qui dissocie désormais l’évaluation des enseignements des procédures d’habilitation, qui lui concède un rôle indirect dans les évaluations externes et démarches de contractualisation, et qui continue à ne pas statuer sur le lien avec la carrière des enseignants… Sans doute que les auteurs de l’Avis du HCEE en 2002 – instruit pas le rapport de Jacques Déjean – continueraient à penser que le gouvernement doit se positionner plus fermement…

Suit dans cet article une chronologie des textes qui ont traité et traitent actuellement cette question de l’évaluation des enseignements. Les arrêtés en vigueur sont entièrement retranscrits.

Arrêté du 26 mai 1992 relatif au diplôme d’études universitaires générales, licence et maîtrise (arrêté Lang – NOR: MENZ9202416A), version révisée du 10 octobre 1995, en vigueur
Il introduit pour la première fois la possibilité d’une évaluation des enseignements via notamment l’appréciation des étudiants, à la demande du conseil d’administration de l’établissement.
Titre IV Habilitation et évaluation – Art. 24
« Pour chaque module ou niveau d’enseignement dispensé, une procédure d’évaluation des enseignements faisant notamment appel à l’appréciation des étudiants, peut être établie par le conseil d’administration de l’établissement, sur proposition du président de l’université, après avis du C.E.V.U., ou du chef de l’établissement et dans le respect des dispositions de la loi du 26 janvier 1984 et du décret du 6 juin 1984 susvisés. »

Arrêté du 9 avril 1997 relatif au diplôme d’études universitaires générales, à la licence et à la maîtrise (arrêté Bayrou – NOR: MENU9701083A), version révisée du 15 avril 1997, en vigueur
Il distingue l’évaluation des formations (organisation des études) réalisée à la demande du conseil d’administration de l’établissement et évaluation des enseignements dans une visée formative (qui prend en considération l’appréciation des étudiants et dont les résultats sont destinés aux seuls enseignants).
Titre IV Habilitation et évaluation – Art. 23
« Pour chaque cursus, est organisée une procédure d’évaluation des enseignements et de la formation. Cette évaluation, qui prend en compte l’appréciation des étudiants, se réfère aux objectifs de la formation et des enseignements.
Cette procédure, garantie par une instruction ministérielle, a deux objectifs. Elle permet, d’une part, à chaque enseignant de prendre connaissance de l’appréciation des étudiants sur les éléments pédagogiques de son enseignement. Cette partie de l’évaluation est destinée à l’intéressé. La procédure permet, d’autre part, une évaluation de l’organisation des études dans la formation concernée, suivie pour chaque formation par une commission selon des modalités définies par le conseil d’administration de l’établissement, après avis du conseil des études et de la vie universitaire.
Cette commission, composée par le président de l’université après avis du conseil des études et de la vie universitaire, comprend un nombre égal de représentants élus des étudiants et d’enseignants-chercheurs ou d’enseignants.
Ces procédures d’évaluation sont organisées dans le respect des dispositions de la loi du 26 janvier 1984 et des statuts des personnels concernés »

Arrêté du 23 avril 2002 relatif aux études universitaires conduisant au grade de licence (arrêté Lang – NOR: MENS0201070A), révisé le 1er août 2011, abrogé au 1er septembre 2012, remplacé par l’arrêté du 1er août 2011.
Les articles 20 et 21 introduisaient l’obligation de mettre en œuvre l’évaluation des formations et des enseignements selon des modalités variées, permettant la participation de tous les étudiants et prévoyaient que les résultats soient communiqués au ministère dans le cadre de sa démarche contractuelle avec l’établissement et au CNE dans le cadre des évaluations périodiques qu’il conduisait.

Arrêté du 1er août 2011 relatif à la licence (NOR: ESRS1119411A), révisé le 1er septembre 2012, remplace l’arrêté du 23 avril 2002, en vigueur jusqu’au 1er septembre 2014
L’arrêté est en vigueur au moment de la rédaction de ce dossier, mais il sera abrogé au 1er septembre 2014, et remplacé par l’Arrêté du 22 janvier 2014.
L’article 19 préconise la mise en place de conseils de perfectionnement pour chaque formation et une évaluation des formations et des enseignements notamment au moyen d’enquêtes régulières auprès des étudiants. La perspective est d’améliorer la qualité des formations, les résultats de ces évaluations sont destinés au conseil de la composante et au CEVU.

Arrêté du 22 janvier 2014 fixant le cadre national des formations conduisant à la délivrance des diplômes nationaux de licence, de licence professionnelle et de master (NOR: ESRS1331410A), en vigueur au 1er septembre 2014
L’article 5 reprend globalement la trame de l’article 19 de l’Arrêté du 1er août 2011 qu’il remplacera au 1er septembre 2014. La visée décisionnelle dans le cadre d’une démarche d’auto-évaluation est amplifiée : les évaluations servent d’appui à l’évolution de l’offre des formations et la position des conseils de perfectionnement, désormais destinataires des résultats des évaluations, est renforcée.
Titre 1er Dispositions communes aux diplômes nationaux de licence, de licence professionnelle et de master – Art. 5
« Dans le cadre de la politique de l’établissement, des dispositifs d’évaluation sont mis en place pour chaque formation ou pour un groupe de formations, notamment à travers la constitution de conseils de perfectionnement réunissant des représentants des enseignants-chercheurs, des enseignants, des personnels bibliothécaires, ingénieurs, administratifs, techniciens, ouvriers, de service et de santé, des étudiants et du monde socioprofessionnel.
Une évaluation des formations et des enseignements est notamment organisée au moyen d’enquêtes régulières auprès des étudiants. Cette évaluation est organisée dans le respect des dispositions des statuts des personnels concernés.
Ces dispositifs favorisent le dialogue entre les équipes pédagogiques, les étudiants et les représentants du monde socioprofessionnel. Ils éclairent les objectifs de chaque formation, contribuent à en faire évoluer les contenus ainsi que les méthodes d’enseignement afin de faciliter l’appropriation des savoirs, des connaissances et des compétences et de permettre d’en améliorer la qualité. Ces dispositifs peuvent également servir de base à l’évolution de la carte de formation de l’établissement en cohérence avec la politique de site.
Les résultats des évaluations font l’objet de présentations et de débats au sein des équipes pédagogiques, du conseil de perfectionnement, du conseil de la composante concernée et de la commission de la formation et de la vie universitaire du conseil académique ou du conseil de l’établissement qui a compétence en matière de formation. »

How could French Research influence international trends in educational policy ?

Je suis en train d’étudier un récent rapport de l’OCDE sur l’évaluation dans l’éducation et je constate, une fois de plus, que la quasi-totalité des références bibliographiques est en langue anglaise et provient d’auteurs anglo-saxons.  Un constat récurrent à chaque fois que l’on consulte un rapport d’une grande organisation internationale, qu’il s’agisse de l’OCDE, de l’Union européenne, etc.

Autrement dit, ces organisations qui ont désormais un pouvoir d’influence certain en matière éducative, basent l’essentiel de leurs rapports officiels sur une littérature scientifique circonscrite à quelques pays de langue anglaise (Royaume Uni, Etats-Unis, Canada anglophone, Australie et Nouvelle Zélande) et aux auteurs de pays familiers avec l’usage de l’anglais comme langue d’expression scientifique (Pays Bas, Norvège, Suède, Finlande, Danemark…).

On pourrait ainsi se dire que pour peser dans le débat international sur les questions de politique éducative, mieux vaut être un auteur, même de seconde zone, du Royaume Uni qu’un auteur de premier plan français, espagnol ou allemand !

On imagine les implications politiques, culturelles et sociales que cela signifie, si l’on veut bien prendre conscience qu’un domaine comme l’éducation n’est pas un champ purement « technique » mais implique des questions de valeurs très liées aux aires et aux cultures linguistiques.

Ce constat, que l’on retrouve à de nombreux niveaux, n’est pas neuf, mais l’internationalisation croissante de certaines questions éducatives lui donne une certaine acuité.

Engagé dans un projet européen sur les compétences en éducation, j’ai été sollicité pour contribuer à la revue de littérature générale et ainsi pu faire « exister » les problématiques francophones … tout en remarquant que la partie « évaluation des compétences » de la revue de littérature, rédigée par un sympathique collègue anglais, ne comportait pas la moindre référence francophone malgré les nombreux travaux existants dans ce domaine.

En fait, il se passe même parfois un phénomène de marginalisation scientifique et culturelle : les travaux dans une autre langue que l’anglais sont considérés « régionaux », essentiellement bons à informer sur la situation dans un pays circonscrit, pendant que seules les références anglaises sont considérées comme ayant une valeur générale et « internationale »… même quand elles ne traitent en l’occurrence que des derniers rebondissements d’une réforme anglaise !

On peut penser que la faiblesse historique des chercheurs francophones ( et surtout français il faut bien le dire) dans le maniement des langues étrangères est première responsable de cet état de fait. Pendant longtemps, de nombreux chercheurs français organisaient des colloques « internationaux » à bon compte, en se contentant d’inviter une poignée de collègues québécois et belges, pendant que les principaux congrès internationaux avec le reste du monde, se développaient ailleurs sans eux et en anglais…

On constate aussi que les collègues d’autres pays qui s’efforcent de répondre à des appels d’offre internationaux sont friands de volontaires français, car certaines institutions comme l’Union européenne valorisent fortement la présence de « français » dans des projets européens, pour compenser le moindre investissement des acteurs hexagonaux à ce niveau.

Si le problème est principalement un enjeu de compétence linguistique, on peut espérer que les jeunes générations de chercheurs pourront écrire et communiquer de façon plus simple au niveau international.

Outre que cela pose quand même le problème épistémologique du sens  et de la culture liés à la langue (essayez de traduire « accompagner un établissement » ou « veille scientifique » en anglais…), on peut se demander s’il n’y a que la langue en jeu.

Quand on voit les péripéties des classements internationaux des revues, on comprend bien que pour certains « experts », toute revue provenant d’une université américaine ou anglaise un tant soit peu prestigieuse est automatiquement parée d’une aura « internationale » là où une revue française ou allemande sera toujours suspectée d’être « locale », quel que soit le nombre d’articles provenant d’auteurs d’autres pays et quel que soit son nombre d’articles publiés en anglais.

On sait aussi que par le jeu des grosses plate-formes d’édition (Taylor et Francis, Elsevier…) comme des algorithmes des moteurs de recherche (qui privilégient les sites « locaux »), publier un article en anglais mais dans une revue ou un site web localisés en France n’offre pas de grandes garanties de visibilité internationale.

Dès lors, on peut aussi se demander si l’enjeu n’est pas seulement de savoir publier en anglais, mais aussi de publier dans les supports « consacrés » par ce qu’on appelle la recherche internationale mais qui ressemble parfois à la recherche anglo-saxonne…

Voir aussi :

Les revues à caractère international… et les autres

PISA : savoir regarder au delà de l’effet palmarès

Dans quelques jours, le 3 décembre, la vague PISA va déferler sur la France.

Les quelques indiscrétions  lâchées dans les milieux ministériels et l’empressement journalistique qui en a découlé depuis laisse en effet prévoir une couverture sans précédent en France pour la publication des résultats de l’enquête 2012 de l’OCDE.

Pour ceux qui voudraient se mettre à jour sur ce qu’est l’enquête PISA, nous invitons à consulter, outre la présentation officielle par l’OCDE, le Que Sais Je ? sur « les enquêtes PISA » publié par Georges Felouzis et Samuel Charmillot ainsi que le dossier que nous lui avons consacré : PISA, ce que l’on en sait et ce que l’on en fait (d’autres références consultables en ligne sont mentionnées à la fin de cet article).

Rappelons déjà que si le classement de la France va sans doute nourrir une grande partie des commentaires, c’est loin d’être l’information la plus intéressante de l’enquête triennale sur les acquis des élèves.

En effet, la position de tel ou tel pays dans le classement peut évoluer très rapidement sans que cela reflète nécessairement des écarts problématiques  entre systèmes éducatifs. Autant il peut par exemple y avoir du sens à comparer la place respective des différents pays européens dans PISA, autant étalonner la performance française au regard des résultats de Shanghai ou de la Corée du sud est assez vain au regard de cultures et de pratiques scolaires aussi différentes.

Un ministre néerlandais avait évoqué il y a quelques temps l’objectif pour son système éducatif de figurer dans le « top 5 » de PISA, ce qui montre l’absurdité de raisonnements purement concurrentiels induits par certaines lectures de l’enquête.  Vouloir piloter une politique éducative avec PISA en ligne de mire, c’est en fait saper sa pertinence scientifique comme instrument de mesure, puisque cela veut dire qu’on infléchit son comportement en fonction du thermomètre. Une loi sociologique bien connue que les responsables de politiques publiques devraient mieux intégrer !

Plus que la position de son pays dans le classement, il faut en fait regarder ce que le résultat global recouvre précisément.

Pour la France en l’occurrence, deux problème centraux risque d’être une nouvelle fois mis en exergue par PISA :

  • d’une part une détérioration des résultats des élèves français depuis une dizaine d’années, tendance beaucoup plus préoccupante que le résultat absolu;
  • d’autre part une aggravation des disparités entre les élèves, disparités étroitement liées à une ségrégation croissante entre établissements qui recoupe en grande partie une tendance à la séparation entre publics selon leur origine sociale et culturelle.

De ce point de vue, l’enquête de l’OCDE oblige à se poser des questions sur la façon dont la République respecte les missions qu’elle donne à son système éducatif, ce qui est déjà beaucoup !

Par ailleurs, il ne faut pas oublier que PISA sanctionne ce qui s’est passé durant la formation d’un jeune pendant ses quinze premières années : c’est donc autant le produit de l’enseignement reçu 10 ans auparavant à l’école primaire (ou par son éducation familiale) que le produit de sa scolarité dans ses dernières années de collège. Difficile, dans ces conditions, de pointer telle ou telle politique conjoncturelle menée par tel ou tel ministre.

Mesurer les acquis à 15 ans signifie aussi qu’on ne les mesure pas à 18 ans ou à 20 ans : PISA « favorise » ainsi tendantiellement  les systèmes qui organisent des tris sélectifs des élèves plus tard (par exemple au moment de l’accès à l’enseignement supérieur) plutôt que ceux qui les différencient précocement au niveau du collège (comme c’était le cas pour l’Allemagne). Il est probablement plus « juste » de différer la différenciation mais encore faut-il avoir conscience de ces choix et de leurs implications.

Il faut enfin garder à l’esprit que PISA , pour des raisons parfaitement légitimes, se focalise sur l’utilisation des savoirs par les élèves (ce qu’ils appellent un peu rapidement « ‘compétences ») dans seulement trois grands domaines (compréhension écrite, culture mathématique, culture scientifique et technique). C’est déjà beaucoup, mais cela signifie aussi que l’éducation physique et sportive, l’histoire, les langues vivantes étrangères et divers autres domaines d’apprentissage scolaire ne sont pas pris en compte.

Autrement dit, PISA nous dit des choses passionnantes sur les acquis cognitifs des élèves de 15 ans, voire au-delà, mais ne nous dit pas tout sur la formation du jeune et du citoyen au regard des valeurs que chaque système entend construire ou transmettre via son école. Cela peut paraître évident, mais il n’est pas inutile de le rappeler…

 

 

Parmi les références librement consultables en ligne :

 

 

 

 

 

 

MOOC ou pas MOOC, c’est toujours d’éducation qu’il s’agit…

Le monde des TIC et de l’enseignement supérieur s’agite depuis quelques mois sur la question des MOOC’s, ces cours en ligne ouverts et massifs, qui sont censés être le vecteur d’une révolution numérique.

On y trouve tous les ingrédients qui avaient déjà été servis pour annoncer la fin de l’université traditionnelle au début des années 2000 : les « nouveaux » étudiants qui seraient familiers du numérique, le retard des universités européennes (et françaises) par rapport aux ogres américains, le « brain drain » (pillage de cerveaux) qui se met en place au profit des grandes universités anglo-saxonnes, la source de profits incommensurable « à terme », la fin des diplômes traditionnels, etc.

Cette fois sera-t-elle la bonne ? Bien malin qui peut y répondre aujourd’hui.

On peut en revanche avancer déjà deux idées pour appréhender une partie du phénomène.

En premier lieu, à l’heure où l’on vante partout la créativité et l’innovation comme moteurs de la science et du développement économique et social, on peut se demander si la standardisation qu’implique les MOOC’s, autour de quelques acteurs leaders voire monopolistiques, est un processus très pertinent et porteur d’avenir. Certains chercheurs qui observent la globalisation de l’enseignement supérieur ont ainsi caractérisé les MOOC’s comme pointe avancée de la « McDonaldization »  dans le domaine.

En second lieu, il faut rappeler qu’un dispositif de formation et de certification dans l’enseignement supérieur, tout numérique et innovateur qu’il soit, reste inséré dans les règles de fonctionnement sociales plus générales.

On a en effet  l’impression, avec les MOOC’s, que les savoirs seraient une sorte de pâte inerte qu’il suffirait de distribuer à l’ensemble des couches sociales de la planète pour permettre une démocratisation enfin conforme à l’idéal méritocratique. Ainsi, en permettant l’accès de tous aux meilleurs « cours », on assurerait une sorte de miraculeuse multiplication des pains. On peut douter du caractère heuristique d’une telle croyance et de l’avènement d’une distribution égalitaire du savoir dans des sociétés profondément inégalitaires.

Autrement dit, ce n’est pas parce que l’enseignement devient « ouvert » et « en ligne » qu’il invalide du jour au lendemain ce qu’on a pu constater dans la relation entre éducation, formation, emploi et positions sociales. 

De ce point de vue, c’est une vision au mieux naïve que de penser que ce qui est en jeu dans la formation c’est uniquement de la connaissance socialement « neutre » et qu’un recrutement ne sanctionne que la maitrise de techniques et de savoirs. Il n’y a pas que les disciples de Bourdieu qui ont mis à jour le fait que les filières de formation et les diplômes sont insérés dans un ensemble de stratégies de clôtures, de promotions ou de relégations sociales dans lesquelles la transmission de connaissances est le vecteur de beaucoup d’autres choses que la simple reproduction des savoirs.

On sait, par exemple, que l’excellence dont se vantent les grandes institutions d’enseignement supérieur et qui séduit tant les  recruteurs à au moins autant à voir avec la socialisation (voire « l’entre soi »‘ ) qu’organisent leurs modes de sélection qu’avec la qualité de leur recherche ou de leur enseignement.

Les MOOC’s y changeront-ils quelque chose en la matière ? On peut oser une moue dubitative…

Les réseaux d’anciens des grandes écoles ou des sociétés étudiants d’Harvard (voir à ce sujet l’enquête de S. Grousset-Charrière) ne sont pas spécialement des amicales de passionnés d’équations mathématiques, de jurisprudence ou d’ouvrages d’art !

Il faudrait d’ailleurs que l’on se pose plus de questions sur  les situations d’enseignement pour prendre en compte ce qui se passe en termes de socialisations, de coopération et d’interactions, comme contributions à l’apprentissage.

Ma collègue Laure Endrizzi a déjà noté (cf. Petite Poucette n’existe pas) qu’on surestime l’homogénéité et les compétences numériques des étudiants, en faisant par exemple comme si , avec la « génération Y« , l’habileté présumée (plus que constatée d’ailleurs) dans le domaine personnel se transposait de façon transparente dans le domaine de l’apprentissage.

De façon plus générale, on peut se demander si les exemples de coopération à distance, dans la formation en ligne, peuvent pour l’instant être comparables avec ce qui se passe dans les pratiques coopératives « in situ ».

S’il y a un avenir pour l’éducation « nationale » et « publique », face aux différentes concurrences domestiques ou internationales, c’est peut-être plus dans le développement de l’apprentissage collectif et les pratiques collaboratives que dans la course à la transmission de connaissances brutes.

 

Pourquoi vous ne trouvez pas les dossiers de veille scientifique sur HAL SHS

Ceux qui ont l’habitude d’utiliser les archives ouvertes HAL SHS auront remarqué qu’on y trouve rarement les dossiers de veille produits par les personnes qui écrivent dans ce blog. Cela ne provient pas d’une négligence ou d’un manque d’intérêt de notre part, mais bien d’un blocage systématique des administrateurs d’HAL SHS.

Dès le lancement de la cellule de veille scientifique scientifique à l’INRP en 2003,  ses animateurs ont pourtant souhaité promouvoir l’accès et la diffusion la plus large à leurs productions. Dans ce cadre, ils ont dés le début choisi de privilégier une diffusion électronique et libre des revues de littérature récente en éducation (1), travaux qui sont devenus une production largement connue et utilisée dans le monde de la recherche en éducation.

Cette volonté de privilégier une diffusion « ouverte » aurait naturellement dû rencontrer HAL SHS, qui se présente comme « une bibliothèque numérique recevant et diffusant les productions intellectuelles de la Recherche dans les disciplines des SHS« .  C’est pourquoi des membres de la veille ont souhaité, dès 2006, insérer les dossiers de veille dans HAL SHS afin de bénéficier d’un archivage pérenne de ces productions, au delà des aléas institutionnels (rappelons ici que l’INRP a d’ailleurs été ensuite dissous en 2010…).

Hélas, après avoir enregistré les premiers dépôts en 2007 et 2008, HAL SHS s’est mis à refuser les dossiers d’actualité pour des raisons de forme plus moins argumentées (sachant que les modérateurs de HAL ne sont pas tenus de justifier leur refus). C’est pourquoi on ne trouve dans HAL qu’environ huit dossiers d’actualité, soumis avant la mise en place de la politique de refus systématique ou intégrés malgré tout en fonction de critères mystérieux.

En revanche, les autres productions (articles, communications, chapitres d’ouvrage…) des mêmes personnes sont acceptées sans aucun problème du moment qu’elles ressemblent aux productions routinières du monde académique.

Je me retrouve par exemple dans la situation d’avoir dans HAL SHS un certain nombre de productions  mineures (tout du moins compte-tenu du travail qu’elles ont nécessité), sans pouvoir y laisser certains dossiers majeurs sur lesquels je suis en permanence sollicité ! Raison pour laquelle, dorénavant, par souci de cohérence, je ne déposerai plus aucune publication dans HAL SHS. Ingénieur de recherche de statut, je n’ai pas d’enjeu de carrière lié à ma quantité de productions et ne voit donc vraiment pas l’intérêt de tronçonner mes productions dans HAL SHS (on les trouve facilement par ailleurs dans Google Scholar, sur ma page personnelle voire sur Academia.edu).

Quels sont donc les motifs invoqués pour refuser nos dossiers ?

Les raisons, telles qu’elles ont été exprimées (soit par oral, soit par courriel) tiennent en général dans l’idée suivante : puisque le critère de soumission à HAL SHS est un niveau scientifique attendu comparable à une « publication soumise dans une revue à Comité de lecture« , la forme des dossiers d’actualité s’éloigne trop des canons habituels des productions scientifiques. Donc, sans se permettre de juger « sur le fond », HAL rejette les dossiers à cause de la « forme ».

On pourrait comprendre cette contrainte, si tant est qu’elle soit une règle à portée un peu générale. Or, il suffit de parcourir, même distraitement, HAL SHS pour se rendre compte qu’on y trouve :

  • des articles de blog
  • des rapports d’institutions
  • des articles de vulgarisation
  • des articles de revue sans comité de lecture (revues militantes, d’organisation, d’institution, etc.)
  • des documents institutionnels (lettres ou notes ministérielles par exemple)
  • des documents de travail
  • des interviews journalistiques
  • etc.

Autrement dit, l’argument de la forme ne semble pas s’appliquer à tous avec la même rigueur !

D’autant plus que HAL SHS s’est permis de répondre à une collègue que « les notes de synthèse ne font pas partie des types de document acceptés dans HAL« , ce qui, si l’argument était véritable, poserait un vrai problème de fond  puisqu’il reviendrait à exclure un type de travail scientifique hautement valorisé partout ailleurs dans le monde !

N’y aurait-il pas, en fait, un autre problème derrière les prétextes formels, à savoir celui du statut d’une structure comme la veille de l’Institut français d’éducation, à l’interface entre la recherche et le système éducatif ? On peut  se demander si tout n’aurait pas été plus simple si nous avions pu nous réclamer d’une équipe de recherche labellisée ou si nous avions un statut officiel de chercheurs ou d’enseignants-chercheurs !

Dans le monde académique, beaucoup de choses fonctionnent sur une présomption élémentaire : est réputée être de la recherche la production d’un chercheur ou d’une équipe de recherche.
C’est compréhensible pour fonctionner au quotidien sans avoir à refaire sans cesse la preuve de ses compétences scientifiques, censées avoir été prouvées lors du recrutement ou de l’évaluation de son équipe.
Mais voilà : il se trouve que dans un domaine comme l’éducation, les productions qui ont du sens naissent aussi de lieux hétérogènes où se croisent les chercheurs statutaires, les auxiliaires de la recherche (ingénieurs de tous ordres) et les praticiens de l’éducation que sont les enseignants et les cadres de l’éducation.
Ces productions ont parfois plus de sens que certaines recherches scientifiques menées dans les laboratoires…et qui y restent car elles supportent mal l’épreuve du terrain !

Dans le monde de la recherche française, la priorité est au contraire trop souvent d’identifier les canaux institutionnels « légitimes » de la recherche qui évitent, surtout, de se poser des questions dérangeantes sur les contenus.
On l’a très bien vu lors des débats sur l’évaluation de la recherche et quand on examine la façon dont sont « comptées » les publications censées être scientifiques.
On le voit encore quand on constate que les monographies (livres) ou les communications de colloque sont présumées être déjà passées par le filtre d’une sélection scientifique, alors même que dans beaucoup de collections et de colloques, le filtre est plus que léger.

Mais, même dans le monde académique, il vaut sans doute mieux un ordre injuste que pas d’ordre du tout….

(1) Ces revues de littérature ont rapidement été nommées « lettres » puis « dossiers d’actualité », pour marquer la spécificité de ces productions par rapport à certaines notes de synthèses comme on en trouve par exemple dans la Revue française de pédagogie.

Pourquoi parler de « recherche scientifique » en éducation ?

A la faveur de l’éditorial du Monde de mercredi 12 décembre sur les (mauvaises) performances de la France à l’enquête PIRLS, on voit encore apparaître le terme de « recherches scientifiques » sur l’apprentissage de la lecture. Le lecteur distrait pourra y voir une sorte de truisme ou de pléonasme involontaire. Cette expression n’apparaît pourtant pas par hasard.

Je l’ai en effet entendu  récemment cet été, dans la bouche de Laurent Bigorgne (directeur de l’Institut Montaigne) lors d’une séance de la concertation pour la Refondation de l’école. Je l’ai entendu encore dans celle de certains intervenants à la journée « sciences cognitives » organisée par la DGESCO au collège de France.

A chaque fois, c’est en fait devenu le moyen de distinguer clairement ses préférences en matière de recherche sur l’éducation et d’en stigmatiser implicitement une partie : il y aurait d’un côté les recherches « scientifiques » qui reprennent très précisément les protocoles des sciences expérimentales et miment autant que possible la situation du laboratoire (avec groupe témoin, variables contrôlées, etc.), et de l’autre côté les recherches » idéologiques », qui prôneraient des méthodes basées sur des convictions militantes sans « preuves » scientifiques. C’est d’ailleurs l’ensemble des recherches en éducation qui ne se font pas sous la bannière des discipline canoniques (histoire, philosophie) ou expérimentales (psychologie sociale, cognitive…) qui sont visées à plus ou moins long terme.

Le terrain d’élection de cette théorie est depuis quelques années en France celui de la lecture, profitant de la bataille plus ou moins mythique entre tenants de la lecture globale et syllabique, fortement instrumentalisée politiquement par l’ancienne majorité.  Le problème principal, à mes yeux, est qu’on glisse progressivement du terrain de la lecture, sur lequel je n’ai pas personnellement de doctrine, à celui d’une conception générale des relations entre les recherches et l’éducation qui me semble lourde de confusions et d’erreurs.

Cette critique implicite se nourrit des faiblesses historiques d’une partie des recherches en sciences humaines et sociales (pas seulement en éducation), dont les arènes de confrontation scientifiques sont restreintes et souvent nationales, ce qui ne favorise pas toujours une certaine rigueur.  Néanmoins, la question qui n’est pas posée est celle de savoir si l’on peut considérer qu’une recherche qui se fait en articulation constante avec des pratiques et des politiques publiques, comme celle de l’éducation, peut être appréciée dans ses méthodologies de la même façon que celle qui se peut se faire avec des souris de laboratoire.

On voit bien, ne serait-ce que sur la question de la lecture/écriture, que le problème des élèves français n’est pas qu’une question d’apprentissage du code mais aussi un problème d’inhibition dès qu’il s’agit de s’exprimer et de raconter, qui renvoie à des problèmes de normes scolaires et culturelles plus larges.

Comme cela s’est produit aux Etats-Unis ou en Angleterre avec une partie du mouvement de l’Evidence Based Education, la conception qui arrive trop rapidement est celle d’une vérité scientifique qui serait établie au sein des laboratoires universitaires et qu’il ne resterait plus qu’à appliquer à un terrain enfin débarrassé des idéologues et des pédagogues.

Ce faisant, on privilégie une conception technicienne de l’enseignement, dont l’essentiel résiderait dans une série de techniques à standardiser et à appliquer dans toutes les classes, sans trop s’encombrer des spécificités des public, des dimensions affectives et des contextes sociaux et culturels. Or, de nombreuses études montrent qu’enseigner signifie aussi en grande partie savoir improviser, savoir s’adapter, savoir comprendre une situation, bref, un métier qui repose tout autant sur l’intuition, l’expérience ou les valeurs que sur un ensemble de procédures codifiées et reproductibles. C’est toute la difficulté de concevoir une formation des enseignants complète et efficace.

On privilégie par ailleurs une vision partielle et étroite de l’éducation, dans laquelle on va par exemple isoler tel apprentissage ou telle performance scolaire, sans plus s’interroger sur le contenu visé, sur sa nature et sur son sens. Comme s’il y avait des contenus scolaires « neutres » et universels, sans indexation sociale ni culturelle, que chaque élève pourrait assimiler indifféremment.

Iil règne aujourd’hui un grand désarroi et une  incertitude sur la « bonne façon » de retrouver l’élan démocratique que l’on attend de l’école. Chercher la solution dans le recours aux recherches vraiment « scientifiques » comme dans la sanctuarisation de contenus universaux représente deux types de raccourcis qui risquent fort de se transformer en autant d’impasses.

Pour aller plus loin

Revues en éducation et « publication phares » dans Google Scholar

Parallèlement à mon précédent article sur le classement 2011 des revues en éducation dans les listes ERIH, j’ai jeté un oeil aux « publications phares » que présente Google Scholar.

Si, en effet, chacun s’accorde à émettre de nombreuses suspicions sur la façon dont fonctionne la version « académique » du célèbre moteur de recherche, c’est un secret de polichinelle de rappeler que du jeune doctorant aux responsables d’organisations de recherche, tout le monde consulte régulièrement Google Scholar. Dans le domaine des SHS, en particulier, GS est l’une des rares façons de disposer d’une base de données gratuite dont la couverture bibliographique est relativement étendue à défaut d’être rigoureuse et explicitée.

Il est dans ce cadre intéressant de constater que parmi ces  » publications phares francophones« , présentées par le moteur, on trouve un certain nombre de revues en éducation dont le point commun est d’être particulièrement bien exposées depuis quelques temps sur le web,  qu’elles aient été mises en lignes dès leur origine ou qu’elles aient été intégrées sur des portails tels que Cairn et/ou Revues.org. Il faudrait d’ailleurs examiner de façon plus systématique quel est l’effet « barrière mobile », c’est- à-dire si la visibilité ou le nombre de citations de tel ou tel article change à partir du moment où l’article devient consultable librement, sans paiement préalable.

Si l’on ne peut pas affirmer, dans un raccourci réducteur, que des classements de revues seraient inférés de ce type d’indicateurs, il n’en demeure pas moins qu’un effet de notoriété au moins indirect est vraisemblable.

A ce niveau, le poids des citations (voire des auto-citations…) entre publications en ligne est remarquable, quel que soit leur statut. Autrement dit, pour être mis en avant dans GS, l’important est d’être cité par d’autres publications indexées par Google Scholar.

Il suffit de regarder, à titre d’exemple, quelles sont les citations retenues par GS pour un article du regretté V. Carette sur les enseignants efficaces, paru dans la RFP, Quatre citations, parmi les 11 retenues, proviennent d’un seul dossier (sur l’évaluation des apprentissages) que j’avais réalisé avec Laure Endrizzi. En fait, les quatre citations correspondent à quatre versions différentes d’un même travail de synthèse, distinguées ici en fonction de leur serveur de stockage (HAL SHS, IFE ENS Lyon, etc.).

 

 

Les revues à visibilité internationale et les autres… selon les listes ERIH

Les classements des revues de recherche constituent un enjeu fort dans l’organisation du champ scientifique. Nous avions consacré en 2009 un dossier à cette problématique, dans un contexte de vives polémiques concernant  alors l’évaluation des activités des chercheurs : « productivité et qualité scientifique : avec quelles publications compter ?« . Nous revenons aujourd’hui sur une partie de ce thème en faisant le point, pour le domaine de la recherche en éducation, sur l’édition 2011 du classement des listes ERIH (European Reference Index for the Humanities), publiée par la Fondation européenne pour la science il y a un an dans une relative indifférence.

Le classement 2007-2008 des revues en trois catégories (« A », « B » et « C ») avait été ressenti comme un classement hiérarchique plus que comme une catégorisation en fonction du lectorat plus ou moins international, tel que prétendait le faire pourtant les listes ERIH. Pour parer cette critique, l’édition 2011 a mis en oeuvre de nouvelles catégorie : « NAT », « INT1 » et « INT2 ».

Les revues européennes « NAT » comme « national« , souvent liées à une aire linguistique , sont censées avoir comme lectorat principal une communauté universitaire nationale ou régionale.

Les revues « INT » comme « international« , aussi bien européennes que non européennes, sont celles qui sont censées être régulièrement citées à un niveau mondial. Ces dernières revues sont elles-mêmes réparties en deux sous-catégories :

  • INT1 qui regroupe les publications internationales à « haute visibilité »;
  • INT2 qui regroupe les publications internationales à « visibilité significative ».

Une catégorie spécifique, les W category journals, regroupe les revues qui ont publié leur premier numéro dans les trois dernières années avant la date de clôture pour la soumission au panel d’experts (22 janvier 2009 pour l’éducation).

531 revues ont été ainsi catégorisées pour la discipline Pedagogical and Educational Research, qu’on peut retrouver en interrogeant la base des ERIH revised lists sur le site de l’ESF.

Quel est le résultat pour la France ?

On trouve 21 revues françaises (contre une soixantaine dans le classement des revues référantes de l’AERES, voire autour de 70 en y ajoutant les revues « interface »). Ces 21 revues sont donc logiquement censées constituer une liste approchante, sinon complètement à jour, des revues françaises qui ont un rayonnement significatif au niveau national et surtout international. On trouvera la liste actuelle, comparée à celle de 2007, dans  le tableau récapitulatif à la fin de cet article.

Qu’en retenir ?

D’abord un gag : la même revue Repères (didactique du français) est mentionnée deux fois, la faute à deux ISSN différents (l’un correspondant aux anciennes collections). En revanche, elle est classée de façon différente : une fois en catégorie nationale (avec l’actuel ISSN), l’autre fois en catégorie internationale (avec l’ancien ISSN). Comment ont travaillé les « experts » ? Deux hypothèses parmi d’autres : soit c’est un comptage automatique de citations (par exemple dans Google Scholar) qui aboutit à mieux « évaluer » l’ancien que le nouvel ISSN; soit c’est une appréciation au doigt mouillé qui a aboutit à mieux classer celui qui ne porte pas dans le classement le sous-titre « recherche en didactique du français langue maternelle ». Bref, rigueur, précision et sérieux au programme !

Ensuite, quatre revues figurent dans la catégorie « INT1 ».

Parmi elles, Enfance est une revue plutôt ancrée dans le champ de la psychologie et qui s’intéresse, certes, au développement de l’enfant, mais dont la classification dans la catégorie « éducation et recherche pédagogique » est un peu abusive. Ceci dit, le principal problème réside surtout dans le fait que cette revue a apparemment cessé de paraître depuis…2008 ! Dommage…

Sinon, on trouve dans cette catégorie la Revue française de pédagogie, qui y était déjà lors du précédent classement, ainsi que deux nouvelles : Education & Didactique et Recherches en didactique des mathématiques.

La promotion d’Education & Didactique est impressionnante, puisque cette revue ne figurait même pas dans ce classement en 2007… pour la bonne raison que c’est une revue qui n’a commencé de paraître qu’en 2007 ! Cette revue parvient par là même à s’affranchir de la règle qui faisait que les revues ayant publié leur premier numéro dans les trois ans précédemment la date limite de soumission au comité étaient censées relever d’une catégorisation spécifique, la W category journal. Comme on peut s’interroger sur la profondeur de la lecture des revues indexées par les experts (au vu des anomalies précédemment relevées), on peut conjecturer sur cette place. Le fait que dès le départ, la revue a joué le jeu de l’accès en ligne, par une présence sur l’excellent portail Revues.org, n’est sans doute pas étranger à cette présence. D’autres facteurs d’influence ont pu s’exercer ?

Encore plus surprenante est la présence ici de la revue Recherches en Didactique des mathématiques, car si la didactique des mathématiques tient incontestablement une place centrale en France, on s’étonne que la composition exclusivement française du comité scientifique et du comité de rédaction n’ait pas fait ciller les experts de l’ESF…

En regard de cette promotion de la didactique, dont le caractère dominant sur la recherche en éducation française est ici bien illustré, il faut noter la rétrogradation de la revue Histoire de l’éducation, dorénavant considérée comme revue d’influence nationale ou régionale (au sens d’aire linguistique).

Dans la catégorie INT2 et NAT, parmi les éléments notables, on retiendra :

  • la disparition de la revue sur l’orientation scolaire et professionnelle (de l’INETOP-CNAM) et la rétrogradation de la revue Education permanente dans la catégorie NAT, ce qui semble indiquer une sensibilité faible à certaines approches professionnelles
  • l’entrée de la revue de l’ADMEE (Mesure et évaluation en éducation)
  • l’entrée de la revue de didactique éditée par l’IREM de Strasbourg, Annales de didactique et de sciences cognitives, qui confirme le poids prépondérant des didactiques dans l’édition 2011 des listes ERIH en éducation.
  • la rétrogradation de la Revue internationale de Sèvres dans la catégorie nationale, ce qui est un peu bizarre au regard du caractère éminemment international de cette revue, qui pourrait être plutôt une conséquence du fait que la RIES n’est pas à proprement dit une revue à comité de lecture (ce pourquoi l’AERES l’a référencée en revue « interface »).
Bref, sans aller plus avant dans cet examen, on ne peut que constater qu’on est encore loin d’un classement qui, même sans prétendre à l’exhaustivité, pourrait à tout le moins présenter des garanties de rigueur et de cohérence minimales…
Récapitulatif : les revues françaises dans la liste ERIH, catégorie « pedagogical and educational research ».

 

Titre de la revue (liste ERIH) Catégorie 2007 Catégorie 2011
Orientation scolaire et professionnelle NAT
Education et didactique INT1
Enfance INT1 INT1
Recherches en didactique des mathématiques NAT INT1
Revue française de pédagogie INT1 INT1
Carrefours de l’éducation NAT INT2
Education & Sociétés INT2 INT2
Education et formation NAT INT2
Formation/emploi INT2 INT2
Mesure et évaluation en éducation INT2
Penser l’éducation INT2 INT2
Repères INT2 INT2
Annales de didactique et de sciences cognitives NAT
Aster NAT NAT
Didaskalia NAT NAT
Education permanente INT2 NAT
Histoire de l’éducation INT1 NAT
Le Télémaque NAT NAT
Les sciences de l’éducation pour l’ère nouvelle NAT NAT
Recherche et formation NAT NAT
Repères. Recherche en didactique du français langue maternelle INT2 NAT
Revue internationale d’éducation Sèvres INT2 NAT

Nous nous intéresserons dans un prochain billet à la liste des revues dressée par l’AERES  en sciences de l’éducation …