Les évolutions de la méthodologie d’évaluation des formations, proposées par le Hcéres dans le cadre de la vague C (2022-2023), sont nombreuses. Comme je le signalais dans le précédent article du blog, le Hcéres a choisi de maintenir une évaluation systématique de toutes les formations (y compris les nouveaux diplômes Bachelors Universitaires de Technologie BUT)(cf document « processus d’évaluation du bilan des formations » site internet céres). Les principales modifications portent sur l’évolution du référentiel et des rapports d’autoévaluation, ainsi que sur l’articulation avec l’évaluation institutionnelle et les modalités de production des rapports d’évaluation par les comités d’experts.
L’évaluation des formations est particulièrement complexe à réaliser car le pilotage des formations s’opère aux différents niveaux des structures internes d’un établissement avec, en fonction de son organisation, des spécificités très diverses. La structuration globale de l’offre de formation, de sa politique globale et des services communs dépend du niveau établissement, mais les composantes et les départements peuvent avoir des marges d’autonomie et des spécificités importantes, notamment dans le cas des universités. L’équipe pédagogique, en action sur le terrain pour l’animation et la conduite au quotidien de chaque formation, joue enfin un rôle primordial pour la qualité des contenus de formation et de la prise en charge des étudiants. C’est ce continuum qu’il faut pouvoir analyser pour avoir une évaluation complète et pertinente d’une formation. Evidemment, la prise en compte de ces différentes dimensions représente un travail colossal si toutes les formations d’un établissement doivent être évaluées. Le Hcéres, prisonnier de son choix de l’exhaustivité, se retrouve ainsi contraint à de nombreuses simplifications qui vont pénaliser la qualité des évaluations et qui posent des questions de biais méthodologiques. J’analyse dans cet article les principales difficultés identifiées dans la méthodologie adoptée pour l’évaluation de la vague C.
Une évaluation des formations de 1er et 2ème cycle qui ne respectent pas les fondamentaux des standards européens (ESG)
La première référence des ESG indique que « les institutions disposent d’une politique d’assurance qualité rendue publique et faisant partie intégrante de leur pilotage stratégique ». Le deuxième chapitre des ESG consacré aux méthodes d’évaluation externe place en première référence « la prise en compte de l’efficacité des processus d’assurance qualité » des institutions, avec les objectifs « d’aider les institutions à améliorer la qualité » et de « tenir compte de la charge de travail et des couts de l’évaluation externe pour les institutions », ainsi que l’objectif de démarches s’appuyant sur une autoévaluation et une visite sur site.
L’analyse des documents de présentation de l’évaluation des formations montre que ces fondamentaux des ESG ne constituent pas le coeur du processus d’évaluation proposé par le Hcéres dans le cadre de la vague C.
La liste des informations demandées et le libellé du référentiel sont essentiellement centrés sur des contrôles de résultats et sur le contrôle du déploiement de dispositifs qui réduisent l’évaluation à une simple vérification de conformité à un modèle préétabli conformément à une approche de type évaluation sanction. On analyse en fait la formation comme une boite noire en se limitant à vérifier la nature de ses productions (« entrées et sorties ») et la mise en œuvre des pratiques requises par le modèle. Cette approche est ainsi très éloignée d’une évaluation qui analyserait le système d’assurance qualité de la formation en prenant en compte les priorités et spécificités de l’institution et en visant l’objectif d’aider cette dernière à améliorer la qualité de ses formations.
Un autre point apparait en contradiction majeure avec l’esprit des ESG. Le rapport d’autoévaluation demandé à chaque formation va se limiter à la production d’un fichier Excel préformaté. Ce fichier comprend une partie consacrée à la production de données (cf infra) et une partie déclinant l’ensemble des critères du référentiel avec, pour chaque critère, un auto-positionnement de l’entité sur une échelle de 1 à 5 et une « case Excel » pour la formulation de justifications. Ce mode opératoire, mis en avant comme une simplification, conduit en fait à une détérioration importante de la qualité du processus d’évaluation. L’auto-positionnement demandé à l’entité évaluée formate complètement l’exercice d’autoévaluation et le focalise de manière excessive sur la réponse aux critères. Il y a ainsi un risque fort de détourner l’entité d’un exercice d’autoanalyse de ses propres priorités, alors que c’est normalement l’essence même d’une autoévaluation. On peut même craindre que la méthode proposée par le Hcéres incite les équipes pédagogiques à répondre de manière sommaire à ces auto-positionnements sans réaliser un véritable travail d’autoévaluation.
Par ailleurs, le contenu de ce fichier Excel va constituer quasiment le seul matériau pour le comité en charge de l’évaluation de la formation, ce qui sera totalement insuffisant pour permettre une analyse effective de chaque formation au-delà des simples avis d’auto-positionnement et des quelques éléments de justification fournis dans le fichier. Si l’on ajoute à cela l’absence de visite sur site au niveau de chaque formation (en contradiction également avec les attentes des ESG), le comité va donc se retrouver dans l’incapacité d’avoir une information étayée pour réaliser une évaluation approfondie et pertinente de chaque formation.
Une évaluation hors sol liée à l’absence de prise en compte de la dimension humaine de la conduite des formations par les équipes pédagogiques avec le concours des étudiants
Au-delà de l’effet « boite noire » signalé supra (analyse focalisée sur les performances et conformités à un modèle), les référentiels de formation ne mentionnent pas l’équipe pédagogique en charge de la conduite de la formation. Les formations sont décrites comme des structures accueillant des étudiants, produisant des diplômés et mettant en œuvre les dispositifs du modèle mais l’évaluation est hors sol car elle ne s’intéresse pas au rouage essentiel de l’équipe pédagogique. Il n’y a pas d’analyse de sa constitution (uniquement des données demandées sur le nombre de permanents participant à la formation, sans qu’on sache si ces permanents sont véritablement membres d’une équipe), des modalités de son fonctionnement et des difficultés qu’elle rencontre dans le pilotage de la formation. Ces référentiels ignorent également le rôle de l’étudiant dans l’amélioration continue de la formation (seul un compte rendu de conseil de perfectionnement est demandé en document complémentaire au RAE). Ce sont pourtant ces dimensions humaines qui sont fondamentales et qui font la qualité d’une formation. Là encore, la méthode utilisée par le Hcéres apparait, focalisée sur l’analyse de conformité, pour ne pas dire technocratique, et elle ne respecte pas l’esprit des ESG.
Une méthode d’évaluation très confuse et incohérente
Les documents décrivant les modalités d’autoévaluation demandées aux établissements et la procédure d’évaluation proposée aux comités d’experts sont particulièrement compliqués à analyser. Le document « repères pour l’autoévaluation » est très surprenant car il décrit les étapes habituelles et les attentes classiques d’une autoévaluation mais les documents demandés dans le dossier d’autoévaluation ne sont pas en adéquation (cf supra) ce qui, au-delà de l’incohérence relevée, fait courir le risque de frustrer et décourager les équipes qui feront cet exercice.
La procédure d’évaluation externe est particulièrement complexe et, dans le cas des universités, il est peu probable que les comités puissent réaliser l’ensemble des tâches demandées. Au-delà de la contrainte de temps, c’est la question du matériau disponible dans le dossier d’autoévaluation qui est posée. Comme signalé supra, le fichier Excel faisant office de RAE ne permettra pas une analyse de chaque formation. Il est également demandé au comité de réaliser un rapport d’évaluation du 1er et du 2ème cycle alors qu’il n’est pas demandé à l’établissement de produire une autoévaluation par cycle. Dans ces conditions, sur quel matériau va s’appuyer le comité pour réaliser ces deux rapports ?
La situation devient vraiment ubuesque quand on constate qu’il est demandé au comité de produire un rapport de 1 à 2 pages pour chaque formation comportant un avis individualisé pour les 13 références du référentiel. La simple reprise d’une partie au moins du libellé de ces 13 références pouvant représenter jusqu’à une page, on peut sérieusement se poser la question du contenu évaluatif, de la qualité et de l’utilité des rapports qui seront produits à partir de cette méthode.
La procédure comporte également une audition à distance du vice-président formation et d’un échantillon de responsables de formation. On peine à comprendre la logique des auditions de quelques responsables de formation. En quoi vont-elles contribuer à l’amélioration des évaluations des formations en dehors de celles concernées par l’audition ? En quoi vont-elles contribuer à l’évaluation des cycles de formation alors que les personnes auditionnées ne seront pas les responsables de cycle ?
Enfin, le comité est invité à analyser le chapitre formation du rapport d’autoévaluation institutionnelle de l’établissement. Cette modalité constitue tout d’abord une charge de travail pour le comité et elle présente deux difficultés. C’est tout d’abord un recouvrement par rapport à l’évaluation institutionnelle qui sera réalisée par un autre comité avec le risque d’interprétations divergentes (il sera compliqué pour le Hcéres d’intervenir après coup pour rayer de telles divergences potentielles). C’est aussi une carence méthodologique majeure car le comité formation va, certes, disposer d’informations relatives à la politique globale de l’établissement et de quelques informations sur le fonctionnement des formations sur le terrain, mais il va ignorer l’ensemble des rouages intermédiaires constitués par les éventuels pôles, collégiums, composantes et départements. Cette situation sera particulièrement préjudiciable dans le cas des établissements expérimentaux qui sont organisés en trois niveaux avec souvent de fortes spécificités et marges d’autonomie. Dans ce cas, le comité va se retrouver totalement aveugle vis-à-vis d’un ensemble de rouages du pilotage des formations pénalisant ainsi fortement la qualité des évaluations.
Une boulimie de données qui contraint lourdement la dynamique propre des politiques qualité et des systèmes d’information des établissements
Les fichiers Excel faisant office de rapports d’autoévaluation comportent également une série importante de données de caractérisation et d’indicateurs. Compte tenu du nombre d’informations à fournir, c’est un travail considérable qui est demandé aux établissements. C’est également un processus qui pose de nombreuses questions.
Cet ensemble de données prédéfinies va contraindre les établissements à adapter leur système d’information. Cette forme de normalisation d’une formation type ne permet pas d’encourager le cycle vertueux des démarches qualité porté par les ESG. La logique voudrait en effet que les données demandées soient focalisées sur les priorités que se sont données les équipes pédagogiques pour permettre d’en vérifier les effets.
Quelle est l’utilité de toutes ces données ? Le comité va certainement avoir de grandes difficultés à appréhender l’ensemble de ces informations. Le Hcéres veut-il ainsi créer une norme définissant les caractéristiques moyennes d’une formation, l’évaluation se limitant alors à apprécier les écarts par rapport à la norme ? Le Hcéres veut-il se substituer aux tableaux de bord du ministère afin de constituer un nouveau système d’information national dans le cadre du futur observatoire de l’enseignement supérieur annoncé par son président ? On peut attendre autre chose qu’une boite à chiffres d’une telle structure, sinon ce sera l’échec annoncé d’une nouvelle machine « à classer et à stigmatiser ».
Conclusion :
En conclusion, la copie que vient de livrer le Hcéres ne répond pas aux besoins des établissements et elle est à revoir dans sa totalité. Le Hcéres, avec son choix de l’exhaustivité, est contraint de bricoler des processus chaque fois plus complexes et incohérents, aux antipodes de la simplification annoncée.
Il serait plus logique de réaliser à côté de l’évaluation institutionnelle, une évaluation de terrain approfondie de quelques formations et de prendre en compte les spécificités de l’organisation interne des établissements par des éventuelles évaluations de structures internes en fonction des besoins de l’établissement, puis de mettre en regard les résultats ainsi obtenus pour réaliser un bilan.
Une fois de plus, le Hcéres tourne le dos à une évaluation s’inscrivant dans les pratiques modernes de l’assurance qualité. La méthode proposée s’éloigne encore un peu plus de l’idéal de la garantie de la qualité et semble, au contraire, plus à même de garantir la non qualité des évaluations, quelle que puisse être la qualité des experts recrutés !!….
Il me semble que c’est le principe même de « pratiques modernes de l’assurance qualité » qui n’est pas pertinent pour la plupart (toutes ?) des formations universitaires – sauf peut-être celles qui visent explicitement un (champ de) métier(s). La qualité d’une formation ne peut pas être indépendante du « produit entrant », si on se place dans ce modèle technocratique, ni des visées qui lui sont attribuées à différents niveaux institutionnels.
Rogalski, psychologie ergonomique, didactique des disciplines scientifiques et didactique professionnelle.
J’ai peur d’avoir mal compris votre commentaire ou bien d’un malentendu au niveau de mon propos. Je défends justement l’idée que, dans l’esprit des ESG, l’étudiant doit être au centre du processus de pilotage des formations et que ce processus doit prendre en compte la diversité des publics accueillis. L’assurance qualité n’est pas pour moi une approche technique visant à normaliser totalement l’organisation des formations. Bien au contraire c’est une approche qui doit rechercher à renforcer les démarches de progrès propres à chaque équipe pédagogique en prenant en compte l’environnement, l’histoire et les spécificités de chaque formation.
Robert Fouquet