En première lecture, comme nous l’avons déjà relevé (cf article 11), la méthodologie d’évaluation des établissements proposée dans le cadre de la vague C (2022-2023) parait s’inscrire dans la continuité des évolutions mises en œuvre pour l’évaluation des universités de la vague précédente (vague B 2020-2022). L’ancien département d’évaluation des coordinations territoriales, en charge des universités, avait porté plusieurs innovations avec un référentiel universités reformulé et resserré, plus focalisé sur la conduite stratégique des établissements et les dispositifs centraux du pilotage institutionnel, et plus exigeant sur la capacité des établissements à faire eux-mêmes la démonstration de l’efficacité de leur action.
Les différents documents méthodologiques reprennent ainsi les dimensions de l’autonomie et de la responsabilité. Les cinq dimensions clés du positionnement, de la stratégie, de l’organisation, de la gouvernance et du pilotage sont toujours présentes et le nouveau référentiel intègre un certain nombre de formulations du référentiel de la vague B.
Cette apparente continuité cache en fait des évolutions techniques au niveau de la constitution du référentiel et des évolutions plus politiques sur l’approche évaluative que je vais analyser dans cet article.
Je ne reviendrai pas sur les problématiques de l’articulation avec les évaluations de la recherche et des formations dans le cadre de l’évaluation intégrée que j’ai déjà évoquées dans l’article 11. A noter également que contrairement aux annonces du président du Hcéres, l’évaluation des coordinations territoriales reste présente, ce qui est effectivement justifié compte tenu de l’organisation de certains sites, mais révèle le peu de compréhension initiale profonde de cette situation par le président du Hcéres.
Une formulation du référentiel qui traduit une mutation vers une évaluation plus normative :
Le référentiel de la vague B avait amorcé un travail important de simplification aboutissant à 15 grandes références (hors partie Idex) et un total de 110 critères (vague A : 30 références et 164 critères). Le nouveau référentiel de la vague C marque une régression avec 17 références et 140 critères (augmentation de 27%). A l’image des référentiels recherche et formation, c’est la marque évidente d’un retour à une évaluation plus normative qui individualise des points précis de contrôle au détriment d’une approche plus ouverte aux priorités et spécificités de chaque établissement. Le document « repères pour l’autoévaluation » invite d’ailleurs les établissements à « une analyse critique des attendus formulés par chaque référence qui s’appuie sur tous les critères d’appréciation qui la précisent ». Par ailleurs, ce même document fait apparaitre des demandes complémentaires au référentiel en fonction des différentes catégories d’établissements, ce qui vient encore accentuer les contraintes d’analyse demandées aux établissements dans le cadre de leur autoévaluation.
La simplification qui avait été opérée pour les référentiels universités et coordinations territoriales de la vague B, s’était également accompagnée de l’introduction pour chaque référence d’un encadré permettant d’expliciter les règles d’interprétation et les grands attendus de chaque référence. Cette formulation, présente dans les standards européens (ESG), permettait d’obtenir un référentiel qui balisait les grandes lignes d’analyse de l’évaluation sans enfermer celle-ci dans une approche trop normative, les quelques critères associés à chaque référence venant simplement préciser quelques repères du périmètre d’investigation. Cette approche graduelle et ouverte n’a pas été maintenue dans les nouveaux référentiels institutionnels de la vague C, qui déclinent pour chaque référence une liste de critères dont la formulation est souvent très directive. Ces évolutions donnent à nouveau le sentiment d’une démarche standardisée, laissant peu de marges de manœuvre à l’établissement pour focaliser son autoévaluation sur le bilan critique de ses propres priorités et démarches de progrès.
Des transformations des chapitres et des références qui illustrent une approche moins politique et moins globale de l’établissement :
Dans la logique des transformations opérées au niveau de la formulation du référentiel établissements de la vague C, quelques choix de contenus sont très symboliques de la façon dont l’établissement est abordé et considéré.
C’est tout d’abord la suppression du chapitre dédié à la réussite des étudiants consacré à l’accueil des étudiants et leur participation à la vie de l’établissement qui constitue une régression majeure. Depuis plusieurs années, dans l’esprit des ESG, une place centrale était donnée à l’étudiant dans le référentiel institutionnel. Cela constituait un message fort adressé aux établissements pour qu’ils explicitent leurs priorités dans ce domaine. C’était également, avec la référence de la politique de gestion des ressources humaines du chapitre sur le pilotage stratégique, une façon de mettre en évidence les deux piliers fondamentaux du développement d’un établissement : l’ensemble des personnels et les étudiants, à côté des deux activités principales de la recherche et de la formation. Ce chapitre de la réussite des étudiants avait un rôle essentiel d’interpellation sur la place donnée aux étudiants dans les établissements, question souvent négligée dans notre ESR. Il constituait également une clé de lecture des rapports pour les étudiants. La problématique de la vie étudiante se retrouve maintenant noyée dans le chapitre formation ce qui constitue un signal très négatif adressé aux étudiants et accentue la focalisation sur une évaluation essentiellement centrée sur les « productions » de la recherche et des formations.
Le premier chapitre du référentiel établissements vague C consacré au pilotage stratégique et opérationnel comporte également des évolutions qui révèlent une vision segmentée de la vie d’un établissement comme si celui-ci se réduisait à une juxtaposition de missions sans projet global (approche symptomatique d’une méconnaissance des responsabilités de gouvernance centrale d’un établissement, qui n’est sans doute pas étrangère au choix opéré pour la direction de ce département (cf brève 8)).
La séparation au niveau des références 2 et 3 de l’analyse de la stratégie et des partenariats institutionnels en est par exemple une bonne illustration. Comment peut-on concevoir une stratégie globale pour un établissement universitaire, sans y intégrer la problématique des partenariats et des alliances ? Le choix qui est fait affaiblit ainsi fortement la portée de la référence consacrée à la stratégie institutionnelle, constituant majeur de la conduite d’un établissement autonome.
Un constat similaire peut être fait au niveau de la problématique de la gestion des ressources humains qui se retrouve dispersée dans plusieurs chapitres et références. Une référence y est consacrée dans le premier chapitre du pilotage stratégique, mais le sujet des ressources humaines apparait par ailleurs dans différentes références des chapitres formation et recherche. Cette dispersion peut conduire à des positions contradictoires de l’établissement alors que la politique de gestion des ressources humaines constitue un tout au niveau de l’établissement dont il est important d’apprécier la cohérence globale en évitant de disperser l’analyse.
La référence 5 consacrée à la « politique globale de la qualité » illustre également les régressions que porte ce nouveau référentiel vague C. Dans le référentiel précédent vague B, cette référence avait été particulièrement développée car elle préfigurait des évolutions dans ce domaine avec une focalisation plus forte de l’évaluation institutionnelle sur l’analyse de la politique d’assurance qualité de l’établissement. La disparition, dans le nouveau référentiel, de l’attente d’un portage politique fort, l’absence d’analyse du processus d’autoévaluation mis en place par l’établissement ainsi que la formulation globale adoptée dans cette référence 5, réduisent la politique d’assurance qualité à un simple outil technique pour les services alors que, comme l’ont bien compris les grandes universités internationales, elle constitue en fait un enjeu politique institutionnel en matière d’efficience et de conduite du changement.
Enfin, le chapitre consacré à la mission recherche illustre la dérive vers une analyse fourre-tout mélangeant des dimensions stratégiques et des éléments techniques très ponctuels. Ce chapitre comporte 4 références et 38 critères (alors qu’il comportait 2 références et 16 critères dans le référentiel précédent). Cette inflation conduit à un morcellement de l’analyse dont on peine à identifier les axes majeurs. Les établissements, invités à répondre à l’ensemble de ces critères dans leur autoévaluation, risquent de se perdre dans les méandres, les redondances et l’hétérogénéité de cette multitude de demandes alors qu’ils devraient se focaliser sur l’analyse critique de leurs propres priorités et des résultats associés, et mettre en perspective leur trajectoire. Une fois de plus, ce catalogue d’attentes d’un modèle normatif, uniforme et pléthorique, ne va pas permettre à l’établissement une autoévaluation utile à son projet de développement, et va placer le comité d’évaluation devant une mission irréalisable avec le risque d’un résultat sans réelle plus-value. La même analyse peut être faite pour le chapitre formation.
Conclusion :
La méthodologie proposée pour l’évaluation institutionnelle de la vague C semble s’orienter vers un exercice de caractérisation parcellisé et tatillon de différentes dimensions de l’activité d’un établissement comme si celui-ci était la simple juxtaposition sans âme de deux missions recherche et formation.
Le nouveau référentiel institutionnel comporte des proximités avec celui de la vague précédente et la méthodologie proposée reprend le principe de prise en compte des priorités formulées par l’établissement dans le cadre de son évaluation. Cette continuité est en fait toute relative car des transformations importantes du référentiel ont été opérées. L’évaluation institutionnelle constituait depuis plusieurs années un vecteur d’innovation vers une évaluation plus formative se plaçant résolument en symbiose avec la modernisation des pratiques de conduite stratégique et de pilotage des universités. Alors que cette démarche d’innovation pouvait servir de vecteur de modernisation de l’évaluation de la recherche et des formations, c’est en fait l’inverse qui se passe avec ce nouveau référentiel, qui semble s’aligner sur les pratiques antérieures des départements recherche et formation, constituant ainsi une régression vers une approche plus conventionnelle. Il est peu probable que les comités aient les moyens d’investiguer l’ensemble des dimensions de ce nouveau référentiel « catalogue d’apothicaire ». Cette évaluation risque d’être sans plus-value pour les établissements car elle ne permettra pas la focalisation sur les sujets fondamentaux de la qualité et de la maitrise des démarches et dynamiques collectives de progrès qui constituent pourtant le défi majeur de la modernisation de nos établissements.
Bonjour,
je partage le « regret » exprimé par Robert : [La problématique de la vie étudiante se retrouve maintenant noyée dans le chapitre formation ce qui constitue un signal très négatif adressé aux étudiants].
En tant qu’ancien VP du Conseil de la Vie Universitaire de l’Université de Lorraine, cette régression cantonne les étudiant.e.s dans un rôle d’usagers, voire de consommateurs de formation et non d’acteurs de leur vie étudiante.
En tant qu’ancien CS du Hcéres et Président de comité(s) d’évaluation, je m’interroge sur le rôle de l’expert.e étudiant.e et son positionnement au sein d’un comité.