Les articles 23 à 27 ont permis d’aborder les différentes dimensions de l’élaboration d’un référentiel : les éléments de contexte, les constituants et le style d’écriture d’un référentiel ainsi que ses usages. Cet article conclut cette série par une proposition de trame d’un référentiel d’évaluation institutionnelle, illustrant la philosophie de l’évaluation mise en avant dans ce blog.
Un référentiel de rupture, focalisé sur la dynamique de développement et d’amélioration des performances des établissements
Le ministère de l’enseignement supérieur et de la recherche promeut une évaluation institutionnelle essentiellement dédiée à la mesure des résultats des activités des établissements, dans l’objectif de piloter la répartition des moyens publics qui leur sont affectés. L’évaluation est rarement affichée comme un moyen d’aide au développement des établissements et est conçue essentiellement comme un outil de sanction. La recherche d’indicateurs permettant de quantifier la performance des différentes activités, souvent mise en avant, conduit à une évaluation qui se réduit à une simple mesure externe, intégrée à une approche très normatrice prenant peu en compte les spécificités des établissements.
Cette course à la mesure directe de la performance des établissements s’avère décevante au niveau de ses résultats, se réduisant, le plus souvent, à reproduire des éléments de notoriété des établissements, pas toujours en phase avec la réalité de leur situation effective.
Des données telles que le volume et la qualité des productions de la recherche et de la valorisation de la recherche, ou encore la quantification de la réussite des étudiants et de l’insertion professionnelle des diplômés sont bien évidemment utiles pour apprécier les performances des établissements. Des méthodes et des outils de mesure fiables pour ce type de données sont nécessaires. Il revient toutefois aux établissements autonomes et responsables d’effectuer ces mesures, de les contextualiser et de qualifier le niveau des résultats relativement à leur projet stratégique. Des outils nationaux de centralisation et d’exploitation de ces informations sont utiles mais ils relèvent du système d’information de l’Etat (plus que de celui d’une agence d’évaluation). Une évaluation inscrite dans la logique de l’assurance qualité ne peut se réduire à cette ambition.
Dans ce contexte, les référentiels actuels du Hcéres, conçus dans un objectif d’exhaustivité, sont très denses et complexes. Il en résulte des évaluations souvent sans relief et qui ont une plus-value limitée pour les établissements.
Il y a, aujourd’hui, un enjeu majeur à faire de l’évaluation institutionnelle un levier du progrès global de notre système d’enseignement supérieur et de recherche (ESR). Pour cela, l’évaluation doit sortir du dogme de la mesure externe de la performance des activités. Il s’agirait d’analyser plus en profondeur les dynamiques internes portées par les établissements en lien avec leur stratégie, et leur capacité à en démontrer eux-mêmes la réalité opérationnelle, l’efficacité et les performances.
En effet, quel est le résultat le plus intéressant pour une évaluation institutionnelle ? : Confirmer qu’un établissement de grande notoriété présente des productions de premier plan, ou bien constater que l’impact de son pilotage interne est faible, faisant courir des risques à long terme et ne permettant pas d’exploiter pleinement son potentiel vis-à-vis de ses compétiteurs internationaux ? Confirmer qu’un établissement de taille moyenne présente des productions limitées, ou bien constater que sa réflexion stratégique et ses outils de pilotage interne lui permettent, malgré un contexte défavorable, de cibler des niches pertinentes lui donnant une réelle visibilité ? Ces deux exemples n’ont bien évidemment pas de valeur universelle, mais ils mettent en évidence comment une évaluation peut se focaliser sur les ressorts internes de la conduite d’un établissement, en lien indirect avec sa performance, plutôt que se résumer à une simple appréciation globale externe de ses résultats.
Dans la perspective de l’acte II de l’autonomie des établissements, annoncé par le ministère, un nouveau référentiel d’évaluation institutionnelle pourrait se focaliser sur la mise en œuvre et les résultats de la stratégie des établissements, dans une logique de responsabilité accrue de ceux-ci. L’évaluation doit s’appuyer sur l’analyse de la qualité de la conduite stratégique des établissements et l’identification de leurs voies d’amélioration. L’Etat pourrait ainsi passer d’une répartition des moyens focalisée sur la performance des productions à un soutien ciblé sur les outils et méthodes de pilotage les plus efficients et porteurs d’avenir. Les mutations en cours de la gouvernance des établissements nécessitent un changement de paradigme de l’évaluation pour placer enfin l’autonomie et la responsabilité des établissements comme un levier de la progression de la performance globale de notre ESR.
Un référentiel simplifié pour une évaluation plus efficace et plus exigeante pour les établissements
Le référentiel d’évaluation institutionnelle du Hcéres comporte actuellement 18 références et un total de 146 critères. Qui peut imaginer qu’un établissement traite tous ces items lors de son autoévaluation et qu’un comité d’évaluation soit en capacité d’analyser l’ensemble de ces dimensions dans le laps de temps imparti à l’évaluation externe ?
Les évaluations du Hcéres sont souvent évoquées comme une base de données potentielle destinée à la mesure de la performance de l’ESR dans ses différentes dimensions. C’est totalement illusoire compte tenu de la complexité du système et de l’hétérogénéité des rapports sauf à aller vers une évaluation encore plus normative se limitant à collecter des données standardisées, avec le risque majeur d’une approche hors sol ne tenant pas compte des spécificités et du contexte de chaque établissement. Il faut donc faire des choix et apporter une réelle simplification pour cibler l’évaluation sur l’essentiel.
Le référentiel que je propose est focalisé sur la responsabilité des établissements à démontrer eux-mêmes l’impact et l’efficacité de leurs engagements stratégiques et des actions opérationnelles associées. Une telle évaluation intègre une exigence forte de prise en compte par l’établissement des résultats des précédentes évaluations et une analyse des actions correctrices engagées. Elle se focalise sur l’analyse de la pertinence des démonstrations apportées par les établissements pour qualifier leur dynamique de progrès et de performance.
La proposition consiste à limiter le nombre de références et à appliquer les mêmes critères à chaque référence pour cibler le pilotage stratégique et opérationnel des activités. Une même approche est ainsi appliquée à toutes les références avec, à la clé, un travail plus uniforme des experts et une possibilité d’obtenir des rapports plus homogènes et ciblés sur le pilotage des établissements.
Une organisation en deux domaines et huit références
La refonte proposée en huit références ne se réduit pas à un simple jeu d’écriture qui consisterait à regrouper l’ensemble des items actuels du référentiel Hcéres dans des références surdimensionnées. L’objectif est de procéder à une réelle simplification en focalisant le référentiel sur les rouages du pilotage de l’établissement : Comment l’établissement démontre-t-il la maitrise de ses activités et qualifie-t-il ses performances ? Quelle est la pertinence de son analyse critique ?
Un document « modèle de l’entité évaluée » (cf article 24) pourra être adjoint au référentiel pour aider les experts ne disposant pas de toutes les connaissances sur les missions et les grandes caractéristiques et principes de pilotage d’un établissement d’enseignement supérieur et de recherche.
Un domaine consacré à la conduite globale de l’établissement, regroupant quatre références :
Référence 1 : Le choix du positionnement et les grandes orientations stratégiques
La capacité de l’établissement à se situer dans son environnement local, national et international. L’établissement doit pouvoir expliciter l’ambition qu’il a portée à ces différentes échelles et la stratégie institutionnelle globale qu’il a élaborée et mise en œuvre au service de cet objectif de positionnement.
Référence 2 : Les partenariats stratégiques aux niveaux local, national et international
L’explicitation des partenariats majeurs et la démonstration de leur cohérence vis-à-vis de la stratégie institutionnelle, ainsi que l’analyse des résultats associés.
Référence 3 : La gouvernance politique et la politique de la qualité
Le choix et le fonctionnement des différentes instances de gouvernance et les grands circuits politiques de décision au service des missions de l’établissement et de la mise en œuvre de ses orientations stratégiques. La définition d’une politique institutionnelle de la qualité et son exploitation comme garantie des valeurs promues par l’établissement et comme levier de ses dynamiques de progrès et d’innovation.
Référence 4 : Les structures et outils de pilotage
L’organisation interne de l’établissement et les choix d’outils de pilotage pour les différentes fonctions de management (RH, finances, immobilier, système d’information, communication…). La cohérence de l’ensemble et les résultats obtenus au service de la stratégie institutionnelle.
Un domaine consacré au pilotage des différentes activités, regroupant également quatre références en lien avec les grandes missions de l’établissement :
Référence 1 : Le pilotage de la recherche
La structuration de la recherche en lien avec la stratégie institutionnelle. L’analyse de ses forces et faiblesses. Les priorités et indicateurs de son pilotage (ressources humaines, partenariats, affectation des moyens, internationalisation, outils et infrastructures de soutien à la recherche, …).
Référence 2 : Le pilotage de la valorisation de la recherche et de la diffusion scientifique (ou, pour reprendre la terminologie à la mode mais pas forcément plus explicite, « le pilotage de l’innovation et de l’inscription de la science dans la société »). Les actions prioritaires en matière de transfert des résultats de la recherche, de diffusion de la culture scientifique et technique et des différentes formes d’intervention au service de la société. La pertinence et les résultats des outils et structures mis en place
Référence 3 : Le pilotage de l’offre de formation
La cohérence de l’offre de formation tout au long de la vie avec la stratégie institutionnelle et son articulation à la recherche. L’analyse de ses forces et faiblesses. Les priorités et indicateurs de son pilotage (ressources humaines, moyens mobilisés, évolution des contenus de formation, aides à la pédagogie, internationalisation, ressources pédagogiques, …).
Référence 4 : Le parcours étudiant
Les priorités et résultats du parcours étudiant (information, recrutement, accueil, accompagnement, aide à la réussite, insertion professionnelle, alumni, …). Ces deux dernières références reprennent les principaux attendus des standards européens (ESG).
Au-delà des titres très synthétiques des références, un court paragraphe de type « règle d’interprétation » (cf article 25) sera associé à chaque référence, pour en expliciter le périmètre et les principaux attendus à l’image des éléments développés ci-dessus.
Cinq critères d’évaluation communs à toutes les références
Les critères associés à chaque référence précisent les pistes d’investigation et les éléments de preuve utilisés pour qualifier le niveau de réponse aux attendus de la référence (cf article 25). La focalisation du référentiel proposé sur le pilotage de l’établissement permet d’adopter la même série de cinq critères pour les huit références.
Critère 1 : Quelles réponses ont été apportées aux analyses et recommandations de la précédente évaluation ?
Critère 2 : Quels axes et objectifs stratégiques ont été privilégiés au cours de la période de référence ?
Critère 3 : Quels outils et dispositifs opérationnels ont été mis en œuvre ?
Critère 4 : Quels résultats ont été obtenus ?
Critère 5 : Quelle analyse critique est faite par l’établissement relativement aux attendus de la référence et aux actions engagées au cours de la période de référence ? Quelles mesures correctives sont éventuellement identifiées et envisagées pour le futur ?
Ces différentes questions interpellent directement l’établissement dans le cadre de son autoévaluation. C’est l’établissement qui a la responsabilité d’y apporter des réponses. Le comité d’experts, en charge de l’évaluation externe, n’a pas, quant à lui, vocation à répondre directement à ces questions. Son travail consiste à juger de la pertinence des réponses apportées par l’établissement et à identifier les faiblesses, les forces ou les manquements qui en résultent.
Conclusion :
Les quelques éléments présentés dans cet article tracent les grandes orientations d’un nouveau référentiel d’évaluation institutionnelle en proposant une réelle simplification du référentiel Hcéres actuel, par le passage de 18 références et 146 critères à 8 références et 40 critères. Il est bien évidemment nécessaire d’approfondir et de développer cette épure pour aboutir à un référentiel exploitable.
Ce référentiel porte un changement de paradigme de l’évaluation institutionnelle dans l’objectif d’aider les établissements à devenir plus stratèges et à trouver de nouveaux modes de pilotage pour une meilleure efficience de leurs activités et une performance accrue. Il y a également un enjeu de long terme pour focaliser les établissements sur leurs propres capacités à mesurer leur performance relativement à leurs spécificités et leur environnement afin de s’inscrire dans des dynamiques durables de progrès.
Il devient urgent de proposer une réforme audacieuse de l’évaluation institutionnelle pour inscrire l’ESR français dans les pratiques modernes de l’assurance qualité mettant réellement en perspective une nouvelle étape de l’autonomie et de la responsabilité des universités et écoles.
Je me suis un peu éloigné des objectifs et des contraintes de l’évaluation institutionnelle mais je trouve ces propositions de simplification et de « réorientation » du référentiel particulièrement stimulantes… Je crains cependant que dans le contexte de l’acte 2 de l’autonomie des universités, tel qu’il apparaît dans les documents qui ont déjà fuité, il soit encore plus difficile à mettre en œuvre car le ministère ne voudra jamais renoncer à contrôler encore plus étroitement les établissements malgré un discours général prônant une plus grande liberté : il préférera une collection de statistiques qui lui permettra de justifier une concentration des moyens sur les établissements apparemment les plus « performants ». Mais je suis un éternel pessimiste….
oui nous sommes effectivement dans cette difficulté permanente d’un double discours. Le ministère veut-il réellement engager de vraies réformes? Certains établissements n’ont pas, non plus intérêt, à ce que l’évaluation change de paradigme, les rentes de situation étant préférables aux évolutions… Mais nous n’avons pas d’autre choix que d’argumenter, proposer et, être optimistes….