Le blog « Universités 2024 » de JM Catin a publié récemment deux articles : un premier, consacré au Hcéres au travers d’une analyse du dernier rapport de la Cour des comptes le concernant, et un second développant certains commentaires.
Les positions exprimées dans ces articles et certains commentaires associés sont révélatrices d’une inculture de l’assurance qualité. Elles montrent combien le sujet de l’évaluation a besoin d’être exploré pour dépasser des approches simplistes et radicales et trouver les bons compromis pour une évaluation utile à l’ensemble des acteurs et inscrite dans une dynamique de progrès.
L’extrait suivant, qui exprime la position de l’auteur du blog, me semble caractéristique du débat actuel sur l’évaluation institutionnelle :
« Quant aux rapports d’établissements on cherche vainement des données. Ce sont des rapports bavards sans indicateurs : quelle évolution de la place des femmes chez les chercheuses et enseignantes-chercheuses ? Quel pourcentage de boursiers en master ? Quelle insertion professionnelle par département ? Etc. Je dois dire que voir un comité évaluer la stratégie d’un établissement plutôt que ses résultats laisse rêveur ! »
Quelques réactions à ces différents propos et interrogations :
Oui, des indicateurs sont nécessaires pour évaluer la performance propre des établissements mais on ne peut pas exiger d’un processus d’évaluation ni d’un comité d’experts, même composé d’experts internationaux, qu’ils produisent eux-mêmes ces indicateurs ! Dans un système d’évaluation adapté à des établissements autonomes et non pas « administrés d’en haut », c’est à ces derniers que revient de produire leurs propres indicateurs en lien avec leur stratégie et de faire une analyse critique des résultats qu’ils ont obtenus. Les réponses aux questions posées par J.M. Catin sur la place des femmes, le pourcentage de boursiers ou « l’insertion professionnelle par département » relèvent de la responsabilité de l’établissement et leur pertinence est à juger en fonction des priorités affichées par l’établissement et de ses ambitions. L’évaluation décline alors deux objectifs centraux : dire si la base d’indicateurs proposée par l’établissement est cohérente au regard de la stratégie et si l’analyse critique proposée par l’établissement est pertinente. Si nous voulons vraiment pratiquer une évaluation exigeante et adaptée à l’autonomie de nos établissements, et pas simplement discourir sur l’autonomie, c’est dans ce type de direction qu’il faut aller ; sinon, c’est inévitablement le retour à la normalisation et à une vision centralisée de l’ESR. En d’autres termes, il ne revient pas à un processus d’évaluation ou aux experts d’un comité d’évaluation d’imposer quels doivent être les indicateurs permettant d’apprécier un établissement, même si JM Catin pense que les quelques indicateurs mentionnés ci-avant sont judicieux. Soit c’est l’établissement qui les propose lui-même car ils s’imposent, selon lui, pour évaluer sa stratégie, soit c’est l’Etat qui les impose, en tant que mandataire de l’évaluation (cf point suivant).
Quant aux indicateurs nationaux permettant de comparer la performance des établissements et, éventuellement, de contribuer à la répartition des moyens, oui, il en faut certainement quelques-uns, à condition qu’ils soient robustes et fiables. C’est à l’Etat (au ministère) de les produire à partir d’un système national d’information dont nous avons déjà quelques bases pour ce qui concerne la formation, mais malheureusement pas grand-chose pour ce qui concerne la recherche, malgré des annonces successives depuis quelques décennies… Il y a par ailleurs différents classements internationaux qui, même avec des défauts indéniables, apportent des informations sur la performance globale des établissements. Il n’est peut-être pas utile de réinventer la roue… Quoiqu’il en soit, arrêtons de faire miroiter une évaluation qui va caractériser dans le détail notre ESR et permettre des comparaisons nationales. C’est une vision datée qui relève justement de l’approche centralisatrice et bureaucratique que dénonce l’auteur du blog !
Enfin, les rapports Hcéres d’évaluation des établissements n’évaluent pas la stratégie, qui relève de l’autonomie de l’établissement, mais son opérationnalisation et les résultats qui en découlent. Le référentiel actuel, appliqué dans l’attente de la réforme qui nous est annoncée pour la vague C d’évaluation de 2022-2023, insiste sur les deux notions clés du positionnement et de la stratégie de l’établissement. Il est demandé aux établissements de se situer dans leur environnement local, national et international, de préciser l’ambition globale qu’ils portent et de décrire la stratégie qu’ils ont choisie pour y parvenir. L’évaluation proposée par ce référentiel ne consiste pas à porter un jugement sur cette stratégie mais à vérifier que l’établissement s’est donné les moyens de la mettre en œuvre et qu’il est capable de faire la démonstration de l’efficacité de cette stratégie par des résultats pertinents. Il s’agit donc de respecter les choix politiques de l’établissement autonome, et d’exiger qu’il fasse la preuve que cette stratégie ne relève pas simplement d’un discours dépourvu d’actes le soutenant. On est alors dans une approche d’assurance qualité qui permet d’apprécier le niveau de responsabilité de l’établissement et la performance de son pilotage.
Ces positions me donnent toujours l’impression qu’il y a au fond deux grandes philosophies qui s’affrontent dans l’ESR.
La première consiste à analyser l’établissement un peu comme une boite noire, uniquement au travers de ses productions, avec l’unique ambition d’en apprécier les performances sans jamais se préoccuper des dynamiques internes qui contribuent à son développement. La priorité est d’identifier les défaillances et les réussites à partir d’une grille d’analyse issue d’un modèle normatif.
La seconde approche consiste à évaluer chaque établissement relativement à son histoire, à son territoire et à sa propre trajectoire. La finalité est toujours d’améliorer les performances de l’établissement mais l’analyse porte sur les processus internes de pilotage de l’établissement, la priorité étant d’aider l’établissement et ses forces vives à améliorer le pilotage des différentes activités. L’évaluation trouve alors tout son sens comme un rouage de l’assurance qualité au service de l’établissement dans l’esprit des standards européens.
La seconde approche est peut-être moins spectaculaire et tranchante mais à mes yeux, elle est indéniablement plus utile aujourd’hui pour une progression globale de notre ESR. Ce n’est que lorsque les établissements auront durablement démontré leur capacité à maîtriser leur développement qu’une autre philosophie de l’évaluation pourra devenir plus bénéfique.