Cette brève s’adresse à Mme Coralie CHEVALLIER, future présidente du Hcéres.
L’analyse de votre audition au Sénat me conduit à quelques constats et réactions.
Tout d’abord, il est troublant de constater que, comme vos prédécesseurs à la présidence du Hcéres, vous considérez que le Hcéres n’est pas parvenu à installer un processus d’évaluation satisfaisant. Vous soulignez, notamment, la nécessité de « réinterroger le sens de l’évaluation » pour répondre aux nombreuses critiques de la communauté de l’ESR. Comme vos prédécesseurs, vous considérez qu’il est nécessaire de simplifier les procédures d’évaluation, d’adapter et de personnaliser les évaluations en fonction des spécificités des entités évaluées et « d’en augmenter la pertinence ».
La question centrale de la philosophie de l’évaluation
Votre volonté affichée d’un travail en profondeur pour mieux comprendre les rouages de l’évaluation en vous immergeant pleinement dans le Hcéres, constitue un élément favorable. Je partage globalement votre analyse mais si vous n’envisagez pas, au-delà des mots-valise « simplification » et « personnalisation », un réel changement de philosophie de l’évaluation, je crains que le Hcéres aboutisse aux mêmes résultats.
Faute d’avoir adopté une philosophie revisitée de l’évaluation,vos prédécesseurs se sont enlisés dans le mythe d’une évaluation normative fortement axée sur la mesure de la performance et sensée guider un pseudo processus de régulation qui n’est en fait, le plus souvent, qu’une reconduction des situations acquises. Un autre enlisement majeur, celui de l’exhaustivité, a consisté à vouloir évaluer toutes les entités de notre ESR et toutes les activités de ces entités notamment au niveau des formations et des unités de recherche, ce qui est en fait la source principale de la surcharge de travail fréquemment dénoncée.
Comme je l’ai évoqué à maintes reprises dans ce blog, il s’agit de poser la question du mandat de l’évaluation et, en particulier, de ses objectifs et de sa philosophie globale. Se centrer sur la mesure de la performance pour guider la régulation du système ne peut que conduire à une surcharge de travail pour les entités évaluées, liée à la quantité d’informations à collecter et à une défiance globale de la communauté, qui perçoit à juste titre la démarche comme stigmatisante et ne prenant pas suffisamment en compte les spécificités des entités évaluées.
La performance des établissements, des unités de recherche et des formations, nous la connaissons déjà largement et elle devrait relever pour une grande partie d’un système d’information de l’Etat, digne de ce nom. Ce n’est pas la mission première d’un processus d’évaluation, qui contrairement à ce que beaucoup affirment, ne permet pas de collecter une information globale pertinente, complète et fiable, sauf à le réduire à une comptabilité contraignante et source des contestations actuelles.
Vous affirmez l’objectif d’une évaluation utile permettant de faire progresser globalement notre ESR. C’est évidemment l’objectif fondamental. Les évaluations actuelles, même en les simplifiant (objectif affiché depuis la création du Hcéres et jamais atteint), n’apportent pas un levier de progrès pour les entités évaluées car elles ne les responsabilisent pas suffisamment. Elles ne s’intègrent pas réellement dans une dynamique propre de progrès des entités.
J’ai proposé dans une récente série d’articles un référentiel d’évaluation institutionnel (Article 28) qui porte un changement fondamental de philosophie de l’évaluation. Cette approche n’est pas qu’un changement de libellé mais une réelle mutation de la posture de l’évaluateur s’appuyant sur les standards de l’assurance qualité. C’est une réelle simplification, très exigeante pour l’établissement et axée sur l’analyse de sa capacité à démontrer lui-même la qualité du diagnostic de ses faiblesses et de ses démarches de progrès.
Cette approche peut facilement s’adapter pour l’évaluation des unités de recherche et des formations. J’ai proposé par ailleurs une réelle simplification dans ce domaine, en n’évaluant que certaines unités de recherche en accord avec l’établissement et en pratiquant une approche par échantillonnage pour les formations, comme c’est le cas de certaines agences européennes.
C’est une révolution du mode de pensée et d’action en interne pour les acteurs du Hcéres. C’est un changement en profondeur qui nécessite d’être largement explicité auprès du ministère et des établissements, mais c’est bien la mission d’une autorité indépendante telle que le Hcéres que d’innover.
Quelques réactions plus ponctuelles
Vous envisagez une simplification par une adaptation du référentiel aux spécificités de l’établissement en évoquant notamment les pratiques du Hcéres de l’évaluation des organismes et la mise en place d’une conférence de concertation en amont. C’est un sujet très délicat car il est fondamental de pouvoir garantir les mêmes règles et le même référentiel pour toutes les évaluations. Il peut y avoir un recueil des attentes des établissements, comme cela est pratiqué actuellement, mais le comité doit rester maître de leur application. N’oublions pas que le Hcéres est uniquement en charge de la définition de la méthode et de la bonne conduite de l’évaluation et qu’il s’agit d’une évaluation par les pairs. Les règles qui leur sont demandées d’appliquer doivent être constantes. Quant à l’évaluation des organismes, elle confine malheureusement à la complaisance dans un certain nombre de cas. Le référentiel que j’ai proposé présente, par construction, une forme d’autoadaptation, car il analyse la capacité de l’établissement à démontrer la qualité de sa stratégie et de son pilotage ce qui permet de prendre en compte toutes ses spécificités. C’est essentiel pour s’assurer du progrès des établissements dans le contexte d’une progression de leur autonomie.
Pour ce qui concerne la collecte de données et indicateurs, on peut se demander en quoi pourrait consister une étape de restitution à l’établissement de données qui résulteraient de l’évaluation, que vous proposez dans votre audition. C’est une illusion d’imaginer que l’évaluation, avec ses contraintes de mise en œuvre, puisse produire des données nouvelles fiables et pertinentes pour l’établissement. L’évaluation doit être avant tout focalisée sur l’analyse du système d’information dont l’établissement s’est doté pour contribuer à la conduite de son projet stratégique. C’est à l’établissement d’en démontrer la pertinence et au comité de juger de sa qualité. C’est justement en voulant transformer le Hcéres en système d’information normalisé que vos prédécesseurs ont généré une surcharge de travail inutile et inacceptable pour les établissements, sans parvenir pour autant à constituer un outil d’analyse quantitative satisfaisant. C’est malheureusement le défaut de notre ESR de rechercher un illusoire outil de quantification global de la performance, alors qu’on ne dispose même pas d’un outil minimum de caractérisation de notre ESR. C’est perdre beaucoup d’énergie et passer à côté de l’essentiel de l’analyse de la qualité du pilotage que d’imaginer que le processus d’évaluation puisse conduire à produire un système d’analyse quantitative de la performance.
Vous avez également indiqué votre intention de travailler sur le calendrier de l’évaluation afin de rechercher la meilleure convergence possible entre différents paramètres (contractualisation, mandat des équipes de direction …). C’est louable mais malheureusement très difficile à réaliser. Il faudrait tout d’abord que l’Etat arrête de procéder à des réformes permanentes qui conduisent à changer les calendriers et focus des évaluations, avant même que l’impact de ces réformes dans la durée puisse être analysé… Comme je l’ai développé dans un précédent article, il y a un risque à trop vouloir focaliser l’évaluation sur les processus de contractualisation. C’est sans doute pratique pour l’Etat, mais ce n’est guère bénéfique pour l’établissement, notamment dans l’exercice de son autonomie. J’ai enfin un désaccord profond sur l’idée de synchroniser l’évaluation sur le mandat des équipes de direction. Chaque équipe de direction porte un projet et on peut être tenter d’en analyser les résultats mais ce serait une erreur majeure de le faire car cela focaliserait l’évaluation sur la présidence de l’établissement. L’évaluation porte sur l’établissement dans son ensemble et sur sa dynamique collective globale au-delà des inflexions induites par les différentes équipes de direction. Ce serait tout simplement négliger la contribution de chaque acteur de l’établissement qui est le moteur essentiel de ses progrès.
La recherche du concept d’assurance qualité dans les discours de candidature à la présidence du Hcéres conduit inévitablement au même constat auquel vous n’avez pas échappé : ce concept n’existe pas ! C’est quand même un constat qui pose question car, faut-il le rappeler, le Hcéres est une institution inscrite au registre officiel de l’espace européen de l’enseignement supérieur (EQAR : European Quality Assurance Register). Ce registre européen de l’assurance qualité reconnait les agences européennes d’assurance qualité conformes aux standards européens (ESG) qui constituent le socle de la mobilité étudiante en Europe et au-delà. Ce terme d’assurance qualité est malheureusement un véritable tabou de notre ESR du fait d’une ignorance tenace des standards européens et aussi de nombreuses confusions avec certaines dérives de l’industrie dans le domaine de la qualité. Cette méconnaissance des fondements de l’assurance qualité et des leviers qu’elle peut apporter à la conduite des établissements est une des raisons majeures des errements des méthodes d’évaluation françaises depuis la création de l’Aeres puis du Hcéres.
Conclusion
Depuis quatre ans, ce blog, indépendant de tout réseau et lobby, propose une vision de l’évaluation inscrite dans une approche positive de l’assurance qualité. Je m’adresse donc à vous, Madame la Présidente, en toute liberté, n’ayant rien à promouvoir, sinon quelques convictions, fruit d’un long investissement dans le domaine de l’évaluation et d’un profond attachement au développement de nos universités.
La mission que vous allez entamer est particulièrement complexe. De nombreux acteurs de l’ESR se considèrent en capacité d’évaluer alors que l’élaboration des méthodes d’évaluation est un véritable défi pour prendre en compte la situation de l’ESR analysé et contribuer à de réelles voies de progrès. Vous allez d’ailleurs être rapidement exposée à de multiples sollicitations d’acteurs qui conçoivent avant tout l’évaluation comme un outil de promotion de leur secteur d’activité. Vous allez devoir faire face aux approches de court terme qui réduisent l’évaluation à un outil de classement et de régulation, quand ce ne sont pas des vieux démons d’une centralisation rassurante et excessive bien loin des enjeux du développement de l’autonomie des établissements. Une évaluation au service du progrès des établissement est un investissement de long terme, caractéristique fondamentale de l’assurance qualité.
Cette lettre peut vous paraitre bien prétentieuse et excessive dans ses analyses. Le changement qui vous est proposé est pourtant nécessaire si vous ne voulez pas, comme vos prédécesseurs, être condamnée à réduire votre action à de la communication sur des pseudo réformes qui conduisent toujours aux mêmes constats et qui finissent par poser, de façon récurrente, la question de la réelle utilité du Hcéres….