1 : Une expression confuse de l’Etat
Depuis la création de l’Aeres en 2006, l’Etat, au travers des différentes lois et de différents textes réglementaires, n’a pas été très précis au niveau de la définition du mandat des trois types d’évaluation (institutionnelle, recherche, formation). Curieusement, c’est le code de la recherche qui définit les missions du Hcéres alors que son spectre d’intervention couvre l’ensemble des activités d’enseignement supérieur et de recherche (ESR). On peut y voir une traduction de la focalisation excessive de l’évaluation sur la recherche, caractéristique de notre ESR.
Le code de la recherche précise essentiellement le périmètre d’intervention (établissements, unités de recherche et formations). Au niveau des objectifs, il fait référence aux « meilleures pratiques internationales de l’évaluation » et il rappelle quelques principes de référence (transparence, objectivité, débat contradictoire, égalité de traitement). Les grandes orientations et la philosophie de l’évaluation ne sont pas vraiment décrites si ce n’est au travers d’attentes spécifiques concernant l’intégrité scientifique, l’égalité entre les femmes et les hommes, sujets certes importants, mais qui peuvent paraître anecdotiques dans la définition du mandat national de l’évaluation. Au niveau de la destination des résultats de l’évaluation, la contractualisation pluriannuelle pilotée par le ministère est mentionnée ainsi que la contribution à « la réflexion stratégique des acteurs de l’enseignement supérieur, de la recherche et de l’innovation » et à «l’élaboration et la mise en œuvre des politiques d’établissements ».
Le libellé global du mandat reste donc assez vague car l’expression de l’Etat dans ce domaine est assez confuse. Les textes de référence intègrent le plus souvent des problématiques de pilotage de l’ESR, des dimensions techniques relevant des procédures d’évaluation sans véritablement dégager une philosophie claire de l’évaluation. C’est en fait les agences elles-mêmes, l’Aeres puis le Hcéres, qui ont été amenées à préciser le mandat de l’évaluation. Cependant, aucun texte de référence n’a été produit par ces deux entités et ce sont les référentiels surtout au niveau de leur introduction qui apportent des éléments de réponse dans ce domaine.
2 : Un bref historique des évolutions réalisées par l’Aeres puis le Hcéres
Pour l’évaluation institutionnelle, quatre étapes successives peuvent être identifiées :
A la création de l’Aeres, c’est une approche plutôt centrée sur la qualification et la comparaison des résultats des activités des institutions évaluées qui a été pratiquée. Cette approche intégrait également des démarches de vérification d’un ensemble de dispositifs et d’éléments imposés par la réglementation en place. L’approche était donc assez normative et relevait d’une part, d’une analyse de la performance et, d’autre part, d’une démarche de vérification de conformité.
L’approche s’est ensuite progressivement focalisée sur l’analyse de la trajectoire propre de chaque institution à partir d’un référentiel plus générique définissant simplement les grandes orientations et attentes du système français d’ESR. L’évaluation prenait ainsi en compte les objectifs stratégiques que l’institution s’était fixés, sans juger de leur légitimité, et s’attachait essentiellement à analyser les moyens mobilisés et les résultats obtenus ainsi que leur évolution au cours de la période de référence de l’évaluation.
A partir de la campagne d’évaluation 2017-2018, une inflexion majeure a été engagée, prenant appui sur la révision des standards européens (ESG) opérée en 2015. Il s’agissait tout d’abord de mieux analyser la trajectoire de chaque établissement avec une focalisation accrue sur la politique de la qualité portée par sa gouvernance. Cet objectif est parti du constat que les politiques de la qualité préconisées par les ESG étaient encore peu structurées dans les institutions françaises, notamment au niveau de leur portage politique par les équipes de direction. Il ne s’agissait pas d’exiger une approche uniforme et normalisée des pratiques de la qualité qui peuvent prendre des formes très variées, mais d’inciter les établissements, d’une part, à mieux formaliser les liens de ces pratiques avec la conduite opérationnelle de la stratégie de l’établissement et, d’autre part, à mieux maîtriser le cycle fondamental de la qualité tel que défini par les travaux de Deming (roue de Deming).
L’évaluation ciblait une analyse systématique en quatre étapes : l’identification des objectifs stratégiques de chaque domaine d’activité ; l’identification des outils de mise en œuvre associés ; le suivi des résultats obtenus et de la trajectoire parcourue pour la période de référence de l’évaluation ; l’explicitation des actions de remédiation éventuellement engagées.
Par ailleurs, le référentiel a proposé à partir de cette vague une modélisation de la conduite d’un établissement à partir de cinq dimensions clés : le positionnement institutionnel, la stratégie institutionnelle, l’organisation interne de l’établissement, la gouvernance et le pilotage. J’aurai l’occasion de revenir sur cette modélisation qui est un élément majeur pour des établissements autonomes.
Plus récemment, le référentiel d’évaluation des universités de la vague B 2020-2021, avant le changement de direction du Hcéres, a marqué quelques inflexions dans la suite logique de ces dernières évolutions. La focalisation sur la responsabilité de l’établissement a été accentuée en considérant qu’il revient à l’établissement de faire la démonstration de l’efficacité de son action dans tous les domaines couverts par le référentiel. C’est donc globalement cette capacité à se situer par l’analyse de son positionnement, à exposer une stratégie et à démontrer sa mise en œuvre et son efficacité qui constitue le cœur de l’évaluation. Formulé autrement, on se rapproche d’une évaluation de la politique qualité même si l’évaluation ne se limite pas à cet objectif et reste largement axé sur l’analyse des différentes activités de l’établissement. Par ailleurs, le référentiel a été formulé de manière beaucoup plus synthétique avec seulement 15 références pour lesquelles il est demandé d’individualiser l’autoévaluation réalisée par l’établissement ainsi que les analyses du rapport d’évaluation.
3 : La question de l’adéquation du mandat avec la situation de l’ESR français en matière d’assurance qualité
C’est une question fondamentale car si le mandat fixe des horizons trop éloignés de la réalité opérationnelle des établissements, ou des horizons exclusivement centrés sur l’idée de la sanction et du classement, alors il y a un risque majeur de rejet des résultats de l’évaluation dans le premier cas et de défiance dans le deuxième.
Même si les situations sont très différentes d’une université à l’autre, il y a incontestablement un faisceau d’initiatives récentes qui contribuent au développement des approches qualités. De nombreuses universités ont créé des cellules souvent intitulées « aide au pilotage ». Les termes de « politique de la qualité » ou « d’assurance qualité » sont encore peu présents mais un effort significatif de recrutement de cadres dans le domaine de la qualité est en cours, ce qui montre de réelles avancées même si on peut regretter la faible présence dans les équipes politiques de missions identifiées dans ce domaine. Le réseau Relier, qui fédère les acteurs de la qualité des établissements, fait par ailleurs un travail remarquable d’animation et de formation.
Globalement, les marges de progrès des universités sont importantes pour aboutir à une vision plus politique et stratégique de la qualité. Des difficultés sont encore très présentes dans l’explicitation d’un positionnement et d’une stratégie d’établissement et surtout dans la capacité à stabiliser une démarche stratégique et à la traduire en réalité d’actions cohérentes au quotidien, cœur des politiques de la qualité. La multiplication des appels à projets de toutes origines conduit malheureusement trop souvent les établissements à ce qu’on pourrait qualifier de stratégies d’opportunité plutôt que de véritables stratégies d’établissement inscrites dans la durée.
4 : L’évaluation institutionnelle : pourquoi faire ?
De nombreux acteurs de notre ESR souhaitent une évaluation sanction permettant un lien direct entre les résultats de l’évaluation et l’attribution des moyens de l’Etat aux établissements. On a parfois l’impression qu’il faudrait quasiment établir un logiciel qui assure automatiquement la ventilation des moyens en fonction des résultats. Ces approches sont, pour moi, révélatrices, de l’incapacité de l’Etat à expliciter un processus de décision clair et transparent, ce qui génère de la défiance conduisant certains à vouloir s’abriter derrière un mécanisme d’attribution en lien direct avec l’évaluation. Certes, l’évaluation est un outil d’aide à la décision, c’est évident, mais en faire le mécanisme principal est largement contreproductif pour le système. L’Etat dispose de nombreuses données et d’un processus de contractualisation avec des indicateurs propres à chaque contrat ; il a ainsi une base d’outils d’aide à la décision à laquelle l’évaluation peut apporter des informations complémentaires sans qu’il soit nécessaire d’aboutir à un objectif exclusif de la sanction.
La difficulté de ces approches est que l’évaluation n’est pas conçue comme un outil de l’assurance qualité vecteur de transformations à moyen et long terme de notre ESR. On ne se préoccupe que de l’usage externe des résultats de l’évaluation alors que la question première devrait être celle de l’impact interne, pour l’établissement, et de l’utilisation de l’évaluation comme un levier de progrès pour les établissements.
La vision qui a été développée ces dernières années au sein des deux départements en charge de l’évaluation institutionnelle du Hcéres (avant la présidence de T. Coulhon) a privilégié l’aide aux établissements sans pour autant occulter l’idée d’un outil d’aide à la décision de l’Etat mais sans en faire une priorité. Ainsi, la déclinaison du mandat de l’évaluation en cours d’application dans le cadre des universités de la vague B constitue donc une forme assez aboutie d’une évaluation résolument centrée sur le développement propre de l’établissement et dont l’objectif central est d’amener ce dernier à poser la question de la qualité de son pilotage stratégique. L’évaluation se veut ainsi en premier lieu utile à la gouvernance de l’établissement, elle revendique une dimension formatrice pour les établissements dans le but de les aider à confronter l’expression de leur stratégie et la qualité de sa mise en oeuvre dans le respect de leur autonomie. Au travers de cette forme d’évaluation, cette approche est également formatrice pour les pairs mobilisés dans les comités d’évaluation en les amenant à explorer des analyses plus stratégiques des dynamiques de développement plutôt qu’un travail plus conventionnel d’évaluation simple des résultats et performances à partir de critères normatifs.
Il y a là une vraie philosophie de l’évaluation, adaptée à la maturité actuelle des universités en matière d’assurance qualité, qui demande du temps pour porter ses fruits mais qui s’inscrit totalement dans l’idée que l’objectif majeur doit être de contribuer globalement à l’amélioration de notre ESR et non pas simplement à la recherche des « champions » que nous connaissons déjà par d’autres moyens… Maintenant, cette orientation caractérise les évaluations actuellement en cours des établissements de la vague B. Des nouvelles orientations ont été annoncées pour la rentrée prochaine par la présidence du Hcéres : nous ne manquerons pas d’analyser les futurs référentiels vague C, en espérant ne pas voir une régression s’opérer….