Le Hcéres traverse une période de fortes turbulences avec les tentatives de suppression portées principalement par les députés LFI et RN dans le cadre du projet de loi de simplification de l’économie, en cours d’examen. Il faut bien évidemment espérer que cette suppression ne soit pas retenue dans le contenu final de la loi. En novembre dernier, j’avais posé, dans une brève de ce blog, la question de l’arrêt du Hcéres en soulignant que ce n’était pas une solution souhaitable car elle placerait notre enseignement supérieur en marge de l’Europe. Mais j’avais également alerté la communauté sur la nécessité d’envisager une refonte en profondeur de l’approche de l’évaluation pour sortir d’une situation qui ne satisfaisait aucune des parties prenantes.
Des responsabilités partagées
L’épisode actuel confirme les craintes exprimées à diverses reprises dans ce blog en lien avec les mauvais choix opérés par les présidents successifs du Hcéres. Ces derniers n’ont pas voulu engager une réflexion sur une refonte majeure des fondements de l’évaluation en réinscrivant celle-ci dans les principes des standards européens (ESG). Beaucoup de discours et de communication pour promouvoir l’objectif d’une évaluation normative tous azimuts, portant le mythe de la quantification exhaustive des performances de l’ESR en vue de sa régulation, sans jamais parvenir à apporter des réponses pertinentes et surtout utiles pour le développement des établissements. C’est cette vision de l’évaluation qui a conduit aux rejets récents de l’évaluation des formations, et plus globalement, à une critique forte de l’action du Hcéres. Il y a là une lourde responsabilité qu’il faut rappeler….
A la décharge du Hcéres, le Ministère a largement contribué à cette situation en privilégiant des demandes focalisées sur l’analyse quantitative des résultats pour alimenter directement une hypothétique refonte des processus d’attribution des moyens aux établissements. Cette approche très comptable et l’incapacité à concevoir l’évaluation comme un moteur interne de progrès des établissements en vue de développer leur autonomie ont conduit à une réelle défiance vis-à-vis de l’évaluation.
Les équipes de direction des établissements et les conférences, les représentants (FU et CDEFI), ne sont pas sans responsabilité non plus. Au-delà d’un discours convenu, l’évaluation est encore plus souvent perçue comme une obligation contraignante que comme un outil de progrès interne des établissements. Les présidents et directeurs appréhendent encore trop souvent l’évaluation comme un risque plutôt qu’une opportunité et les deux conférences ne semblent pas avoir investi dans une réflexion approfondie sur l’évaluation qui serait pourtant très utile pour notre ESR. J’y reviendrai prochainement plus en détail dans une nouvelle brève.
Une crise regrettable mais qui permet de mettre en évidence quelques éléments utiles
Les nombreuses déclarations faites ces dernières semaines ont permis de rappeler le contexte européen du Hcéres, agence d’assurance qualité inscrite au registre officiel de l’espace européen de l’enseignement supérieur (EQAR : European Quality Assurance Register). Supprimer le Hcéres conduirait à marginaliser notre ESR dans le contexte européen. Cette suppression constituerait notamment une difficulté majeure pour la mobilité internationale des étudiants et la reconnaissance de nos diplômes en Europe. Ce serait un revirement historique, alors que la France a été un des promoteurs de la création et de la mise en œuvre des standards européens (ESG) avec trois structures qui se sont succédées depuis 1984 (CNE, AERES, HCERES).
Cette crise est également l’occasion de rappeler que l’évaluation est consubstantielle au développement de l’autonomie des établissements. L’évaluation est en effet l’outil majeur conduisant les établissements à rendre des comptes sur l’exercice de leur autonomie. C’est justement cette dimension qui n’est pas correctement exploitée, l’évaluation pratiquée par le Hcéres se focalisant sur l’analyse des résultats sans véritablement mettre en responsabilité les établissements pour démontrer la pertinence et l’efficacité des choix stratégiques qu’ils ont opérés dans le cadre de leur autonomie. Il est heureux que ce sujet majeur de la relation évaluation/autonomie soit remis en avant, même si on peut regretter que les acteurs de l’ESR n’en tirent pas toutes les conséquences pour une réforme substantielle de l’évaluation.
Cette crise aura enfin permis une prise de conscience sur le sujet de la distance nécessaire entre évaluation et décision. Ce blog a évoqué à maintes reprises les risques d’une trop grande proximité entre l’évaluation et la décision (cf article 5). L’évaluation est évidemment utile à la décision mais elle ne peut pas en constituer l’outil unique et encore moins intégrer des mécanismes de régulation directement reliés aux avis émis par les comités d’experts. L’évaluation doit être exigeante et clairement identifier les forces et faiblesses de l’entité évaluée mais elle doit avant tout s’inscrire dans un processus de progrès de l’établissement, en jugeant de sa capacité à démontrer lui-même la réussite effective de sa stratégie (cf article 28). Revenir sur les dispositifs contestés de l’évaluation des formations ne suffira pas, c’est un changement de paradigme qui s’impose. Il serait également souhaitable que le ministère arrête de considérer le Hcéres comme une annexe mobilisable à chaque apparition de nouvelles structures et problématiques de notre ESR, pour des missions relevant souvent de l’IGESR. Le Hcéres a des missions définies par la loi et doit rendre des comptes aux parlementaires, ce n’est pas un opérateur du ministère.
L’objectif de simplification est au centre de toutes les réflexions et propositions, l’évaluation étant considérée comme trop chronophage et source d’une charge de travail excessive. Il convient cependant de bien distinguer les trois types d’évaluation réalisées par le Hcéres (établissements, formations, unités de recherche). Les enseignants chercheurs qui signent des pétitions pour dénoncer cette situation contestent majoritairement la charge de travail induite par l’évaluation des formations et de l’équipe de recherche dans lesquelles ils sont impliqués. Ce sont d’ailleurs ces deux volets d’activité qui représentent la charge la plus élevée en interne au Hcéres sur le plan humain et financier. L’évaluation institutionnelle, qui mobilise essentiellement les équipes de direction et les services centraux des établissements, n’échappe pas au besoin de simplification mais elle nécessite une approche différenciée car elle a un rôle pivot dans le cadre de l’autonomie des établissements et une simplification excessive pourrait en affaiblir considérablement la portée.
Des annonces intéressantes de la nouvelle présidente du Hcéres
Les déclarations récentes de la présidente du Hcéres expriment une volonté d’entreprendre, sans a priori et sans délai, un travail de réforme. La crise actuelle n’est pas étrangère à cette urgence mais l’approche adoptée et les pistes envisagées donnent le sentiment d’un engagement sincère, fruit d’une réelle réflexion.
Ces premières annonces dont on comprend bien la nécessité appellent toutefois quelques remarques car il ne faudrait pas que l’urgence conduise à un simple ripolinage qui ne porte pas un réel changement d’approche de l’évaluation pratiquée par le Hcéres, seul à même de répondre dans la durée au climat de défiance qui s’est installé.
L’évaluation des établissements :
Diminuer de moitié le référentiel de l’évaluation institutionnelle ne peut constituer un objectif en soi car si l’approche de l’évaluation ne change pas, il y aura le risque d’une dégradation de l’évaluation lié à un référentiel incomplet ou trop imprécis vis-à-vis de l’approche actuelle. C’est donc la question des fondements de l’évaluation, du mandat de l’évaluation qui est posée (cf article 5). Redéfinir le mandat de l’évaluation nécessite de proposer de nouveaux objectifs de l’évaluation pour préciser quelle philosophie de l’évaluation est envisagée. C’est une étape déterminante qui doit faire l’objet d’un consensus avec les entités évaluées et leurs tutelles, pour en garantir la bonne mise en œuvre. Le référentiel n’est ensuite que la simple traduction du mandat de l’évaluation. Sa taille dépend de la nature du mandat et pas l’inverse. Une seule simplification du référentiel sans cette étape préalable fait courir le risque d’une ambiguïté et d’une régression conduisant inévitablement à une nouvelle vague de contestation.
La présidente propose également l’individualisation des évaluations pour mieux tenir compte des spécificités des établissements. Prendre en compte les spécificités est effectivement un objectif pertinent mais le proposer au travers d’une individualisation de l’évaluation constitue une méthode dangereuse qui ouvre la porte à de multiples demandes des établissements, difficiles à satisfaire. Il pourrait même y avoir un risque de manque d’équité des différentes évaluations et des tentatives d’affaiblir la portée de l’évaluation en la focalisant sur des problématiques favorables à l’établissement ou marginales. Ce sujet pose à nouveau la question du mandat de l’évaluation et des fondements des analyses réalisées. La seule façon de prendre en compte les spécificités de l’établissement sans tomber dans les travers d’une individualisation biaisée consiste à analyser la dynamique interne de l’établissement à partir de son propre diagnostic de ses forces et faiblesses, de ses choix stratégiques et de son autoanalyse de ses résultats. On a alors un référentiel qui intègre intrinsèquement la prise en compte des spécificités de l’établissement sans s’exposer à des marchandages de l’individualisation. Cela suppose une transformation de la méthode actuelle qui est fortement normative et pas assez exigeante sur la responsabilité de l’établissement à démontrer ses capacités de pilotage stratégique et opérationnel. L’article 28 de ce blog a proposé un référentiel qui permet à la fois une très forte simplification et une prise en compte implicite des spécificités de l’établissement mais il suppose un changement de culture de l’ensemble des parties prenantes de l’évaluation. Il représente une diminution de plus de la moitié du référentiel actuel (passage de 18 références et 146 critères à 8 références et 40 critères), mais il est beaucoup plus exigeant vis-à-vis de la qualité de l’autoévaluation réalisée par l’établissement. Il peut aussi constituer une étape intéressante pour le futur vers une évaluation centrée sur l’analyse de la politique d’assurance qualité des établissements (forme la plus moderne et la plus adaptée pour des établissements maitrisant leur autonomie).
L’annonce d’un triple objectif de « l’individualisation », de la simplification et du maintien de la mesure de la performance des activités ne m’apparait pas réaliste. Ce triple objectif fait courir le risque d’un compromis inconfortable et peu efficient, conduisant à des rapports édulcorés. L’analyse de la dynamique interne de chaque établissement avec une exigence forte sur la capacité à en démontrer l’efficacité et l’efficience (cf article 28) me parait au contraire un outil intéressant pour apprécier la performance globale de l’établissement et sa dynamique de progrès. Il revient ensuite à un système national d’information ou à des analyses transversales thématiques comme celles proposées par l’OST, de permettre des analyses plus fines par activité. Attention par ailleurs au couplage entre évaluation et contractualisation, les engagements dans le cadre du contrat d’objectifs de moyens et de performances (COMP) ont vocation bien évidemment à se retrouver naturellement comme des éléments saillants de l’autoévaluation mais il n’est pas souhaitable de réduire l’évaluation externe à l’analyse des résultats du contrat (cf brève 16 et article 21), même si ça répond aux attentes du ministère.
Il conviendra d’être également prudent sur l’objectif annoncé d’un délai limité à un an entre le début de l’autoévaluation et la livraison du rapport d’évaluation externe par le Hcéres. Cet objectif est tout à fait louable mais quelques éléments incontournables devront être pris en compte. Les règles du jeu (mandat de l’évaluation, référentiel et procédure) doivent être clairement établies en amont. L’autoévaluation est une étape très importante pour l’établissement qui demande du temps de réflexion, de mobilisation, de réalisation et de diffusion en interne (cf articles 16 et 17). Pour des établissements tels que les universités, c’est une période de 4 à 6 mois qui est nécessaire pour réaliser une autoévaluation de qualité. L’évaluation externe demande également des temps d’élaboration et de maturation incompressibles et il est difficile d’anticiper la composition des comités d’experts avant d’avoir pris connaissance des rapports d’autoévaluation. Il y a certainement des marges de progrès en individualisant les calendriers de chaque établissement plutôt qu’un planning commun par vague mais, là aussi, une simplification excessive pourrait s’avérer contreproductive.
L’évaluation des formations et des unités de recherche :
L’objectif de simplifier l’évaluation des formations et des unités de recherche pose la même question que pour les établissements, de la reformulation du mandat de l’évaluation au-delà d’une simplification des référentiels. Dans les deux cas, le défi sera de mieux articuler l’évaluation de ses entités avec la politique d’établissement car les référentiels actuels (surtout celui de la recherche qui considère trop les unités de recherche comme des entités isolées) ne posent pas suffisamment la question de la déclinaison et de l’impact concret des choix et des actions phares de la politique d’établissement. Il conviendra donc de mieux distinguer les apports de la politique d’établissement et ce qui relève des spécificités et de l’autonomie interne de l’entité évaluée. Comme pour les établissements, le défi est de passer d’une culture d’une évaluation normative axée sur l’analyse des performances, à une analyse du pilotage et de ses résultats, en mettant l’entité évaluée en responsabilité de faire la démonstration de sa propre dynamique.
La simplification envisagée devra également aborder la problématique de la coordination de l’évaluation des formations et des unités de recherche avec celle de l’établissement. Si l’objectif est de réduire significativement les délais de mobilisation interne pour l’établissement, la solution qui est la plus simple est d’opérer les trois types d’évaluation en parallèle. Cette solution nécessite d’avoir une bonne articulation et une même philosophie des référentiels (cf supra). A l’issue des évaluations, une mise en regard des résultats obtenus permettra de produire une analyse de la cohérence d’ensemble de l’établissement, exercice particulièrement intéressant pour identifier la réelle dynamique d’un établissement et ses leviers de développement. Cette solution permettrait d’éviter les « usines à gaz » mises en place dans les dernières vagues qui ne constituent pas vraiment un idéal de simplification (la simple lecture des méthodes proposées laissait perplexe…).
Pour les formations, le contexte des ESG focalise logiquement l’évaluation sur l’accompagnement de l’étudiant depuis sa recherche de formation jusqu’à son insertion professionnelle. L’objectif annoncé d’opérer un échantillonnage pour éviter la multiplication des évaluations externes constitue un outil pertinent déjà proposé dans ce blog (cf article 10 et 11). Cette méthode peut effectivement apporter une simplification conséquente, mais elle nécessite quelques précautions. Les établissements devront impérativement valider la composition de l’échantillon et accepter que cet échantillon soit considéré comme représentatif de l’ensemble de l’offre de formation. Cette méthode est en fait très exigeante pour l’établissement qui devra veiller à avoir une offre de formation homogène. Il est sans doute intéressant d’envisager un échantillon spécifique à chaque grand domaine de formation car il est rare d’avoir une situation globalement homogène, notamment pour les universités de grande taille. Attention toutefois de ne pas aboutir à une simplification excessive qui conduirait l’établissement à n’autoévaluer que les formations retenues dans l’échantillon faisant l’objet d’une évaluation externe. Il est en effet très important pour l’établissement de procéder à une autoévaluation de l’ensemble de ses formations pour maintenir une dynamique de progrès interne à chaque formation et permettre à l’établissement d’en exploiter les résultats pour son propre processus d’assurance qualité. Il y a un enjeu fort à réaliser cette approche par échantillonnage conjointement au changement de référentiel et de mandat de l’évaluation des formations (cf supra). C’est à cette à cette condition qu’il y aura une réelle simplification et une nouvelle dynamique d’adhésion à une évaluation utile à l’établissement.
Pour l’évaluation des unités de recherche, l’analyse est quasiment identique que pour les formations. Au-delà de la simplification du référentiel, c’est le changement de mandat de l’évaluation qui va constituer l’élément clé. Sortir de la focalisation obsessionnelle sur la mesure de la performance (la plus part du temps déjà connue par ailleurs) pour mieux analyser le pilotage stratégique et scientifique de l’unité de recherche pourrait constituer la réelle plus-value des futures évaluations : comment le pilotage de l’unité s’articule avec la politique recherche de ses tutelles, quels positionnements et stratégies scientifiques, quelle capacité à auto-évaluer les performances de l’unité, quel recrutement, accueil, et surtout accompagnement du parcours de ses chercheurs, quelle politique de ressourcement des thématiques de recherche… ?
La proposition de ne pas évaluer toutes les unités de recherche rejoint les analyses de ce blog (cf article 10). Certaines unités maitrisent déjà des processus d’évaluation interne et externe via des démarches qualité internes et des conseils scientifiques externes (Scientific Advisory Boards). Ces unités pourraient effectivement, sur proposition de leurs tutelles, ne pas faire l’objet d’une évaluation par le Hcéres à condition de démontrer la qualité et l’indépendance de leur propre système d’évaluation externe. Les modalités de ces simplifications devront être clairement explicitées afin d’éviter tout processus d’échappatoire à l’évaluation qui ne serait pas dans l’intérêt des unités. Il conviendra notamment de s’assurer au niveau des établissements que les outils de pilotage de la recherche permettent la maitrise de ces processus d’autonomie. Il pourrait y avoir une expertise technique spécifique, menée en amont par le Hcéres, pour valider les propositions de dérogation.
La proposition d’un format libre des documents résultants de l’autoévaluation pour les unités faisant l’objet d’une évaluation externe par le Hcéres m’apparait moins convaincante car elle peut rapidement dégrader la qualité et l’homogénéité des évaluations réalisées. Encore une fois ; si le mandat de l’évaluation fait l’objet d’un réel changement d’approche, l’autoévaluation demandée aux unités deviendra plus stratégique et synthétique, ce qui autorisera sans difficulté l’utilisation d’un référentiel et d’un format du rapport d’autoévaluation uniques. Quant aux données de performances fournies par l’unité, le point fondamental sera de vérifier que l’unité est bien en capacité de fournir les données clés (quantitatif et/ou qualitatif) prouvant la pertinence de ses choix et analyses critiques.
Conclusion
La crise actuelle et les nombreuses déclarations qui l’accompagnent, montrent combien il persiste encore dans notre ESR une incompréhension des fondements et des usages possibles de l’assurance qualité, toujours perçue au travers de ses pires usages dans le monde industriel.
Si la proposition de suppression du Hcéres est fortement contestable et représenterait une régression pour notre ESR, certaines critiques formulées sont légitimes et doivent conduire à des changements fondamentaux de méthode qui ont beaucoup trop tardé. Attention toutefois à un effet de balancier qui, dans l’urgence d’une simplification tous azimuts, conduirait à marginaliser et affaiblir le rôle de l’évaluation, voire à en dégrader la qualité.
Ce n’est pas une simplification qui est nécessaire mais un véritable changement de philosophie à même de redonner du sens à l’évaluation et d’apporter un réel bénéfice aux établissements dans la perspective du renforcement de leur autonomie. Il est tout à faire possible de le faire en procédant dans le même temps à une réduction significative du budget du Hcéres, ce qui serait légitime dans le contexte actuel des déficits budgétaires de l’Etat. Si le Hcéres passe à côté de cette révolution, cela ne fera qu’encourager ses détracteurs et autant le supprimer tout de suite.
Il est nécessaire de répondre sérieusement à cette crise mais il serait très dangereux d’agir dans l’urgence et la précipitation. La tâche qui est demandée au Hcéres est complexe et d’autant plus difficile qu’elle nécessite un consensus des parties prenantes sur les solutions proposées. L’urgence est donc de laisser du temps au Hcéres et d’exiger un réel changement de philosophie, source de simplification, pour ne pas aboutir à une évaluation au rabais.