Introduction
Depuis la création de l’AERES en 2006 puis du HCERES en 2013, de nombreux établissements ont fait l’objet de trois évaluations institutionnelles successives, avec des méthodes qui s’appuient globalement sur les mêmes principes généraux. C’est notamment le cas des universités.
Il peut être intéressant de mettre en regard les trois rapports produits et de poser la question de leur exploitation aux niveaux des établissements, du HCERES et de l’Etat. Pour partir d’un exemple concret, j’ai choisi celui de mon université (Université Jean Monnet Saint Etienne). Je vais seulement analyser quelques résultats de ces évaluations qui permettent de dégager des problématiques communes à de nombreux établissements.
Plus globalement, au travers de cet exemple ce sont en fait les questions de l’impact effectif de ces évaluations et de leur suivi que je souhaite aborder. Ces sujets sont souvent négligés, voire même volontairement ignorés, car les changements d’équipes de direction des établissements et les transformations permanentes de notre système d’enseignement supérieur et de recherche (ESR) conduisent souvent à individualiser chaque évaluation, considérant de nouveaux contextes et enjeux. Pourtant, la mise en regard des rapports successifs montre souvent que les mutations ne sont pas si radicales et rapides qu’on pourrait l’imaginer et que certaines problématiques perdurent. N’y a-t-il pas là quelques enseignements à tirer, pour inciter les établissements à mieux exploiter leur évaluation, et pour faire évoluer les pratiques de l’évaluation ainsi que les outils de pilotage de l’Etat ?
L’exemple de l’université Jean Monnet Saint Etienne (UJM)
L’UJM a été évaluée en 2010, 2015 et 2021. Cette période de 15 années d’activité a été assez dense et un peu agitée avec, dans un premier temps, un engagement fort dans la structuration du site Lyon Saint Etienne, conduisant à un projet de fusion de l’UJM avec les universités Lyon1, Lyon3 et l’ENS de Lyon. Puis, plus récemment, un changement radical d’orientation a été opéré, avec l’arrêt du projet de fusion et le retour à une logique de coopérations avec le site Lyonnais. Contrairement à ce qu’on pourrait imaginer compte tenu de ce contexte stratégique très mouvant de l’UJM, les trois rapports permettent d’identifier une continuité de certaines problématiques, comme on peut le démontrer au travers de l’analyse de la stratégie de recherche de l’établissement.
Les trois rapports partagent le même constat de trois axes privilégiés de la stratégie recherche de l’UJM : surfaces-interfaces-optique / santé-sport-ingénierie / humanités-mutations-territoires. Cette continuité est saluée par les trois rapports, sans pour autant parvenir réellement à identifier une traduction concrète permettant d’apprécier les avancées liées à cette volonté stratégique.
Le rapport 2010 mentionne comme point faible « une trop grande dispersion des activités de recherche, nuisant à la visibilité de l’université » et le comité recommande à l’établissement de « poursuivre la mise en avant des « spécificités stéphanoises” adaptées aux demandes étudiantes et socio-économiques locales tant en formation qu’en recherche et soutenir les axes d’excellence qui donnent à Saint-Étienne une visibilité internationale ».
Dans le rapport 2015, le comité recommande de « rechercher un équilibre entre la rationalisation de la recherche et le maintien de quelques niches d’excellence à l’UJM en effectuant des choix stratégiques » et de « renforcer les liens entre l’UJM et les grandes écoles stéphanoises pour développer une recherche propre au site et non délocalisable, sur des niches reconnues ».
Enfin, dans le rapport 2021 le comité constate « qu’en complément des domaines thématiques structurants – ou émergents –, l’UJM-SE s’est efforcée de définir des niches de spécialité qui visent l’excellence à une échelle nationale voire internationale ». Le rapport accentue et précise en plusieurs points les recommandations des rapports précédents :
- « De ce fait, cette notion (thèmes structurants) reste insuffisamment objectivée du point de vue du comité, tant en termes de résultats scientifiques attendus ou obtenus, que d’analyse des forces dont dispose effectivement l’UJM-SE sur ce plan ».
- « Le comité encourage l’établissement à utiliser le cadre thématique prioritaire qu’il a défini pour orienter effectivement sa politique en matière de recherche (allocation de moyens, appels à projets, etc.) et il lui recommande d’analyser plus précisément sa contribution précise à ces thématiques ainsi que ses forces et ses faiblesses pour chacune d’entre elles ».
- « Le comité recommande à l’université de se doter d’outils d’information et d’indicateurs robustes au service du pilotage de la recherche et d’assumer ses choix de thématiques prioritaires afin que ceux-ci guident sa politique d’allocations de moyens financiers, humains, immobiliers, matériels, etc ».
Des recommandations répétées qui posent la question de la responsabilité de l’établissement
Bien qu’il y ait eu un changement majeur de contexte (projet de fusion puis retour à un établissement indépendant), les trois rapports abordent la notion de « spécialisation » en matière de stratégie de recherche nécessaire à un établissement pluridisciplinaire de taille moyenne pour lui permettre de disposer d’une certaine visibilité. Cette notion apparait partagée par l’UJM mais on perçoit bien, au fil des trois évaluations, que l’UJM peine à faire la démonstration des avancées concrètes de cette stratégie au-delà d’un discours global. Ces recommandations successives sans effets identifiables posent ainsi la question de la responsabilité de l’établissement et de ses équipes de direction successives. Cette situation n’est pas spécifique à l’UJM et des constats semblables peuvent être réalisés dans beaucoup d’autres établissements.
Au travers de cette exemple, quelques éléments d’analyse peuvent être avancés :
La culture de notre ESR est traditionnellement plus portée sur le projet que sur les résultats et la pression induite par les réformes permanentes accentue ce phénomène. La période concernée par ces évaluations a vu la mise en place des PRES, puis des Comue, et plus récemment des établissements expérimentaux, avec des problématiques clés de structuration des partenariats et de rapprochements institutionnels en lien avec des enjeux majeurs de financement. Dans ce contexte particulièrement instable généré par l’Etat, il ne faut pas s’étonner de cette prédominance de la culture du projet au risque de véritables instabilités, mettant au second plan les efforts de structuration dans la durée des activités de l’établissement.
L’approche retenue par les établissements dans le cadre de leur autoévaluation peut également expliquer ce phénomène. Pour avoir analysé beaucoup de rapports d’autoévaluation, je peux témoigner d’une réelle difficulté des établissements, d’une part à établir des liens factuels avec les évaluations précédentes et, d’autre part, à apporter un regard critique sur les résultats concrets de leur stratégie. En fait, ces difficultés révèlent souvent les carences des outils de pilotage stratégique. En effet, les établissements disposent rarement d’indicateurs pertinents permettant d’identifier des résultats tangibles et de faire le lien avec des dispositifs internes de mise en œuvre de leur stratégie.
Le changement des équipes de direction est aussi fréquemment la cause d’une certaine déconnexion entre les évaluations successives d’un établissement. Les équipes de direction ont en effet trop tendance à considérer que l’évaluation est uniquement focalisée sur le bilan de leur propre action, alors qu’elle interpelle l’ensemble des acteurs passés et présents de l’établissement. Ainsi les équipes de direction ne se perçoivent pas comme responsables des problématiques identifiées sur des périodes antérieures à leur propre mandat et sont peu engagées dans des démarches de continuité institutionnelle, considérant trop souvent que tout a radicalement changé avec leur projet alors que l’évaluation constate, au contraire, des problématiques qui s’inscrivent dans la durée.
Même si le contexte actuel tend à focaliser les établissements sur la dimension du projet et les résultats de court terme, il y a une responsabilité des établissements à faire des évaluations autre chose qu’un exercice imposé, énergivore, aussitôt oublié une fois le rapport publié et sans véritable impact. Une des clés de cette problématique tient au fait que ces évaluations ne peuvent pas se limiter, comme bien souvent, au périmètre de l’équipe de direction. Elles doivent engager l’institution toute entière (personnels et usagers) depuis le processus de l’autoévaluation jusqu’à une exploitation des résultats de l’évaluation et conduire à des transformations effectives répondant aux faiblesses constatées, au-delà de la simple communication et valorisation des réussites. C’est à l’ensemble de l’établissement de faire du processus d’évaluation un outil de transformation et de progrès dans la durée. Sans cette volonté et cette dynamique de terrain, l’établissement court le risque, au fil des évaluations, d’un constat renouvelé des mêmes faiblesses, comme dans l’exemple de l’UJM.
Une responsabilité du HCERES au travers de l’évolution de ses méthodes d’évaluation
L’exemple évoqué supra montre l’intérêt pour le HCERES de procéder à un suivi des recommandations des évaluations précédentes. L’exercice est délicat car il ne s’agit pas d’inscrire l’évaluation dans un processus imposant des transformations à l’établissement. Les normes européennes insistent justement sur le fait que l’évaluation ne doit pas dicter dans le détail l’action future de l’établissement mais que celui-ci ne peut pas ignorer les recommandations formulées et doit expliciter les réponses apportées aux faiblesses constatées par l’évaluation. Le HCERES a mis en place ce suivi à mi-parcours du cycle d’évaluation en demandant aux établissements de produire une courte synthèse des actions engagées en lien avec les différentes recommandations du rapport d’évaluation institutionnelle. Sans que cela ne puisse constituer un bilan objectif, les quelques réponses que j’ai pu analyser s’avèrent souvent peu convaincantes et cet exercice mérite sans doute un travail complémentaire dans le but d’en améliorer l’impact.
Le suivi des recommandations s’opère également au moment de chaque évaluation, le référentiel faisant clairement un lien avec les résultats de l’évaluation précédente et les réponses apportées par l’établissement.
Au-delà de cet exercice inscrit dans les standards européens (ESG), le HCERES a la responsabilité de faire évoluer ses méthodes et référentiels d’évaluation pour améliorer l’efficacité des évaluations institutionnelles successives et leur impact sur les transformations des établissements.
Ces dernières années, plusieurs évolutions du référentiel d’évaluation institutionnelle ont accentué l’analyse de la stratégie de l’établissement et de sa mise en œuvre opérationnelle. A ce jour (vague C 2022-2023 en cours), ces évolutions portent notamment l’exigence pour l’établissement de faire la démonstration de l’efficacité de son action, y compris dans le cadre de la prise en compte des recommandations de la précédente évaluation. L’exemple de l’UJM montre d’ailleurs clairement ces évolutions avec, pour le rapport 2021, des recommandations plus précises demandant notamment à l’établissement de mieux expliciter les mesures mises en œuvre au service de sa stratégie et les outils de suivi associés.
Ces évolutions et les constats rapportés précédemment sur la responsabilité des établissements plaident clairement pour une accentuation encore plus forte de l’analyse de la stratégie de l’établissement et de sa mise en œuvre dans une démarche non normalisatrice respectant les spécificités et les choix politiques de celui-ci. Formulé autrement, il s’agit, par les méthodes du HCERES, d’exercer une focalisation plus forte sur l’analyse de la capacité de l’établissement à faire la démonstration de l’efficacité de son action et donc sur la qualité des autoévaluations produites par les établissements. En lien direct avec l’article précédent de ce blog, il est clair qu’il y a également un besoin d’accentuer la demande de production, par l’établissement, d’indicateurs spécifiques, pouvant confirmer la réalité des démarches de progrès.
Maintenant qu’il dispose d’une série d’évaluations pour chaque établissement, le HCERES pourrait peut-être envisager des formes de bilans des évaluations successives pour identifier et mettre en exergue l’évolution des problématiques des établissements au cours des périodes concernées et les réponses qu’ils ont ou n’ont pas apportées. Cela pourrait constituer un exercice révélateur des véritables dynamiques internes d’établissement, seules à même de porter de réelles transformations au-delà des discours et des intentions affichées par les équipes de direction. L’exercice n’est pas facile mais il pourrait constituer un moteur puissant pour identifier les établissements engagés dans des dynamiques de transformation et ceux qui, malheureusement, se limitent à surfer sur l’agitation permanente de notre ESR en matière de réforme.
Une responsabilité de l’Etat pour mieux intégrer l’évaluation dans le pilotage de l’ESR
L’Etat a également une responsabilité dans cette problématique d’une meilleure exploitation des résultats des évaluations successives de chaque établissement. Il s’agit là aussi de privilégier une approche bilan, plutôt qu’une approche projet, pour vérifier la réalité des engagements de chaque institution, y compris sur des périodes longues. Il s’agit également d’avoir des démarches plus spécifiques à chaque établissement plutôt que des approches centralisatrices et normatives conduisant à des attentes uniformes.
C’est bien évidemment au travers de la politique contractuelle qu’il peut y avoir des inflexions pour améliorer l’impact de l’évaluation. C’est toutefois un sujet qu’il convient d’aborder avec prudence car porteur d’un certain nombre de risques si un rapprochement trop fort s’effectue entre contractualisation et évaluation. J’aurais l’occasion de revenir sur ce sujet complexe dans un prochain article.
Conclusion
Il y a incontestablement une mine d’informations dans la base de données constituée par les rapports d’évaluation institutionnelle du HCERES. Contrairement à ce que certains imaginent, je ne suis absolument pas convaincu qu’il y ait, pour autant, matière à en faire un système d’information de notre ESR. Par contre, il est possible de donner une forme de continuité plus importante aux évaluations successives pour mieux identifier et qualifier les dynamiques de progrès mais aussi la persistance de carences institutionnelles. L’exercice est complexe mais c’est l’opportunité de faire progresser les établissements vers une véritable culture de l’assurance qualité et d’améliorer le pilotage de notre ESR.
Pouvons-nous envisager de rompre avec l’agitation permanente des appels à projets et des annonces stratégiques, aux résultats opérationnels souvent incertains, pour engager, au travers de l’évaluation, un travail en profondeur d’amélioration du pilotage stratégique et opérationnel des établissements, gage d’un véritable progrès de note ESR ?