Article 15 : Rapport d’évaluation de l’université de Bordeaux : des analyses qui confirment les fausses routes des évolutions méthodologiques du Hcéres pour la vague C

La note d’observations du président du Hcéres (cf brève 11), jointe à la publication récente du rapport d’évaluation de l’université de Bordeaux (UB), a manifestement largement interpelé notre communauté, comme en témoignent le nombre très important de consultations du blog et les réactions privées qui me sont parvenues. Je voudrais à présent, dans ce nouvel article, apporter une analyse du contenu du rapport qui vient confirmer certaines réflexions développées dans ce blog sur l’approche de l’évaluation institutionnelle (articles 7, 10, 11 et 14).

Je tiens tout d’abord à préciser qu’il ne s’agit pas pour moi de refaire l’évaluation de l’UB, ni d’analyser l’autoévaluation de l’UB dont je n’ai pas eu connaissance, et encore moins de commenter le travail du comité et de l’équipe accompagnante du Hcéres. La raison d’être de cet article est de mettre en évidence, à partir de ce rapport d’évaluation, des clés de réflexion pour l’établissement et le Hcéres. Il peut bien évidemment y avoir des mauvaises interprétations liées à des informations dont je ne dispose pas, mais cet article se veut également une illustration des réactions possibles d’un lecteur externe à cette évaluation.

Un bénéfice avéré du référentiel plus compact mis au point pour la vague B, mais qu’en sera-t-il pour la vague C ?

En accord avec la méthodologie qui avait été proposée pour la vague B (2020-2022), le rapport reprend l’architecture du référentiel d’évaluation des universités de la vague B avec une individualisation des 17 références (dont 2 consacrées à l’Idex) qui le composent. Chaque référence est analysée par le comité et le paragraphe qui y est consacré intègre les recommandations associées. Cette organisation conduit à un contenu du rapport plus précis et plus structuré, avec un matériau évaluatif plus systématique et des recommandations plus nombreuses. Le lien plus direct avec le référentiel permet de mieux identifier l’étendue des investigations du comité. L’exploitation et la lecture du rapport sont ainsi grandement facilitées.

La mise en miroir du rapport avec le référentiel permet également de constater combien il est difficile de couvrir l’ensemble des références, alors que le référentiel de la vague B avait été largement compacté et focalisé sur des questions essentielles (cf article 14). On comprend mieux la complexité de la tâche demandée aux comités dans un contexte très contraint. Même s’il est difficile de tirer des conclusions à partir d’un exemple, ces constats confirment clairement qu’il n’est pas raisonnable d’augmenter la complexité du référentiel et d’en étendre le spectre d’analyse, comme cela vient d’être proposé par le Hcéres pour la future vague C (cf article 14). Il y a un risque d’un traitement très fragmentaire du référentiel et surtout de passer à côté de questions majeures.

 

La mise en évidence de la question centrale du positionnement institutionnel et de la stratégie associée

Les notions de positionnement et de stratégie, ainsi que les outils de suivi associés, constituaient le pivot de la méthodologie qui avait été proposée pour la vague B. Il est donc intéressant d’analyser ce qu’il en ressort dans ce rapport, afin de voir si le référentiel était suffisamment incitatif à conduire cette analyse. De ce point de vue, il m’apparait difficile, à la lecture du rapport, de situer les enjeux du positionnement et de la stratégie de l’établissement. Le comité souligne que l’UB se veut une université à large spectre et de niveau international et qu’elle s’est dotée, notamment à travers l’Idex, d’une large gamme d’outils pour nourrir sa réflexion stratégique. L’approche reste cependant très globale. Sans repères bien identifiés sur le niveau d’atteinte de l’ambition portée par l’établissement, sur les priorités de sa stratégie et les indicateurs de mesure des progrès accomplis, il est difficile d’apprécier, dans les autres chapitres du rapport, la cohérence d’ensemble des démarches de progrès de l’établissement. C’est pourtant une clé pour apprécier la dynamique globale d’un établissement.

Ces sujets d’analyse stratégique sont délicats à aborder, notamment pour des universités de cette taille, et notre communauté n’est pas accoutumée à de telles démarches, ce qui devrait constituer, pour le Hcéres, un enjeu de sensibilisation des établissements et de formation des experts.  La lecture de ce rapport est ainsi révélatrice des pistes d’évolution qui s’offrent au Hcéres :

Soit la démarche qui avait été amorcée avec le référentiel de la vague B est amplifiée, avec une focalisation sur les problématiques de positionnement et de stratégique et une exigence accrue de démonstration par les établissements des progrès accomplis par le biais d’outils de suivi clairement identifiés (ceci s’accompagne nécessairement d’un effort accru de formation des parties prenantes de l’évaluation). Le comité peut alors se concentrer sur l’analyse de la qualité et de la pertinence de la démonstration dans une logique de prise en compte forte de son autonomie. Cette démarche n’entre malheureusement pas dans la logique de mesure de performances qui prévaut actuellement au Hcéres ;

Soit, comme cela est effectivement proposé par le Hcéres pour la prochaine vague C, la démarche accentue une analyse tous azimuts des différentes activités de l’établissement sans chercher véritablement à voir si celui-ci maitrise ses démarches de progrès. On place alors le comité devant une tâche impossible et on n’incite pas l’établissement à mieux maitriser sa conduite stratégique.

 

La démonstration du besoin d’évaluation de composantes internes pour des établissements de grande taille :

L’UB est structurée en trois niveaux d’organisation avec, en dessous du niveau établissement, des « structures de niveau intermédiaires (SNI) » (départements de recherche et collèges de formation)  puis des composantes élémentaires opérationnelles (Unités de recherche,  facultés, unités de formation). Le rapport constate que « les SNI s’emparent de manière hétérogène des évolutions de l’établissement » et le site internet révèle également une diversité d’appellations, et apparemment de tailles, des composantes élémentaires. L’UB avait pour sa part abordé cette problématique au travers des attentes qu’elle avait exprimées en amont de son évaluation. Le rapport confirme donc clairement une difficulté globale de pilotage interne pressentie par l’établissement mais il ne peut pas en décliner les nuances pour chaque SNI compte tenu du travail que cela aurait constitué pour le comité. En lien direct avec les propositions faites dans l’article 10, ce point démontre qu’il peut être utile, en concertation avec les établissements présentant ce type d’organisation, de procéder à l’évaluation de certaines composantes internes. Il ne s’agit pas de procéder à des démarches systématiques qui viendraient alourdir fortement le processus d’évaluation, mais de faire des évaluations ciblées de structures internes (en amont ou intégrées à l’évaluation institutionnelle) quand les problématiques identifiées par l’établissement en confirment le besoin.

 

La question centrale du système d’information et des « preuves de progrès » :

Le rapport mentionne à plusieurs niveaux la nécessaire progression de la culture de l’amélioration continue et les insuffisances du système d’information de l’UB. Dans le même temps, le rapport se fait également l’écho de différents tableaux de bord et données de suivi des projets, notamment dans le cadre de l’Idex, et de la densité du dossier d’autoévaluation produit par l’UB. A la lecture du rapport, on comprend que l’UB déploie des moyens importants pour le suivi de ses activités et qu’elle dispose de services puissants pour ses démarches qualité. Au travers des recommandations du comité, on comprend également qu’il manque un maillon permettant de mieux relier l’action politique de mise en œuvre de la stratégie et une politique de la qualité, de façon à ne pas la cantonner à un niveau technique mais à en faire un véritable levier de la gouvernance de l’établissement. La lecture en creux du rapport fait également apparaitre une difficulté à identifier des « preuves de progrès », c’est-à-dire des indicateurs clés qui permettraient de faire le lien avec des priorités stratégiques identifiées et de mesurer la progression enregistrée par l’établissement au cours de la période évaluée. Quelques éléments sont évoqués dans le rapport comme la faiblesse de la mobilité étudiante relativement à l’ambition internationale de l’UB ou encore la progression de la production scientifique de certaines thématiques. Dans un autre domaine, le rapport souligne les moyens développés pour le pilotage de l’offre de formation mais il est difficile d’apprécier les efforts réalisés en matière de structuration de l’offre de formation par manque de repères chiffrés sur les difficultés constatées et les transformations opérées.

Ces constats peuvent être liés aux carences du système d’information ou à une mise en avant insuffisante par l’établissement de ces indicateurs clés mais ils sont à nouveau révélateurs de problèmes de méthodologie de l’évaluation. N’y a-t-il pas là une démonstration que le référentiel de la vague B n’était pas encore suffisamment focalisé sur la conduite stratégique de l’établissement et les preuves de progrès associées ? Ne trouve-t-on pas également la confirmation de l’intérêt de privilégier les données et indicateurs choisis par l’établissement, pour être au plus près de ses priorités de développement, plutôt que de lui imposer de fournir des données communes à l’ensemble des entités évaluées ? Là aussi, ces quelques analyses montrent combien les nouvelles orientations proposées par le Hcéres dans le cadre de la prochaine vague C constituent de véritables impasses.

 

Conclusion :

L’analyse de ce rapport très dense est loin d’être complète et d’autres sujets pourraient évidemment être abordés. Les quelques éléments de lecture que je mets ici en évidence se veulent avant tout une interpellation des différents acteurs de l’évaluation, le Hcéres, le comité et l’établissement, dans l’objectif de faire progresser la méthodologie de l’évaluation institutionnelle.

J’en retiens principalement un encouragement à focaliser l’évaluation, comme le font certaines agences étrangères, sur l’analyse de la démarche qualité globale de l’établissement, en y intégrant l’analyse de la démonstration par l’établissement de ses preuves de progrès au cours de la période analysée. Pour des établissements de la taille de l’UB, cela signifierait une responsabilité accrue pour organiser elle-même ses propres évaluations internes et externes sur les sujets et les structures internes qu’elle juge nécessaires, et à livrer à l’évaluation externe du Hcéres uniquement la quintessence de l’ensemble du processus, afin de permettre au comité un travail plus distancié et plus en phase avec les besoins d’un établissement autonome. L’enjeu n’est-il pas, pour un établissement autonome, de focaliser l’évaluation sur l’analyse de ses dynamiques de progrès ? Cette philosophie de l’évaluation est à la fois plus exigeante pour l’établissement, et plus pertinente pour l’Etat dans l’objectif d’apprécier la performance de notre ESR. Autant de pistes dont pourrait se saisir un(e) président(e) d’une agence d’évaluation, telle que le Hcéres, reconnue au niveau européen par l’ENQA….

 

Une réponse à “Article 15 : Rapport d’évaluation de l’université de Bordeaux : des analyses qui confirment les fausses routes des évolutions méthodologiques du Hcéres pour la vague C”

  1. L’examen des rapports d’évaluation successifs d’un établissement (ou des établissements dans le cas d’une création d’une nouvelle université par fusion d’établissements) du CNE, puis de l’Aeres et enfin du Hcéres, permet de mesurer sa progression ainsi que des méthodes d’évaluation pratiquées en France.
    Dans la période actuelle nous voyons bien que les enjeux portent en particulier autour de l’autonomie et de la démarche qualité dans un contexte européen, des politiques du site et du rôle des Régions, tout cela à l’heure des données multiples, indicateurs et systèmes d’information. Dans l’avenir, ce sera l’établissement qui devra porter l’organisation de son autoévaluation, puis de son évaluation externe en définissant les grains les plus pertinents à commencer par les composantes de formation et de recherche. Cela n’est pas incompatible avec des rendez-vous nationaux comme par exemple la pratique de la Cti et le suivi des données certifiées permettant des comparaisons entre les écoles d’ingénieurs.

    La publication d’un rapport sur le site du Hcéres couplée aux observations du président du Hcéres a effectivement interpellé, car manifestement ni l’établissement ni le comité n’ont été consultés sur ce texte organisé autour d’un résumé du rapport et de recommandations supplémentaires. Si cette nouvelle pratique devait être généralisée je suggère de dialoguer en amont avec l’établissement et le comité. Mieux, comme cela est le cas dorénavant pour les organismes de recherche ce résumé devrait être inséré dans le rapport pour que la réponse de l’établissement reste bien l’étape finale du processus.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*