Pour conclure cette série d’articles consacrée au mandat de l’évaluation, j’aborde dans ce dernier article, un peu plus long que le standard habituel, quelques pistes d’évolution permettant d’envisager une évaluation intégrée mieux organisée, limitant la charge de travail pour les évalués, plus focalisée sur les éléments clés du développement des établissements, très exigeante sur la qualité de leur pilotage et respectueuse de leur autonomie.
1 : Un contexte et des enjeux de l’évaluation de l’ESR français à mieux prendre en compte
A l’heure où chacun reconnait que les établissements vont devoir s’inscrire dans des démarches plus stratégiques et faire face à une concurrence et compétition accrues, nous devons résolument sortir d’une évaluation sommative, qui vise essentiellement à identifier les bons et les mauvais élèves avec l’objectif, jamais mis en œuvre d’ailleurs, de permettre au ministère d’appliquer une politique d’attribution des moyens sur la base des performances Ce n’est pas en stigmatisant les établissements et leurs entités internes au niveau de leurs performances externes qu’on va les faire progresser.
Si nous voulons réellement améliorer les performances globales de notre ESR, il faut mettre les acteurs en responsabilité, exiger qu’ils soient eux-mêmes en capacité de situer et qualifier leurs actions dans le contexte national et international, tout en leur fournissant des avis externes et des recommandations qui les guident dans des démarches de progrès.
La focalisation excessive de l’évaluation sur la performance de la recherche, avec l’enjeu de la notoriété et du financement des équipes, masque de nombreux autres problèmes. Les universités et écoles ne peuvent pas être jugées sur une partie seulement de leur activité. Les missions des établissements forment un tout, et l’excellence en recherche n’entraine pas systématiquement l’excellence en formation, alors qu’un ESR de qualité a impérativement besoin des deux. C’est l’efficience globale des établissements qui peut garantir le meilleur usage des fonds publics, et c’est en se focalisant sur les mécanismes internes de gouvernance et de pilotage des établissements que l’évaluation pourra être plus utile à la fois aux établissements eux-mêmes et à l’Etat.
Il s’agit alors de formater l’évaluation pour qu’elle devienne un levier d’amélioration de l’efficacité de l’action des établissements, porteuse d’une meilleure performance, ce qui n’interdit pas de s’en servir comme un outil d’aide à la décision de l’Etat.
2 : Un mandat de l’évaluation marquant une nouvelle étape de responsabilisation des établissements
A l’image des mutations opérées par d’autres agences internationales, je propose une focalisation accrue sur l’évaluation institutionnelle, avec une simplification de l’évaluation de la recherche et des formations, conjointe à une responsabilisation plus forte des établissements.
Des périmètres simplifiés et plus ciblés
Une grande partie des établissements d’ESR (universités et écoles) fait actuellement l’objet d’une évaluation institutionnelle, qui fait suite à une autoévaluation réalisée par l’établissement, et qui comprend une visite sur site. C’est un périmètre à maintenir avec, toutefois, deux points d’attention majeurs. Pour les nouveaux établissements expérimentaux intégrant des composantes conservant leur personnalité morale et une forte autonomie, il parait important de pouvoir maintenir une forme adaptée mais individualisée d’évaluation institutionnelle. Ce type d’évaluation peut d’ailleurs s’envisager également, à la demande des établissements de grande taille, pour certaines composantes sans personnalité morale mais bénéficiant d’un haut niveau d’autonomie interne à l’établissement. Il ne s’agit pas de complexifier l’évaluation institutionnelle avec une évaluation systématique des composantes de l’établissement, mais dans certains cas, de pouvoir apporter une réponse spécifique à des besoins d’analyse de l’organisation interne des établissements, notamment pour ceux organisés en trois niveaux hiérarchisés (établissement, macro-composante(s) et composantes ou départements élémentaires).
Pour ce qui concerne la recherche, l’évaluation de toutes les unités de recherche n’apporte aucune plus-value significative, comme je l’indiquais dans l’article 9. Il va définitivement falloir sortir d’une évaluation qui remonte au temps d’une MSTP qui permettait au ministère de labelliser individuellement les unités et de leur attribuer des moyens fléchés, le ministère lui-même ayant bien évolué depuis…. De plus, les standards européens (ESG) n’imposent pas de contraintes à l’évaluation de la recherche, ce qui donne toute liberté d’action. Dans ce contexte, il est possible d’envisager une réelle simplification en considérant que l’évaluation de toutes les unités de recherche est optionnelle et dépend du choix de l’établissement, en concertation avec les organismes de recherche éventuellement impliqués. L’établissement pourrait solliciter une évaluation avec visite du comité en fonction de ses besoins pour quelques unités ou thématiques, et cibler dans un référentiel de base les chapitres qu’il souhaite examiner. Pour les autres unités, il lui reviendrait d’organiser les outils internes d’évaluation de ses unités, comme il en va dans tous les établissements à renommée internationale. Il y a là un gisement considérable d’économie budgétaire pour le Hcéres et un allégement tout aussi important de la charge de travail pour chaque établissement.
Pour la formation, des simplifications importantes sont également possibles à partir des principes suivants. Comme je l’indiquais dans l’article 8, la situation actuelle de l’évaluation de la formation est très complexe et génère des recouvrements avec l’évaluation institutionnelle. Il faut reconnaitre que les frontières entre le niveau institutionnel et le niveau individuel des formations ne sont pas simples car elles dépendent des différentes formes d’organisation des établissements en entité internes (facultés, départements, équipes pédagogiques) et des pratiques de centralisation de certains outils. L’évaluation individuelle de toutes les formations représente un travail colossal ce qui a conduit le Hcéres à des évaluations sur dossier sans visite dont la fiabilité peut être sérieusement mise en doute, puisque reposant intégralement sur du déclaratif. Il est fondamental, dans l’esprit des ESG, de disposer d’analyses de la réalité sur le terrain du fonctionnement effectif des formations. A partir de ces constats, on peut envisager, comme le pratiquent certaines agences européennes, de procéder à une évaluation d’un échantillon de formations pour chaque établissement. Cette pratique d’échantillonnage qui peut intégrer des choix aléatoires de formations et des propositions de l’établissement, permettrait de réduire drastiquement le nombre d’évaluations réalisées par le Hcéres. L’établissement aurait, quant à lui, à maintenir un principe d’autoévaluation de toutes ses formations dans le respect des ESG, mais ne livrerait que les rapports d’autoévaluation des formations retenues par le Hcéres, étant libre par ailleurs d’organiser en interne des pratiques d’évaluation externe pour les autres formations. La technique d’échantillonnage constitue un outil puissant car elle permet de maintenir une exigence de qualité pour chaque formation, les avis résultant de l’évaluation de l’échantillon ayant vocation à donner une vision globale de la situation de l’établissement. Par ailleurs, le nombre réduit d’évaluations permet la mise en œuvre d’une évaluation de terrain plus approfondie, avec une visite du comité, et une participation effective des étudiants en conformité avec les préconisations des ESG (ce qui n’est fait que pour l’évaluation des écoles doctorales jusqu’à présent).
Des objectifs focalisés sur la gouvernance et le pilotage internes
D’un point de vue global, le choix majeur de placer l’autonomie et la responsabilité de l’établissement au centre de la philosophie de l’évaluation conduit à renforcer les choix déjà amorcés dans le référentiel d’évaluation des universités de la vague B (cf article 7)
Les cinq dimensions clés « positionnement, stratégie, organisation, gouvernance, pilotage », déjà utilisées dans les référentiels établissements et universités actuels de la vague B, sont déterminantes pour l’évaluation institutionnelle car elles permettent au travers de quelques grandes questions de déterminer comment l’établissement appréhende son autonomie : est-il capable de se situer dans son environnement local, national et international ? est-il porteur d’une ambition clairement exprimée et déclinée par le biais d’une stratégie explicite dans ses différents domaines d’activité ?, est-il organisé au niveau de ses structures internes en cohérence avec cette stratégie ?, dispose-t-il des modes et instances de gouvernance politique et des outils de pilotage des activités garantissant la bonne mise en œuvre de sa stratégie ?. Le référentiel d’évaluation institutionnelle doit donc amplifier cette focalisation sur l’analyse de la démonstration par l’établissement de l’efficacité de son action.
Pour l’évaluation des unités de recherche et des formations, une inflexion forte doit être mise en œuvre pour mieux analyser la déclinaison des politiques d’établissement, ce qui constitue une carence majeure des pratiques actuelles du Hcéres (cf articles 9 et 8 ). Dans ces deux types d’évaluation, c’est l’analyse des démarches de progrès qui doit être privilégiée avec, là aussi, une mise en responsabilité forte des entités qui doivent faire la démonstration de l’efficacité de leurs actions.
Au cœur des enjeux actuels du fonctionnement des formations révélés par la crise sanitaire du Covid, l’évaluation des formations devra se focaliser sur la conduite des formations par les équipes pédagogiques, car c’est à ce niveau que se joue la performance des formations.
Je propose donc globalement une évaluation qui privilégie l’analyse des mécanismes internes et des démarches de progrès des entités évaluées, plutôt qu’une approche de type vérification de conformité à une norme et une analyse externe de la qualité des produits des activités. On peut y voir aussi largement la priorité à une évaluation formative plutôt qu’à une évaluation sommative.
Des rapports privilégiant un apport aux établissements et des expériences à mener pour des synthèses à destination de publics spécifiques
Ces choix à opérer en matière d’objectifs de l’évaluation conduisent à produire des rapports s’adressant en priorité aux établissements, avec une exigence accrue sur l’explicitation de la capacité stratégique de l’établissement et de sa capacité à assurer ses responsabilités. Cela signifie qu’il y a un effort important de formation des experts à réaliser pour aboutir à des avis plus tranchés et exigeants dans le domaine de l’exercice des responsabilités. Dans le même état d’esprit, le suivi des recommandations, amorcé pour l’évaluation institutionnelle, doit être renforcé et élargi à l’ensemble des évaluations.
Ces rapports pourront également constituer un outil d’aide à la décision pour les tutelles pour apprécier la vitalité et la maitrise du pilotage des entités évaluées et identifier les programmes nationaux à renforcer pour améliorer les performances de notre ESR.
Quel que soit l’ordonnancement choisi pour les différentes évaluations (cf infra), il est intéressant de pouvoir réaliser des synthèses pour rendre plus accessibles les résultats de l’évaluation. Il ne s’agit pas de faire, comme c’est le cas actuellement des soi-disant synthèses recherche, une collection compilée des résumés de l’évaluation des différentes unités, mais bien de mettre en regard les différents rapports produits (et d’éventuels documents complémentaires disponibles) pour réaliser des constats croisant les évaluations et dégager les grandes questions concernant le développement futur de l’établissement.
Il serait également intéressant de tenter une expérience pour produire des synthèses ciblées pour les étudiants et leurs familles, pour leur permettre d’avoir une appréciation globale des forces et faiblesses des établissements.
3 : Une évaluation intégrée résolument centrée sur la dimension institutionnelle
Deux grandes démarches peuvent être envisagées pour l’organisation de l’évaluation intégrée.
La démarche « ascendante » réalise les évaluations des unités de recherche et des formations avant celle de l’établissement afin de pouvoir disposer des résultats des évaluations de terrain au moment de l’évaluation de l’établissement. C’est la démarche qui parait la plus naturelle, notamment quand l’évaluation est focalisée sur les produits des activités, l’évaluation institutionnelle venant en théorie faire un bilan global de la performance de l’établissement. En pratique, c’est assez difficile à opérer car il faut un ordonnancement très exigeant si on veut éviter un étalement temporel excessif de l’ensemble du processus. C’est aussi très difficile pour un comité disposant d’une durée réduite d’intervention, de se saisir des dizaines de rapports produits, et parfois même des centaines de rapports pour certaines universités de grande taille.
Ma préférence va vers la démarche « descendante », qui consiste en une évaluation institutionnelle précédant l’évaluation des unités de recherche et des formations, voire même concomitante. Si les objectifs de l’évaluation institutionnelle sont, comme je le propose, d’apprécier la capacité de l’établissement à démontrer l’efficacité de son action, les résultats de l’évaluation des unités et des formations ne sont pas utiles au moment de l’évaluation institutionnelle. Par ailleurs, si l’on veut quand même vérifier par une analyse externe la réalité des performances recherche de l’établissement, les analyses de l’observatoire des sciences et techniques (OST), disponibles pour les établissements ayant une activité significative de recherche, peuvent tout à fait permettre ce type de vérification de manière plus simple que les rapports des unités, et avec une approche quantitative et comparative que l’on ne trouve pas dans ces rapports.
Plus globalement l’OST, par ses différents outils d’analyse, peut également largement répondre au besoin légitime de suivi par l’Etat des produits de la recherche.
Dernière proposition concernant l’organisation de l’évaluation intégrée, il peut être séduisant en théorie d’imaginer une évaluation institutionnelle mobilisant les trois départements « établissements », « recherche » et « formations » du Hcéres pour tenter de mieux en coordonner l’action. La réalité est tout autre et les différentes tentatives ont montré que cela conduisait systématiquement à des « usines à gaz » en matière de coordination pour un résultat décevant. Il vaut mieux au contraire avoir le courage de hiérarchiser les différentes évaluations, en articulant clairement les évaluations recherche et formations à l’évaluation institutionnelle, afin d’utiliser ces premières pour analyser, sur le terrain, la réalité de l’impact de la démarche stratégique des établissements. Les départements auraient alors des champs clairs d’intervention sans recouvrement grâce à des référentiels conçus dans une même philosophie d’une évaluation mettant au centre l’établissement et sa capacité stratégique.
Une synthèse pourrait être envisagée par les équipes du Hcéres pour faire un bilan global comme indiqué supra. Le nombre limité de rapports dans la méthode proposée permettrait assez facilement la réalisation de telles synthèses.
Conclusion
Les propositions ci-dessus placent clairement le développement de l’établissement au centre des préoccupations de l’évaluation et sont porteuses d’une réelle simplification.
Il s’agit de sortir d’une vision court terme et simpliste d’une évaluation sanction ciblée sur les résultats pour s’engager dans un investissement à plus long terme d’amélioration du fonctionnement des établissements, ce qui revient tout simplement à privilégier une vision moderne de l’assurance qualité et même de ce qu’on peut appeler « la garantie de la qualité » comme le revendique l’ancien président de l’ENQA Bruno CURVALE.
C’est aussi l’idée de faire du Hcéres une véritable autorité travaillant à moyen et long terme sur le développement de la performance de l’ESR, loin des démarches court terme actuelles de communication et de pseudo contribution à des sujets d’actualité.
Nous sommes en fait dans une période charnière qui, au travers de l’évaluation, va révéler comment les différents acteurs souhaitent aborder le développement de l’autonomie et de la responsabilité des universités et des écoles. Le Hcéres, autorité de l’Etat, par ses choix à venir concernant le mandat de l’évaluation, va nous indiquer la réalité de sa vision dans ce domaine. Les directions des établissements et leurs structures représentatives (CPU et CDEFI), par les réactions et les revendications qu’elles vont exprimer, vont confirmer si elles sont prêtes à assumer leurs responsabilités et exiger une évaluation en cohérence avec une progression de l’autonomie ou bien si ces sujets ne relèvent que d’un discours « convenu », partagé avec l’Etat… Nous allons pouvoir juger sur pièce très bientôt, vu la publication prochaine des nouvelles procédures et nouveaux référentiels du Hcéres…
Bonjour,
merci à Robert de ton analyse, je partage ton analyse – je cite « Il ne s’agit pas de complexifier l’évaluation institutionnelle avec une évaluation systématique des composantes de l’établissement, mais dans certains cas, de pouvoir apporter une réponse spécifique à des besoins d’analyse de l’organisation interne des établissements, notamment pour ceux organisés en trois niveaux hiérarchisés (établissement, macro-composante(s) et composantes ou départements élémentaires). »
Pour aller dans ton sens, une évaluation d’une macro-composante par exemple l’évaluation des modes de gouvernance du collegium des Ecoles d’Ingénieur lorraines pourrait être avantageusement conduite en coopération avec la CTI ce qui permettrait une réelle économie d’échelle… d’autant plus que le collegium a récemment auto-financé un audit sur sur ces aspects.