Le précédent article a permis de poser le cadre et les enjeux politiques de l’autoévaluation. Je vais aborder à présent quelques dimensions plus techniques de la mise en œuvre de l’autoévaluation, pouvant s’appliquer aux trois types d’évaluation pratiqués par le Hcéres (institutions, formations, unités de recherche). Je m’attacherai en particulier à mettre en évidence les principaux leviers et écueils de l’autoévaluation.
Une articulation avec un référentiel d’évaluation à expliciter
L’autoévaluation a besoin d’un cadre pour définir le périmètre de l’entité et des activités à analyser. C’est bien évidemment le référentiel de l’évaluation externe qui constitue ce cadre ainsi que les consignes plus ou moins contraignantes définies par l’agence organisatrice de l’évaluation externe. Sans revenir sur les choix méthodologiques opérés par le Hcéres, il est clair que le rapport d’autoévaluation livré à l’agence a vocation à reprendre la structuration du référentiel et à répondre le mieux possible aux différentes questions posées par chaque référence en prenant en compte les critères d’évaluation qui y sont associés.
Mais bien évidemment cette articulation avec le référentiel ne peut pas se concevoir comme une simple réponse à chacune des questions élémentaires du référentiel. Ce sont également les questions que se posent les acteurs de l’entité évaluée, en lien avec leurs activités, qui peuvent orienter l’autoévaluation. Par ailleurs, dans le cas d’un référentiel très (trop) détaillé, comme c’est le cas des différents référentiels du Hcéres (cf articles 12, 13 et 14), le traitement systématique de toutes les questions du référentiel peut vite se révéler totalement contreproductif. En effet, une réponse détaillée à chaque question va conduire à un rapport très dense qui risque de submerger le comité d’évaluation par une masse d’informations difficile à exploiter. A l’opposé, des réponses sommaires, avec le seul objectif de l’exhaustivité, rendront également très difficile le travail du comité car la « matière évaluative » sera probablement très pauvre. Ces deux extrêmes montrent bien les limites d’un référentiel trop dense et d’une méthodologie trop directive.
Le référentiel a un rôle majeur pour définir les grandes lignes d’un « idéal » pour l’entité évaluée mais cet idéal devrait, d’une part, inciter l’entité à privilégier la qualité de sa propre analyse critique et la production de preuves associées, et d’autre part, lui laisser la liberté de privilégier certaines thématiques y compris hors référentiel. Ce dernier point ouvre d’ailleurs la possibilité, pour une entité, de concevoir son propre référentiel sur la base du référentiel proposé par l’agence, complété par des thématiques spécifiques à l’entité évaluée. Il s’agit alors d’une démarche proactive à engager en amont de l’autoévaluation dans le but d’en renforcer la plus-value pour l’entité évaluée (cf article 16) . Cette possibilité, qui se place résolument dans une perspective de responsabilisation et d’autonomie de l’entité, ne peut évidemment se concevoir qu’à partir d’un référentiel agence centré sur des thématiques essentielles, les initiatives prises par l’entité lors de l’autoévaluation et la qualité globale du travail réalisé constituant alors des éléments déterminants de l’évaluation externe.
Des étapes de mise en œuvre à planifier et des acteurs à mobiliser
L’organisation du processus d’autoévaluation est un enjeu important car celui-ci va générer une charge de travail qu’il convient de bien délimiter dans le temps en mobilisant des acteurs qui doivent être clairement identifiés. Les situations peuvent être très diverses en fonction de la complexité de l’entité évaluée et de son savoir-faire dans le domaine de l’assurance qualité. Quatre étapes sont habituellement distinguées. Le cœur de la mise en œuvre opérationnelle de l’autoévaluation intègre une étape d’investigation puis une étape de production et validation du rapport d’autoévaluation. La réussite de l’autoévaluation est toutefois conditionnée par deux étapes essentielles en amont, l’étape de préparation du processus d’autoévaluation et, en aval, l’étape de diffusion des résultats de l’autoévaluation.
La désignation d’une équipe responsable de la conduite de l’autoévaluation engage le premier acte de l’étape de préparation. L’exercice n’est pas facile car le besoin d’agilité et d’efficacité incite à une taille très réduite, mais il est également important que l’équipe ne se limite pas à la direction de l’entité et qu’elle soit représentative de ses acteurs et des rouages de son organisation. Au-delà de cette équipe de pilotage de l’autoévaluation, le processus d’autoévaluation doit mobiliser les acteurs de terrain de l’entité et ses différentes structures internes dans un processus structuré en lien avec le référentiel d’évaluation (cf supra). C’est, dès cette étape de préparation, que les orientations et intentions propres à l’entité devront être définies, en évitant toutefois un exercice trop balisé pour laisser à l’équipe des marges d’initiatives en fonction des éléments collectés au cours de la phase d’investigation. Cette phase de préparation est souvent négligée alors que c’est justement à ce niveau que se joue la qualité de l’exercice d’autoévaluation. Dans cette phase de préparation, il s’agit également d’expliciter un planning de mise en œuvre de l’autoévaluation, en veillant à bien préciser les modalités d’investigation et leur séquencement (cf infra). Difficile de définir la durée idéale de cette étape centrale d’investigation car elle va dépendre de la complexité de l’entité et du référentiel : de quelques semaines à quelques mois sans excéder toutefois le semestre, car il est préférable de concentrer l’action sur une période courte pour limiter les risques de lassitude et de surcharge des équipes.
Un processus et des outils d’investigation avec des périmètres et des modalités maitrisés
L’autoévaluation constitue une opération ponctuelle qui s’appuie sur les résultats produits par les différents processus d’amélioration continue mais elle s’en démarque clairement (cf article 16). L’autoévaluation n’est pas un simple bilan d’activités et encore moins une opération de promotion des réussites de l’entité. C’est l’occasion d’un regard critique et distancié des acteurs, parties prenantes de l’entité, sur leurs propres activités.
La phase d’investigation vise donc à collecter des informations et à en analyser le contenu pour qualifier l’efficacité et l’efficience des activités relativement aux choix de la gouvernance de l’entité. Différents procédés d’investigation peuvent être utilisés en fonction des informations recherchées et de la nature des activités observées : groupes de travail, contributions écrites individuelles ou collectives, auditions, enquêtes, collectes et analyses de données. En fonction des objectifs définis dans la phase de préparation, il convient de bien choisir ces différents outils d’investigation et de cibler clairement les objectifs associés à chacun d’eux.
La collecte de données caractérisant les activités représente souvent un enjeu de la phase d’investigation. Ces données à collecter peuvent être directement liées au processus d’évaluation externe ou aux objectifs spécifiques du processus d’autoévaluation. Quelle que soit l’origine de la demande, l’exercice peut vite s’avérer périlleux voire irréalisable si le volume et le spectre des données à collecter sont excessifs, comme c’est le cas avec les procédures actuelles du Hcéres. Le but d’une autoévaluation n’est pas d’élaborer un nouveau système d’information de l’entité évaluée (i.e. de produire des données et indicateurs de base qui n’existeraient pas encore). Dans l’idéal, le système d’information existant constitue la source première d’informations et l’autoévaluation entraine des collectes très ponctuelles de nouvelles données uniquement sur des sujets très spécifiques en lien avec certains objectifs. C’est d’ailleurs l’analyse critique de la qualité du système d’information existant qui peut constituer un objectif de l’autoévaluation et de l’évaluation externe. Il y a là une problématique d’équilibre entre les outils internes de l’entité, la qualité de son pilotage, et des demandes externes souvent normatives et peu respectueuses des spécificités de l’entité. J’aurai l’occasion de revenir sur ces sujets lors d’un prochain article.
Différentes formes de restitution et d’exploitation
Le format du rapport d’autoévaluation est contraint par les modalités de la procédure d’évaluation externe mais le matériau global recueilli au cours de l’autoévaluation va souvent bien au-delà des demandes de l’évaluation externe. Ce matériau est précieux pour l’entité et il lui appartient d’en garder trace, au-delà du rapport d’autoévaluation, par des annexes du rapport ou des documents à vocation interne pour l’entité. Il y a un risque de noyer le comité d’évaluation externe sous une masse d’informations qu’il ne pourrait pas exploiter. Le respect du format imposé pour le rapport, le choix et la qualité des annexes ainsi que leur articulation avec le rapport, conditionnent l’appréciation globale du comité sur la qualité de l’autoévaluation. On constate très souvent des annexes mal identifiées et difficilement exploitables (documents bruts issus du pilotage de l’entité) qui peuvent rapidement conduire le comité à une perception négative de l’autoévaluation dès la première lecture des documents.
L’étape finale de validation et de diffusion interne du rapport est importante à la fois pour l’entité elle-même et pour son évaluation externe. Le processus de validation du rapport final permet de clore le processus d’autoévaluation et d’officialiser en interne ses résultats. Au-delà de ce formalisme, il est fondamental que tous les acteurs de l’entité partagent ces résultats, contribuant ainsi à accentuer la confiance des acteurs dans le pilotage de leur entité. Mais la diffusion des résultats de l’autoévaluation est également fondamentale pour la phase de visite du comité d’évaluation. En effet, quelle image désastreuse de constater au cours d’un entretien de la visite que les acteurs présents ne connaissent pas le rapport d’autoévaluation de leur propre entité et les problématiques qui y sont mises en avant…. Mais évidemment, quand il n’y a plus de visite, ce sujet n’est pas un problème…
La qualité de l’analyse critique, clé de la culture de l’évaluation
Le rapport et ses annexes constituent des documents partagés uniquement entre l’entité et le comité en charge de son évaluation. Ils n’ont pas vocation à être publiés et cette confidentialité doit permettre à l’entité de livrer, en toute confiance, l’ensemble de son analyse critique. La qualité de l’autoanalyse produite par l’entité est un sujet majeur. L’absence de confiance dans le système d’évaluation et surtout la difficulté de notre ESR à développer une approche constructive et positive de l’évaluation conduisent souvent les entités évaluées à « cacher la poussière sous le tapis » en espérant que le comité n’identifie pas tous ses points faibles. Ce comportement s’explique largement par une approche de l’évaluation de notre ESR qui ne se focalise pas suffisamment sur l’analyse de la qualité de l’autoévaluation de l’entité et plus globalement sur les performances de sa politique de la qualité et de son pilotage. En effet, les approches actuelles privilégient une évaluation centrée sur la mesure de la quantité/qualité des résultats des activités, en négligeant l’analyse des capacités de l’entité en matière d’assurance qualité. Qu’est ce qui est le plus important ? Qualifier la performance des activités ou qualifier la capacité d’une entité à identifier elle-même l’ensemble de ses difficultés et de ses réussites ? Dans le premier cas, les champions sont identifiés mais il n’est pas certain que cela suffise à faire progresser l’ensemble du système. Dans le deuxième cas, c’est la qualité du pilotage de toutes les entités qui est encouragée et il est difficile d’imaginer qu’il n’y ait pas un impact positif global sur les résultats de celles-ci….
Conclusion :
Loin d’une démarche imposée par une méthodologie rigide, l’autoévaluation appelle donc à des choix déterminants. Il s’agit de trouver le bon niveau de réponse aux attentes du référentiel, ainsi qu’une articulation permettant à chaque entité évaluée de faire valoir ses spécificités et de définir des priorités en fonction de difficultés identifiées au cours de la période analysée ou en lien avec des projets futurs. L’exercice est complexe et, derrière ses différentes dimensions techniques, se cachent une fois de plus des choix de « philosophie » de l’évaluation. On ne peut que regretter qu’il n’y ait pas une réflexion plus approfondie sur ce sujet. Le Hcéres en porte la responsabilité mais les présidents et directeurs d’établissements ne sont sans doute pas suffisamment attentifs à ces problématiques révélatrices du niveau réel d’autonomie de nos institutions.
Merci Robert pour cette description lucide du processus d’autoévaluation qui met face à leurs responsabilités les évaluateurs et les évalués pour des établissements autonomes … dans un pays qui aime la centralisation !
Cela représente pour les entités évaluées un investissement qu’il ne faut pas négliger.
Il ne faut pas subir les référentiels mais les adapter à son propre contexte notamment pour les laboratoires de recherche.
Il faut tenir compte de la diversité des établissements : les universités de grande taille avec des composantes pouvant accueillir plus de 5000 étudiants et qui ne sont toujours pas évaluées dans leur pilotage par le Hcéres, les écoles d’ingénieurs et l’harmonisation du suivi effectué par la Cti (on peut citer l’usage de données certifiées mutualisées et permettant des comparaisons entre les écoles), ou le cas des écoles de commerce qui sont saturées d’évaluations et de certifications (Hcéres, Cefdg, labels internationaux, classements…) avec des redondances.
Le référentiel Cti est prescriptif (indicateurs, tableaux) avec une orientation principale « formation de l’ingénieur ». L’évaluation d’un établissement par le Hcéres se décompose en plusieurs évaluations à ce jour conduisant à des rapports distincts : établissement, formations LMD, laboratoires. Le référentiel établissement Hcéres s’inscrit dans un démarche qualité respectant l’autonomie des établissements. Néanmoins, pour un établissement le comité de pairs (en moyenne autour de 6 à 7 experts) ne peut pas avoir toutes les compétences, sachant que la tendance est qu’en fonction de l’actualité les ministères incitent régulièrement le Hcéres à compléter les référentiels, par exemple pour les thèmes innovation, numérique et SI, parité, éthique, intégrité scientifique, … développement durable et responsabilité sociétale, France compétences …(et bientôt distanciel!).
La question des labellisations vs évaluations est donc à débattre : coûts, redondances, efficacité. L’inflation des labels et doit amener le MESRI et le Hcéres à s’interroger.
Au vu des mutations actuelles, il me semble donc important d’insister sur la distinction entre l’organisation globale de l’autoévaluation, et les rendez-vous multiples liés à des labélisations.
Il faut donc comme tu l’explique avec pédagogie trouver un équilibre :
– Un référentiel trop exhaustif tend vers un catalogue : une série d’items pour lesquels l’établissement n’est pas amené à réfléchir mais à démontrer qu’il coche chacune des cases des items. Le grain de l’évaluation devient très fin et on s’éloigne des questions stratégiques.
– Un référentiel trop dépouillé fait courir le risque de « trous dans la raquette ».
Merci Michel pour ce développement. Le sujet des labellisations est effectivement intéressant et fait courir le double risque d’une saturation des équipes par la charge de travail induite et d’une forme de détournement des enjeux majeurs de l’évaluation par une forme de « course aux médailles ». Les labellisations qui s’inscrivent dans des champs d’analyse très ciblés et des exigences plus précises que les évaluations globales du Hcéres n’ont de sens, de mon point de vue, que si elles entrent en résonance avec un axe stratégique de l’établissement. Si elles sont appréhendées comme une simple opportunité valorisant la communication de l’entité, on a alors, juste un jeu consistant à « cocher les cases » comme tu l’indiques mais sans réelle plus value pour la dynamique de développement de l’entité. Il n’en reste pas moins que nous entrons progressivement dans une ère des labellisations imposées pour accéder à des champs d’activités et de financements et on peut s’interroger l’efficacité réelle de ces démarches. Le label Qualiopi, par exemple, m’apparait de ce point de vue comme une démarche intéressante mais qui pose quand même pas mal de questions sur la réelle garantie apportée par cette labellisation.