Je vous propose pour les prochaines semaines une série d’articles consacrés à la commande globale et au cadre de référence sur lesquels s’appuie une démarche d’évaluation. Ces éléments, en amont de la définition d’une méthodologie, peuvent être regroupés sous le terme de mandat de l’évaluation. Il s’agit en fait de définir la « philosophie » qui sous-tend l’acte d’évaluation. C’est un sujet qui est mal appréhendé, insuffisamment partagé par les parties prenantes, et souvent source d’incompréhensions et de contestations des résultats de l’évaluation. Notre système d’enseignement supérieur et de recherche (ESR) en est une illustration flagrante.
Les trois éléments clés du mandat de l’évaluation :
La notion de mandat de l’évaluation peut se construire à partir de trois éléments-clés : le périmètre, les objectifs et la destination de l’évaluation.
Le périmètre de l’évaluation identifie ce sur quoi porte l’évaluation et décrit ses principales modalités d’organisation. Il s’agit de définir précisément les entités à évaluer, par exemple, institutions, composantes internes, unités de formation, unités de recherche, services spécifiques… L’interlocuteur responsable de l’entité évaluée devra être désigné, ainsi que le maître d’œuvre du processus d’évaluation. Pour certaines entités, selon leur complexité, il peut être utile de décliner les activités et structures internes concernées par l’évaluation. La périodicité de l’évaluation est également précisée ainsi que les modalités de choix des entités : démarche globale concernant des entités de même nature à une échelle nationale, régionale ou locale, processus systématique pour toutes les entités ou processus de choix de certaines entités, approche thématique par discipline ou type d’activité (ces différentes modalités pouvant se combiner)?
Les objectifs de l’évaluation consistent tout d’abord à définir la nature des investigations et des analyses souhaitées : vérification de conformité, approche normative, analyse quantitative et/ou qualitative de la performance, focalisation sur la trajectoire propre de l’institution ou démarche de comparaison voire de classement, processus de méta-évaluation focalisé sur l’analyse des politiques et outils de l’assurance qualité…. Les objectifs précisent également la nature des jugements évaluatifs et des recommandations produits par les évaluateurs. La réponse à ces différentes questions permet notamment de définir le niveau de détail exigé pour le référentiel, les procédures à mettre en œuvre et l’organisation des rapports produits par les comités d’évaluation. Cet élément de la définition du mandat est central car il en précise l’approche globale (j’en développerai quelques déclinaisons possibles dans le prochain article).
La destination des résultats de l’évaluation constitue enfin une dimension importante du mandat de l’évaluation. Trois questions centrales doivent être abordées : quels sont les destinataires du rapport d‘évaluation (institution et ses personnels, tutelles, partenaires, usagers …) ? le rapport est-il publié et diffusé ? le rapport est-il exploité dans le cadre d’un processus de décision et quel est le niveau de proximité entre le contenu du rapport et ce processus de décision (lien direct ou indirect) ?
Les « parties prenantes » du mandat de l’évaluation
L’un des objectifs du mandat de l’évaluation est de rechercher un consensus entre les différentes parties prenantes de l’évaluation. Dans notre ESR, trois types de parties prenantes peuvent être retenus : l’Etat qui a un rôle majeur en tant que législateur et régulateur global du système ; les institutions / établissements qui font l’objet de l’évaluation au niveau global et/ou au niveau de leurs entités internes ; et les usagers et partenaires (étudiants impliqués dans le fonctionnement de l’institution, futurs étudiants, familles, entreprises, collectivités…), qui souhaitent mieux connaître l’institution et éventuellement interagir avec elle.
L’agence d’assurance qualité est l’interlocuteur de ce triptyque de parties prenantes. Elle se retrouve ainsi au cœur d’un système en tension, réceptacle d’un ensemble d’attentes qui peuvent être convergentes, complémentaires mais aussi opposées. L’agence est responsable de l’élaboration de la méthode d’évaluation mais en principe elle ne constitue pas le principal acteur de la définition du mandat qui est habituellement le commanditaire à l’origine de sa création. L’agence joue toutefois un rôle déterminant en aval de la définition des grandes orientations en finalisant la formulation du mandat, en contribuant à sa bonne compréhension et étant force de proposition pour son évolution.
Le curseur « évaluation / décision » et les enjeux associés :
Par nature, une évaluation constitue toujours un enjeu de notoriété et est potentiellement liée de manière directe ou indirecte à une multitude de processus de décision des différentes parties prenantes du triptyque évoqué supra. L’Etat, par son rôle de régulateur, est en première ligne dans cette problématique. Même si, formellement, le choix peut être fait de ne pas lier l’évaluation à un processus de décision (cas d’une évaluation formative dont l’unique objectif serait d’aider les établissements à progresser), les états utilisent très fréquemment les résultats de l’évaluation comme un outil d’aide à la décision dans le cadre de processus d’autorisation / habilitation / accréditation / certification d’activités et de répartition de moyens. Ces résultats ont alors un impact fort sur la vie des établissements.
Cette relation entre évaluation et décision est complexe car elle peut générer des comportements des établissements évalués pénalisant la qualité de la démarche d’évaluation. Par exemple, l’absence de processus de décision majeure peut entraîner un désintérêt des établissements et une faible implication de ceux-ci, rendant l’évaluation très difficile voire peu performante. A l’opposé, une relation directe et lourde de conséquences entre évaluation et décisions peut provoquer une forme de « tétanisation » de l’entité évaluée, qui pourra être tentée de se livrer à une dissimulation de la réalité de ses activités, dans l’objectif d’obtenir des résultats plus favorables, ce qui va être également fortement pénalisant.
Il y a ainsi une problématique globale de transparence et de confiance. L’évaluation est toujours porteuse d’enjeux qu’il convient d’expliciter mais la position du curseur « évaluation /décision » doit être judicieusement définie pour les décisions à fort impact afin de préserver la confiance et l’engagement des différentes parties prenantes, facteurs indispensables à la qualité du processus d’évaluation.
L’élément clé de la maturité du système d’enseignement supérieur et recherche observé
Chaque système d’ESR, en fonction de son histoire, de son environnement socioéconomique, de ses transformations en cours, de sa stratégie de développement, constitue un cas particulier. L’expérience des établissements vis-à-vis des processus d’évaluation, et plus globalement leur maîtrise de l’assurance qualité, représente un paramètre important. Les choix politiques de l’Etat peuvent être très différents en fonction de l’autonomie attribuée aux établissements et des leviers recherchés. L’évaluation peut être utilisée comme un simple outil d’aide à la décision facilitant les choix de l’Etat. Elle peut aussi se concevoir comme un investissement à plus long terme visant à générer des mécanismes de progrès utiles à l’amélioration de la qualité des activités et de leurs performances. La perception de l’évaluation et l’utilisation de ses résultats par les usagers des établissements sont également très variables. Elles dépendent bien évidemment de l’accessibilité au sens large des rapports d’évaluation, mais aussi de pratiques installées et promues au fil du temps. Les choix opérés pour la définition du mandat de l’évaluation dépendent ainsi de l’expérience et de la maturité du système dans lequel opère l’évaluation. Les comparaisons entre pays doivent donc être opérées avec beaucoup de prudence et, dans une majorité de cas, les pratiques de l’évaluation ne sont pas transposables directement d’un pays à l’autre.
En conclusion
En amont de la définition de la méthodologie de l’évaluation (référentiel et procédures), la définition du mandat de l’évaluation est une étape fondamentale pour faciliter la compréhension et l’acceptabilité de l’évaluation.
Si les grandes lignes du mandat de l’évaluation sont souvent définies par la loi ou par des textes réglementaires produits par l’Etat, l’agence d’assurance qualité, interlocutrice privilégiée des différentes parties prenantes, joue un rôle majeur dans la finalisation, la diffusion et l’évolution du mandat.
Malgré les différentes réformes et étapes législatives intervenues durant ces dernières décennies en France, le manque de maturité et de recul de l’ESR vis-à-vis de l’évaluation, sans doute aussi le défaut de méthode de l’Etat et une implication insuffisante de l’Aeres puis du Hcéres, n’ont pas permis, de mon point de vue, d’aboutir à une définition claire du mandat de l’évaluation.
Les débats autour de ce sujet ont trop souvent été focalisés sur la recherche, ils n’ont pas suffisamment abordé et explicité les fondements de notre système d’évaluation et ont malheureusement parfois porté sur des détails de méthodologie relevant de la responsabilité de l’agence. Il en résulte l’absence d’un texte de référence porté par le Hcéres et une certaine confusion, ce qui explique en partie un manque de continuité et de cohérence de l’action de l’Aeres puis du Hcéres, et les nombreuses contestations qui pénalisent le développement d’une véritable culture de l’évaluation.