Article 6 : Le mandat de l’évaluation / quelques approches en termes d’objectifs de l’évaluation

Après avoir défini dans mon précédent article la notion de mandat de l’évaluation avec ses trois composantes (périmètre, objectifs et destination), je vous propose de développer, dans cet article, la composante « objectifs », qui révèlent en fait la philosophie de l’évaluation, explicitement ou implicitement adoptée par le prescripteur de l’évaluation.

Les principales approches

Les trois composantes du mandat sont interdépendantes et les choix opérés au niveau des objectifs, ont des conséquences directes sur le périmètre et sur la destination, même si c’est souvent le périmètre qui est choisi en premier. Quatre grandes approches de l’évaluation peuvent être distinguées. Elles sont fortement liées à la maturité du système d’enseignement supérieur et de recherche (ESR) auquel elles s’appliquent.

1- Une analyse basée sur la vérification de conformité

C’est la démarche la plus simple qui consiste à vérifier la mise en œuvre de modalités d’organisation des activités, de mesures ou dispositifs particuliers de gestion, d’outils de pilotage ou de suivi des résultats. L’évaluateur part d’un modèle identifié et vérifie la conformité de sa mise en œuvre par l’entité évaluée. C’est l’approche classique d’un Etat qui souhaite vérifier le déploiement sur le terrain de mesures réglementaires concernant l’organisation et les pratiques des établissements, afin de s’assurer de l’homogénéité et de la cohérence globale de son système d’ESR. L’approche peut être plus ou moins détaillée et normative en fonction du contexte du système d’ESR concerné. Elle est souvent adoptée par des systèmes très centralisés composés d’entités peu autonomes ou par des systèmes en phase de développement privilégiant des mécanismes de régulation pour garantir un socle minimal d’exigences pour leurs différentes entités.

2- Une analyse de la performance

Cette approche se focalise sur l’analyse des résultats des activités de l’entité évaluée. Il ne s’agit plus de vérifier la conformité d’un modèle d’organisation et de pilotage mais de définir un ensemble de données et d’indicateurs qui va permettre d’apprécier le niveau des résultats obtenus par les entités évaluées, voire même leur performance relativement à celle d’autres entités, et ainsi potentiellement aboutir à des classements. Cette approche comporte un caractère normatif par le choix des données et indicateurs mesurés. Il est très difficile, pour des activités telles que celles de l’ESR, d’avoir des éléments de mesure prenant en compte toutes les dimensions du contexte de l’entité évaluée et ses spécificités.

3- Une analyse relative aux orientations stratégiques de l’entité évaluée

Il s’agit d’une approche non normative qui analyse la qualité des dispositifs mis en œuvre pour déployer la stratégie définie par l’entité évaluée, ainsi que les outils de suivi des résultats obtenus. L’analyse est donc relative aux priorités stratégiques choisies par l’entité dans le respect de ses marges d’autonomie. Cette démarche est privilégiée quand la priorité est donnée à une évaluation dont l’objectif principal est de constituer une aide à la gouvernance et au pilotage de l’entité évaluée. Il y a bien, comme dans l’approche précédente, une analyse de la performance, mais celle-ci s’opère relativement aux spécificités et à la trajectoire historique de l’entité évaluée.

4- Une analyse de la politique de la qualité comme démonstrateur de la maîtrise du pilotage

Cette approche part du principe que l’entité évaluée dispose d’une grande autonomie et qu’elle est en mesure d’organiser elle-même les différents dispositifs d’évaluation interne et externe nécessaires au pilotage et au suivi de ses activités. Formulé autrement, il est attendu que l’entité évaluée dispose d’une politique de la qualité et des outils associés lui permettant de maitriser la mise en œuvre de sa stratégie et plus globalement son pilotage. L’approche consiste alors à analyser la politique de la qualité et ses outils afin de confirmer s’ils garantissent un développement performant de l’entité évaluée.

Les deux premières approches peuvent se combiner ainsi que les deux dernières mais il y a une rupture forte entre ces deux groupes qui n’adoptent pas la même posture vis-à-vis de l’entité évaluée.

Le contexte des standards européens (ESG) 

Les ESG abordent des éléments de nature différente, notamment des attentes adressées aux établissements dans le premier chapitre et des recommandations pour les démarches d’évaluation externe dans le deuxième chapitre. Ces éléments couvrent à la fois des dimensions du mandat de l’évaluation et des principes méthodologiques pour sa mise en œuvre avec, en particulier, les deux principes fondamentaux d’évaluation par les pairs et d’autoévaluation.  Pour ce qui concerne le mandat, on peut retenir les éléments suivants : Au niveau du périmètre de l’évaluation, les ESG mettent fortement en exergue la responsabilité et donc le périmètre de l’établissement, ainsi que la notion de périodicité de l’évaluation. Ils portent essentiellement sur l’activité de formation mais certains principes énoncés peuvent s’appliquer aux autres activités d’un établissement d’ESR. Au niveau des objectifs, c’est la dimension de la politique de la qualité des établissements qui est mise en avant, en lien avec le pilotage des formations et une focalisation sur la place et le rôle des étudiants.  Pour ce qui concerne la destination de l’évaluation, les ESG insistent sur le caractère public et informatif des rapports d’évaluation et sur l’objectif d’accessibilité de ces rapports et de leur contenu aux différents publics, notamment aux étudiants et aux familles. Les ESG ne constituent pas une définition complète du mandat et ils offrent une large palette de déclinaisons mais ils spécifient toutefois quelques éléments centraux à tout acte d’évaluation.

L’approche « analyse de la politique de la qualité » mise en avant par quelques évolutions récentes de pays européens

Sans prétendre à une analyse exhaustive du sujet, on peut constater une tendance, au niveau européen, à privilégier l’approche analyse de la politique de la qualité à l’échelle de l’institution en lien direct avec les attentes des ESG. C’est le cas de trois exemples intéressants en Belgique,  Suisse et  Finlande, même si ces trois approches ont des niveaux d’application et des déclinaisons sensiblement différents.

La Belgique francophone, longtemps focalisée sur l’analyse des formations, a lancé récemment un nouveau programme expérimental d’évaluation institutionnelle globale fortement axé sur l’analyse de la politique qualité des établissements et s’appuyant sur les ESG.

La Suisse a fait évoluer son évaluation institutionnelle par une approche portant exclusivement sur l’analyse du système d’assurance qualité et conduisant à une accréditation institutionnelle. L’évaluation externe des activités de l’établissement relève de sa responsabilité et n’est pas intégrée au processus porté par l’agence d’évaluation qui se concentre exclusivement sur le système d’assurance qualité. Ce dernier est considéré comme partie intégrante et indispensable de la stratégie de l’institution, devant garantir l’efficacité de son développement.

La Finlande, engagée de longue date dans cette voie, est allée encore plus loin récemment en analysant les outils mis en place par l’établissement pour maintenir et développer la qualité. L’évaluation porte notamment l’exigence pour l’institution de s’engager dans des démarches de benchlearning visant, pour des activités spécifiées, à identifier et travailler avec des établissements cibles, pouvant constituer un modèle de progrès pour l’établissement évalué. Les attentes portent également sur la capacité d’analyse par l’établissement de l’impact sociétal de ses activités.

Conclusion :

Les objectifs de l’évaluation, partie centrale du mandat, sont révélateurs de la maturité d’un système d’ESR. Les quatre approches présentées dans cet article montrent en fait la progression fréquemment pratiquée avec, dans un premier temps, une évaluation très normative cherchant à vérifier la mise en œuvre d’un modèle de référence, puis à en mesurer la performance à partir d’indicateurs standardisés mais souvent contestés, car peu robustes face à la diversité des situations et contextes des entités évaluées. Le basculement vers une évaluation plus axée sur la dynamique propre de l’entité, et respectueuse de ses choix stratégiques, voire même vers une approche résolument focalisée sur la politique de la qualité et ses outils, sont caractéristiques d’un système organisé à partir d’établissements très autonomes et responsables. L’objectif central, au travers de l’évaluation, est alors d’analyser la cohérence entre leurs ambitions affichées et la réalité de leurs activités, ainsi que de confirmer la maîtrise qu’ils assurent de leur pilotage.

Bien évidemment, les tentations sont grandes de privilégier une évaluation imposant des modèles et des normes de performance pour en faire un outil de la décision. Ce type de démarche est parfois nécessaire pour garantir la cohérence d’un système d’ESR en phase de construction mais il est rarement efficace sur le long terme pour créer les conditions d’une dynamique propre à chaque établissement, permettant d’assurer la progression de l’ensemble du système.

Qu’en est-il de notre système français d’évaluation ? Je tenterai de répondre à cette question dans les prochains articles.