Article 6 : Le mandat de l’évaluation / quelques approches en termes d’objectifs de l’évaluation

Après avoir défini dans mon précédent article la notion de mandat de l’évaluation avec ses trois composantes (périmètre, objectifs et destination), je vous propose de développer, dans cet article, la composante « objectifs », qui révèlent en fait la philosophie de l’évaluation, explicitement ou implicitement adoptée par le prescripteur de l’évaluation.

Les principales approches

Les trois composantes du mandat sont interdépendantes et les choix opérés au niveau des objectifs, ont des conséquences directes sur le périmètre et sur la destination, même si c’est souvent le périmètre qui est choisi en premier. Quatre grandes approches de l’évaluation peuvent être distinguées. Elles sont fortement liées à la maturité du système d’enseignement supérieur et de recherche (ESR) auquel elles s’appliquent.

1- Une analyse basée sur la vérification de conformité

C’est la démarche la plus simple qui consiste à vérifier la mise en œuvre de modalités d’organisation des activités, de mesures ou dispositifs particuliers de gestion, d’outils de pilotage ou de suivi des résultats. L’évaluateur part d’un modèle identifié et vérifie la conformité de sa mise en œuvre par l’entité évaluée. C’est l’approche classique d’un Etat qui souhaite vérifier le déploiement sur le terrain de mesures réglementaires concernant l’organisation et les pratiques des établissements, afin de s’assurer de l’homogénéité et de la cohérence globale de son système d’ESR. L’approche peut être plus ou moins détaillée et normative en fonction du contexte du système d’ESR concerné. Elle est souvent adoptée par des systèmes très centralisés composés d’entités peu autonomes ou par des systèmes en phase de développement privilégiant des mécanismes de régulation pour garantir un socle minimal d’exigences pour leurs différentes entités.

2- Une analyse de la performance

Cette approche se focalise sur l’analyse des résultats des activités de l’entité évaluée. Il ne s’agit plus de vérifier la conformité d’un modèle d’organisation et de pilotage mais de définir un ensemble de données et d’indicateurs qui va permettre d’apprécier le niveau des résultats obtenus par les entités évaluées, voire même leur performance relativement à celle d’autres entités, et ainsi potentiellement aboutir à des classements. Cette approche comporte un caractère normatif par le choix des données et indicateurs mesurés. Il est très difficile, pour des activités telles que celles de l’ESR, d’avoir des éléments de mesure prenant en compte toutes les dimensions du contexte de l’entité évaluée et ses spécificités.

3- Une analyse relative aux orientations stratégiques de l’entité évaluée

Il s’agit d’une approche non normative qui analyse la qualité des dispositifs mis en œuvre pour déployer la stratégie définie par l’entité évaluée, ainsi que les outils de suivi des résultats obtenus. L’analyse est donc relative aux priorités stratégiques choisies par l’entité dans le respect de ses marges d’autonomie. Cette démarche est privilégiée quand la priorité est donnée à une évaluation dont l’objectif principal est de constituer une aide à la gouvernance et au pilotage de l’entité évaluée. Il y a bien, comme dans l’approche précédente, une analyse de la performance, mais celle-ci s’opère relativement aux spécificités et à la trajectoire historique de l’entité évaluée.

4- Une analyse de la politique de la qualité comme démonstrateur de la maîtrise du pilotage

Cette approche part du principe que l’entité évaluée dispose d’une grande autonomie et qu’elle est en mesure d’organiser elle-même les différents dispositifs d’évaluation interne et externe nécessaires au pilotage et au suivi de ses activités. Formulé autrement, il est attendu que l’entité évaluée dispose d’une politique de la qualité et des outils associés lui permettant de maitriser la mise en œuvre de sa stratégie et plus globalement son pilotage. L’approche consiste alors à analyser la politique de la qualité et ses outils afin de confirmer s’ils garantissent un développement performant de l’entité évaluée.

Les deux premières approches peuvent se combiner ainsi que les deux dernières mais il y a une rupture forte entre ces deux groupes qui n’adoptent pas la même posture vis-à-vis de l’entité évaluée.

Le contexte des standards européens (ESG) 

Les ESG abordent des éléments de nature différente, notamment des attentes adressées aux établissements dans le premier chapitre et des recommandations pour les démarches d’évaluation externe dans le deuxième chapitre. Ces éléments couvrent à la fois des dimensions du mandat de l’évaluation et des principes méthodologiques pour sa mise en œuvre avec, en particulier, les deux principes fondamentaux d’évaluation par les pairs et d’autoévaluation.  Pour ce qui concerne le mandat, on peut retenir les éléments suivants : Au niveau du périmètre de l’évaluation, les ESG mettent fortement en exergue la responsabilité et donc le périmètre de l’établissement, ainsi que la notion de périodicité de l’évaluation. Ils portent essentiellement sur l’activité de formation mais certains principes énoncés peuvent s’appliquer aux autres activités d’un établissement d’ESR. Au niveau des objectifs, c’est la dimension de la politique de la qualité des établissements qui est mise en avant, en lien avec le pilotage des formations et une focalisation sur la place et le rôle des étudiants.  Pour ce qui concerne la destination de l’évaluation, les ESG insistent sur le caractère public et informatif des rapports d’évaluation et sur l’objectif d’accessibilité de ces rapports et de leur contenu aux différents publics, notamment aux étudiants et aux familles. Les ESG ne constituent pas une définition complète du mandat et ils offrent une large palette de déclinaisons mais ils spécifient toutefois quelques éléments centraux à tout acte d’évaluation.

L’approche « analyse de la politique de la qualité » mise en avant par quelques évolutions récentes de pays européens

Sans prétendre à une analyse exhaustive du sujet, on peut constater une tendance, au niveau européen, à privilégier l’approche analyse de la politique de la qualité à l’échelle de l’institution en lien direct avec les attentes des ESG. C’est le cas de trois exemples intéressants en Belgique,  Suisse et  Finlande, même si ces trois approches ont des niveaux d’application et des déclinaisons sensiblement différents.

La Belgique francophone, longtemps focalisée sur l’analyse des formations, a lancé récemment un nouveau programme expérimental d’évaluation institutionnelle globale fortement axé sur l’analyse de la politique qualité des établissements et s’appuyant sur les ESG.

La Suisse a fait évoluer son évaluation institutionnelle par une approche portant exclusivement sur l’analyse du système d’assurance qualité et conduisant à une accréditation institutionnelle. L’évaluation externe des activités de l’établissement relève de sa responsabilité et n’est pas intégrée au processus porté par l’agence d’évaluation qui se concentre exclusivement sur le système d’assurance qualité. Ce dernier est considéré comme partie intégrante et indispensable de la stratégie de l’institution, devant garantir l’efficacité de son développement.

La Finlande, engagée de longue date dans cette voie, est allée encore plus loin récemment en analysant les outils mis en place par l’établissement pour maintenir et développer la qualité. L’évaluation porte notamment l’exigence pour l’institution de s’engager dans des démarches de benchlearning visant, pour des activités spécifiées, à identifier et travailler avec des établissements cibles, pouvant constituer un modèle de progrès pour l’établissement évalué. Les attentes portent également sur la capacité d’analyse par l’établissement de l’impact sociétal de ses activités.

Conclusion :

Les objectifs de l’évaluation, partie centrale du mandat, sont révélateurs de la maturité d’un système d’ESR. Les quatre approches présentées dans cet article montrent en fait la progression fréquemment pratiquée avec, dans un premier temps, une évaluation très normative cherchant à vérifier la mise en œuvre d’un modèle de référence, puis à en mesurer la performance à partir d’indicateurs standardisés mais souvent contestés, car peu robustes face à la diversité des situations et contextes des entités évaluées. Le basculement vers une évaluation plus axée sur la dynamique propre de l’entité, et respectueuse de ses choix stratégiques, voire même vers une approche résolument focalisée sur la politique de la qualité et ses outils, sont caractéristiques d’un système organisé à partir d’établissements très autonomes et responsables. L’objectif central, au travers de l’évaluation, est alors d’analyser la cohérence entre leurs ambitions affichées et la réalité de leurs activités, ainsi que de confirmer la maîtrise qu’ils assurent de leur pilotage.

Bien évidemment, les tentations sont grandes de privilégier une évaluation imposant des modèles et des normes de performance pour en faire un outil de la décision. Ce type de démarche est parfois nécessaire pour garantir la cohérence d’un système d’ESR en phase de construction mais il est rarement efficace sur le long terme pour créer les conditions d’une dynamique propre à chaque établissement, permettant d’assurer la progression de l’ensemble du système.

Qu’en est-il de notre système français d’évaluation ? Je tenterai de répondre à cette question dans les prochains articles.

2 commentaires à propos de “Article 6 : Le mandat de l’évaluation / quelques approches en termes d’objectifs de l’évaluation”

  1. Merci Robert pour cette nouvelle contribution très pédagogique. Le rythme hebdomadaire de publication de ton blog permet de construire une démarche incrémentale réfléchie sur l’évaluation dans l’ESRI, en espérant des réactions pour commenter, critiquer, proposer, bref débattre de tous ces sujets.

    Mes commentaires sur ton article 4, s’appliquent aussi à cet article. Comment pondérer les quatre approches que tu décris dans un référentiel et un processus d’évaluation d’un établissement ?
    A mon avis c’est d’abord à l’État de préciser son positionnement avec les établissements, du contrôle à l’évaluation multi-échelles (établissements, composantes, diplômes, recherche), dans un contexte de simplification, de décentralisation, d’autonomie, de responsabilité sociétale, de confiance, d’impact et de performance, et finalement de différentiation des établissements !
    Le dialogue stratégique devrait dans la contractualisation intégrer ces notions, en incluant le projet de l’établissement, les données et les indicateurs de suivi, et définir en amont le dispositif d’évaluation qui sera associé. Par exemple comme je l’indique dans mon livre le Hcéres a produit 324 rapports pour Aix-Marseille Université en 2018. Cela s’explique par le choix des grains très fins pour les formations LMD et les laboratoires. Qu’en sera-t-il pour la prochaine évaluation en 2023 ?

    Si on ajoute aux trois pays européens que tu cites l’Allemagne et les Pays-Bas, nous avons à apprendre des retours d’expériences des pratiques les plus avancées de l’évaluation institutionnelle, en particulier en termes de décentralisation, d’autonomie et de démarche qualité. Par exemple dans certains pays c’est l’établissement qui porte son évaluation et met en place son comité de visite (le rôle de l’agence d’évaluation se limitant à valider le processus) alors qu’en Italie avec l’agence Anvur, l’évaluation est orientée principalement sur la performance individuelle et collective.
    Et en France ? Si j’ai bien compris, il faudra patienter jusqu’à ton prochain article …
    Le système est complexe et peut par exemple être décomposé en 3 dimensions : X pour le grain considérer, Y pour les 4 + 2 approches d’évaluation mentionnées dans ton article, et le plus difficile Z résumant les critères du référentiel :
    – X (grain) = établissement, composantes, laboratoires et ED, diplômes L-M
    – Y (groupe) = G1, G2, G3, G4, G1-2, G3-4
    – Z (critères) = positionnement, stratégie, différentiation, impact territorial, pilotage, gouvernance, démarche qualité, recherche, valorisation, formation, réussite étudiante, international…etc.
    Cela fait pas mal de combinaisons et devrait conduire pour une combinaison donnée à pondérer les critères essentiels (Z). Par ailleurs, une évaluation d’un établissement orientée bien évidemment dans les groupes 3 et 4 que tu mentionnes, n’est pas incompatible avec une mesure de la performance (groupe 2) pilotée par l’établissement en accord avec une agence d’évaluation d’une composante (« départment » ) par un comité de pairs (« visiting committee ») compétents dans les disciplines du périmètre en recherche ET formations LMD. Le seul problème c’est qu’à ce jour en France, contrairement à ce qui se passe à l’étranger les composantes internes, n’ont jamais été évaluées …

    • Merci Michel de ce commentaire. J’aborde pour l’instant que les grandes orientations définies par le mandat et j’aurai l’occasion de traiter dans les prochains mois les méthodologies associées notamment les problématiques de référentiel. Comme je l’indique dans l’article il y a une rupture entre les deux premières approches et les deux suivantes qui les rendent difficilement compatibles et combinables. Pour simplifier on peut en fait résumer les choses à deux positions de l’Etat. Soit l’Etat veut utiliser l’évaluation comme un outil de régulation et de mesure pour accompagner ses décisions. Soit l’Etat assure ses décisions en s’appuyant sur d’autres outils (et il n’en manque pas) et privilégie une évaluation utile pour la dynamique de développement de l’établissement. C’est moins « spectaculaire » et moins immédiat en termes de résultats mais beaucoup plus utile sur le long terme. C’est bien pour cela que j’utilise le terme de philosophie car le choix n’est pas anodin. Comme tu le soulignes la mesure de la performance peut et même doit être mise en oeuvre par les établissements, c’est d’ailleurs le coeur des approches 3 et 4 pour lesquelles il incombe aux établissements de faire eux mêmes la démonstration de l’efficacité de leur action.
      Quant au sujet de l’évaluation des composantes que tu évoques, c’est effectivement une question qui mérite d’être mise sur la table notamment dans le cas des nouveaux établissements expérimentaux. Certainement pas de manière systématique mais plus probablement par des choix concertés avec les établissements.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*