Le référentiel d’évaluation constitue un document central d’un processus d’évaluation quels que soient le type d’entité évaluée et le type de méthode utilisée. Ce document en guide les principales étapes, depuis l’étape d’autoévaluation par l’entité évaluée, puis les investigations et la production du rapport par le comité en charge de l’évaluation externe, et enfin, les phases d’exploitation des résultats de l’évaluation par les différents utilisateurs du rapport final. Le présent article s’inscrit dans une série, constituée de plusieurs parties, et qui propose de passer en revue les différents dimensions politiques et techniques de l’élaboration d’un référentiel.
Ainsi, cette première partie aborde la place effective du référentiel dans l’ensemble de la méthodologie d’évaluation et la diversité des contextes possibles.
La réponse technique à des choix politiques normalement exprimés dans le mandat de l’évaluation
Comme cela a déjà été évoqué dans deux articles de ce blog (articles 5 et 6), le référentiel traduit les grandes orientations politiques (normalement) exprimées dans le document « mandat de l’évaluation ». Ce dernier définit trois éléments clés :
Le périmètre de l’évaluation précise le type d’entités évaluées, la nature des activités internes examinées et la périodicité de l’évaluation, ainsi que les modalités de choix de chaque entité.
Les objectifs de l’évaluation identifient la nature des investigations et des analyses attendues dans le cadre de l’évaluation, ainsi que le type de jugements évaluatifs et de recommandations associés. C’est à ce niveau que se joue la définition de la « philosophie de l’évaluation » (cf. article 6).
La destination des résultats de l’évaluation précise les utilisateurs potentiels du rapport d’évaluation, le type de publication et de diffusion envisagés et les exploitations potentielles.
Le mandat de l’évaluation n’est malheureusement pas toujours identifié par un document spécifique des processus d’évaluation. Même si ce n’est pas le cas, les éléments indiqués ci-avant doivent être clairement explicités en amont de l’élaboration d’un référentiel. C’est une condition fondamentale pour garantir la cohérence interne et les clés de compréhension et d’interprétation d’un référentiel par ses différents utilisateurs. L’élaboration d’un référentiel représente alors qu’une simple traduction technique de choix politiques.
Le référentiel est un document central d’un processus d’évaluation mais en l’absence d’un mandat de l’évaluation clairement défini en amont, les risques sont importants d’aboutir à un document objet d’interprétations divergentes, de multiples demandes de modifications et dont l’usage et l’évolution peuvent s’avérer complexes, sources d’instabilités et de contestations.
Les objectifs de l’évaluation qui impactent le style et le niveau de détail du référentiel
Suivant les choix politiques opérés pour définir les objectifs de l’évaluation, les investigations et les analyses réalisées peuvent être très différentes (cf. article 6). Elles peuvent, par exemple, se traduire par une simple vérification de conformité à une norme, par une mesure de performance relativement à des indicateurs identifiés, par une analyse d’une démarche stratégique ou encore, par une analyse de la politique qualité considérée comme outil de garantie de la maitrise du développement et de la performance.
Cette variété de modes d’investigation, de questionnements et d’analyses va donc conduire à des styles d’écriture du référentiel très différents, allant de la simple liste de questions élémentaires sur des éléments précis du cadre de fonctionnement de l’entité évaluée, à des formulations plus ouvertes et synthétiques, questionnant les capacités de management de l’entité, ou encore, à une demande de démonstration de l’impact du management de l’entité sur sa performance.
La philosophie de l’évaluation va également fortement impacter le niveau de détail des questionnements du référentiel et donc la taille du document qui en résulte. On peut ainsi aboutir à des documents de quelques pages synthétisant quelques questions fondamentales et génériques ou à de véritables inventaires explicitant les différents rouages à explorer et les attendus associés.
Je reviendrai dans un autre article de cette série sur ces problématiques du style d’écriture et du niveau de détail en lien avec les objectifs de l’évaluation car ce sont des éléments déterminants pour l’utilisation pratique d’un référentiel.
Le curseur évaluation-décision qui impacte les attendus d’un référentiel et la confiance des acteurs
Selon les bonnes pratiques de l’assurance qualité, les résultats de l’évaluation sont habituellement utilisés pour générer des actions correctrices afin d’alimenter la démarche de progrès de l’entité évaluée. Mais au-delà de cette boucle de la qualité, décrite par la roue de Deming (cycle PCDA : Plan, Do, Check, Act), les résultats de l’évaluation sont aussi utilisés pour informer les acteurs de l’écosystème de l’entité évaluée et pour contribuer à des processus de décision et de régulation.
Ce sont notamment les exploitations potentiellement réalisées par les tutelles de l’entité évaluée qui peuvent fortement impacter le contenu d’un référentiel.
La « distance » entre l’évaluation et la décision est ainsi un élément déterminant qu’il est nécessaire de bien expliciter car il conditionne souvent le niveau de confiance ou de défiance que les évalués vont porter au processus d’évaluation. Des éléments du référentiel sont-ils directement reliés à des décisions s’appuyant, par exemple, sur des avis ou des indicateurs issus de l’évaluation ? Quel est le niveau de prise en compte de ces avis ? Une simple contribution à une décision exploitant plusieurs sources d’information ou un critère central et unique de la décision ? S’agit-il d’un processus systématique de décision/sanction, d’un outil de dissuasion permettant de détecter des situations critiques extrêmes, ou d’un outil de diagnostic pouvant conduire à un panel d’aides et de propositions d’amélioration ? Y-a-t’il un processus de certification ou de labellisation en lien direct avec les résultats de l’évaluation ?
Il ne s’agit pas d’avoir une vision naïve de l’évaluation ignorant les conséquences potentielles de ses résultats. Il est logique et évident qu’il y ait des processus de décision après une évaluation. Au-delà des systèmes de décision / sanction qui peuvent être mis en œuvre par les tutelles à des fins de régulation, il ne faut pas non plus négliger l’enjeu de notoriété globale en lien avec des résultats d’évaluation rendus publics et largement diffusés.
Toutefois, les résultats de l’évaluation externe doivent servir en premier lieu le processus d’amélioration continue de l’entité évaluée. Le risque d’une évaluation très (trop) fortement liée à un processus de décision/ sanction est de conduire à un manque de sincérité de l’autoévaluation réalisée par l’entité évaluée. Celle-ci peut être amenée à masquer ses faiblesses dans l’espoir que l’évaluation externe ne puisse les identifier, mettant ainsi en péril tous les fondements de l’assurance qualité.
Le positionnement du curseur évaluation/décision est très délicat. Il dépend du contexte de mise en œuvre de l’évaluation et des besoins précis des tutelles. Il peut en effet apparaitre tout à fait logique de procéder à des évaluations très normatives, identifiant des éléments précis à valider pour s’assurer de la qualité minimale requise pour un système amorçant la pratique d’évaluation et présentant des entités évaluées très hétérogènes. Au contraire, un contexte avec une forte expérience acquise en matière d’évaluation et une forte autonomie des entités évaluées peut conduire à une analyse plus globale, destinée à identifier des voies de progrès et à orienter les niveaux d’aides appropriés. Cette grande diversité de situations conduit à considérer que chaque référentiel est spécifique d’un système d’enseignement supérieur et de recherche. Ainsi, les référentiels ne sont pas transposables d’un système à l’autre et font l’objet de révisions régulières en fonction des évolutions du système qu’ils concernent.
La confiance dans un système d’évaluation va dépendre de la transparence de ces processus de décision et d’exploitation des résultats. Il est donc impératif de bien documenter les exploitations potentielles des résultats de l’évaluation pour faciliter l’écriture d’un référentiel. Il convient d’éviter toute ambiguïté au niveau de son contenu pour l’ensemble de ses utilisateurs dans les phases de l’autoévaluation et de l’évaluation externe.
La grande diversité des types de rédaction d’un référentiel et la difficulté d’une terminologie technique non stabilisée
L’élaboration d’un référentiel peut s’opérer suivant des formulations très diverses et aboutir à des documents de différentes tailles. La trame des standards européens (ESG) sert souvent de modèle sans toutefois constituer une architecture type, et la terminologie technique utilisée pour désigner les constituants d’un référentiel ne fait pas l’objet d’un consensus. En effet, les termes de critères, références, standards, règles d’interprétation, domaines, champs sont fréquemment utilisés mais ne recouvrent pas toujours la même définition (ce point sera traité dans un des prochains articles).
L’un des enjeux consiste à autoriser plusieurs niveaux de lecture en fonction du type d’utilisateur sans nuire à la bonne compréhension des attendus de l’évaluation. Il peut y avoir ainsi une tentation de réaliser des référentiels « fourre-tout », décrivant dans le détail toutes les dimensions des entités à évaluer et leurs attendus correspondants. Ce point pose la question du dimensionnement du référentiel et du « modèle théorique de référence » de l’entité évaluée, toujours sous-jacent à la rédaction d’un référentiel (comme on le verra dans un prochain article également).
Conclusion
La problématique du contexte d’un référentiel, développée dans cet article, montre qu’un référentiel est le document méthodologique central de la mise en œuvre d’une évaluation. Il traduit des principes et des orientations qui doivent être explicités en amont, si possible dans un document global décrivant le mandat de l’évaluation.
La multitude de situations rencontrées conduit à une grande diversité de formulations. Il est toutefois possible de dégager quelques repères utiles à la rédaction d’un référentiel qui vont être abordés dans cette série d’articles. Le contexte retenu sera celui de l’assurance qualité avec une évaluation centrée sur les démarches de progrès de l’entité évaluée (pas de processus de certification ou de labélisation, ni de décision directement liée aux résultats). C’est en effet le contexte qui devrait être celui des établissements de l’ESR dans notre pays, si les tutelles ministérielles prenaient pleinement acte de leur autonomie reconnue avec la LPR.