La série d’articles consacrée à l’élaboration d’un référentiel d’évaluation (Article 23 : Le mandat de l’évaluation ; article 24 : Modèle de l’entité évaluée ; article 25 : Les constituants de base) se poursuit avec une nouvelle partie consacrée au style d’écriture d’un référentiel. Après avoir défini, dans l’article précédent, les constituants de base d’un référentiel (domaines, références, règles d’interprétation et critères), il est intéressant d’aborder les modes de rédaction de ces éléments. Ce sujet n’est pas anodin, car la compréhension, la lisibilité, la facilité d’exploitation et l’efficacité globale de chaque référentiel dépendent des choix opérés dans ce domaine. Le mode de rédaction des intentions portées par un référentiel traduit et met en relief la philosophie de l’évaluation.
Cet article propose donc quelques repères pour définir les règles d’écriture et le style global d’un référentiel.
A qui s’adresse le référentiel ?
La première question à se poser pour définir le style d’écriture d’un référentiel concerne son destinataire principal. Par nature, un référentiel va être utilisé par les acteurs de l’entité évaluée pour l’élaboration de son autoévaluation et par les experts mobilisés pour l’évaluation externe. Une formulation impersonnelle limitée à une liste d’items à contrôler est possible mais il est préférable d’adopter une écriture plus dynamique sur le mode de l’interpellation.
L’agence d’évaluation en charge de la rédaction du référentiel peut être naturellement tentée de s’adresser, en premier lieu, aux experts qu’elle aura choisis pour réaliser l’évaluation. L’entité évaluée sera par ailleurs informée des items explorés par les experts et pourra en déduire les points à traiter dans le cadre de son autoévaluation. Le référentiel est alors conçu essentiellement comme un document de formation, guidant l’action des comités d’évaluation.
Une autre approche possible est d’adresser le référentiel aux entités évaluées et à leurs acteurs internes. Il affiche alors l’objectif premier de guider l’entité évaluée dans son processus d’autoévaluation, en précisant les investigations qu’elle devra aborder dans le rapport livré aux experts en charge de l’évaluation externe. Le référentiel ne perd pas pour autant son rôle auprès des experts puisque, indirectement, les attendus de l’autoévaluation vont servir également de guide pour l’évaluation externe.
Si ces deux approches peuvent être considérées comme équivalentes (dans les deux cas, évaluateurs et évalués sont informés des attentes de l’évaluation), elles n’adressent pas le même message politique.
Un référentiel interpellant les experts répond parfaitement à l’obligation pour une agence de décrire, par le biais de son référentiel, sa méthode d’évaluation. La priorité affichée est clairement le processus d’évaluation externe et la qualité des résultats obtenus pour qualifier la performance globale de l’entité évaluée.
Un référentiel s’adressant aux entités évaluées répond aux mêmes objectifs de description de la méthode d’évaluation, mais il apporte un plus qui constitue une message politique majeur. L’agence met en évidence le processus d’autoévaluation et le rapport qui en résulte. Cet affichage exprime alors l’importance de la démarche de progrès que constitue, pour l’entité évaluée, une autoévaluation performante. Formulé autrement, l’agence affiche ainsi la priorité donnée aux dynamiques internes des entités évaluées pour faire progresser leur politique de la qualité, ce qui n’empêche pas, par ailleurs, d’ambitionner une évaluation externe exigeante. C’est évidemment une approche à privilégier si l’on veut faire de l’évaluation un moteur de progrès des établissements plutôt qu’un simple outil de pilotage et de sanction.
Les enjeux du niveau de détail du référentiel
Comme j’ai eu l’occasion de l’évoquer dans l’article 24 consacré au modèle de l’entité évaluée, le niveau de détail abordé dans un référentiel, et donc sa taille globale, constituent également un enjeu.
Le référentiel guide la mise en œuvre de l’autoévaluation et de l’évaluation externe. Dans ces deux processus, il y a tout d’abord une phase de préparation qui conduit à rassembler et exploiter de nombreux documents. C’est pendant cette phase que les experts doivent s’approprier la philosophie et la méthodologie de l’évaluation en analysant les contenus du mandat de l’évaluation, du modèle de l’entité évaluée et du référentiel. Il y a ensuite une phase d’investigation qui va permettre, dans un laps de temps limité, de saisir une photographie de l’entité évaluée. Dans cette phase, les acteurs en charge de l’autoévaluation et de l’évaluation externe vont utiliser le référentiel comme un document opérationnel leur permettant de guider leur action pour aboutir à la rédaction du rapport final. Si le référentiel n’est pas facilement exploitable pendant cette phase, il y a alors un risque que les experts s’écartent sensiblement de la méthodologie proposée par l’agence avec, comme conséquence, une moindre qualité de l’évaluation.
Pour ces raisons, il est préférable d’adopter une formulation claire permettant une identification et un accès rapides aux différentes priorités de l’évaluation. Il y a donc un enjeu à trouver le bon compromis entre une formulation trop synthétique, qui ferait courir le risque d’une évaluation figée sur une liste d’items normatifs, et une formulation trop détaillée, qui rendrait difficile l’accès au référentiel et ferait courir le risque d’une dérive du cheminement des experts. Le bon compromis global consiste en une formulation rédigée et synthétique, avec une mise en exergue (caractères gras, italiques, souligné…) des éléments saillants des références et critères pour faciliter la lecture rapide. En termes de volume global, il est préférable de limiter la partie centrale du référentiel (références et critères) à une quinzaine de pages regroupant douze à quinze références (cf article 25).
La formulation des références et des critères
La tonalité employée pour la rédaction des références et des critères traduit la philosophie de l’évaluation choisie. Pour le libellé des références, des expressions « fermées », ciblant des réalisations précises et délimitées, conduisent rapidement à une approche très normative. Au contraire, des expressions plus « ouvertes », portant sur des principes de pilotage ou des enjeux de développement, placent l’évaluation dans une démarche plus réceptive aux spécificités et aux initiatives de l’entité évaluée.
Le même raisonnement s’applique à la formulation des critères. Une approche normative conduit à des listes d’investigation, d’éléments de preuve et d’indicateurs préétablies. Une approche formative privilégie une formulation posant seulement le principe de la démonstration, par l’entité évaluée, de l’efficacité de son action avec nécessité de production de preuves et d’indicateurs. L’initiative est ainsi laissée à l’entité évaluée.
L’approche normative est souvent jugée, à tort, comme plus exigeante car elle identifie directement et précisément des éléments de contrôle qui alimentent l’évaluation. De fait, une approche formative peut être tout aussi exigeante surtout si elle contraint l’entité évaluée à devoir apporter des preuves concrètes de son action, et non pas uniquement une simple déclaration de ses progrès et performances. Cette voie oblige l’entité évaluée à se prendre en charge et elle demandera un travail plus rigoureux des experts.
Quelle que soit l’approche adoptée, Il faut enfin noter qu’il est important de veiller à des formulations utilisant des phrases courtes et des constructions simples pour faciliter la compréhension et l’exploitation du référentiel. Il convient également de s’assurer que le style d’écriture choisi, est bien maitrisé et homogène pour l’ensemble du référentiel.
Un exemple de rédaction illustrant les préférences de style défendues dans cet article
L’exemple ci-dessous présente une référence extraite du référentiel Hcéres d’évaluation des universités (vague B 2020-2021).
Référence 1. L’université définit son positionnement institutionnel dans son environnement local, national et international.
Règle d’interprétation :
L’université définit le rôle qu’elle joue dans son écosystème ainsi que l’ambition globale qu’elle porte. Ce rôle et cette ambition globale permettent de situer la place qu’elle entend occuper dans son écosystème local et aux échelons national et international.
L’université précise également comment elle se situe vis-à-vis de la coordination territoriale dans laquelle elle est impliquée ou qu’elle porte le cas échéant, quelle que soit la modalité d’organisation de cette coordination.
Critères :
Ainsi, le rapport d’autoévaluation apportera les analyses critiques et les éléments de preuve concernant :
L’historique de l’université et les valeurs qu’elle porte.
Le rôle et l’ambition globale de l’université aux niveaux local, national et international. Le cas échéant, leur déclinaison dans le temps, en explicitant le positionnement qui était constaté au début de la période de référence, le positionnement qui était visé au terme de cette période, ainsi que les orientations pour la période à venir.
La prise en compte de l’environnement socio-économique de l’université, des schémas locaux et régionaux de l’ESRI.
L’articulation du positionnement de l’université avec celui de la coordination territoriale dont elle est partie prenante et l’analyse de la place qu’elle y occupe.
Des analyses comparatives (benchmark) permettant d’étayer les choix opérés en matière de positionnement et, éventuellement, d’identifier une ou des institutions modèles, nationales ou internationales
Cette référence est déclinée selon les principes présentés dans l’article 25, avec un titre synthétique, un texte précisant les règles d’interprétation et un surlignage des éléments clés. La référence s’adresse à l’entité évaluée en demandant à l’établissement d’expliciter son positionnement. Les règles d’interprétation complètent le titre en invitant l’établissement à décliner l’ambition qu’il porte et le rôle précis qu’il souhaite jouer aux différentes échelles territoriales auxquelles il opère. C’est une attente exigeante car les établissements se limitent souvent, dans ce domaine, à une déclaration assez sommaire et peu argumentée.
Les critères apportent des précisions sur les éléments qui seront recherchés par les experts. Les notions de contexte historique et de valeurs portées par l’établissement sont mises en évidence. Il n’est pas imposé à l’établissement des éléments de preuve particuliers. Le référentiel est totalement ouvert à ce niveau mais, par contre, l’exigence est forte pour que l’établissement argumente son positionnement et qu’il montre comment il s’articule avec les autres acteurs de son environnement. Enfin, le dernier critère est particulièrement exigeant car il demande à l’établissement d’apporter, au travers de résultats de benchmarks, la preuve qu’il s’inscrit bien dans une dynamique concrète et pertinente.
Au travers d’un libellé qui ne présente aucun élément normatif pour l’établissement laissé libre de ses choix, cette référence exprime toute l’exigence d’une évaluation formative. Elle illustre également la difficulté à trouver le bon compromis pour un libellé synthétique et suffisamment précis, et à mettre en évidence les repères pertinents pour l’analyse des experts, sans pour autant borner leur périmètre d’analyse.
Conclusion :
Les quelques éléments présentés dans cet article résument la problématique du style d’écriture d’un référentiel. C’est une affaire de compromis pour trouver le bon niveau de détail et d’explicitation des attentes. Ce sont aussi des choix politiques pour mettre en lumière les intentions premières de la méthode d’évaluation et les objectifs qu’elle porte.
Dans la logique de l’approche globale portée par ce blog, c’est le choix d’un référentiel s’adressant aux entités évaluées qui est recommandé, avec une rédaction synthétique et des formulations ouvertes pour mettre en œuvre une évaluation formative.
L’ensemble des éléments de construction d’un référentiel ont ainsi été abordés dans cette série de quatre articles. Le prochain article abordera la problématique des usages du référentiel.