Après avoir présenté deux documents précisant le contexte de l’élaboration d’un référentiel d’évaluation (Article 23 : Le mandat de l’évaluation et article 24 : Modèle de l’entité évaluée), le présent article propose une définition des constituants de base d’un référentiel.
Il n’y a malheureusement pas d’approche universelle pour définir les éléments internes utilisés pour l’écriture d’un référentiel. Même si des similitudes sont présentes dans un grand nombre de référentiels, il est très difficile d’en extraire une liste précise de constituants élémentaires et des définitions partagées. L’architecture, les libellés et la signification des éléments de base peuvent largement varier et même conduire parfois à des différences significatives de définition.
Cette situation s’explique par la grande diversité d’utilisation des référentiels. On peut en effet comprendre que les règles d’écriture diffèrent sensiblement en fonction de la nature des évaluations réalisées (évaluation formative, accréditation, certification…). Les référentiels peuvent ainsi être plus ou moins détaillés et plus ou moins précis sur la nature des investigations et des attendus qu’ils explicitent. Une autre difficulté tient au fait que l’assurance qualité, principalement issue du monde anglosaxon, fait l’objet de certaines ambiguïtés liées à la traduction de la terminologie utilisée. Il serait trop long de faire l’analyse détaillée de cette dimension mais les embuches sont nombreuses, comme en témoigne l’exemple du terme « quality assurance » traduit improprement en français par le terme « assurance qualité » alors qu’il serait plus logique d’utiliser le terme « garantie de la qualité ».
Cet article propose une définition des constituants d’un référentiel dans le cas d’une évaluation ouverte, de type formative et destinée à faire progresser un système d’enseignement supérieur et de recherche (ESR), correspondant au cadre général des évaluations défini dans notre ESR national.
Le point d’appui des standards européens
Les évaluations des établissements et des formations s’inscrivent dans le cadre « des références et lignes directrices pour l’assurance qualité dans l’espace européen de l’enseignement supérieur » (ESG : European Standards and Guidelines for quality assurance ). Il est intéressant d’en analyser leur construction car elle peut servir de modèle à l’élaboration d’un référentiel, les ESG étant même parfois utilisés directement comme un référentiel d’évaluation.
Les ESG définissent les deux notions de référence et de lignes directrices :
« Les références définissent les pratiques reconnues et acceptées pour l’assurance qualité dans l’enseignement supérieur au sein de l’EEES ; elles doivent donc être prises en compte et respectées par les parties concernées, dans tous les types d’offre de formations et de services de l’enseignement supérieur ».
La notion de référence (standard en anglais) définit donc des attendus identifiés qui s’imposent à l’entité évaluée et qui vont constituer des champs d’investigation pour l’évaluateur. Elle se compose d’un titre synthétique et d’un court développement des attendus.
« Les lignes directrices expliquent pourquoi les références sont importantes et décrivent comment elles pourraient être mises en œuvre. Elles définissent les bonnes pratiques dans le domaine concerné, qui peuvent être prises en considération par les acteurs impliqués dans l’assurance qualité. Leur mise en œuvre diffèrera selon les contextes. »
La notion de lignes directrices est large, elle permet à la fois de compléter et contextualiser les attendus en identifiant des bonnes pratiques, et de donner des clés d’analyse pour en apprécier le niveau de réalisation.
A titre d’exemple, un extrait de la première référence des ESG :
« Référence 1.1 : Politique d’assurance qualité
Les institutions disposent d’une politique d’assurance qualité rendue publique et faisant partie intégrante de leur pilotage stratégique. Les parties prenantes internes développent et mettent en œuvre cette politique par le biais de structures et de démarches appropriées, tout en impliquant les parties prenantes externes.
Lignes directrices référence 1.1 :
Les politiques et les démarches associées sont les piliers d’un système d’assurance qualité cohérent au sein d’une institution, constituant un cycle d’amélioration continue et contribuant à son devoir de rendre compte…. C’est pourquoi la politique d’assurance qualité a un statut officiel et est accessible au public.
De telles politiques soutiennent :
L’organisation du système d’assurance qualité ;
Les départements, écoles, facultés et autres unités organisationnelles ainsi que la direction de l’institution, les membres du personnel et les étudiants afin qu’ils assument leurs responsabilités en matière d’assurance qualité;
L’intégrité et la liberté académique, la vigilance envers la fraude académique;
La protection contre toutes les formes d’intolérance ou de discrimination envers les étudiants ou le personnel;
L’implication des parties prenantes externes dans les démarches d’assurance qualité.
La politique d’assurance qualité est mise en pratique par le biais de diverses démarches d’assurance qualité interne permettant une participation de l’ensemble de l’institution…. »
Une structuration des référentiels à partir de quatre éléments clés
L’élaboration d’un référentiel répond à de multiples contraintes. Un référentiel doit être synthétique pour identifier clairement l’essentiel du processus d’évaluation et éviter tout risque de dispersion dans un exercice toujours contraint par le temps. Il doit être explicite pour bien décliner les différents attendus de l’évaluation et les pistes d’investigation suggérées. Il doit enfin être compréhensible par le large public des acteurs des entités évaluées et des experts évaluateurs.
A partir des notions de références et de lignes directrices, il est possible d’utiliser quatre constituants pour définir deux niveaux de structuration d’un référentiel :
Une organisation globale en grands domaines et titres synthétiques de références
Une explicitation des contenus à l’aide de règles d’interprétation et de critères d’évaluation
Une architecture en domaines et titres de références permettant une lecture rapide
Le document « mandat de l’évaluation » ( article 23) définit le périmètre de l’évaluation, en explicitant le type d’entité à évaluer et la liste des activités internes à examiner. Une partie de ces éléments se retrouve naturellement dans l’architecture du référentiel qui est très souvent découpée en grands chapitres ou domaines. L’ordre de présentation de ces domaines et les cibles qu’ils identifient permettent une mise en avant de certains enjeux de l’évaluation.
A titre d’exemple, le référentiel Hcéres d’évaluation institutionnelle des universités de la vague B (2020-2021) donnait des signaux forts sur les principales cibles de l’évaluation :
Domaine 1 : Le pilotage stratégique et opérationnel de l’Université
Domaine 2 : La recherche et la formation
Domaine 3 : La réussite des étudiants
Alors qu’on pourrait imaginer un grand nombre de chapitres liés à la complexité interne d’une université, ce référentiel propose trois cibles essentielles qui affichent les priorités de l’évaluation: la stratégie de l’université et son opérationnalisation, placées comme champs majeurs d’investigation devant celui traditionnel concernant le pilotage de la recherche et des formations et enfin, un message fort lié à la place des étudiants au travers d’un chapitre global investiguant toutes les dimensions du parcours étudiant, au lieu du chapitre classique limité à la vie étudiante.
Des sous domaines peuvent venir compléter l’architecture globale du référentiel mais il convient de ne pas les multiplier pour faciliter la mise en œuvre de l’évaluation et éviter un morcellement excessif qui risque d’éloigner l’évaluateur d’une analyse de la cohérence globale du pilotage stratégique de l’entité évaluée.
C’est surtout le découpage en références telles que décrites dans les ESG qui va venir compléter la structuration du référentiel, en définissant la « granularité » de l’évaluation par l’identification des principaux attendus. A ce niveau, le titre de la référence constitue un élément essentiel qui doit permettre, dans un format synthétique, de résumer l’attendu majeur de la référence avec les principaux mots clés qui la caractérisent.
Comme pour le découpage en domaines, il convient d’être particulièrement attentif au nombre de références d’un référentiel. C’est une clé de la réussite d’une évaluation. Le souci de l’exhaustivité peut facilement conduire à une multiplication des références, avec un référentiel très dense souvent inapplicable dans le cadre d’un exercice d’évaluation toujours contraint par le temps et la taille des comités d’experts. Il n’y a pas de règle absolue, mais l’expérience montre qu’il est difficile d’explorer et surtout d’articuler plus de vingt références. Pour des évaluations classiques mobilisant un comité de quelques experts sur un à trois jours d’évaluation, la cible de douze à quinze références apparait comme un optimum pour garantir une évaluation efficace. Il ne faut pas négliger non plus l’impact sur la taille des rapports d’évaluation et le risque de rebuter les lecteurs potentiels.
A titre d’exemple ci-dessous quelques titres de références issues du référentiel Hcéres d’évaluation des universités de la vague B (2020-2021) :
Référence 1. L’université définit son positionnement institutionnel dans son environnement local, national et international.
Référence 5. La direction de l’université porte et développe une politique globale de la qualité.
Référence 14. L’université favorise la réussite des étudiants par des dispositifs et des parcours adaptés, depuis leur orientation jusqu’à leur insertion professionnelle.
Des règles d’interprétation contribuant à la bonne compréhension de chaque référence
Quel que soit le format, plus ou moins synthétique, du titre de chaque référence, il est nécessaire de de compléter ce libellé afin d’éviter toute ambiguïté sur la portée de chaque référence. Les ESG proposent un court développement des attendus, complété par l’identification de bonnes pratiques dans le cadre des lignes directrices associées. C’est un point délicat de la rédaction d’un référentiel car on peut rapidement dériver vers une démarche normative, uniformisant l’action des entités évaluées. Les ESG insistent d’ailleurs à ce niveau sur la nécessaire prise en compte du contexte propre à chaque entité.
Il me semble intéressant d’être un peu plus précis à ce niveau dans le contexte d’une évaluation formative. La référence peut alors se limiter à exprimer des grands principes faisant consensus au niveau du pilotage des entités évaluées, en explicitant et contextualisant des attendus généraux souvent issus des textes législatifs ou réglementaires, sans imposer des solutions opérationnelles particulières.
La notion de règle d’interprétation est souvent exprimée par un encadré qui traduit le contenu de la référence et complète le message porté par son titre. Il s’agit d’un court développement de la référence se limitant à des attendus consensuels et dans lequel on peut faire le lien avec le document modèle de l’entité évaluée (cf article 24). La taille de ce texte va dépendre du libellé plus ou moins développé du titre de la référence et de la complexité du champ d’action qu’elle représente.
Le texte ci-dessous présente un exemple de règle d’interprétation issu du référentiel Hcéres d’évaluation des universités de la vague B (2020-2021) :
Référence 5. La direction de l’université porte et développe une politique globale de la qualité.
L’université est engagée dans une démarche d’amélioration continue de son fonctionnement et de ses activités et porte une politique de la qualité structurée à l’échelle de l’université. Cette politique s’appuie sur des principes de transparence, d’intégrité, de motivation des choix, de reddition d’information et de remédiation. Elle est articulée avec la stratégie et constitue un levier de la gouvernance de l’université.
L’université a mis en place une organisation cohérente de son processus d’autoévaluation qui implique les personnels et les étudiants.
Le rapport d’autoévaluation restitue, au travers d’un document synthétique associé à des annexes identifiées et structurées, une analyse critique argumentée de l’ensemble des problématiques définies par le présent référentiel.
Des critères explicitant les investigations à privilégier pour analyser le niveau de réalisation de la référence
Il peut être intéressant de ne pas reprendre directement la notion très large de lignes directrices des ESG, au profit de la notion de critères d’évaluation.
Les critères d’évaluation précisent, pour chaque référence, des pistes d’investigation et des éléments de preuve pouvant contribuer à apprécier le niveau de réponse aux attendus de la référence. Il ne s’agit pas d’imposer des indicateurs ou des dispositifs de mesure précis mais, essentiellement, d’exiger que toute activité fasse l’objet d’outils d’analyse clairement explicités et dont les résultats soient accessibles et qualifiés. Dans le cas d’une évaluation formative, la liste de critères n’est en général pas exhaustive et elle doit laisser à l’expert une certaine capacité d’initiative.
Il y a souvent une confusion entre les notions de références et de critères, qui conduit à les regrouper sous la seule appellation de critères d’évaluation. Même si on peut admettre qu’il existe des proximités fortes entre ces deux notions, il me semble utile de les distinguer pour une formulation plus rigoureuse des référentiels.
Le texte ci-dessous présente un exemple de critères d’évaluation issu du référentiel Hcéres d’évaluation des universités de la vague B (2020-2021) :
Référence 5. La direction de l’université porte et développe une politique globale de la qualité.
Le rapport d’autoévaluation apportera les analyses critiques et les éléments de preuve concernant :
Le processus d’autoévaluation et les choix opérés pour l’élaboration du rapport d’autoévaluation.
L’organisation des structures et des instances de la politique de la qualité de l’université et son portage par l’équipe de direction.
Les outils d’amélioration continue (programmation, opérationnalisation, suivi, correction-remédiation).
L’explicitation et la diffusion de la politique de la qualité auprès des personnels et étudiants, ainsi que l’analyse de l’implication de ces derniers dans la conduite de cette politique.
Le cas échéant, l’intégration dans cette politique de la maîtrise des risques associés aux circuits de décision et aux activités de l’université.
Le suivi des recommandations de la précédente évaluation.
Conclusion :
Les constituants des référentiels d’évaluation ne sont malheureusement pas toujours bien définis. Cela conduit souvent à des libellés qui ne sont pas cohérents et homogènes à l’intérieur d’un même référentiel. Ce manque de rigueur et de méthode impacte directement la qualité des évaluations. Il n’est sans doute pas possible d’avoir une méthode unique, mais il est par contre regrettable que de nombreux référentiels ne fassent pas l’objet d’une clarification des choix opérés pour leur élaboration.
Le modèle en quatre constituants élémentaires (domaines, titres de références, règles d’interprétation, critères d’évaluation), proposé dans cet article, reprend des pratiques issues de différentes agences d’évaluation. C’est notamment la synthèse d’échanges avec des collègues étrangers dans le cadre de plusieurs projets européens consacrés au développement de l’assurance qualité. C’est également la synthèse de mon activité de production de référentiels d’évaluation durant une dizaine d’années au sein de l’Aeres puis du Hcéres.
Il n’y a pas de modèle unique pour définir les éléments constitutifs d’un référentiel. Les choix opérés sont liés au type d’évaluations envisagé et surtout au contexte de ces évaluations, incluant le niveau de maturité des communautés concernées en ce qui concerne de l’assurance qualité. C’est d’ailleurs pour ces raisons qu’il est recommandé d’éviter de transposer un référentiel à des systèmes ESR différents.
Le prochain article de cette série consacrée à l’élaboration d’un référentiel apportera un axe complémentaire de réflexion, en abordant le style d’écriture d’un référentiel et les orientations politiques qu’il peut révéler quant au processus d’évaluation.