En complément du mandat de l’évaluation défini dans l’article précédent, l’élaboration d’un référentiel pose la question d’un ensemble d’informations, accessible aux experts d’un comité d’évaluation, et leur permettant d’identifier et de partager les grandes missions et caractéristiques des entités à évaluer. Cet ensemble d’informations est nécessaire car tous les experts n’ont pas la même connaissance et expérience du système d’enseignement supérieur et de recherche (ESR) qu’ils observent. Les membres d’un comité d’évaluation, enseignants chercheurs, personnels administratifs et techniques, étudiants, ont par nature des parcours différents (c’est la richesse d’un comité), mais cela peut aussi constituer une difficulté. Certains experts sont mêmes externes au système ; c’est le cas notamment des experts étrangers et des experts issus des milieux sociaux professionnels. Dans ce contexte, il est utile que l’agence en charge des évaluations puisse apporter un socle d’informations servant de repère au comité. Comment constituer ce socle sans aboutir à une norme excessive en opposition à l’autonomie et aux capacités d’innovation de l’entité évaluée ? Comment éviter de « noyer » l’expert sous une masse d’informations ? Comment positionner ce « modèle de l’entité évaluée » par rapport au référentiel ? Faut-il l’intégrer totalement ou en faire un élément disjoint ? Cet article va tenter d’apporter quelques réponses à ces questions au cœur de la construction d’un référentiel.
La proposition d’un document « modèle de l’entité évaluée » isolé du référentiel
Le choix d’un référentiel très détaillé décrivant dans les moindres détails les attendus concernant l’entité évaluée peut être considéré comme logique, dans l’objectif d’une évaluation approfondie. Le référentiel devient alors inévitablement un document très dense et volumineux. Les activités des entités évaluées étant souvent complexes, il sera nécessaire de décomposer le référentiel en de multiples chapitres et sous chapitres pour passer en revue toutes les facettes de ces activités et guider les différentes investigations à réaliser par les experts. Cette approche d’une intégration de l’ensemble des activités de l’objet évalué dans le référentiel est louable mais s’avère très vite contreproductive submergeant les experts par la quantité d’investigations à réaliser et les laissant dans l’impossibilité d’y parvenir dans le laps de temps imparti à l’évaluation. Mais il y a surtout un risque majeur que le travail des experts se limite à une simple liste de questions, dans le souci de l’exhaustivité des investigations à réaliser, en perdant l’essentiel de la philosophie de l’évaluation définie dans le mandat de l’évaluation (cf article 6).
Le questionnement des experts a en effet besoin d’être articulé et guidé par les objectifs globaux de l’évaluation. Même si ces objectifs peuvent varier en fonction de la philosophie de l’évaluation, Il ne s’agit pas simplement de vérifier une liste de dispositifs décrits par le référentiel. La démarche vise, en général, à apprécier une dynamique interne de l’entité pour être en mesure de qualifier le niveau de progrès réalisés.
Dans ce contexte, il me parait plus efficace de distinguer deux documents. Un document « modèle de l’entité évaluée » qui va permettre de décrire les principales dimensions du fonctionnement des entités évaluées. Et le référentiel, qui peut alors être fortement focalisé sur la façon dont l’expert devra articuler son questionnement et son raisonnement pour restituer un jugement évaluatif en conformité avec la philosophie de l’évaluation définie par le mandat de l’évaluation.
Cette approche peut paraitre plus complexe car elle conduit à un document méthodologique supplémentaire. Elle présente par contre l’avantage de permettre un référentiel plus synthétique mettant mieux en évidence les enjeux de l’analyse à réaliser par les experts et les attendus du rapport d’évaluation. Le modèle de l’entité évaluée constitue ainsi un document annexe, exploité en amont de l’évaluation par les experts pour vérifier et compléter, en fonction de leur expérience personnelle, leur bonne connaissance du fonctionnement de base des entités à évaluer dans le contexte du système ESR auquel elles appartiennent.
L’absence d’un tel document conduit souvent à un référentiel « fourretout » et instable car la tentation est grande de vouloir tout y intégrer au gré des multiples sollicitations et critiques des acteurs du système.
Un document synthétique basé sur des éléments factuels essentiels
Le document « modèle de l’entité évaluée » doit toutefois être facile à utiliser et permettre différents niveaux de lecture en fonction du niveau de connaissance des différents utilisateurs. Il faut éviter le risque d’aboutir à une description trop détaillée et normative de l’entité. Il ne s’agit pas non plus de donner une liste formelle de bonnes pratiques attendues afin de ne pas contraindre les marges d’autonomie et d’innovation de l’entité.
Il convient également d’éviter une formulation sous forme de questions ou d’éléments à vérifier ayant une dimension évaluative car ce document ne doit pas se substituer au référentiel.
Pour éviter ces risques, il est préférable de privilégier des éléments factuels issus des textes législatifs et réglementaires. Le document peut alors présenter les différentes missions et activités de l’entité évaluée, le contexte dans lequel elle opère, quelques repères sur ses « productions potentielles » et les principaux rouages qui constituent son pilotage.
Le modèle de l’entité évaluée peut ainsi se concevoir comme un document synthétique permettant des accès directs à partir d’un sommaire organisé en mots clés. Une organisation sous forme de fiches documentaires peut aussi être envisagée.
Les repères utiles de la conduite stratégique d’une entité
Parmi les éléments pouvant contribuer à l’élaboration du document « modèle de l’entité évaluée », il est utile de fournir quelques points de repères sur les différentes dimensions de la direction d’une entité. En effet, quels que soient les objectifs définis pour l’évaluation, l’analyse des experts va toujours aborder la problématique globale de la conduite stratégique de l’entité. C’est un sujet qui n’est pas toujours facile à explorer et il peut être intéressant de formaliser quelques notions de management en gardant présent à l’esprit les spécificités des structures d’enseignement supérieur et de recherche.
Lors de mon passage au Hcéres, j’ai eu l’occasion avec quelques collègues de proposer cinq dimensions clés inspirées des pratiques de management des institutions. Je reprends ci-dessous les définitions proposées dans le cadre du référentiel des universités publié en octobre 2019 :
Le positionnement institutionnel
La notion de positionnement intègre l’identification de la place occupée par l’institution dans son environnement local, national et international, du rôle qu’elle y joue et de l’ambition globale qu’elle porte. Il s’agit d’apprécier la trajectoire de l’institution : quel était le positionnement constaté au début de la période de référence de l’évaluation et quelle était l’ambition de l’institution, exprimée par le positionnement visé pour le terme de la période de référence ? Le constat opéré au moment de l’évaluation peut alors permettre de vérifier le chemin parcouru par l’institution.
La définition du positionnement (constaté et visé) implique une analyse stratégique orientée en interne (atouts et fragilités) et orientée vers l’externe (opportunités et menaces), enrichie d’une démarche d’analyse comparative pour chacune des missions de l’université.
La stratégie institutionnelle
Pour la période évaluée, elle associe d’une part, la traduction en grands objectifs opérationnels de l’ambition portée par l’université en lien avec son positionnement et, d’autre part, la mobilisation des moyens (ressources et compétences) pour y parvenir. La stratégie se décline dans les différents domaines d’activités de l’institution et est sous-tendue par des analyses prospectives.
La stratégie permet donc de décrire comment l’institution a procédé, pendant la période de référence, pour atteindre le positionnement qu’elle visait.
L’organisation
Elle correspond aux choix structurels d’organisation interne faits par l’institution pour assurer ses missions et la mise en œuvre de sa stratégie.
La gouvernance
Elle inclut l’ensemble des instances, des mesures, des règles et circuits de décision au service de l’élaboration et de la conduite de la stratégie de l’institution. La gouvernance de l’université articule la sphère politique et la sphère administrative et mobilise la politique de la qualité.
Le pilotage :
Il se traduit par les méthodes et outils de management utilisés par l’université pour la mise en œuvre opérationnelle de sa stratégie. Cela inclut le système d’information utilisé pour assurer le suivi des activités et l’aide au pilotage, la mobilisation pluriannuelle des ressources humaines et matérielles dans toutes les activités.
Ces cinq dimensions clés relèvent d’une modélisation et ne sont évidemment pas totalement disjointes dans la réalité de la conduite d’une institution. De nombreuses interactions sont présentes. Les deux notions de positionnement et de stratégie sont fondamentales car c’est à ce niveau que se jouent l’efficacité de la conduite de l’institution et la démonstration de sa réelle autonomie.
Les politiques d’établissement sont encore largement guidées par des logiques d’opportunités en lien avec les multiples appels à projets et les changements législatifs de notre espace d’ESR. L’excellence ne peut pas non plus, comme on le constate trop souvent, constituer le seul objectif. Il y a un enjeu fondamental à ce que les établissements déterminent et affichent des objectifs de positionnement pour mieux définir dans quelle catégorie et à quel niveau ils opèrent. L’explicitation de la stratégie est ensuite nécessaire pour définir quels ont été les leviers d’action privilégiés pour atteindre l’objectif de positionnement. Ces cinq notions concernent principalement les établissements mais elles peuvent être facilement ajustées et adaptées à l’échelle d’une formation ou d’une unité de recherche.
Conclusion :
Les concepts de mandat de l’évaluation et de modèle de l’entité évaluée ne sont pas fréquemment utilisés. Ils peuvent apparaitre comme une complexité supplémentaire dans la base méthodologique d’une évaluation. En fait, les référentiels utilisés dans le domaine de l’ESR sont souvent le fruit d’un compromis, avec la double contrainte d’intégrer toutes les dimensions de la commande que représente l’évaluation, et de minimiser leur taille dans l’espoir d’un document simple à utiliser. Le résultat est en général décevant, car les clés du questionnement porté par le référentiel se retrouvent noyées dans une masse d’informations qui fait courir le risque de disperser et affaiblir l’efficacité de l’action du comité d’experts.
Je plaide pour un document « modèle de l’entité évaluée », annexe du référentiel et de taille raisonnable qui permette de repérer les grandes missions et caractéristiques de l’entité évaluée ainsi que les principaux rouages de la conduite stratégique de son développement. Ce document n’a pas vocation à constituer une encyclopédie normative de toutes « les bonnes pratiques » à développer et à devenir le réceptacle de tous les lobbies souhaitant promouvoir des actions particulières. Il a simplement vocation à donner à l’ensemble des experts mobilisés, les repères essentiels concernant le contexte global du fonctionnement de l’entité évaluée et les principaux leviers de son management.
Les deux documents « mandat de l’évaluation » et « modèle de l’entité évaluée » sont à utiliser dans la phase d’information et de formation du comité d’experts en amont de l’évaluation pour permettre de bien clarifier la philosophie de l’évaluation et de s’assurer que tous les experts disposent bien de repères communs sur le contexte, les missions et les enjeux de développement des entités évaluées.
Le triptyque mandat de l’évaluation, modèle de l’entité évaluée et référentiel d’évaluation, peut ainsi permettre une clarification de la méthodologie de l’évaluation avec l’objectif d’un référentiel très synthétique guidant plus efficacement l’action des experts.
Cette problématique de la conception du référentiel et plus globalement des documents explicitant la méthodologie de l’évaluation est une des clés de l’acceptation et de la réussite des évaluations. Depuis la création de l’AERES en 2006, les successions de réforme et le manque de culture de la qualité et de l’évaluation de la communauté de notre ESR, ont conduit à une succession d’injonctions désordonnées. Ces demandes ont porté essentiellement sur les résultats attendus des vagues d’évaluation sans vraiment poser et engager une réflexion de fond sur les méthodes. Malgré quelques avancées, le Hcéres n’est pas parvenu à une réelle clarification de sa vision de l’évaluation. Son action s’est malheureusement limitée, au gré des équipes de direction, à des déclarations accompagnées de multiples changements, sans véritable ligne directrice et cohérence d’une méthodologie levier de progrès de la conduite des différentes structures de notre ESR et de la qualité de leurs résultats.