Après avoir exploré les différentes facettes de la construction d’un référentiel (articles 23, 24, 25, 26), c’est la question de son utilisation qui est explorée dans cet article, au travers du triptyque : évalués, experts évaluateurs, agence d’évaluation. En effet, par construction, le référentiel fait le lien entre ces trois acteurs qui l’utilisent selon différentes approches.
La problématique globale du niveau d’application du référentiel
A part le cas des évaluations liées à une certification, qui demandent une application assez précise d’un référentiel, des marges de manœuvre sont en général possibles dans l’utilisation d’un référentiel lors de l’évaluation externe et de l’autoévaluation qui la précède.
Si le référentiel est conçu pour une évaluation formative et non normative, il va en effet avoir un caractère assez générique qui pourra permettre des modulations en fonction des spécificités de l’entité évaluée, de sa situation au moment de l’évaluation ou encore, en fonction des résultats d’une précédente évaluation. Ces modulations peuvent également répondre à des besoins spécifiques exprimés par l’entité évaluée.
Il ne s’agit pas de transformer en profondeur les attendus du référentiel au risque de dénaturer l’évaluation, mais simplement de porter une attention particulière à certaines références ou d’en préciser certains éléments de contexte utiles à leur mise en œuvre.
Sans entrer dans le détail des situations possibles, ce sujet de l’adaptation d’un référentiel nécessite d’être clairement explicité dans la méthodologie proposée par l’agence d’évaluation. C’est en général au cours d’un échange avec l’entité évaluée, situé en amont de l’évaluation que l’agence validera les modulations qui seront transmises au comité en charge de l’évaluation. C’est une étape importante qui peut significativement impacter l’évaluation.
L’exploitation du référentiel par l’entité évaluée
L’autoévaluation réalisée par l’entité évaluée constitue une étape importante de l’exploitation du référentiel (cf articles 16 et 17). Pour que l’autoévaluation soit pleinement bénéfique à l’entité évaluée, il convient de ne pas la limiter à un simple exercice de réponse aux questions du référentiel mais de l’inscrire dans une approche plus large, permettant de mettre en avant les problématiques majeures identifiées par l’entité évaluée. Cette modulation dans l’application du référentiel, qui peut conduire à une « coloration » de l’évaluation externe, doit être mûrement réfléchie en amont et bien identifiée par l’ensemble de l’équipe en charge de l’autoévaluation, et plus largement, par les acteurs de l’entité.
Le point clé, à ce niveau, réside dans la compréhension des enjeux du référentiel et dans la traduction qui en est donnée dans le rapport d’autoévaluation. Il s’agit de démontrer la capacité de l’entité évaluée à procéder à une analyse autocritique argumentée et équilibrée qui ne dérive pas vers son autopromotion, ni ne se réduise à une exploitation minimaliste et sans relief du référentiel. A noter que pour les entités les plus avancées en matière d’assurance qualité, il peut y avoir une articulation entre le référentiel d’évaluation externe et un référentiel propre à la politique qualité de l’entité (cf article 17).
La visite de l’entité par les experts évaluateurs lors de l’évaluation externe nécessite également un point d’attention. Il est essentiel que l’ensemble des acteurs auditionnés lors de cette visite aient eu connaissance du référentiel et des attendus concernant leurs activités et responsabilités. La qualité et l’efficacité des entretiens réalisés vont en effet dépendre en partie de la bonne connaissance et maitrise du référentiel. On constate malheureusement trop souvent l’impréparation des personnes auditionnées, qui ignorent parfois aussi bien le contenu du rapport d’autoévaluation que les cibles de l’évaluation externe définies par le référentiel.
L’utilisation du référentiel par le comité d’évaluation externe
Le référentiel constitue un outil clé pour les experts en charge de l’évaluation externe. Sa bonne compréhension globale et une connaissance détaillée de son contenu conditionnent largement la réussite de l’évaluation. Il est largement utilisé, dans la phase préparatoire de la visite, lors des premiers travaux des experts et notamment de l’analyse du rapport d’autoévaluation livré par l’entité évaluée. Il devrait a priori servir de filigrane durant les étapes de la visite et de rédaction du rapport, mais on peut constater malheureusement que les comités ont tendance à l’oublier pendant ces étapes, du fait de la densité des problématiques rencontrées et des informations collectées. C’est un phénomène assez logique au fur et à mesure de l’immersion des experts dans l’entité évaluée mais c’est également une forme de piège. Il y a en effet le risque pour les experts de se laisser porter par les échanges et discours, toujours très denses, de la visite et de constater, post visite, qu’une partie des attendus du référentiel n’a pas été suffisamment explorée. La phase de rédaction du rapport peut également conduire à une forme d’éloignement du référentiel souvent liée à un souci d’exhaustivité conduisant à des rapports longs et difficiles à exploiter.
Il est donc essentiel que le référentiel soit bien exploité par les experts dans toutes les phases de l’évaluation. Cet objectif d’une exploitation permanente du référentiel par les experts ne peut être atteint qu’à deux conditions. Tout d’abord, le référentiel doit être suffisamment synthétique et ciblé sur des attendus majeurs pour faciliter ce travail de guidage permanent. Comment imaginer qu’un expert puisse réellement se référer régulièrement à un référentiel de plusieurs dizaines de pages intégrant une multitude de références? On retrouve là un des enjeux majeurs de la construction d’un référentiel. Il convient également que la méthodologie proposée par l’agence, notamment au niveau des règles d’écriture du rapport final, incite fortement les experts à exploiter le référentiel.
L’utilisation du référentiel par l’agence d’évaluation
Le référentiel a normalement une place centrale dans la base documentaire de l’agence en charge de la définition de la méthodologie d’évaluation. A ce titre, il est important que les différents documents de la base documentaire soient bien ordonnés dans une suite logique permettant l’assimilation progressive de la méthodologie proposée. Il est souhaitable que le référentiel constitue un document spécifique et que son rôle soit clairement identifié. L’articulation et la cohérence entre les différents documents de la méthodologie sont déterminantes pour la qualité globale de l’évaluation.
En dehors de la phase de mise en œuvre de l’évaluation par le comité d’évaluation, lors des trois étapes de préparation, visite et rédaction du rapport, le référentiel est largement utilisé pendant toutes les étapes d’explicitation de la méthodologie auprès des différents acteurs concernés.
Le référentiel constitue le document majeur utilisé lors de la formation des experts sollicités par l’agence. C’est une étape importante pour permettre à l’agence de s’assurer que les attendus du référentiel et, plus globalement, la philosophie de l’évaluation sont bien identifiés et acceptés, et que les modalités d’utilisation sont bien comprises.
Enfin, l’agence est confrontée à un enjeu de renouvellement du référentiel en fonction de l’évolution du contexte des entités évaluées ou des évolutions éventuelles de la méthodologie d’évaluation. Le référentiel est par nature un objet en évolution permanente car l’évaluation ne peut pas être figée au risque de ne plus constituer un stimulateur des dynamiques de développement des entités.
Il convient toutefois de distinguer les ajustements réalisés chaque année en fonction des retours d’expérience opérés par l’agence, et les refontes majeures, moins fréquentes, résultant de changements de philosophie de l’évaluation. Il n’y a pas de norme concernant la fréquence des refontes majeures. Une certaine stabilité est souhaitable pour permettre une bonne assimilation de la méthodologie par les entités et un impact de l’évaluation dans la durée mais il ne sert à rien de maintenir une méthodologie qui n’est plus productive ou inadaptée aux enjeux de développement du système analysé.
L’intervention des « lobbies » pour influencer le contenu des référentiels
Le référentiel est par nature l’objet systématique de critiques des acteurs en fonction de leur perception de l’évaluation. De nombreux lobbies peuvent être amenés à considérer que certaines modifications du référentiel sont nécessaires pour promouvoir ou défendre un domaine ou une problématique particulière. C’est d’ailleurs à ce niveau qu’il est parfois intéressant d’utiliser un document de type modèle de l’entité évaluée ( cf article 24). Il est alors possible de mettre en évidence certains sujets utiles à la bonne connaissance du fonctionnement des entités évaluées sans en faire pour autant un élément identifié des attendus du référentiel. Le référentiel peut alors se concentrer sur les grands principes de la méthodologie proposée sans se disperser dans une multitude de dimensions du fonctionnement des entités.
L’indépendance de l’agence est fondamentale pour fixer le cap de l’évaluation et garantir un contenu cohérent des référentiels utilisés. Il y a certes une écoute nécessaire et permanente qui doit être opérée mais un référentiel obéit à une logique de construction et ne peut pas se concevoir comme le réceptacle des multiples demandes des acteurs des entités évaluées et de leur environnement.
Conclusion :
Le référentiel contribue à articuler et mettre en cohérence l’action des différents acteurs d’une évaluation. Minimiser le rôle et l’usage d’un référentiel, c’est prendre le risque que le triptyque évalués, experts évaluateurs, agence d’évaluation, évoqué en introduction, opère de manière désordonnée avec, à la clé, la quasi-certitude de résultats décevants.
La tendance actuelle est malheureusement d’évaluer de plus en plus d’entités, de multiplier les objectifs de l’évaluation tout en la réduisant souvent à un outil de régulation de notre système ESR. Cette situation confuse, mélangeant fréquemment les dimensions d’inspection et d’évaluation, conduit à des référentiels « fourre-tout » qui ne facilitent par leur compréhension et leur utilisation.
Pour poursuivre ce travail de réflexion sur l’élaboration d’un référentiel, le prochain article proposera une approche d’un référentiel d’évaluation institutionnelle engageant une rupture vers une évaluation comme outil de l’assurance qualité, et centrée sur l’aide au développement, à l’autonomie et à la responsabilité des établissements.