Le Hcéres vient de publier ses nouveaux référentiels et une partie des documents méthodologiques pour la prochaine vague d’évaluation (vague C 2022-2023). Il est ainsi possible d’apprécier les principales transformations proposées par la nouvelle direction qui font suite à une phase intensive de communication du président T. Coulhon.
J’aurai prochainement l’occasion d’analyser dans le détail ces évolutions dans les trois domaines (établissements, formations, recherche) lorsque l’ensemble des documents sera publié, mais je souhaite, par ce premier article , apporter une analyse globale des grandes orientations prises par le Hcéres pour les évaluations de la vague C.
Comparativement à la vague B, des transformations sont bien présentes mais les choix opérés ne conduisent pas au choc de simplification annoncé. Sans surprise, les options retenues marquent plutôt une régression et elles sont très éloignées des propositions de mon dernier article.
Un enfermement dans un objectif d’exhaustivité de l’évaluation de toutes les entités, au détriment de la qualité des évaluations :
Au-delà de l’évaluation institutionnelle, le Hcéres évalue l’ensemble des unités de recherche et des formations de chaque vague d’évaluation. Ainsi la prochaine vague C comprend 53 établissements, 528 unités de recherche et 1603 formations hors diplômes d’ingénieur évalués par la CTI. Chacune de ces entités fera l’objet d’un rapport individualisé, ce qui conduira à la production de plus de 2100 rapports pour cette vague qui représente un cinquième de notre ESR. Contrairement à ce qui est souvent évoqué, l’évaluation de toutes les entités ne constitue pas une obligation, la loi donnant toute latitude au Hcéres dans la définition de sa méthodologie d’évaluation. Cet objectif d’exhaustivité a été porté dès la création de l’Aeres, et même amplifié par le Hcéres, sans qu’un bilan de l’efficacité réelle d’une telle démarche soit réalisé. Nous sommes probablement les champions du monde du volume d’évaluations (rapporté à la taille de l’ESR), mais qui peut raisonnablement imaginer que le Hcéres produise chaque année plus de 2000 rapports de qualité, utiles pour notre ESR ?
La réponse à cette question est évidemment négative et cet enfermement dans l’objectif d’exhaustivité est d’autant plus contreproductif que le Hcéres, sous la pression des établissements et des contraintes budgétaires, souhaite limiter la charge induite par ces évaluations ainsi que leur coût, par une simplification des procédures qui va accentuer le risque de dégradation de la qualité des rapports. Il n’y aura désormais plus de visite sur site lors de l’évaluation des unités de recherche et l’évaluation des formations semble également privilégier le distanciel. L’évaluation est un acte subtil qui analyse l’action des acteurs. Le dialogue en présentiel entre les pairs en charge de l’évaluation et les acteurs des entités évaluées est fondamental car ce sont ces interactions directes qui permettent d’étayer l’analyse des dossiers d’autoévaluation. Le distanciel constitue, certes, une source d’économie majeure, mais il n’offre malheureusement pas les mêmes performances. Tous les acteurs de l’ESR sont unanimes sur ce point, après des mois d’expérimentation en période Covid.
L’approche par échantillonnage avec une évaluation approfondie de quelques entités, que j’évoquais dans mon précédent article, n’est manifestement pas à l’ordre du jour. Le dogme de l’égalité de traitement est tenace, au point de passer à côté des méthodes modernes d’analyse en se voilant la face sur la qualité effective des rapports produits.
Une évaluation intégrée non convaincante et porteuse de biais méthodologiques :
Contrairement aux choix amorcés lors des précédentes vagues, le Hcéres a décidé de revenir à une procédure déjà pratiquée par l’Aeres dans le passé, celle d’une évaluation institutionnelle qui fait suite à l’évaluation des formations et des unités de recherche. Le Hcéres accentue même la contrainte séquentielle, en situant l’évaluation institutionnelle après la production des deux synthèses, celles des évaluations des formations et de la recherche. Ce choix résulte de la volonté de mettre à disposition des comités en charge de l’évaluation institutionnelle, les résultats des évaluations des formations et de la recherche en adoptant ainsi une approche ascendante qui part des entités élémentaires pour aller vers l’entité globale de l’établissement. Il présente l’intérêt d’offrir au comité établissement une vision d’ensemble de la situation effective de la recherche et des formations, à condition que l’évaluation de ces deux domaines soit bien orientée vers l’analyse de la traduction, sur le terrain, des politiques d’établissement, ce qui n’apparait pas être totalement le cas à la lecture des référentiels recherche et formation (cf prochains articles). Comme je l’indiquais dans mon précédent article, ce choix, à l’inverse de la démarche descendante, focalise moins l’évaluation institutionnelle sur la conduite stratégique de l’établissement et sa capacité à faire preuve de l’efficacité de son action.
Pour limiter les risques liés à une masse importante d’informations à traiter par les comités d’évaluation institutionnelle, notamment dans le cas des universités de grande taille, le Hcéres a donc fait le choix de mettre à disposition des comités des synthèses recherche et formation. Ce choix se heurte en fait à deux écueils majeurs. Les expériences déjà pratiquées au Hcéres en matière de production de synthèses recherche et formation se sont révélées particulièrement décevantes, notamment au niveau recherche, où les synthèses constituaient un simple catalogue des forces et faiblesses des entités élémentaires sans apporter d’analyse pertinente de l’impact des politiques d’établissement sur le terrain, en lien avec les priorités stratégiques de l’établissement. Même en admettant qu’il puisse y avoir une amélioration très significative de la qualité de ces synthèses, il y a un deuxième écueil majeur qui est celui du calendrier permettant la bonne chronologie des différentes étapes : évaluation des unités de recherche et des formations, productions des rapports individuels, production des synthèses avant la mise en œuvre des évaluations institutionnelles. L’expérience a montré, par le passé, que c’était très difficile à réaliser dans le cas des universités et que cela conduisait soit à des exercices incomplets et insatisfaisants, soit à des délais très longs de réalisation, entrainant des chevauchements de vagues d’évaluation.
Pour compliquer encore un peu les choses, le Hcéres a prévu un accompagnement des comités d’évaluation institutionnelle par une équipe Hcéres réunissant des acteurs des trois départements d’évaluation (établissements, recherche, formations). L’idée peut paraitre séduisante sur le papier mais, une fois encore, cela a déjà été pratiqué dans le passé, et l’expérience a montré que la mise en œuvre de cette coordination est très complexe et surtout, qu’elle apporte une plus-value très limitée.
Par ailleurs, la lecture des différents documents méthodologiques explicitant les principes de l’évaluation intégrée fait apparaitre des biais méthodologiques qui vont pénaliser l’évaluation des universités de grande taille, et notamment des nouveaux établissements expérimentaux. J’y reviendrai dans le cadre d’un article consacré à la partie formation mais l’évaluation des formations, telle qu’elle est proposée, occulte les niveaux intermédiaires (composantes, départements et même équipes pédagogiques). Cette anomalie pose d’ailleurs la question de l’utilité et de la destination du référentiel formation (on reviendra sur ce point plus tard). Elle va rendre très difficile l’articulation souhaitée dans le cadre de l’évaluation intégrée, en ne permettant pas d’apprécier les différents niveaux de responsabilité, voire d’autonomie, des structures internes des gros établissements, alors que c’est un élément clé des nouvelles gouvernances mises en place dans certaines universités. La décision de ne plus évaluer individuellement les composantes à personnalité morale des établissements expérimentaux participe également de cette problématique.
Au final, si cette nouvelle proposition d’évaluation intégrée peut paraitre porteuse de bonnes intentions, c’est plutôt l’impression d’une usine à gaz qui s’en dégage, pour une plus-value qui pose question. On soulignera toutefois de façon positive l’effort de généralisation du style d’écriture des référentiels entre les 3 départements d’évaluation, tous alignés sur celui mis en œuvre depuis un certain temps par le département d’évaluation des établissements avec toutefois des ajustements qui posent question (cf article à venir).
Des éléments de langage sur l’autonomie et la responsabilité des établissements mais une réalité toute autre :
Reprenant en partie les documents mis au point pour la vague B, l’autonomie et la responsabilité des établissements apparaissent dans les documents de présentation de l’évaluation intégrée et dans les référentiels de la vague C, donnant le sentiment, en première lecture, d’une évaluation prenant en compte une vision moderne de la place des établissements et de leurs démarches stratégiques. Une lecture plus détaillée montre toutefois que ces référentiels vague C sont pour le moins dissonants du fait de la présence d’une multitude de critères normatifs qui formatent en réalité un modèle unique des établissements censé représenter l’idéal de notre ESR, perspective en totale contradiction avec celle mettant en avant l’autonomie et la responsabilité des établissements.
A cela s’ajoute une série de demandes de documents complémentaires aux rapports d’autoévaluation imposant la production de certaines données et ignorant les spécificités des systèmes d’information des établissements. C’est le cas des fichiers excel demandés pour les formations et les unités de recherche, qui ne sont pas encore publiés sur le site internet du Hcéres mais dont on peut redouter le pire. Ces éléments vont probablement constituer une charge de travail très conséquente pour les établissements en opposition manifeste avec le message de simplification porté par le Hcéres. Ils donnent le sentiment que le Hcéres s’érige en système d’information de l’Etat ce qui n’est pas le rôle d’une agence d’évaluation. Le Hcéres fait une erreur de méthode car l’enjeu actuel, dans ce domaine, n’est pas d’imposer aux établissements des formats de données et d’indicateurs mais d’analyser la qualité intrinsèque de leur système d’information relativement à leur positionnement et à leur démarche stratégique. On est, une fois de plus, dans une vision centralisée et datée de l’évaluation.
Conclusion :
Les évolutions des référentiels vague C sont marquées, globalement, par une logique avant tout « comptable », avec une analyse des entités évaluées comme s’il s’agissait de boites noires dont on analyse la conformité des réalisations à une norme préétablie ainsi que les productions associées. Les modèles de rapports d’autoévaluation demandés aux évalués, conçus comme des questionnaires à remplir et des listes de données à produire, infantilisent les établissements.
La lecture des référentiels vague C donne le sentiment global que le Hcéres s’intéresse plus à la mesure de la performance et aux vérifications de différentes conformités qu’à la dynamique des acteurs qui contribuent à la gouvernance et aux activités des établissements, alors que c’est pourtant cette dynamique qui est fondamentale pour la réussite de nos établissements.
Cette logique comptable et cette volonté absurde d’exhaustivité ne permettront pas d’améliorer la qualité intrinsèque des évaluations. L’évaluation doit être un vecteur de progrès pour les entités évaluées et c’est la mise en responsabilité des acteurs et l’analyse des rouages internes de la gouvernance et du pilotage des entités qui peuvent permettre de faire progresser l’efficacité et l’efficience de notre ESR, facteurs clés de sa réussite sur le plan international.
C’était le sens qui avait été donné aux évolutions amorcées dans le cadre de l’évaluation des universités de la vague B. Au lieu de progresser dans cette direction, le Hcéres opère une régression vers des formes plus normatives, portées par une vision centralisatrice qui nous éloigne, une fois de plus, d’une évaluation utile aux établissements et en phase avec les enjeux actuels de leur développement.
Peut-on encore espérer que notre communauté et les différentes organisations de notre ESR se saisissent un jour sérieusement de ces problématiques ?….