Article 9 : Le mandat de l’évaluation de la recherche par le Hcéres : une approche d’un autre temps…

Les principes de l’évaluation de la recherche par le Hcéres sont essentiellement décrits dans le référentiel d’évaluation des unités de recherche (vague B 2020-2021). Ce document central présente plusieurs caractéristiques intéressantes avec tout d’abord une terminologie surprenante autour de trois notions : les critères d’évaluation, les faits observables et les indices de qualité. A l’image d’un département qui apparait en marge des autres départements d’évaluation du Hcéres, cette terminologie diffère de celle des autres référentiels du Hcéres (établissements et formations), ce qui conduit les établissements à devoir faire un effort d’adaptation pour utiliser ces éléments spécifiques, bien loin d’une approche intégrée de l’évaluation revendiquée par le Hcéres. Au-delà de la difficulté à comprendre l’articulation de ces trois notions clés du référentiel recherche, celles-ci traduisent une vision pour le moins étriquée de l’évaluation due à une collection hétéroclite de points à vérifier révélant une approche normative d’une « évaluation sanction », manifestement toujours proche de l’idée de notation mise en œuvre dans le passé par ce département.

L’analyse globale de ce référentiel révèle également l’absence quasi-totale de références à l’établissement hébergeur et autres tutelles des unités de recherche. Cette indifférence à l’ancrage des unités dans un contexte institutionnel, considérant l’unité de recherche comme une structure autonome et isolée de son environnement, en dit long sur la culture de ce département, ce qui entraine des biais majeurs dans les orientations de l’évaluation des unités (cf infra).

La procédure indique aussi que l’intégralité des rapports n’est pas publique, seul un résumé étant diffusé sur le site du Hcéres. Cette pratique diffère à nouveau de celle des autres départements du Hcéres et n’est pas conforme aux exigences de transparence des standards européens.

Les trois grands domaines abordés par le référentiel recherche sont porteurs d’une vision datée de l’évaluation :

1 : Un centrage sur l’analyse des produits de la recherche qui enfonce des portes ouvertes et sans intérêt pour les unités de recherche

Le premier chapitre du référentiel ressemble à un inventaire d’apothicaire des produits de la recherche avec l’objectif de juger de la qualité de la recherche des unités. Qui peut imaginer, dans le contexte actuel des unités de recherche, que la direction de ces unités ne soit pas en mesure elle-même, dans son pilotage continu, de suivre précisément les différentes productions de ses chercheurs ?

Les unités de recherche performantes n’attendent rien de l’avis des experts sur ce sujet, elles sont en capacité de suivre leurs différentes productions scientifiques et d’en apprécier l’excellence. Elles disposent par ailleurs des indicateurs majeurs d’évaluation externe avec le suivi de leurs taux de réussite aux financements sur projets régionaux, nationaux et internationaux. Au pire, elles redoutent que par manque de temps ou du fait de l’inadéquation du comité aux thématiques de l’unité, l’appréciation du comité ne soit pas pertinente, mais elles n’en attendent que très rarement une révélation sur le niveau de performance de l’unité.

Cette approche de l’évaluation est dépassée et donne le sentiment que nous sommes toujours dans une vision centralisée de la gestion de la recherche avec un « ministère » qui dit en quoi consiste la bonne recherche. Les établissements autonomes et stratèges n’ont, pas davantage que les unités de recherche, besoin de ce type d’analyse car ils disposent déjà largement en interne d’indicateurs de pilotage leur permettant d’apprécier et de valoriser la qualité de la production scientifique de leurs unités. Je reconnais qu’il y a incontestablement des progrès à faire dans ce domaine pour certains établissements et certaines unités mais ce n’est pas en les infantilisant qu’on les fera progresser. Il faut pour cela une évaluation qui vérifie justement leur capacité à réaliser ces bilans de production et à en faire une analyse critique pertinente mais en aucun cas une évaluation qui prétend le faire à leur place.

2 : Une analyse de la vie de l’unité, attrape-tout sans lignes directrices pertinentes

 Le pilotage d’une unité, et plus globalement sa vie interne, constituent bien évidemment un point central de son évaluation mais ce qui ressort de la lecture du deuxième chapitre du référentiel est l’absence de lignes directrices et hiérarchisées de cette analyse. On a au contraire une collection hétéroclite de sujets de différents niveaux, avec des focalisations sur les sujets à la mode (parité, intégrité scientifique, développement durable). Sans nier l’importante de ces sujets, la façon dont ils sont traités dans le référentiel confirme une fois de plus l’idée d’une évaluation vérifiant la conformité à une norme imposée d’en haut plutôt qu’une évaluation focalisée sur l’analyse de la démarche stratégique, des priorités et de la capacité de pilotage de l’unité. Sur le même plan que les trois sujets de la parité, de l’intégrité et du développement durable, on trouve un thème sur l’hygiène et la sécurité, l’évaluation se transformant alors en inspection pour vérifier l’application de la réglementation en vigueur, avec là aussi la question de l’efficacité d’une telle démarche conduite par un comité d’experts non spécialistes du sujet et dans un processus complexe et contraint dans le temps.

Les problématiques des démarches de progrès du pilotage de l’unité, des outils de suivi de la mise en œuvre de la stratégie scientifique de l’unité ou encore de l’accompagnement des chercheurs et des priorités de la politique de recrutement ne sont que très partiellement abordées et noyées dans un ensemble très hétérogène de rubriques sans lignes directrices sur la nature des démarches de progrès attendues dans le pilotage des unités.

Enfin, l’absence de référence à l’environnement de l’unité, et notamment à l’intégration de l’unité dans son établissement hébergeur, se fait cruellement sentir donnant l’impression qu’une unité opère comme une entité totalement isolée, ne bénéficiant pas de services supports centraux et opérant en dehors de toute dynamique et priorités de l’établissement hébergeur et de ses éventuelles autres tutelles.

3 : Une analyse de la stratégie future non conforme à une évaluation ex post et qui ne place pas l’unité en responsabilité

En décalage avec la pratique d’une évaluation ex post portant sur l’analyse d’une période écoulée des autres départements du Hcéres, le référentiel recherche comporte un chapitre consacré à l’évaluation du projet et de la stratégie future de l’unité de recherche avec une focalisation sur la « qualité scientifique du projet ». L’association dans une même évaluation d’analyses ex post et ex ante rend l’exercice très périlleux et peut fréquemment conduire à des rapports confus entremêlant les deux approches.

L’élaboration d’une stratégie globale et notamment d’une démarche de ressourcement des thématiques de recherche est incontestablement un élément clé de la vie d’une unité. Cette construction s’appuie bien évidemment sur des dispositifs internes de l’unité et sur des avis externes qui nécessitent en général un ensemble de croisements et d’étapes, parfois très spécifiques, pour bien prendre en compte toutes les dimensions et tous les enjeux du développement de l’unité. Sans remettre en cause les compétences des experts des comités Héres, une évaluation pertinente et utile de la stratégie future de l’unité est difficile à envisager compte tenu des contraintes liées à la composition de ces comités et du spectre très large des investigations qu’ils ont à réaliser dans un temps limité.

Par ailleurs l’absence de référence à la stratégie et à la politique de recherche des tutelles de l’unité en dit long sur la façon dont cette évaluation considère l’action des établissements dans ce domaine.

Comme pour le pilotage, c’est la méthode mise en œuvre pour l’élaboration et le suivi par l’unité de sa stratégie qu’il est intéressant d’évaluer pour mettre en responsabilité l’unité et l’inscrire dans un dynamique de progrès, ce qui ne constitue pas la démarche adoptée par le Hcéres.

Conclusion

Au moment où les unités de recherche et les établissements ont besoin de s’inscrire dans une démarche plus stratégique, l’évaluation de la recherche, proposée jusqu’ici par le Hcéres, continue de considérer les unités comme des entités qu’il convient de cataloguer et d’encadrer par des jugements stigmatisants qui restent marqués par l’approche antérieure de la notation.

C’est une vision dépassée de l’évaluation qui se situe aux antipodes des pratiques actuelles de l’assurance qualité. Les unités de recherche disposent déjà de nombreux outils internes et externes pour apprécier la qualité de leurs productions scientifiques et n’ont pas besoin d’une évaluation normative qui confine parfois à l’inspection. C’est en appréciant la qualité des processus d’élaboration et de conduite de la stratégie des unités de recherche et des mécanismes internes de pilotage qu’une évaluation moderne pourrait placer les unités dans des dynamiques de progrès leur permettant de mieux affronter la compétition internationale, mais la direction du département recherche du Hcéres n’a manifestement pas été en capacité d’appréhender ce type de démarche préférant se confiner dans des approches d’un autre temps….

Le Hcéres annonce des évolutions de ses différents référentiels pour la prochaine vague C, le blog EsrAq y sera bien évidemment attentif. Dans l’attente je consacrerai un prochain article à quelques propositions pour une évaluation intégrée simple à organiser, utile aux établissements et porteuse d’une approche moderne de l’assurance qualité.