Article 13 : Evaluations Hcéres des unités de recherche de la vague C : Une évaluation de plus en plus hors sol, bilan de performance normatif sans levier de progrès, qui pose la question de son utilité…

Dans le cadre de la vague C (2022-2023), l’évaluation des unités de recherche (département DER) fait l’objet de différentes évolutions mais reste fortement focalisée sur une approche comptable de mesure de la production scientifique dans toutes ses dimensions. Il est vrai que beaucoup d’acteurs de notre ESR réduisent l’évaluation de la recherche à la mesure de la performance, guidés par l’objectif d’identifier les champions en capacité de relever le défi de la compétition internationale.

De mon point de vue, l’évaluation doit de fait intégrer cet objectif ultime de contribuer à renforcer le rayonnement international de notre recherche, mais la question de l’efficacité de la méthode d’évaluation utilisée doit être posée. Faut-il se limiter, comme le propose le Hcéres, à cette mesure de la performance et espérer ensuite que l’identification des unités les moins performantes suffira à faire progresser l’ensemble de notre système ? Est-ce que le fait que l’on vous dise que votre rayonnement se cantonne à votre couloir, alors que pour d’autres on parle de rayonnement mondial, peut constituer un électrochoc motivant les collègues à intégrer des réseaux internationaux, publier dans des revues à fort impact ?  Peut-on plutôt envisager une évaluation plus élaborée, plus nuancée qui apporte une aide à la dynamique interne des unités, levier de la progression de la qualité de leurs activités ? Pour résumer, que privilégier ? : une évaluation réduite à un simple bilan normatif ou bien une évaluation conçue comme un levier de progrès ?

C’est évidemment la deuxième voie qui me parait la plus à même d’avoir un impact sur la performance globale de notre recherche nationale. La voie retenue par le Hcéres se limite à une approche hors sol qui stigmatise les unités, qui ne s’intéresse pas à leur dimension humaine et à leur vie interne, au profit d’une vision productiviste, qui conduit à une perception négative de l’évaluation par de nombreux chercheurs.

Pour commencer néanmoins par un point positif sur l’évolution du DER pour la vague C, on peut noter l’harmonisation du style d’écriture du référentiel d’évaluation des unités de recherche avec les autres référentiels du Hcéres, même si les règles globales qui ont été retenues ne sont pas optimales, j’y reviendrai dans un futur article. L’abandon de l’évaluation du projet de l’unité est également une évolution positive, permettant de revenir à une évaluation pleinement ex-post. Certains regrettent cette évolution, je le sais.  L’évaluation du projet peut être effectivement utile, mais elle relève de mon point de vue de démarches spécifiques sous la responsabilité des unités en lien avec leurs tutelles (évaluation par un comité scientifique attaché au suivi de l’unité par exemple).

Comme pour les formations, le choix d’évaluer toutes les unités de recherche induit un coût important, que le Hcéres cherche manifestement à réduire par des mesures de simplification qui sont présentées comme des améliorations de la méthodologie mais qui vont conduire, en fait, comme pour le DEF (voir article précédent), à une dégradation de la qualité des évaluations. La suite de cet article aborde quelques éléments les plus saillants de ces problématiques.

Une analyse de conformité à un modèle qui ne prend pas en compte la vie interne et la situation de l’unité de recherche

Le premier domaine du référentiel mentionne la problématique de « l’adéquation de la politique de recherche » de l’unité mais, malheureusement, cette formule se décline très rapidement en une liste de vérifications de conformité à des critères souvent très techniques, dont certains sont pour le moins surprenants. Que veut dire « un profil d’unité conforme à ses missions » ?  « Mutualiser une partie de ses ressources propres pour favoriser les activités collectives de recherche » constitue-t-il l’élément central de la dynamique d’une unité ? Peut-on raisonnablement considérer que « l’unité est en capacité d’analyser les impacts économiques et sociétaux de la politique qu’elle conduit » alors que ce sont des démarches très complexes et souvent de long terme ? Est-il fondamental pour un processus d’évaluation de vérifier que « le fonctionnement de l’unité est conforme aux règlementations en matière de gestion des ressources humaines, de sécurité, d’environnement et de protection du patrimoine» ? Loin de moi de penser que ces derniers points ne sont pas importants, mais la vérification de leur application par les unités de recherche ne procède pas d’un processus d’évaluation, elle relève d’un processus d’inspection.

Les domaines 2, 3 et 4 abordent l’attractivité, la production scientifique de l’unité et la contribution à la société avec une approche totalement externe, déclinant là aussi une suite de critères se limitant à vérifier des éléments de production scientifique et de fonctionnement attendus d’une unité. Une majorité de ces thématiques peut effectivement constituer une base d’analyse globale du fonctionnement d’une unité, mais c’est la façon de les formuler et de les aborder qui constitue un problème majeur.

Comme dans le cas des formations, l’unité est en effet vue comme une boite noire qui met en œuvre les dispositifs attendus et produit des résultats, mais l’approche est complètement « déshumanisée » et déconnectée de l’environnement et des choix de l’unité.  Où est le questionnement sur les choix de l’équipe de direction de l’unité et les dispositifs internes qui permettent d’animer et de piloter la vie interne de l’unité ? Comment peut-on évaluer dans l’absolu une unité sans relier l’analyse à ses propres choix et priorités stratégiques et scientifiques ? Comment peut-on apprécier le fonctionnement d’une unité et sa performance sans analyser comment l’unité s’inscrit dans la politique de recherche de ses tutelles (mentionnées une seule fois le référentiel), et comment elle en bénéficie et mobilise les outils de cette politique ?

Le référentiel recherche donne le sentiment que chaque unité de recherche est une entité « sans âme », isolée de ses tutelles. Dans ces conditions, malgré le discours sur une meilleure articulation avec l’évaluation institutionnelle, difficile d’imaginer que cette évaluation de la recherche contribue réellement à une évaluation intégrée de toutes les dimensions d’un établissement.

Une qualification externe de la production scientifique et de l’attractivité, déni de responsabilité des unités, pour quel objectif ?

Le portfolio proposé aux unités pour leur permettre de présenter quelques résultats les plus significatifs apparait comme un progrès permettant d’envisager une approche moins comptable prenant en compte la qualité intrinsèque des productions. La démarche est toutefois incomplète car le référentiel ne renvoie pas directement à ce document notamment pour inviter l’unité (et le comité) à mettre en évidence les avancées les plus significatives de la période évaluée et leur lien avec la stratégie de l’unité, ses décisions et outils de pilotage ainsi que la politique de ses tutelles. Le portfolio apparait ainsi plus comme un faire-valoir d’un changement de pratique de l’évaluation, qu’une réelle révolution vers une approche qualitative.

L’analyse de la production scientifique révèle par ailleurs un véritable déni de responsabilité des unités, ignorant les progrès que beaucoup d’unités et d’établissements ont pu réaliser en matière de suivi de la production scientifique. L’évaluation de la recherche se présente ainsi comme un processus externe réalisé par le comité qui vient qualifier la performance des unités alors que bon nombre d’entre elles sont totalement en capacité de l’apprécier elles-mêmes de façon objective. Pourquoi le référentiel n’interpelle-t-il pas la direction de l’unité pour que celle-ci fournisse donc elle-même une analyse critique de sa performance en lien avec ses choix stratégiques ? L’évaluation pourrait alors se focaliser sur l’analyse de la qualité de la démonstration de l’efficacité de son action réalisée par l’unité.

Ces critiques ne relèvent pas simplement de quelques ajustements marginaux ou « bémols » à porter à la rédaction de quelques lignes du référentiel, elles posent fondamentalement la question de la philosophie de l’évaluation de la recherche. Simple remise des prix d’un concours de production, en décalage avec les interrogations actuelles de la communauté sur la nécessité de passer du quantitatif au qualitatif et de prendre en compte le facteur temps pour mesurer l’impact des productions ? Ou véritable outil de responsabilisation des directions d’unités et de leurs tutelles, pour amener les unités dans des démarches de progrès articulant choix stratégiques et outils de suivi afin de leur permettre de mieux se situer et d’améliorer leur efficacité et leur efficience. Le référentiel actuel et la méthode proposée sont encore très loin de cette deuxième approche « philosophique » et il y aurait là une véritable révolution à opérer en concertation avec les acteurs de la recherche.

A noter enfin qu’il est difficile de percevoir l’articulation de l’évaluation de la recherche avec les travaux de l’Observatoire des sciences et techniques (OST). Les synthèses recherche y font référence mais la formulation qui est adoptée n’est pas convaincante et confirme une simple juxtaposition des analyses alors que pour certaines unités de grande taille une articulation plus forte pourrait apporter des informations sur la performance de l’unité allégeant ainsi le travail du comité.

La mauvaise bonne idée du panel d’experts

L’une des innovations de la méthodologie de la vague C concerne la mise en place de 20 panels d’experts recrutés pour trois ans et « constituant le noyau dur des comités » selon le Hcéres.  Dans un premier temps, cette initiative peut paraitre positive, l’idée étant d’améliorer la qualité des évaluations en accentuant l’effort de formation pour ces experts et en sollicitant ces experts sur plusieurs campagnes. C’est en fait une mauvaise idée.

Contrairement aux autres évaluations, l’évaluation de la recherche est très contrainte par le champ disciplinaire des thématiques de recherche des unités, ce qui conduit malheureusement à des risques plus forts de liens d’intérêt du fait des nombreux échanges et collaborations entre chercheurs, et du dimensionnement des communautés scientifiques. Les experts de chaque panel vont par ailleurs être recrutés sur appel à candidatures et identifiés par les communautés ce qui va les surexposer potentiellement à des pressions alors que jusqu’à présent le renouvellement fréquent des experts et leur identification plus difficile limitaient ces risques. Il convient de veiller également à ce qu’un même expert ne soit pas mobilisé à plusieurs reprises pour une même vague car cela peut entrainer des mécanismes préjudiciables d’interactions et de comparaisons entre les différentes évaluations que l’expert réalisera dans une même période. Il y a ainsi un risque de « professionnalisation » des experts qui est accentué alors que l’évaluation par les pairs porte l’idée que les experts ne sont pas identifiables avant la mise en place du processus d’évaluation et que leur renouvellement fréquent est également un outil de diffusion dans les communautés de l’expérience acquise par les pratiques de l’évaluation.

Une suppression de la visite, source d’économie, mais pénalisante

Comme pour les formations, la suppression de la visite sur site du comité pour la majorité des unités de recherche est présentée comme une simplification du processus et un allègement de la charge de travail induite au niveau de l’unité. C’est en fait essentiellement un objectif d’économie, qui va dégrader la qualité des évaluations.  Même si des échanges par visioconférence sont prévus, ils ne permettront pas aux experts de capter la même densité et diversité d’informations pourtant fondamentales pour compléter et enrichir le contenu du rapport d’autoévaluation et surtout pour apprécier la réalité de la dynamique collective d’une unité. Le Hcéres reste toutefois cohérent avec sa démarche car on comprend qu’avec une évaluation hors sol et « déshumanisée » (cf supra), la visite sur site ne soit plus vraiment indispensable….

Une demande de données excessive et contreproductive

Même si quelques simplifications ont été opérées, le volume d’informations à fournir par l’unité en complément du rapport d’autoévaluation est considérable. Chaque unité doit notamment fournir un inventaire détaillé de sa production scientifique ce qui représente un travail de saisie très important pour remplir le fichier Excel demandé. Certaines informations sont particulièrement compliquées à fournir comme celles concernant la masse salariale liée aux personnels de l’unité. Elles ne permettent pas, pour autant, un bilan financier complet car les dépenses de logistique liées à l’hébergement des unités ne sont pas intégrées au bilan proposé par le Hcéres.

On peut tout à fait comprendre que le comité ait besoin de connaitre des informations élémentaires notamment sur la composition effective des unités, d’autant plus que le système d’information du ministère dans ce domaine est toujours en attente depuis des décennies. Mais, comme pour les formations, la mission du Hcéres est-elle de se substituer à l’Etat dans ce domaine ?

Au-delà de la charge de travail pour les entités évaluées, cette démarche est globalement contreproductive et ignore une fois de plus les bases élémentaires de l’assurance qualité. En effet beaucoup d’unités, en lien souvent avec leurs tutelles, ont aujourd’hui massivement investi dans des outils de caractérisation et de suivi de leur production scientifique. Les systèmes d’information se sont développés et certains s’appuient sur des outils de comptabilité analytique. Les productions scientifiques sont maintenant fréquemment suivies avec le concours d’archives ouvertes.

Comment, dans ces conditions, continuer à demander une saisie spécifique de ces informations alors qu’il suffirait de demander à chaque unité de mettre à la disposition du comité son propre système d’information ? Un élément central de l’évaluation pourrait alors consister à analyser les performances de ce système d’information. Soit il permet au comité de disposer d’un ensemble d’informations jugé pertinent pour l’évaluation de l’unité et le comité peut alors conclure qu’il a devant lui une unité qui maitrise le pilotage de ses activités, ce qui est une information fondamentale d’autant plus si l’unité est également en capacité de qualifier elle-même la qualité de ses résultats. Soit ce n’est pas le cas, et alors le comité peut rapidement conclure que l’unité ne dispose pas des outils élémentaires pour la conduite de son développement.  En lien avec le travail d’analyse de la qualité des avancées scientifiques de l’unité, cela constituerait alors une vraie responsabilisation des unités, une simplification substantielle de l’évaluation et un outil d’incitation à l’amélioration des performances de l’unité.

Conclusion :

En conclusion, l’analyse de la méthodologie d’évaluation de la recherche montre que le Hcéres utilise toujours un « logiciel périmé » et se trompe complètement d’époque, comme je l’avais signalé dans un précédent article. Il se focalise sur l’analyse de la production scientifique à partir d’un inventaire d’apothicaire générant une lourde charge pour les unités et il réduit l’évaluation des unités à une simple mesure externe de la performance. Nous ne sommes plus à une époque où l’évaluation était attendue pour permettre à une unité de faire le point sur sa situation dans le paysage national et international. La multiplication des coopérations, la multiplicité des possibilités d’échanges entre les chercheurs, le développement des manifestations scientifiques et l’évaluation permanente induite par les appels à projets font qu’une grande majorité des unités savent très bien où elles se situent et quelle est leur performance. L’évaluation proposée par le Hcéres enfonce des portes ouvertes. Où est donc la valeur ajoutée de cette forme d’évaluation pour les unités, leurs tutelles et l’Etat ?

Soyons réalistes, dans beaucoup d’unités, les chercheurs n’attendent rien de l’évaluation du Hcéres pour valoriser la qualité de leurs travaux ou identifier les carences de leurs actions ; ils redoutent uniquement que le comité ne soit pas adapté et n’apporte pas un avis pertinent….