Dans un article publié en décembre 2021, j’avais analysé la méthodologie d’évaluation des unités de recherche de la vague C (2022-2023), dénonçant en particulier une approche essentiellement comptable de mesure de la production scientifique, sans réelle plus-value pour l’aide au développement des unités de recherche. Depuis cette date, le Hcéres a pris position à plusieurs reprises en faveur d’une évaluation plus qualitative de la recherche renonçant à une utilisation excessive des indicateurs et classements. Le Hcéres a, en outre, signé Dora, la Déclaration de San Francisco sur l’évaluation de la recherche. Le président du Hcéres s’est également exprimé en ce sens à plusieurs reprises, notamment en octobre 2022, dans un commentaire concernant un article de Alain Fischer intitulé « Évaluation de la recherche et publications scientifiques : quantité ou qualité ? » et publié dans le bulletin de l’académie nationale de Médecine. Dans ce commentaire, le président du Hcéres déclare : « La vision selon laquelle le Hcéres rêverait de ne recueillir que des chiffres pour les passer à la moulinette d’un algorithme et en tirer une note relève du fantasme » ; « concrètement le Hcéres fait, dès la vague d’évaluation qui vient d’être lancée, un pas de plus vers le qualitatif en demandant aux équipes de mettre en avant un portfolio de productions choisies qui seront examinées par les experts ».
Une analyse objective de la méthodologie d’évaluation des unités de recherche de la vague D (2023-2024), mise en ligne sur le site du Hcéres permet, pour le moins, d’apporter quelques nuances à cette révolution annoncée…
Quelques timides évolutions, très loin de la rupture attendue
Le document intitulé « Autoévaluation des unités de recherche » précise les éléments à fournir par les unités de recherche dans leur rapport d’autoévaluation. On y retrouve effectivement la demande de production d’un portfolio, « support de l’évaluation qualitative », et regroupant une sélection des productions les plus significatives que l’unité souhaite mettre en avant au titre du son bilan d’activité. Cette évolution, déjà présente dans la vague précédente, peut donner l’impression que le Hcéres, fort de son engagement dans la Déclaration de San Francisco, amorce le virage d’une approche plus qualitative. Il subsiste, toutefois, une interrogation majeure car le référentiel qui, concrètement, guide le travail des experts, ne mentionne nulle part ce portfolio !
Le Hcéres demande ainsi un document dont on ne sait pas comment il sera utilisé dans le cadre de la méthode d’analyse décrite par le référentiel. Cette incohérence est d’autant plus notable que le référentiel reste majoritairement inscrit dans une logique comptable (cf infra), très éloignée d’une évaluation qualitative…
La simplification des demandes de données faites aux unités au travers d’un fichier Excel est à mettre au crédit du Hcéres. Il y a maintenant un seul fichier Excel demandé, avec moins de données collectées. Toutefois, le volume de données concerné est encore considérable et surtout la démarche méthodologique est toujours marquée par une approche normative, ne prenant pas en compte la responsabilité des unités en matière de caractérisation.
Un référentiel toujours ancré dans une logique comptable
Le référentiel de la vague D a fait l’objet de modifications mineures par rapport à celui de la vague précédente. Comme je l’indiquais dans l’article consacré à la vague C, ce référentiel est toujours fortement marqué par une logique de vérification de conformité et de comptabilité des résultats quantitatifs. L’expert est ainsi invité à vérifier tout un ensemble d’éléments factuels en mesurant leur intensité, comme s’il suffisait de cocher un ensemble de cases et de justifier de résultats quantitatifs significatifs pour faire une bonne unité de recherche. Ainsi, le référentiel mesure et comptabilise au travers de multiples dimensions comme en témoignent ces quelques exemples (la liste complète serait trop longue à fournir): « les manifestations scientifiques organisées », « les membres de l’unité invités dans des institutions ou manifestations », « les succès à des appels à projets », « les projets financés par l’ANR », « l’adéquation de la production scientifique et du potentiel de recherche de l’unité », « les produits à destination du monde culturel, économique et social », etc.
La connaissance du niveau des résultats est certes intéressante pour apprécier une performance. Mais encore faudrait-il être capable d’avoir un modèle de référence fiable et accepté, qui prenne en compte l’environnement dans lequel l’unité opère, ses spécificités et ses choix. Ce n’est évidemment pas le cas.
Le référentiel aborde l’unité de recherche essentiellement comme une boite noire en se focalisant uniquement sur ses flux entrants et sortants. La contextualisation et les conditions d’obtention de ces flux ne sont jamais abordés. L’unité n’est quasiment pas mise en responsabilité pour caractériser elle-même le niveau de ses résultats relativement aux choix qu’elle a pu opérer et aux dispositifs de pilotage dont elle s’est dotée.
Le référentiel donne l’impression permanente d’une évaluation hors sol, ciblée sur l’analyse tous azimuts de la performance par la mesure des produits, sans modèle de référence explicité. Cette évaluation repose ainsi in fine sur la capacité du comité d’experts à faire une synthèse de tous ces éléments, dans l’espoir d’une appréciation globale fiable et exploitable. La seule mise en responsabilité de l’unité concerne « la mesure de l’impact économique et social de la politique scientifique » dont on sait pertinemment qu’elle est très difficile à appréhender, voire même impossible et inappropriée pour certaines recherches.
Les structures de vie de l’unité et son pilotage interne ne sont que très partiellement abordés. Ainsi, dans la première référence, il est demandé à l’expert de vérifier si « l’unité tient compte de la politique de ses tutelles en matière de recherche et de valorisation ». Cette formulation, qui est quasiment la seule faisant référence à l’ancrage de l’unité dans un établissement, montre combien le référentiel se limite à une simple comptabilisation des produits en ignorant toute la complexité de l’animation et du pilotage de la recherche au niveau institutionnel, dimensions pourtant majeures de la réussite des unités de recherche.
Peut-on envisager une évaluation utile pour la dynamique de progrès des unités de recherche ?
Au lieu de se limiter à rechercher les champions, déjà connus par ailleurs, et à stigmatiser les unités en difficulté, le Hcéres peut-il envisager une évaluation utile aux unités de recherche ? Avec les moyens d’information, d’analyse et de comparaison actuels, on peine à imaginer que les équipes de recherche des établissements français ne soient pas en capacité de situer elles-mêmes leur production scientifique et d’en apprécier la qualité et la performance. Quels sont les collègues qui ont découvert à l’issue d’une évaluation du Hcéres que leur recherche était de premier plan ou au contraire perfectible ? Au mieux, ils attendent une confirmation de ce qu’ils savent déjà ; souvent, ils redoutent un risque d’erreur d’appréciation lié à un processus contraint; au pire, ils perçoivent l’évaluation comme une machinerie administrative inutile et consommatrice d’énergie.
Qu’est ce qui fait la qualité d’une unité ? Au premier plan, incontestablement la créativité et la performance de ses chercheurs, mais ce sont également l’organisation de l’unité, ses conditions de travail, son environnement, son animation interne et sa capacité en matière de stratégie scientifique qui constituent un ensemble de facteurs facilitant et conditionnant même parfois la réussite. C’est à ce niveau qu’il y a des marges de progrès pour une amélioration de la performance globale de la recherche.
Une unité de qualité est-elle uniquement celle qui produit les résultats les plus remarquables ? N’y a-t-il pas matière à évaluer positivement des unités modestes par leurs résultats scientifiques mais qui, dans des conditions difficiles et avec des moyens limités, parviennent à maintenir une dynamique de recherche ?
Il suffit de dialoguer un peu avec les jeunes chercheurs pour comprendre qu’ils ont largement intégré les enjeux d’intensité et de visibilité de leur production scientifique. Par contre, les chercheurs sont très souvent en attente de plus d’accompagnement personnel, de meilleures conditions de travail, de clés pour mieux s’inscrire dans des dynamiques et stratégies d’équipe pouvant les faire progresser, mais aussi d’une meilleure articulation entre leurs activités de recherche et d’enseignement. C’est certainement dans l’analyse de ces dimensions que l’évaluation des unités de recherche pourrait apporter une contribution utile : comment s’organise la vie de l’unité et sa dynamique ? Comment s’élaborent les choix stratégiques ? Comment l’unité s’inscrit dans la politique de ses tutelles et appuie son développement sur des stratégies de partenariats ? Comment l’unité organise sa prospective et son ressourcement scientifiques ? Comment l’unité se dote d’outils d’analyse et de suivi des résultats de son action?
Mais au-delà des enjeux d’accompagnement des chercheurs et des équipes, il y a également un enjeu majeur de philosophie de l’évaluation, qui ne se retrouve pas dans le référentiel actuel. Plutôt qu’une focalisation sur les produits de la recherche, il serait plus utile d’articuler le référentiel d’évaluation autour de trois dimensions essentielles :
- L’analyse de la capacité des unités à expliciter leurs choix stratégiques et opérationnels ainsi que les bénéfices ou difficultés de leur ancrage dans la politique institutionnelle de leurs tutelles.
- L’analyse de la capacité des unités à se doter d’un système d’information et de pilotage leur permettant de se caractériser et de démontrer l’impact effectif de leur action.
- L’analyse de la dynamique de chaque unité relativement à son histoire, son environnement et son pilotage.
Au travers de ces trois dimensions, l’évaluation pourrait être plus adaptée aux spécificités de chaque unité, placer au centre les initiatives et l’action de l’unité, et redevenir un moteur de progrès par des jugements et recommandations portant sur les ressorts internes du développement de l’unité.
L’Etat aurait tout intérêt à comprendre qu’il y a, à ce niveau, des enjeux pour une meilleure efficience de notre système de recherche.
Conclusion
La recherche, c’est avant tout de l’humain qu’il faut être capable d’accompagner et de mettre en responsabilité. La recherche française n’a pas besoin d’un Hcéres, « père fouettard » focalisé sur les produits, mais d’une évaluation permettant de faire progresser les conditions d’exercice de la recherche et l’efficience des unités, clés de la progression de la performance globale de notre système.
Les discours ne suffiront pas à redonner confiance dans notre système d’évaluation. Le Hcéres ne peut pas se contenter de signer les déclarations internationales et d’être un simple suiveur.
Il peut innover par la création d’un nouveau paradigme de l’évaluation de la recherche créant un cercle vertueux de l’amélioration continue, de la confiance et de la prise en compte des spécificités de chacun. Il pourrait ainsi devenir un moteur au niveau européen en matière d’assurance qualité mais il faudrait pour cela sortir d’un enfermement dans des schémas contre-productifs et datés….