Introduction
Dans un précédent article, j’avais mis en évidence le besoin d’un système national de caractérisation des établissements permettant d’avoir une base cohérente de quelques données élémentaires partagées de dimensionnement de l’ensemble des établissements publics et privés d’enseignement supérieur et de recherche (a minima, effectif étudiants, effectif personnels et données budgétaires). L’absence d’une telle base élémentaire d’information et la complexité des coopérations inter-établissements dans notre système d’enseignement supérieur et de recherche (ESR) rendent, en effet, très difficile toute analyse des forces effectives que représente chaque établissement.
Une caractérisation fiable est indispensable mais l’évaluation a également besoin de mesurer la performance pour étayer l’analyse des experts. Dans ce domaine, la mesure des produits résultant des activités des établissements, telle qu’on la pratique dans le domaine économique, apparait la démarche la plus directe, avec à la clé, la logique des classements et leur exploitation pour la répartition des moyens.
La mesure globale de la performance par l’analyse des produits des activités est de fait incontestablement utile au niveau national pour apprécier l’impact des politiques publiques et la place de notre ESR dans le contexte international. En revanche, l’évaluation de chaque établissement ne peut pas se limiter à ce type d’approche mais nécessite des analyses plus spécifiques et différenciées plutôt qu’une simple identification des champions et une stigmatisation des autres, ce qui ne contribue pas au progrès global visé de l’ESR.
Cet article aborde quelques dimensions de cette problématique avec comme objectif de promouvoir une mesure différenciée de la performance inscrite dans une évaluation utile au développement de chaque établissement.
Des mesures de la performance qui occultent souvent la problématique de la contextualisation
La mesure de la performance est liée à la notion d’indicateurs. Il s’agit de suivre l’évolution dans le temps d’une donnée de caractérisation ou de relier entre elles plusieurs données pour notamment déterminer des ratios permettant la mesure de la progression de l’établissement et des comparaisons avec d’autres établissements.
Ces mesures sont utiles mais leur interprétation nécessite de les contextualiser pour ne pas se heurter à des biais d’interprétation. Cette contextualisation de chaque indicateur est indispensable car les activités d’enseignement supérieur et de recherche sont complexes et chaque établissement est singulier par ses caractéristiques, son histoire et son environnement. Cette contextualisation permet souvent de mieux apprécier l’efficacité et la plus-value des actions mises en œuvre.
De nombreux exemples illustrent les biais d’interprétation de certains indicateurs.
La progression des effectifs étudiants n’est pas toujours la résultante de l’attractivité d’un établissement. Elle peut aussi être reliée à la conjoncture économique nationale ou locale, le chômage des jeunes induisant souvent des stratégies de poursuite d’études.
Au risque d’être politiquement incorrect, comment s’assurer que l’augmentation des taux de réussite résulte bien de l’amélioration de l’accompagnement des étudiants plutôt que l’abaissement du niveau d’exigence des diplômes ? Chacun sait que la période de crise sanitaire que nous venons de traverser pose un certain nombre de questions à ce sujet.
Peut-on comparer directement les taux d’insertion d’une université implantée dans une grande métropole en forte croissance économique avec ceux d’une université de ville moyenne implantée dans un territoire fragilisé ?
Peut-on comparer l’attractivité à l’international sans prendre en compte la situation géographique, l’histoire et la notoriété des territoires d’implantation des établissements (n’est-il-pas plus facile d’attirer un étudiant à Nice ou Paris qu’à Saint Etienne ou Besançon…) ?
Peut-on focaliser la mesure de la performance en recherche uniquement sur le volume et le facteur d’impact de la production scientifique, alors que des équipes de recherche opèrent sur des domaines théoriques très amont et que d’autres sont positionnées sur des sujets plus appliqués avec des partenariats forts de valorisation ?
Chaque indicateur, même le plus élémentaire, se révèle multifacettes et peut faire l’objet de diverses interprétations. Il n’y a malheureusement pas d’indicateur universel à même d’apporter une information homogène et pertinente pour tous les établissements. C’est pour cette raison que bon nombre d’évaluateurs préconisent de documenter et d’analyser le contexte de chaque indicateur et de différencier les indicateurs en fonction des spécificités de chaque établissement. L’objectif est bien évidemment d’éviter de tomber dans la facilité du chiffre brut qui permet des comparaisons inter-établissements et des classements, certes discriminants, mais trop souvent biaisés.
La dimension souvent négligée de la problématique de l’efficience
Alors que la mesure directe des « produits des activités », ou plus globalement de la performance, est largement sollicitée, la mesure de l’efficience est peu abordée. Elle permet pourtant de rapporter la performance aux moyens mis en œuvre pour relativiser les mesures brutes des produits, cachant parfois la piètre efficacité des moyens mobilisés.
L’efficience est difficile à appréhender mais elle constitue une approche intéressante dans un domaine où les établissements présentent des dimensionnements et des organisations très diverses. Sans entrer dans le débat sur la taille idéale des établissements pour répondre aux enjeux de la compétition internationale, il est souvent intéressant de relativiser certains résultats bruts pour prendre en compte la performance réelle d’un établissement.
Un exemple concerne la production scientifique des établissements qui conduit souvent à établir des classements sur le volume et la notoriété des publications mais rapporte rarement ces résultats aux ressources humaines et moyens mobilisés pour atteindre ces résultats. Ce sujet est d’autant plus sensible qu’au-delà des effectifs propres d’équivalents temps pleins recherche représentés par les enseignants chercheurs et de la qualité du pilotage de chaque établissement, la présence plus ou moins importante des chercheurs des organismes dans les équipes de recherche impacte très fortement le niveau d’efficience (le nombre de chercheurs des organismes par enseignant chercheur peut varier de 2 à 0,1 au sein des universités). Les charges effectives d’enseignement des enseignants chercheurs peuvent aussi avoir un impact important. Il ne s’agit pas de remettre en cause le fait que le regroupement de forces est souvent un facteur clé pour permettre l’émergence de pôles d’excellence ayant une place identifiable au niveau international. L’évaluation peut toutefois poser légitiment la question de l’efficacité des organisations et des formes de pilotage pour améliorer la qualité et le volume des productions scientifiques relativement aux moyens mobilisés. Dans un système massivement financé par des moyens publics contraints, cette question de l’efficience mérite d’être investiguée par les processus d’évaluation. C’est d’ailleurs sans doute à ce niveau qu’il y a des pistes de progrès à identifier pour notre ESR plutôt qu’avec une évaluation qui se limite à la mesure des productions sans réelle plus-value à la clé, comme c’est le cas actuellement de l’évaluation de la recherche conduite par le Hcéres.
L’enjeu majeur de la mesure de la dynamique de progrès propre de chaque entité
La méthode de mesure de la performance dépend de la philosophie de l’évaluation. Deux orientations majeures peuvent être distinguées : une évaluation focalisée sur la mesure et la comparaison des productions visant à mettre en évidence les établissements les plus performants, et une évaluation focalisée sur les dynamiques propres à chaque entité avec, comme objectif premier, d’analyser leur progression. La première approche est plus simple à mettre en œuvre ; elle porte l’idée que la force de l’exemple entraine l’ensemble et que l’identification des meilleurs et la stigmatisation des défaillants constitueraient des moteurs puissants de progrès. La deuxième approche est moins spectaculaire, plus délicate à mettre en œuvre, mais elle est plus respectueuse des spécificités de chaque établissement et elle apporte à chaque entité évaluée un diagnostic plus approfondi des faiblesses internes et des pistes de progrès individualisées et adaptées.
En fait, cette mesure de la dynamique de progrès ne peut pas utiliser des indicateurs définis a priori mais elle doit s’appuyer sur le système d’information de l’établissement et l’analyse des indicateurs, choisis par l’établissement, pour en apprécier la pertinence et les résultats. On peut ainsi juger de la capacité de l’établissement à qualifier lui-même les résultats de sa stratégie dans une démarche proche de l’analyse du système qualité comme le proposent certains spécialistes (cf brève 13) . L’évaluation ne se limite ainsi pas à un simple constat de niveaux de résultats mais place l’entité évaluée dans une obligation de clarifier sa stratégie, point faible fréquent de sa gouvernance, et de faire la démonstration, point par point, de l’impact de cette stratégie sur sa performance globale.
Comment quantifier l’impact des dispositifs d’accompagnement des étudiants pour l’aide à la réussite ? Comment objectiver les liens entre les stratégies recherche et formation et la politique de gestion des ressources humaines de l’établissement ? Comment démontrer les effets de la stratégie recherche de l’établissement ? Ces quelques exemples montrent combien ce type d’approche est exigeante pour les établissements et certainement plus utile que de simplement qualifier le niveau de leurs résultats. Chaque évaluation est alors unique et spécifique à l’établissement ce qui n’empêche pas, avec des outils comme ceux déployés par l’observatoire des sciences et techniques (OST), de procéder à des mesures classiques des productions pour situer la performance globale de notre ESR et sa distribution par grands pôles régionaux.
L’association indispensable des approches qualitatives et quantitatives
Le débat actuel sur l’évaluation de la recherche montre très clairement les limites et les travers des approches quantitatives souvent privilégiées parce que plus simples à mettre en œuvre. La publication récente sous l’égide de l’EUA de « l’accord pour la réforme de l’évaluation de la recherche » qui s’inscrit dans « l’appel de Paris sur l’évaluation de la recherche » confirme la nécessité d’engager des approches qualitatives.
Il s’agit ainsi de pouvoir apprécier la réelle plus-value des principaux résultats de la recherche, de prendre en compte la diversité des contributions possibles et donc de contextualiser et compléter des indicateurs purement quantitatifs. Cette démarche sous-tend l’idée que l’entité évaluée identifie clairement ses résultats majeurs et leur impact, contribuant ainsi à l’amélioration de la qualité de son autoévaluation.
Ce type de démarche ne concerne pas que la recherche et peut aussi s’appliquer aux autres activités des établissements. Par exemple, dans le domaine des partenariats internationaux, l’analyse de la qualité de l’accompagnement et de l’équilibre des échanges, l’analyse de la cohérence des actions formation et recherche peuvent contribuer à une évaluation plus complète et plus pertinente que la simple mesure des flux d’étudiants et d’enseignants chercheurs. C’est ainsi la qualité de la politique internationale qui peut être appréciée, plutôt qu’une simple quantification de l’attractivité.
Conclusion
Comme je l’indiquais plus haut, notre ESR a besoin d’un outil national lui permettant d’apprécier sa performance globale dans le contexte international. Ce sujet, jamais très éloigné de celui des classements, implique des approches essentiellement quantitatives avec la mesure « des produits des activités » car seuls ces outils peuvent être facilement déployés à grande échelle. Les travaux proposés par l’OST pour la recherche ont toute leur place dans ce domaine. Le site du ministère #dataESR (https://data.esr.gouv.fr/FR/) apporte également des éléments de réponse, même si on peut regretter un foisonnement de données et de sources d’informations non hiérarchisées couvrant des périmètres hétérogènes, parfois mal documentées et globalement difficiles à exploiter.
L’analyse de la performance des établissements et de leurs entités internes dans le cadre de leur évaluation pose à nouveau la question de la philosophie de l’évaluation.
Voulons-nous une évaluation qui se focalise sur la mesure des produits, sans se préoccuper réellement des conditions de leur obtention, pour mettre en évidence les meilleurs sans véritable exigence sur leur marge de progrès, et stigmatiser les autres en espérant que ça suffira à stimuler des voies de progrès ?
Ou bien l’évaluation doit-elle s’appuyer sur une mesure de la performance contextualisée et relative aux spécificités et choix de chaque entité, c’est-à-dire une mesure de la performance qui engage l’entité évaluée dans une autoévaluation intégrant l’analyse de l’impact de sa stratégie ? Cela permettrait d’inscrire l’ensemble de notre ESR dans des démarches de progrès concrètes et adaptées.
Je plaide bien évidemment pour la deuxième solution et il serait souhaitable qu’une réflexion approfondie du ministère, des agences d’évaluation et des établissements s’engage sur ces sujets. Peut-on espérer qu’un jour ces différents acteurs prennent enfin conscience que l’évaluation et sa composante mesure de la performance peuvent constituer un véritable outil individualisé de progrès, et pas uniquement un outil normatif de classement global?…