Article 18 : Quelles données sont utiles à une évaluation ? : A la recherche d’un système national de caractérisation des établissements…..

C’est une évidence, l’évaluation a besoin de données pour étayer son analyse et l’appuyer sur des preuves quantifiables. Mais une fois cette évidence rappelée, le sujet s’avère beaucoup plus complexe qu’il n’y parait. La « boulimie de données » peut vite aboutir à des approches très invasives, formatant les systèmes observés. Il y a alors un risque d’une évaluation focalisée sur la mesure externe des performances et les classements, très éloignée des enjeux de développement des capacités propres d’analyse et de la qualité du pilotage des établissements. Il serait urgent d’engager le débat sur ces sujets dans un contexte pour le moins inquiétant, lié aux orientations actuelles du Hcéres qui font apparaitre un discours et des pratiques contradictoires et surtout une piètre compréhension et prise en compte des besoins d’établissements autonomes et responsables.

Sans prétendre à l’exhaustivité sur ces sujets complexes, ce premier article aborde la caractérisation des établissements. Un deuxième article concernera la problématique de la mesure de la performance.

Le besoin d’une caractérisation élémentaire des établissements

Il est important de disposer d’une quantification claire et fiable de quelques données permettant d’apprécier le dimensionnement et les ressources des établissements. Une première approche élémentaire peut se concevoir à partir du triptyque constitué par les effectifs étudiants, les effectifs des personnels permanents et les moyens budgétaires. Objectif simple a priori, mais il suffit de parcourir les rapports du Hcéres, les sources d’information du ministère et les sites internet des établissements, pour se rendre compte qu’il y a là un défi de taille pour obtenir une information cohérente et fiable sur l’ensemble de nos écoles et universités.

L’effectif étudiant, donnée pourtant fondamentale de la caractérisation d’un établissement d’enseignement, est sujet à une multitude de périmètres aboutissant à des chiffres parfois très différents pour un même établissement ou divergents entre établissements (comptabilisation des inscriptions principales uniquement, ou secondaires également, des effectifs des formations sous convention avec d’autres établissements (IFSI, CPGE, formations cohabilitées….) ou non, des effectifs de formation continue ou non, etc). Il s’agirait, à ce niveau, de définir des règles de comptabilisation communes et précises, ainsi qu’un système de collecte fiabilisé pour toutes les écoles et universités. Il conviendrait également de définir quelques catégories de distribution de ces effectifs (cycles, formations, types de diplômes….) pour avoir une caractérisation plus fine et exploitable dans ce domaine.

L’effectif des personnels représente une donnée encore plus redoutable à définir (personnels permanents ou temporaires, statut d’enseignant-chercheur et de chercheur notamment pour les établissements privés, problématique des personnels hébergés issus d’autres établissements….). Il est pourtant fondamental de pouvoir identifier le socle de ressources humaines dont un établissement bénéficie pour identifier ses réelles marges de manœuvre en lien avec sa stratégie. A ce niveau, la connaissance des équivalents temps plein de personnels permanents (dans les trois secteurs enseignement, recherche, administratif-technique) hébergés dans l’établissement (y compris les personnels des organismes) apparait comme une donnée fondamentale qui permettrait d’identifier clairement le socle des forces dont il dispose pour décliner ses choix stratégiques. Dans le domaine de la recherche, l’identification des personnels permanents issus des organismes de recherche est nécessaire pour apprécier la performance en recherche (cf article suivant), compte tenu de la répartition très hétérogène de ces forces entre les établissements (les taux de chercheurs-organismes relativement aux enseignants-chercheurs pouvant varier de 1 à 0,1). Ces données se révèlent malheureusement quasiment inaccessibles pour une grande majorité d’établissements publics comme privés.

Les données budgétaires de fonctionnement et d’investissement sont également fondamentales pour apprécier la force de frappe d’un établissement. Là aussi, sans définition d’un périmètre clair, il n’est pas toujours facile de s’y retrouver dans les méandres des partenariats, des structures associées et autres montages financiers. A minima, le montant des dépenses exécutées par l’établissement, en y intégrant celles des organismes de recherche au sein des équipes hébergées et celle des structures externes sous contrôle direct de l’établissement, peut fournir une information objective sur les moyens de l’établissement, mais la définition du périmètre pris en charge et la collecte de ces informations s’avèrent souvent redoutables.

Les éléments d’analyse ci-dessus montrent ainsi que ce triptyque de données de caractérisation, pourtant élémentaire, n’est pas simple à définir. Il convient bien évidemment de le concevoir avec des définitions et des périmètres précis et de le focaliser uniquement sur les grands chiffres pour ne pas aboutir à un système inutilement détaillé et très lourd à exploiter.

 

Le besoin d’un système national d’information pour une caractérisation minimale de notre ESR

Aussi curieux que cela puisse paraitre, cette base élémentaire de caractérisation n’est pas accessible pour l’ensemble des écoles et universités des secteurs public et privé. Impossible de trouver un site internet du ministère proposant ce type d’informations. Les effectifs étudiants des universités et de quelques écoles sont accessibles dans l’application « Tableau de bord de l’enseignement supérieur », mais on est très loin de disposer d’un système d’information cohérent permettant d’accéder à ces informations pour chaque établissement en quelques clics. Les sites internet des établissements n’offrent pas non plus une information fiabilisée et unifiée, l’orientation très « communication » de ces sites conduisant souvent les établissements à une information très globalisée ne permettant pas d’apprécier les ressources dont l’établissement a réellement la maitrise.

 

Conclusion

Dans ce contexte, la solution d’une collecte de ces informations dans le cadre de l’évaluation institutionnelle des établissements peut représenter une solution à condition de ne pas ajouter de la confusion, des redondances et des imprécisions à un système déjà défaillant. Il y a un besoin évident d’un système national de caractérisation fiable et facile d’accès dont la définition et la responsabilité de sa mise en œuvre doivent être clairement identifiées.

La démarche actuelle du Hcéres en parallèle des outils du ministère, sans réel bénéfice de fiabilité et de complétude, ne fait qu’ajouter une charge de travail aux établissements en l’absence d’une mission claire et exclusive dans ce domaine. Ce n’est pas en demandant des fichiers Excel aux établissements dans le cadre de leur autoévaluation que nous parviendrons à avoir un système d’information fiable et accessible couvrant l’ensemble des établissements d’enseignement supérieur et de recherche. Il y a quand même une sérieuse anomalie à constater que notre ESR, pourtant très centralisé et administré, se trouve dans l’incapacité de disposer de données aussi élémentaires. Il serait temps d’y remédier, mais il est vrai que ce « foutoir global » arrange probablement une partie des acteurs, qui peuvent ainsi communiquer à leur guise sur des dimensionnements parfois très éloignés de la réalité de ce qu’ils pilotent réellement. Certains projets Idex et Isite du PIA l’illustrent pleinement….

2 commentaires à propos de “Article 18 : Quelles données sont utiles à une évaluation ? : A la recherche d’un système national de caractérisation des établissements…..”

  1. Bonjour,
    je partage l’analyse de Robert sur la nécessité de mettre à disposition des données fiables, robustes, … je me permets de rappeler la condition de répétabilité (extrait de ISO/IEC Guide 99 – Vocabulaire international de métrologie — Concepts fondamentaux et généraux et termes associés)
    condition de mesurage dans un ensemble de conditions qui comprennent la même procédure de mesure, les mêmes opérateurs, le même système de mesure, les mêmes conditions de fonctionnement et le même lieu, ainsi que des mesurages répétés sur le même objet ou des objets similaires pendant une courte période de temps…
    plus sérieusement, le processus « Données Certifiées » mis en place par la CTI – https://www.cti-commission.fr/documents-de-reference/donnees-certifiees – n’est-il pas un premier pas et ne mériterait-il pas d’être « amplifié » et « normalisé » ?

    • Merci de cette précision. Oui le processus de la CTI est intéressant et peut servir de base de travail. Toutefois, pour avoir eu des difficultés à plusieurs reprises avec la définition et le périmètre exact de ces données, j’y vois là aussi une confirmation que le cadre de référence doit être très précis avec des définitions parfaitement stabilisées et détaillées ainsi qu’une collecte fiabilisée pour obtenir un système de caractérisation robuste pouvant notamment bien délimiter les espaces de pilotage effectif de chaque établissement. Pour ma part, je ne cacherais pas que je considère que, pour moi, ce processus relève plus de la responsabilité de l’Etat que de celle des agences d’évaluation même si, comme beaucoup, j’attends depuis quelques décennies que notre administration centrale, pourtant puissante, fasse enfin la preuve d’une certaine efficacité dans ce domaine….

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*