En complément de mon précédent article concernant les nouvelles missions des deux départements d’évaluation des organismes (DEO) et des établissements (DEE) au sein du Hcéres, comme annoncé, il est intéressant d’aborder plus globalement l’articulation avec les deux autres départements d’évaluation de la recherche (DER) et des formations (DEF).
On peut tout d’abord constater une hétérogénéité des missions des quatre départements d’évaluation sur les sujets de la formation des experts des comités d’évaluation et de l’amélioration continue de la méthodologie de l’évaluation. Curieusement ces deux sujets n’apparaissent que dans les missions du DER alors qu’ils concernent à l’évidence l’ensemble des quatre départements.
Les liens avec deux autres instances d’évaluation (la commission du titre d’ingénieur CTI et la commission d’évaluation des formations et diplômes de gestion CEFDG) sont présents uniquement au niveau du département d’évaluation des formations, alors que c’est le département DEE, en charge de l’évaluation institutionnelle des écoles, qui est au cœur de l’articulation avec ces deux instances (évaluation conjointe avec la CTI), le DEF n’évaluant pas les formations concernées par ces instances. A noter enfin l’absence complète de référence aux standards européens (ESG), quel que soit le département considéré, ce qui est pour le moins regrettable pour une agence d’évaluation inscrite au registre européen de l’assurance qualité (EQAR) .
Ces sujets peuvent paraître anecdotiques et pourraient être considérés comme de simples imprécisions de la définition des missions des départements, mais ce manque de rigueur n’est pas acceptable pour une agence d’évaluation et révèle en fait l’insuffisance de conception/réflexion concernant le sujet majeur de l’articulation des types d’évaluation, sujet qui n’a jamais été traité en profondeur ni au sein de l’Aéres, ni au sein du Hcéres.
Au risque de choquer certains de mes anciens collègues du Hcéres, je considère qu’il y a une hiérarchie entre les différents types d’évaluation (institutionnelle, recherche, formation). Il ne s’agit pas d’un problème d’égo d’ancien président d’université mais plus sérieusement d’un problème de méthodologie et de respect de l’autonomie et de la responsabilité des établissements. Pour argumenter cette notion de hiérarchie des évaluations, on peut s’appuyer sur les analyses suivantes.
Les attentes du chapitre 1 des standards européens (ESG) qui constituent le socle méthodologique de nos évaluations s’adressent toutes à l’institution, pour l’élaboration, l’organisation, la mise en œuvre et le suivi de ses formations. Il ne s’agit pas d’apprécier les performances individuelles des formations mais de vérifier que celles-ci se développent dans un cadre maîtrisé et contrôlé par l’établissement qui les porte.
Ces processus d’analyse peuvent toutefois s’interpréter et se décliner à différents niveaux, depuis le terrain pratique de chaque formation jusqu’à des niveaux plus globaux du département, de la composante ou de l’institution, et ce choix de « granularité » renvoie à la problématique du niveau d’autonomie et de responsabilité de l’établissement. Ce sujet pose en fait le problème du rôle de l’institution qui peut aller d’un niveau d’intervention et de responsabilité faible (par exemple, dans un système fortement administré au niveau central directement par l’Etat ou dans un système fédéral d’organisation de l’institution donnant une forte autonomie à ses composantes ou départements) à une responsabilité forte dans le cas d’une institution autonome portant un pilotage central et une mise en œuvre coordonnée de ses formations, ce qui est bien évidemment le cas de notre ESR depuis le développement de l’autonomie et de la responsabilité de nos établissements.
Il est en conséquence grand temps, pour une agence d’évaluation prenant acte de cette autonomie, d’abandonner les vieilles lunes de l’évaluation individualisée et systématisée de chaque formation dans un système administré dans le détail par l’Etat.
A partir de ces constats, dans un ESR qui développe et encourage l’autonomie des institutions, l’évaluation s’adresse donc en premier lieu au niveau le plus politique de la gouvernance et du pilotage de chaque établissement. Il y a ainsi un enjeu majeur à pouvoir appréhender globalement comment chaque institution se saisit de ses différentes missions, explicite une stratégie globale, décline des politiques d’établissement par champ d’activité et est capable d’en apprécier les résultats et l’efficacité. On peut ainsi considérer que l’évaluation première est donc l’évaluation institutionnelle s’adressant au nœud central que constitue chaque direction d’établissement.
Malheureusement, notre culture encore trop imprégnée d’un ESR administré par l’Etat conduit souvent à aborder cette problématique à l’envers, en considérant qu’il faut évaluer chaque entité élémentaire (formation et unité de recherche) pour ensuite procéder par agrégation, afin d’obtenir une vue consolidée de l’établissement, l’évaluation institutionnelle constituant alors un simple complément permettant d’analyser si l’établissement, dans son ensemble, est bien géré.
La définition des missions du département d’évaluation des formation (DEF) du Hcéres traduit cette tendance. L’évaluation « des politiques de formation des établissements » est affichée en effet comme principale mission. Curieusement, le descriptif des missions du département d’évaluation de la recherche (DER) ne reprend pas le même type de libellé, mais il y aura sans doute un minimum de cohérence d’approche entre formation et recherche. Cette démarche de confier au DEF et au DER une mission d’évaluation de la politique d’établissement en formation et en recherche, conduit à vider de sa substance l’évaluation institutionnelle et à considérer chaque établissement comme la simple concaténation de deux grandes missions autonomes évaluées indépendamment l’une de l’autre, alors que l’établissement forme un tout inscrit dans une stratégie qu’il convient d’apprécier globalement, et non pas par consolidation terminale.
Mais alors, si comme je le suggère, l’évaluation institutionnelle est l’évaluation première et doit impérativement garder son unité, à quoi peuvent servir les évaluations individuelles des formations et des unités de recherche? Leur rôle reste en fait capital, servant à « sécuriser » le processus d’évaluation institutionnelle en permettant d’analyser la concrétisation effective des politiques d’établissement sur le terrain. A l’instar de ce que pratiquent plusieurs agences européennes, il est possible de procéder par échantillonnage de quelques unités de recherche et quelques formations sans avoir l’obligation d’évaluer toutes les entités. Au besoin des entités peuvent être évaluées ponctuellement sur des sujets ciblés et/ou à la demande de l’établissement.
Je n’ignore pas que cette analyse n’est pas partagée dans notre ESR, y compris par certains présidents et directeurs d’établissements, qui voient dans l’évaluation systématique de toutes les unités de recherche et toutes les formations une « facilité de pilotage » de l’établissement reportant sur un comité externe la responsabilité de jugements difficiles à porter en interne. Cela relève à mon avis d’un grave aveu de faiblesse qui montre que certaines équipes de direction ne sont pas en capacité d’installer une pratique de l’assurance qualité intégrant des dispositifs d’évaluation et de pilotage organisés par l’établissement lui-même.
Ce sujet de l’articulation des différents types d’évaluation est fondamental et complexe; il pose la question du mandat de l’évaluation relativement au niveau d’autonomie des établissements. J’aurai l’occasion de revenir sur ces éléments dans de prochains articles.
L’Aéres, puis le Hcéres, ne se sont jamais saisis de ce sujet qui s’est souvent réduit à une bataille de périmètres et de prérogatives entre départements, sans une réflexion approfondie sur la définition d’une philosophie globale d’une évaluation intégrée mobilisant les trois dimensions institution, recherche, formation. Formulé autrement, il s’agit de mettre les départements au service de cette philosophie et pas l’inverse…
L’Etat et la communauté de l’ESR ne sont pas sans responsabilité dans cette affaire du fait d’une focalisation excessive sur l’évaluation de la recherche conçue comme un outil de répartition des moyens et d’affichage de l’excellence des unités. Il serait pourtant important que chacun réalise que de telles préoccupations relèvent d’approches à court terme, alors que l’assurance qualité devrait être considérée comme un investissement à long terme. Notre ESR pourrait avantageusement se saisir de ces sujets pour une réflexion de fond.
Dans ce domaine, la conférence des présidents d’université (CPU) et la conférence des directeurs d’écoles d’ingénieurs (CDEFI) seraient bien inspirées de prendre part à cette réflexion afin de faire valoir la place de la dimension institutionnelle.
Les signaux donnés récemment sur le site internet du Hcéres quant à la définition des missions de ses départements sont inquiétants et nécessitent pour le moins une clarification et une plus grande cohérence….
Je partage l’analyse exprimée dans cet article, en m’inquiétant de l’absence actuelle de débats sur l’évaluation dans l’ESR. La récente contribution de l’institut Montaigne « Enseignement supérieur et recherche : il est temps d’agir ! » (https://www.institutmontaigne.org/ressources/pdfs/publications/enseignement-supérieur-français-rapport.pdf) est trop superficielle sur ce sujet. Merci donc à toi donc Robert d’avoir créé cet espace d’analyse et de débats !
Opposons par exemple deux visions :
– une vision descendante et théorique depuis paris, où les établissements seraient mis en équations avec un algorithme d’affectation de moyens associés aux résultats, nourri par des rapports de comités d’experts et des synthèses de synthèse (élaborées par qui et comment ?) telles que celles pratiquées par le département d’évaluation de la recherche (historiquement des unités de recherche) avec le fantasme récurrent (mais aussi récurant) de la notation,
– et une vision remontante à l’échelle d’un établissement « autonome » , d’une région (à l’image des Länder allemands) où les dispositifs d’évaluation seraient adaptés dans la concertation en distinguant bien les enjeux liés à la recherche (qui sont nationaux et s’inscrivent dans des défis sociétaux et internationaux avec le rôle important que doit jouer l’OST), et les enjeux liés à la formation et l’insertion professionnelle qui sont d’abord locaux en particulier avec la crise sanitaire que nous traversons.
Le sujet de l’évaluation est complexe, et ce qui m’a conduit l’année dernière à faire 10 propositions qui justement distinguent clairement l’évaluation des niveaux formation, recherche et établissement.
https://theconversation.com/debat-comment-repenser-levaluation-dans-lenseignement-superieur-146246
Livre téléchargeable gratuitement à l’adresse : https://www.lirmm.fr/users/utilisateurs-lirmm/michel-robert
J’expose en particulier une méthode originale d’évaluation de la recherche où les comparaisons se feraient par groupes de laboratoires d’un domaine donné par un même comité (pratique actuelle de l’INRIA pour ses équipes), et en concertation avec les organismes de recherche, alors qu’aujourd’hui l’évaluation ne se fait qu’au travers de l’établissement hébergeant le laboratoire.
On peut envisager de mettre sur un même plan et avec un même comité de pairs les niveaux formation et recherche, pour l’évaluation d’une composante d’université (UFR, Faculté…). C’est qui se passe à l’étranger avec la mise en place de « visiting commmittee » de « department » dans un périmètre thématique donné. Les experts sont capables d’évaluer de manière comparative à l’échelle internationale ces composantes. Hors le problème c’est qu’en France ces composantes ne sont pas évaluées, ce qui est une aberration quand on constate que certaines composante peuvent accueillir plus de 10 000 étudiants (et par ailleurs que des établissements accueillant moins de 500 étudiants sont évalués par le Hcéres, sans parler de la multiplication actuelle d’établissements privés à but lucratif jamais évalués) !
Par contre cette approche ne peut s’appliquer pour l’évaluation d’un établissement. Il suffit d’avoir dirigé un laboratoire, une école doctorale, une composante de formation, ou une université, pour comprendre qu’une stratégie de recherche ou de formation globale d’un établissement, ne peut se résumer à une somme de stratégies qui s’exprimeraient au travers d’une évaluation construite par synthèses de synthèses, des personnes à l’institution ! C’est ce que souligne très bien ton analyse.
Le passage à l’échelle dans la construction de nouvelles grandes universités par fusion ou coordination d’établissements, impose donc de distinguer l’évaluation des composantes de formation et/ou de recherche par des comités, et l’évaluation des universités qui fédèrent ces composantes. Et bien évidemment dans un contexte européen ayant depuis le processus de Bologne permis de développer la démarche qualité, l’évaluation institutionnelle mise en œuvre au département d’évaluation des établissements doit s’exprimer.
Mieux – et je regrette que la France prenne du retard sur ce sujet – une université autonome devrait être en capacité de mettre en place son propre dispositif d’évaluation- le Hcéres pouvant valider la démarche.