La description de l’évaluation des formations (niveaux licence et master) au niveau du site internet du Hcéres est d’une grande complexité. Le site décline trois niveaux de présentation nécessitant une navigation compliquée pour réunir l’ensemble des messages délivrés au travers de textes en ligne et de documents en annexe souvent redondants et parfois contradictoires. L’ensemble du volet évaluation des formations se décline en pas moins de 34 documents proposés en annexe. C’est un véritable jeu de piste pour arriver à réunir l’ensemble des principes retenus et des consignes adressées aux entités évaluées. Même s’il faut reconnaitre que l’exercice n’est pas simple compte tenu de la complexité de notre système d’enseignement supérieur, cette description apparait quand même comme une démonstration de ce que peut être une technocratie de l’évaluation, véritable encouragement à tous les détracteurs de l’évaluation….
1 : Un périmètre de l’évaluation des formations qui pose question
Le Hcéres n’applique pas la même approche pour le premier et le second cycle.
Le premier cycle (licences générales et licences professionnelles) fait l’objet d’une approche globale à l’échelle de l’établissement sans évaluation individuelle des formations. Le Hcéres invite les établissements à réaliser l’autoévaluation de chacune de leurs formations et propose un référentiel pour les formations conférant le grade de licence. Les rapports d’autoévaluation ne sont pas demandés mais une fiche « synthétique » comportant un peu plus de 60 informations à fournir doit être produite par l’établissement pour chacune de ses formations de premier cycle. Contrairement aux pratiques antérieures du Hcéres, il n’y a pas d’évaluation externe individualisée pour chaque formation mais le processus de visite réalisée dans le cadre de l’évaluation globale du premier cycle intègre des questions spécifiques adressées à un échantillon de formations. A noter qu’il n’y a pas de référentiel pour l’évaluation globale de l’offre de formation de 1er cycle mais simplement une grille de six items, structurant le dossier à fournir par l’établissement. Cette absence de référentiel, document fondamental de l’évaluation, constitue une véritable entorse aux règles de l’évaluation, et on est en droit de s’interroger sur le rôle effectif du collège du Hcéres devant un tel constat…
Cette approche résulte de la volonté compréhensible du Hcéres de limiter la charge induite par le processus d’évaluation mais conduit à une triple anomalie. Tout d’abord, le fait d’aborder le premier cycle dans sa globalité conduit à avoir comme principal interlocuteur l’établissement, ce qui pose la question de la redondance avec l’évaluation institutionnelle. Par ailleurs, il y a une contradiction flagrante entre le discours annoncé de la baisse de la charge de travail pour les évalués et la demande d’une fiche individualisée par formation avec plus de 60 informations à fournir, ces informations ne correspondant pas forcément à l’organisation du système d’information de l’établissement et représentant donc une charge de travail très conséquente. Enfin, anomalie la plus grave, l’absence d’évaluation externe approfondie d’un minimum de formations rend le Hcéres aveugle de la réalité de terrain des formations de 1er cycle, faisant courir le risque d’une évaluation « hors sol », ignorant, de surcroit, l’analyse du niveau des composantes et des départements de formation qui constituent pourtant des entités fondamentales du pilotage des formations surtout dans les universités de grande taille.
Le deuxième cycle présente une approche différente. Les masters font l’objet d’une évaluation externe individualisée avec un référentiel spécifique. Les établissements sont invités à découper leur offre de formation de 2eme cycle en champs de formation, dont les périmètres ne sont évidemment pas imposés, l’établissement pouvant les organiser selon diverses configurations, y compris dans une démarche pluri-établissements. Outre celui des mentions de master, un référentiel spécifique est également proposé pour l’évaluation individuelle de chaque champ. Le comité d’évaluation réalise donc l’évaluation externe du champ et des masters qu’il regroupe, et produit un rapport global intégrant « une fiche d’évaluation » pour chaque master. Si cette approche ne pose pas, aussi directement que pour le 1er cycle, la question du recouvrement avec l’évaluation institutionnelle, elle reste cependant très ambiguë du fait des traductions diverses de la notion de champ. En effet, dans le cas où le champ proposé par l’établissement ne correspond pas à une véritable entité de pilotage (composante, département… ) mais simplement à un regroupement ad hoc directement généré par la demande du Hcéres (c’est le cas dans un nombre important d’établissements), alors l’évaluation externe de ce champ ne porte pas sur un périmètre interne pertinent pour l’établissement. Ceci a pour conséquence de conduire à nouveau à un effet « hors sol » de l’évaluation, car ne s’adressant pas à une entité opérationnelle.
2 : Des objectifs de l’évaluation incohérents et en décalage avec l’autonomie des établissements
En lien direct avec les problèmes de périmètre évoqués supra, les différents documents proposés par le Hcéres ne permettent pas d’identifier la philosophie globale de l’évaluation des formations qui apparait confuse, et même incohérente à différents niveaux.
Les référentiels proposés naviguent en permanence entre des problématiques relevant du niveau de l’établissement (voire pluri-établissements dans le cas des masters) et des problématiques attachées au niveau des équipes pédagogiques qui mettent en œuvre les formations. Au final, on ne perçoit pas toujours quel est l’interlocuteur de l’évaluation aussi bien dans la demande d’autoévaluation adressée à l’établissement que dans le contenu des rapports produits par les comités d’évaluation. Une agence ne disposant pas des trois types d’évaluation (institutions, formations, unités de recherche) peut être conduite à un exercice composite pour l’évaluation des formations mais ce n’est pas le cas du Hcéres. On peut donc regretter que l’évaluation des formations ne soit pas plus focalisée sur le niveau opérationnel de pilotage des formations interne à l’établissement, en s’adressant aux départements de formation et aux équipes pédagogiques (le niveau institutionnel étant justement couvert par l’évaluation de l’établissement).
Cette difficulté est aggravée par une approche qui relève fortement de la vérification de conformité d’un système administré par le haut. Même si cette dimension peut encore être utile dans le cadre de notre ESR, l’évaluation des formations proposée par le Hcéres n’apparait pas adaptée à l’autonomie actuelle de nos établissements. En effet, on ne perçoit pas la volonté première d’analyser comment les priorités et les politiques affichées par l’établissement sont opérationnalisées dans les formations, les référentiels donnant plus l’impression d’un modèle a priori et d’une approche de chaque formation comme une entité autonome. Cette approche n’apparait donc pas centrée sur la dynamique interne de l’établissement. Ainsi les dimensions potentielles qu’offre une évaluation d’entités de terrain ne sont pas suffisamment exploitées notamment pour apprécier comment les acteurs en charge de la conduite opérationnelle des formations traduisent les priorités de leur établissement, développent des initiatives propres, et contribuent concrètement à l’amélioration de la qualité des formations par des résultats identifiables.
3 : Conclusion
Le Hcéres dispose d’une situation idéale, lui permettant d’articuler une analyse globale de l’établissement au travers de l’évaluation institutionnelle et des analyses du niveau opérationnel des formations et des unités de recherche mais il n’exploite pas totalement ces possibilités, étant incapable de concevoir une évaluation intégrée cohérente. L’analyse globale de l’approche en cours pour cette vague B d’évaluation (2020-2021) des formations et celle de ses évolutions au cours de la dernière décennie montrent que le mandat de l’évaluation n’a pas fait l’objet d’une réflexion approfondie. L’approche actuelle est particulièrement confuse et, contrairement aux intentions affichées, elle n’a pas vraiment réduit la charge de travail des établissements qui doivent encore produire une masse considérable d’informations demandées dans le cadre de l’autoévaluation. Elle n’est pas attentive aux priorités stratégiques des établissements et à leur dynamique interne. La philosophie de l’évaluation qui la sous-tend apparait essentiellement focalisée sur la production d’une analyse au service d’un hypothétique mécanisme de régulation de l’Etat et d’un objectif de caractérisation globale des formations pour des résultats qui restent difficilement identifiables : combien de mentions ou de parcours de licences ou de masters ont-ils été vraiment remis en cause suite à une évaluation négative ? Disposons-nous d’un outil fiable et exploitable de caractérisation de l’offre nationale de formation issu des évaluations produites par le Hcéres ?
Le Hcéres annonce une réforme en profondeur pour la prochaine vague C (2022-2023) et affiche de manière répétée le maître mot de l’évaluation intégrée. C’est effectivement nécessaire mais attention de ne pas se tromper de cible et de ne pas accentuer l’effet hors sol déjà présent. Au-delà des effets de communication, il faudra être clair sur les fondements de l’évaluation des formations portant une réelle attention aux spécificités de l’établissement et à sa stratégie propre. L’articulation entre les trois types d’évaluation (institutions, formations, unités de recherche) devra être cohérente et garantir une évaluation efficace, fiable, soutenable et utile pour les établissements.