Dans quelle mesure les indicateurs de résultats des écoles publiés par le ministère permettent-ils de dresser un palmarès des établissements ?

Un article de Bruno Magliulo

Chaque année, vers la fin mars, la Direction de l’évaluation, de la prospective et de la performance (DEPP) du Ministère de l’Education nationale met à la disposition d’un vaste public les résultats d’une enquête nationale portant sur « la manière dont les établissements accompagnent leurs élèves vers la réussite ». Par « établissements », il faut comprendre les lycées (depuis 1993) et désormais les collèges (depuis 2022), de statut public ou privé sous contrat, ayant présenté au moins trente élèves aux examens du baccalauréat ou du brevet. Pour cela, il a été conçu une batterie d’ « indicateurs de performance ». Fin mars 2023, le Ministère a publié les résultats de cette étude, portant sur des données recueillies en 2022 auprès de 2249 lycées et 6870 collèges.
Force est de constater qu’alors que ces indicateurs ne devaient, lors de leur mise en application il ya trente ans, être que des outils d’évaluation au service du pilotage interne des établissements, ils ont dérivé vers une logique de hiérarchisation des établissements, conséquence du fait que nombre de supports de communication (médias nationaux, régionaux et locaux, supports internet…) se fondent sur les résultats de ces enquêtes pour établir des classements ou palmarès des lycées et collèges, et les publier.

1.    La méthodologie définie et mise en œuvre  par le Ministère

Partant de l’idée que la « performance » d’un  établissement scolaire  ne saurait se réduire aux seuls taux de réussite aux examens finaux (diplôme national du brevet et baccalauréat) de ses élèves, il a été décidé de prendre en compte plusieurs autres facteurs, individuels et structurels, en tenant compte du fait qu’on a estimé devoir évaluer principalement ce qui est dû à l’action propre à chaque établissement

11. La forte tendance à l’accroissement des taux de réussite aux examens finaux réduit le sens de cet indicateur de performance :
Tant que les taux de réussite aux examens finaux du collège (brevet) et du lycée (baccalauréat) étaient contenus à des niveaux inférieurs à 70% en moyenne nationale, ces indicateurs de différenciation du « niveau » des établissements scolaires avaient du sens. Chacun pouvait admettre qu’un lycée qui, en 1990, année pour laquelle le taux global de réussite au baccalauréat en France fut de 72%, se prévalait d’un taux de 97%, pouvait être considéré comme étant significativement « meilleur » qu’un autre n’ayant « que » 65% de reçus. Cependant, on a assité à une forte augmentation de ces taux de réussite : la réussite moyenne nationale au baccalauréat est passée de 72% en 1990 à 91% en 2022, et celle concernant le brevet de 72% à 86% durant la même période. En outre, cette double tendance inflationniste est loin d’être terminée : d’année en année elle se confirme. Dès lors, le nombre d’établissements affichant des taux de réussite de 100% (ou proches de 100%) augmentent, rendant ce critère de hiérarchisation des collèges et lycées de moins en moins significatif.
Il en va de même, mais dans une moindre mesure, pour cet autre indicateur de « performance » des établissements que sont les taux de réussite avec mention. En voyant les proportions de réussite avec mention augmenter d’année en année, cet indicateur est lui aussi victime d’une perte de capacité de distinguer le « bon établissement », du « moins bon ». C’est ce qui explique que nombreux sont celles et ceux qui suggèrent que l’on fasse évoluer cet indicateur en ne comparant que les  taux de réussite avec les mentions bien ou très bien, nettement plus significatives du « niveau » d’un établissement scolaire que si on continue d’amalgamer les mentions passable, assez bien , bien et très bien.

12. Il a semblé logique que l’on tienne compte de divers autres facteurs de réussite :
Chacun sait que la réussite des élèves aux examens finaux dépend de facteurs internes aux établissements tels la politique d’évaluation des élèves, les pratiques en matière de redoublement et de réorientation, l’accompagnement personnalisé et notamment le suivi des élèves en difficulté, la politique concernant les incivilités, le degré d’ouverture internationale, la variété des enseignements optionnels, le « portefeuille de compétences » des enseignants, la capacité de ces derniers à faire progresser leurs élèves, la qualité des pratiques pédagogiques, l’équilibre entre évaluation formative et évaluation sommative ... On ne saurait cependant se limiter à ces facteurs internes car le niveau de la réussite des élèves dépend aussi d’autres facteurs, que nous qualifierons d’ « externes » en ce sens qu’il s’agit de divers traits distinctifs qui les caractérisaient au moment de leur entrée dans l’établissement : le milieu socio-économique (il est largement prouvé que ceux qui sont membres de milieux sociaux favorisés réussissent le mieux),  leur répartition par sexe (en moyenne, les filles réussissent significativement mieux que les garçons dans l’enseignement secondaire), par âge (les élèves en avance ou à l’heure réussissent mieux que celles et ceux qui sont en retard), le niveau scolaire qu’ils avaient acquis avant d’entrer dans l’établissement scolaire...
Dans cette logique, il convient que les indicateurs de performance appliqués à un établissement permettent la comparaison avec les résultats obtenus par des élèves comparables, scolarisés dans des collèges ou lycées comparables. Cette conception des choses a conduit à élaborer des indicateurs de résultats qui permettent de tenir principalement compte  de l’incidence de ce qui est dû à l’action propre à chaque établissement. Pour y parvenir ou s’en rapprocher, la réussite des élèves de chaque établissement est comparée à celle d’élèves virtuels scolarisés dans des collèges ou lycées comparables. C’est pourquoi on ajoute aux indicateurs « bruts » (les taux réels), des indicateurs de « valeur ajoutée » ou « valeur retirée » correspondant aux écarts  constatés entre les résultats obtenus et ceux auxquels on peut s’attendre compte tenu des caractéristiques de la population scolaire accueillie dans l’établissement. Au plus cette valeur est positive (on parle alors de « valeur ajoutée »), au plus l’effet établissement favorise la réussite de ses élèves. Dans le cas contraire, lorsqu’elle est négative, l’établissement concerné se positionne « en deça » du niveau de réussite que ses élèves devraient atteindre.

13. Les indicateurs mis en œuvre :
Concernant les collèges, ils sont au nombre de six.
-    Le taux de réussite constaté au diplôme national du brevet (DNB) est l’indicateur le plus traditionnel et le plus facile à établir
-    Le taux de réussite attendu au DNB avec mise en lumière des écarts par rapport au taux constaté ( quelle valeur ajoutée ?).
-    La note moyenne constatée à l’écrit du DNB (épreuves de français, mathématiques, sciences et histoire-géographie).
-    La note moyenne attendue à l’écrit du DNB
-    Le taux d’accès de la sixième à la troisième (il s’agit de la part des élèves entrés dans l’établissement en sixième et ayant poursuivi leur scolarité dans le même étrablissement jusqu’en troisième incluse, et ce quel que soit le nombre d’années nécessaires pour y partvenir).
-    La part des élèves s’étant présentés au DNB parmi les élèves de troisième scolarisés dans l’établissement (rappelons que le passage d’un élèves de collège en lycée est indépendant de la réussite au DNB, si bien que l’inscription à l’examen final, fortement recommandée, n’est cependant pas une obligation)

Concernant les lycées, l’étude porte sur les données émanant de cinq indicateurs :
-    Le taux de réussiste constaté au baccalauréat (par série) est l’indicateur le plus traditionnel et le plus facile à établir
-    Le taux de réussite attendu au baccalauréat (par série) avec mise en lumière des écarts par rapport aux taux constatés (quelle valeur ajoutée ?).
-    Les taux des mentions  obtenues au baccalauréat par les élèves de l’établissement.
-    Les taux de mentions attendus au baccalauréat avec mise en lumière des écarts (quelle valeur ajoutée ?).
-    Le taux d’accès au baccalauréat pour les élèves entrés dans l’établissement en seconde. C’est la probabilité qu’ils réussissent à se doter du baccalauréat à l’issue d’une scolarité qui s’est entièrement déroulée dans l’établissement , et ce, quel que soit le nombre d’années nécessaires pour y parvenir.

On s’efforce donc d’évaluer l’efficacité de l’action mise au service de la réussite des élèves au sein de chaque établissement, et de mettre en lumière ce qu’un collège ou lycée « ajoute » au niveau initial des élèves au moment où ils y entrent. Chacun comprendra qu’au constat du chiffre présenté par un indicateur (le taux observé de réussite au baccalauréat par exemple), on se demande ce qui est dû aux acquis préalables à l’entrée dans l’établissement, et ce qui est le fruit de ce que ce même établissement a su ajouter. Ne serait-il pas injuste d’attribuer une supériorité à un établissement qui obtient un taux de réussite au baccalaureéat de 100%  alors qu’il ne recrute en seconde que de très bons élèves, issus de catégories sociales favorisées … et dont le taux de réussite attendu serait également de 100%, par rapport à un autre dont le taux de réussite observé ne serait que de 76%, mais avec un taux de réussite attendu de 62%, et donc une capacité à tirer la plupart de ses élèves vers le haut, et ce malgré de lourds handicaps de départ ?
On s’étonne cependant qu’à ce jour, il n’ait pas été décidé d’introduire un ou des indicateurs de réussite dans l’enseignement supérieur. Ce serait pourtant très pertinent au regard de la volonté d’évaluer la capacité de chaque lycée à doter ses élèves des savoirs et savoirs faire requis pour sa réussite dans le supérieur. On pourrait, par exemple, ajouter un indicateur tel le taux d’admission dans une filière sélective post baccalauréat, ou la part des élèves qui parviennent à se doter d’un diplôme de fin de premier cycle supérieur (licence, BTS, bachelor, DCG, DEUST…) .  Pour les collèges, il serait possible d’ajouter un indicateur tel le taux de satisfaction des demandes d’orientation post classe de troisième placée en premier vœu par les familles. De tels indicateurs viendraient utilement compléter la panoplie de ceux actuellement utilisés, et mieux rendre compte de la réalité de ce qui fait la capacité d’un établissement scolaire à mieux permettre à ses élèves de réussir, tant au cours du cursus des études suivies dans l’établissement, que dans les formations qui le prolongent.

2.    Des indicateurs qui permettent de répartir les établissemenst en cinq catégories

En se fondant sur les seuls indicateurs précédemment mis en  lumière, les autorités ministérielles aboutissent à une répartition des établissements en cinq catégories :
-    Les « établissements performants » sont ceux qui associent à leur taux de réussite à l’examen final observé et au taux des mentions observé obtenus par leurs élèves, des valeurs positives importantes.
-    Les « établissements accompagnateurs » sont ceux qui privIlégient une politique d’accompagnement des élèves en difficulté , et ce dès leur entrée en sixième ou seconde. Il y a peu d’écrémage tout au long du parcours : peu de recours au redoublement ou aux pratiques de réorientation vers d’autres établissements. Autre caractéristique de cette catégorie d’établissements : on s’y préoccupe avant tout de conduire un maximum d’élèves à réussir à se doter du brevet ou du baccalauréat. L’objectif de bonne réussite dans l’enseignement supérieur est secondaire, sans pour autant être totalement absent.
-    Les « établissements sélectifs » pratiquent ouvertement une politique d’écrémage tout au long de leur parcours. Les taux de redoublement y sont fréquemment plus élevés qu’ailleurs. On incite les familles dont les enfants sont peu performants à se réorienter vers un autre établissement en fin de troisième (lorsque l’établissement comprend les deux niveaux de l’enseignement secondaire) et à l’issue de la classe de seconde, en orientant autoritairement certains élèves vers des filières qui n’existent pas dans l’établissement fréquenté.  L’objectif premier visé par de telle pratiques est de parvenir à ce que , à l’issue des années lycée, le plus grand nombre possible d’élèves parviennent à se faire admettre dans de « bonnes » formations supérieures, et y réussissent. L’objectif de réussite au brevet ou au baccalauréat n’est qu’un objectif « en passant », qui va de soi (les taux observés sont de 95 à 100%). Ce qui importe est que cette réussite se fasse à haut niveau de mention.
-    Les « établissements neutres » affichent des taux de réussite et de mentions réels conformes ou très proches des taux attendus. Ces établissements n’affichent aucune ou de très faibles « plus values » ou « moins values ». Le défaut de cette catégorie d’établissements est qu’elle amalgame des collèges et/ou lycées obtenant des taux affichés de réussite et de mentions élevés : c’est ainsi, par exemple, que l’on peut trouver dans cette même catégorie d’établissements un lycée qui obtient un taux réel de réussite de 99% et un taux attendu de 99%, et un autre dont les taux de réussite observé et attendu sont respectivement 87% et 87% .
-    Les « établissements en deça des attentes » sont ceux qui obtiennent des résultats observés significativement inférieurs aux taux attendus. En d’autres termes, les élèves y sont plus ou moins tirés vers le bas. Ce poura donc être le cas d’un établissement qui obtient un taux de réussite observé élévés (94% par exemple) couplé avec un taux attendus de 99% (moins value : - 5%), et un autre dont les mêmes indicateurs sont respectivement 81% et 87% (moins value : - 6%). Encore un indicateur qui amalgame des établissements pouvant être fort différents.

3.    La tentation du palmarès

Dans une interview accordée au quotidien Le Monde, le 29 mars 2023, Fabienne Rosenwald, responsable de la Direction dfe l’évaluation, de la prospective et de la performance (DEPP) au Ministère de l’Éducatioin Nationale, disait qu’ « une approche en valeur ajoutée est indispensable car les taux bruts ne permettent pas de différencier ce qui est dû à l’action de l’établissement de ce qui est dû aux compétences déjà développées par les élèves avant leur entrée au lycée ou au collège ». Le choix de tels indicateurs est manifestement le fruit d’un refus a priori : celui d’ouvrir la porte à l’élaboration et la diffusion de classements ou « palmarès ». Pourquoi cela ?
Pour établir un palmarès des établissements qui ait du sens, il faut que qu’il soit fondé sur un ou des indicteurs de performance aisément compréhensibles par celles et ceux qui en prendront connaissance. Or, dans l’inconscient collectif – et tout particulièrement du côté des élèves et parents d’élèves – les indicateurs les plus pertinents sont ceux qui concernent les taux de réussite bruts (réels) aux examens finaux, auxquels il faudrait ajouter les performances des lycéens lors de leur passage dans l’enseignement supérieur et en cours de premier cycle de l’enseignement supérieur.
Ainsi s’explique en grande partie le fait que, même si les indicateurs retenus n’ont pas été conçus pour établir des classements et autres palmarès des lycées et collèges, chacun peut constater que chaque année, vers la fin mars, dans la foulée de la publication des enquêtes ministérielles sur les IVAL (indicateurs de valeur ajoutée des lycées) et IVAC (indicateurs de vaqleur ajoutée des collèges), fleurissent plusieurs dizaines de classements et palmarès élaborés par des médias de toutes sortes, très heureux de bénéficier de cette possibilité de « booster » leurs ventes auprès d’un public plus avide de ce type d’information que de celle qui publie le Ministère de l’Education nationale, dont on doit reconnaître qu’il est difficile d’en comprendre le sens, et qu’il ne répond pas clairement à la question principale que se pose les familles : quel est le « bon » collège ou lycée pour notre enfant ? Nombre de médias se réapproprient les données chiffrées de l’étude ministérielle pour présenter divers classerments et palmarès, établis selon des critères à géométrie variable. Nombreux sont ceux qui se contentent de reprendre les taux bruts (observés) de réussite aux examens finaux et des mentions obtenues. D’autres – moins nombreux – calculent des moyennes intégrant les taux observés et les taux attendus. Certains le font de façon plus sophistiquée en attribuant à chaque établissement une note globale à partir des taux observés et attendus… Ajoutez le fait que si certains médias permettent d’accéder au palmarès national, d’autres se contentent de présenter un « palmarès » des collèges et lycées regroupés par académie, par département, voire localement dans certaines grandes villes. Ainsi s’explique qu’un même établissement scolaire puisse être plus ou moins bien classé selon le média qui le présente.  Concernant l’utilisation faite de ces classements par les équipes de direction des établissements concernés, on note que cette information est fréquemment présentée sur le site de l’établissement lorsqu’elle est flatteuse, et passée sous silence dans le cas contraire.
Cependant, comme nous le déclare le Proviseur d’un lycée de Bordeaux désireux de bénéficier de l’anonymat : « d’année en année, la présentation de ces classements est de plus en plus fréquemment accompagnée de commentaires et analyses qui alimentent le nécessaire débat public et accroissent la transparence sur ce qui se passe au sein des établissements scolaires. Cela peut être dérangeant aux yeux de certains, mais nous sommes de plus en plus nombreux à estimer qu’il est normal, et pour tout dire, conforme à l’esprit républicain, d’être ainsi soumis au regard critique des citoyens ».

Conclusion : Qu’est-ce qu’un « bon » établissement scolaire ?

A travers les résultats de ces études, c’est l’action des équipes de direction, pédagogiques et éducatives qui est évaluée. En choisissant de mettre l’accent sur une évaluation de ce que l’on fait dans chaque établissement pour mieux faire réussir les élèves, et en comparant ces données avec celles concernant des établissements comparables, on met à la disposition de chaque catégorie d’acteurs un outil d’aide au pilotage de l’établissement (pour les équipes de direction), d’évaluation de l’efficacité pédagogique (pour les personnels enseignant et d’éducation) et, pour les familles, un outil d’aide à la prise de décision quand aux choix d’orientation et de l’établissement. Ce n’est pas rien, mais c’est là une portée plus limitée que ne le laisse croire l’usage qu’en font les médias en transformant ces indicateurs en classements et autres palmarès.
La question de fond n’est-elle pas de savoir ce qu’est, aux yeux des familles, un « bon établissement » ? Difficile d’échapper à un effet de distorsion provenant du fait qu’au yeux de la plupart, un bon collège ou lycée est un établissement dont les élèves obtiennent de bons résultats aux examens finaux et de bonnes orientations vers l’enseignement supérieur. Mais telle n’est pas la conception qu’en ont le Ministère de l’Éducation nationale et ses acteurs nationaux, académiques et locaux, pour qui le « bon établissement » est celui qui permet aux usagers d’escompter y bénéficier d’une forte capacité à être « tiré vers le haut », et donc  répond au mieux aux besoins éducatifs propres à chacun. Ce n’est pas parcequ’elle est « nationale » que l’éducation doit être « unique », et donc se fonder sur un objectif prioritaire de haut niveau de réussite scolaire des élèves. Pour certains usagers, ce peut être cela, pour d’autres pas ! Pour une famille donnée, le bon établissement est celui qui répond le mieux aux besoins spécifiques de chaque élève, en tenant compte de ses capacités et objectifs.

Bruno MAGLIULO
Inspecteur d’académie honoraire
Auteur, dans la collection L’Etudiant (www.editionsopportun.com)  de :
-    S0S Parcoursup
-    Parcoursup : 50 questions à vous poser avant de choisir votre orientation
-    Quelles études et métiers sont vraiment faits pour vous ?
Auteur, aux éditions Fabert (www.fabert.com)  de :
-    Les grandes écoles : une fabrique des élites. Mode d’emploi pour y accéder