Effet d'ordre

L'effet d'ordre est l'un des biais de correction les mieux documentés par la docimologie. Il décrit un phénomène simple : la note attribuée à une copie ne dépend pas seulement de son contenu, mais aussi de ce que le correcteur vient de lire juste avant. Une dissertation moyenne placée après trois excellentes copies paraît faible ; la même dissertation, lue après trois copies confuses, paraît solide. L'écart mesuré entre ces deux situations atteint couramment un à deux points sur vingt, et davantage sur les exercices à forte part de jugement comme le commentaire littéraire ou la dissertation de philosophie.

Les trois mécanismes en jeu

• L'effet de contraste : le correcteur ne juge pas dans l'absolu, il compare implicitement à la copie précédente. Plus l'écart de niveau est marqué, plus la note dérive dans le sens opposé.

• La dérive de l'étalon : au fil du paquet, le correcteur ajuste sans s'en rendre compte sa représentation de ce qu'est une copie normale. Si le paquet commence par les meilleures copies, le seuil de l'acceptable monte pour tout le reste.

• La fatigue de fin de paquet : les dernières copies sont lues plus vite, annotées plus brièvement et notées avec moins de nuances. Ce n'est pas un jugement plus sévère ou plus clément, c'est un jugement moins discriminant.

Un exemple réel

N'importe quel enseignant peut mesurer l'effet sur son propre paquet. Le protocole tient en trois étapes : corriger 30 copies dans l'ordre alphabétique, mettre les notes de côté, puis recorriger à l'aveugle quelques semaines plus tard avec le paquet inversé. Voici le type d'écart que fait apparaître ce protocole sur les copies dont la position a le plus changé.

Le point important n'est pas l'ampleur exacte de l'écart, qui varie selon la discipline et le type d'exercice, mais le fait qu'il existe alors qu'aucune copie n'a été modifiée entre les deux corrections. Sur un paquet de 30, il suffit d'un écart moyen d'un point pour que le classement change pour un tiers des élèves.

En pratique, pour l'enseignant qui corrige

• Corrigez par question, pas par copie quand le sujet le permet. Traiter la question 1 sur les 30 copies avant de passer à la question 2 neutralise l'essentiel de l'effet de contraste, parce que le correcteur compare alors des réponses comparables.

• Battez le paquet avant de commencer et ne corrigez jamais deux fois dans l'ordre alphabétique. Cet ordre est stable toute l'année : il fabrique un avantage systématique pour les mêmes élèves, devoir après devoir.

• Relisez les cinq premières et les cinq dernières copies avant d'arrêter les notes. Ce sont les deux zones où l'étalon est le moins fiable : au début parce qu'il n'est pas encore calé, à la fin parce que l'attention baisse.

À ne pas confondre avec

• L'effet de halo : le halo vient de ce que le correcteur sait de l'élève ou perçoit de la copie par ailleurs, comme l'écriture, la réputation ou la note précédente. L'effet d'ordre vient uniquement de la position dans le paquet.

• La constante macabre : elle décrit la répartition de notes qu'un enseignant reproduit sur l'ensemble d'une classe pour que la moyenne paraisse crédible. L'effet d'ordre agit copie par copie, sans logique d'ensemble.

• L'harmonisation des notes : elle corrige les écarts entre plusieurs correcteurs. Elle ne voit pas les écarts d'un même correcteur avec lui-même d'un bout à l'autre du paquet.

Pourquoi la double correction ne suffit pas

Confier le paquet à deux correcteurs réduit l'effet d'ordre à une seule condition : que les deux ne corrigent pas dans le même ordre. Deux correcteurs qui suivent tous les deux la liste alphabétique reproduisent le même biais et se confortent mutuellement, ce qui donne une fausse impression de fiabilité. Le protocole efficace consiste à inverser l'ordre du paquet pour le second correcteur : les écarts de rang deviennent visibles au lieu d'être masqués par la convergence des deux notes. Voir la fiche double correction pour les trois protocoles utilisés.

Le correcteur ne peut pas s'extraire de l'effet d'ordre par la seule vigilance : le biais est produit par la mécanique de la comparaison, pas par un manque d'attention. Les deux leviers qui fonctionnent réellement sont la correction question par question et la structuration du jugement par une grille d'évaluation critériée, qui ancre la note sur des critères explicites plutôt que sur une impression relative. C'est aussi l'un des rares biais qu'un dispositif de correction assistée neutralise mécaniquement, puisque l'ordre de lecture n'affecte pas l'application d'un barème. La docimologie a mesuré ce phénomène dès les années 1930 : il est ancien, connu, et toujours aussi peu neutralisé dans les pratiques de correction.