Une candidate échoue de peu à l’épreuve orale d’un brevet. Elle demande à consulter son dossier. Les deux experts ont attribué des notes éloignées d’un point et demi, et aucun des deux n’a écrit pourquoi. La commission d’examen doit maintenant défendre une décision qu’elle ne sait pas expliquer.
Cette situation tient rarement à la mauvaise volonté des experts. Elle vient de trois fragilités qui se corrigent.
Des questions mal construites
Une question à choix multiple peut être réussie sans connaître la matière : la bonne réponse est plus longue que les autres, ou deux propositions s’excluent. Haladyna, Downing et Rodriguez (2002) ont recensé 31 règles de rédaction qui évitent ces défauts. Peu de rédacteurs de questions les ont reçues.
Après l’examen, les résultats eux-mêmes signalent les questions à revoir. Une question réussie par presque tous, ou mieux réussie par les candidats faibles que par les bons, mérite d’être relue avant de compter dans la note.
Des critères que chacun lit à sa façon
« Communication adaptée » ou « analyse pertinente » : ces critères laissent chaque expert décider seul de ce qu’il attend. Une grille aide, mais elle ne suffit pas. La synthèse de Jonsson et Svingby (2007) porte sur 75 études. Elle conclut que les grilles améliorent la cohérence des notes surtout quand elles sont analytiques, propres à la tâche, et accompagnées d’exemples de prestations ou d’un entraînement des évaluateurs.
Des experts qui ne se sont jamais accordés
Deux professionnels expérimentés n’ont pas spontanément le même niveau d’exigence. Une séance de deux heures avant la session change beaucoup. Les experts notent chacun les trois mêmes prestations, comparent leurs notes et discutent des écarts. Ils repartent avec une lecture commune de la grille.
Garder une trace
Un jugement global d’expert reste légitime pour évaluer une compétence professionnelle. Il devient défendable quand il est argumenté. Trois lignes écrites par l’expert au moment de la décision, reliées aux critères, valent mieux qu’une longue reconstitution six mois plus tard.
Aller plus loin
Notre diagnostic approfondi (CHF 1’350.–) croise vos épreuves, leurs grilles et les résultats des candidats, question par question. Un atelier sur mesure, par exemple « Former les expertes et experts aux examens », organise la séance d’accord décrite plus haut, sur vos propres épreuves.
Références
- Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309-333.
- Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144.
