Un « quiz » aux questions trop difficiles ?

Après avoir pris connaissance de notre étude, notamment par la lecture du questionnaire publié dans Le Soir, quelques collègues et journalistes nous ont fait part d’un double souci. Premièrement, nos questions n’étaient-elles pas trop difficiles ? Deuxièmement, l’ensemble ne ressemble-t-il pas davantage à un « quiz » qu’à une enquête scientifique ?

Nous sommes bien conscients que certaines questions étaient difficiles. Cela était d’ailleurs voulu ainsi. En effet, pour obtenir une gradation continue dans les niveaux de performance des élèves, il fallait aussi prévoir une gradation dans les niveaux de difficulté des questions. C’est pourquoi vous trouverez, dans le questionnaire, des questions allant du très facile (le charbon est-il une énergie renouvelable ? quel pays a colonisé le Congo ?) au très difficile (dater approximativement la naissance du Soleil, évaluer les écarts de revenus en Belgique).

Un tel questionnaire permet d’obtenir, après une attribution de points assez complexe, une note d’évaluation qui présente une courbe de distribution normale (courbe de Gauss) et qui se prête dès lors très bien à des comparaisons objectives entre groupes (type d’enseignement, communauté, sexe, origine sociale, etc…).

Le constat négatif que nous dressons à la suite de cette étude ne se fonde pas sur le fait que les réponses aux questions difficiles étaient souvent mauvaises (cela, nous l’attendions : ces questions étaient destinées à faire la différence entre les “bons” et les “très bons”) mais sur le fait que même les réponses aux questions faciles se sont souvent avérées fort décevantes par rapport à ce que nous escomptions (voir les 26% de réponses incorrectes à la question : “quel pays a colonisé le Congo-Kinshasa ?”).

D’autre part, il importe de comprendre que la technique d’évaluation mise en oeuvre ici n’a rien à voir avec une vulgaire cotation dichotomique du style “bon/mauvais”. Ainsi, pour toutes les questions dont les réponses sont de type numérique, nous ne nous sommes pas contentés de regarder si l’élève fournissait la bonne réponse, mais nous avons mesuré la distance où il se situait par rapport à cette bonne réponse et attribué des notes pondérées, en fonction de ces distances. Par exemple, la part de l’éolien dans la production électrique belge est en réalité d’environ 0,5%. Nous avons mis une note de 100/100 à ceux qui répondaient 1% ou moins, une note de 75/100 à ceux qui répondaient moins de 5%. Et ainsi de suite. On trouvera le détail de ces pondérations et cotations dans l’annexe technique.

Certes, les choix opérés ainsi continuent de relever d’une appréciation subjective. Mais on touche là à la subjectivité politique propre à ce que nous entendions mesurer : la capacité de comprendre le monde en citoyen critique. Cette subjectivité-là, nous l’assumons évidemment pleinement puisqu’elle est incontournable.

Signalons aussi que très souvent des compétences évaluées n’apparaissaient pas explicitement dans le questionnaire. Ainsi l’épreuve principale dans la datatation des événements historiques ou préhistoriques consistait-t-elle à produire une chronologie correcte (situent-ils la disparition des dinosaures avant ou après l’apparition de l’agriculture ?) même si la datation proprement dite était également prise en compte dans l’évaluation des élèves. Autre exemple : pour l’estimation de la part des différentes sources d’énergie dans notre production d’électricité, une “épreuve cachée” consistait à vérifier si les élèves totalisaient bien (à peu près) 100%. Ce qui fut loin d’être le cas…
Quand nous demandions aux élèves d’estimer, à partir de la donnée du revenu moyen d’un ménage belge, celui des 10% les plus riches et celui des 10% les plus pauvres, l’objectif n’était pas de voir s’ils connaissaient ces revenus, mais de juger de leur perception des écarts de revenus dans notre pays. Lorsqu’on observe que pour un quart des élèves le rapport de richesse entre les déciles extrêmes ne dépasse un rapport de 1 à 2, n’est-ce pas significatif quant à une absence de perception des inégalités sociales ?

Pareillement, dans les questions à choix multiples, nous ne nous sommes pas contentés d’observer si l’élève avait indiqué la bonne réponse. Celui qui considère que les noirs d’Amérique sont les “descendants de populations indigènes” précolombiennes n’a pas droit à la même cotation que celui qui se trompe en croyant qu’il s’agit des descendants de “serviteurs des premiers colons”. Et celui qui cite erronément (mais de peu) le Japon parmi les quatre pays ayant eu le plus de victimes durant la Seconde guerre mondiale est évidemment autrement jugé que celui qui imagine pouvoir y faire figurer la Belgique.

Il ne s’agissait donc pas du tout, comme pouvait peut-être le laisser penser la simple lecture du questionnaire, d’une sorte de “quiz”, mais bien d’une évaluation complexe de la perception des réalités environnementales, économiques, technologiques, sociales… par des jeunes de 17-18 ans.