Evaluation par QCM dans l’enseignement supérieur
Dans mon dernier billet sur l’enseignement des mathématiques je parlais du système américain et allemand des devoirs maison hébdomadaires. Je me félicite du succès de ce billet : en effet, les responsables de l’enseignement des maths en cycle préparatoire à l’école d’ingénieurs Estaca l’ont lu et ont décidé la mise en place de ce système à partir de la rentrée prochaine.
Aujourd’hui j’aimerais parler d’une autre idée pour rendre plus efficace le contrôle des acquis des étudiants : les questionnaires à choix multiples. Traditionnellement nous, les matheux, nous n’aimons pas les QCM. Nous considérons les mathématiques comme une sorte d’art où le chemin du raisonnement choisi et la grâce avec laquelle on danse sur ce chemin, c’est-à-dire le style de rédaction, sont aussi importants que le résultat à trouver. Et cela ne peut pas être évalué par un QCM. —
C’est vrai. Or quand nous corrigeons les partiels en premier cycle nous faisons souvent l’expérience que très peu d’étudiants savent rédiger correctement une suite d’idées. Et la remarque suivante montre que ce phénomène perdure même dans les semestres supérieurs : L’utilisation des hypothèses données dans l’énoncé doit être signalée au moment opportun et non en vrac en début de question, afin de montrer l’articulation du raisonnement
(extrait du rapport du jury de l’agrégation 2009).
Il y a donc un décalage entre nos attentes et les résultats. Et ce n’est pas étonnant car le système des TD actuel n’apprend une rédaction cohérente. Comme le professeur de TD ne peut pas contrôler l’écrit de chacun, les étudiants ne font que recopier une rédaction exemplaire au tableau — ce qui est déjà une bonne chose mais ne suffit point, ça serait comme si on voulait apprendre à jouer le violon en écoutant Gidon Kremer. On revient donc au problème déjà cité de l’efficacité des TD…
Alors à quoi bon d’évaluer les étudiants par des choses sur lesquelles ils n’ont pas eu l’occasion de s’entraîner ? J’ai donc décidé, pour ma part, d’essayer des évaluations en forme de QCM (dans les établissements qui n’ont pas mis en place un système de correction de devoirs maison). Une source d’inspiration pourrait être ce practice book américain.
Quelles sont les compétences mathématiques qu’on peut évaluer par un QCM ? A mon avis, un bon pourcentage des méthodes au programme d’un premier cycle en école d’ingénieur ou en tronc commun de L1 : dériver, intégrer, systèmes linéaires, équations différentielles linéaires, etc. D’après ce que j’ai vu c’est déjà suffisant pour trier les bons et les mauvais étudiants 😉
Recherche de collaborateurs
Maintenant je viens avec une proposition concrète : qui a envie de participer à établir une base d’exercices en ligne en forme de QCM ? Qui est-ce qui a déjà de l’expérience en ce domaine (peut-être avec WIMS) et souhaite la partager ? L’idée serait la suivante.
- Une grande base de questions serait disponibles en ligne pour que les étudiants puissent s’entraîner chez eux.
- Une autre partie de questions serait reservée aux épreuves que les étudiants passent dans les salles d’ordinateur le jour de l’examen.
- Les résultats étant calculés automatiquement il n’y aura plus de travail de correction ni erreur d’évaluation possible.
- Une fois la base d’exercices créée et assez grande, on peut la rentabiliser et organiser des évaluations très fréquentes…
- Les exercices ne devraient pas forcément être interactives, originales ou d’une grande valeur pédagogique en e-learning (comme souvent dans WIMS), car ils serviraient uniquement à évaluer, l’enseignement en TD restant inchangé.
Faire des QCM en L1 dans le cadre du contrôle continu me paraît tout à fait approprié, le problème étant qu’il faut y investir beaucoup de temps au départ. Dans mon université (et sans doute dans beaucoup d’autres), c’est Moodle qui est utilisé. J’ai testé un peu (pas très sérieusement), mais je me suis découragé car ça prend beaucoup de temps de saisir les données. Ce que je voulais mettre en place, c’est chaque enseignant fournisse des QCM manuscrits, et que ce soit un étudiant (recruté par l’université, sous la forme d’un emploi étudiant) qui fasse la saisie. Cela suppose bien sûr suffisamment d’enseignants volontaires pour fournir ces QCM manuscrits (ce n’est pas gagné), mais aussi qu’un enseignant connaissant déjà bien Moodle (ce qui n’est pas mon cas à l’heure actuelle) encadre cet étudiant. Ce qui fait que j’ai reporté ce projet sine die.
Cela dit, ce serait très utile de mettre en place une base de données comme MaTeXo, mais consistant en une base de QCM en ligne. Un des points délicats est de faire attention aux questions d’authentification. Il faut trouver un moyen pour que les enseignants puissent créer leurs QCMs, mais que les étudiants ne le puissent pas. Il faut aussi un moyen pour authentifier l’étudiant qui se loggue sur le site pour résoudre le QCM. Dans Moodle, c’est assez simple car le créateur d’un cours en ligne peut donner des droits d’administrateur à qui il veut, et un étudiant qui veut résoudre un QCM doit se logguer en utilisant l’identifiant et le mot de passe que l’université lui a fournis lors de son inscription, donc il n’est pas nécessaire de fournir un mot de passe supplémentaire à chaque étudiant assistant au cours (tâche qui peut s’avérer pénible). Pour WIMS je ne sais pas comment ça marche.
Moi non plus, je ne suis pas compétent en Moodle. Pourquoi est-il si difficile d’entrer les exercices ? Ca ne peut pas être plus compliqué que d’écrire des formules LaTeX sur ce blog, non ?
Pour le problème d’authentification, je ne pensais pas de faire un « site ouvert à tous » comme MaTexo, mais juste un site pour qqs personnes qui s’investissent (comme je le fais déjà avec une base de données d’exos écrits en LaTeX que j’entretiens avec des amis). L’idée d’un projet au service de tout le monde ne m’intéresse pas ici…
Comme contributeurs je pensais en particulier à certains lecteurs de ce blog ; je ne publierai plus de casse-têtes et du coup ils pourront, avec le temps ainsi économisé, travailler sur la base de données QCM 😉
Perso ça m’intéresse. D’ailleurs à ce sujet on pourrait s’inspirer du test GRE (Graduate Record Examinations) des Etats Unis qui est plutôt bien fait pour tester efficacement les étudiants.
Salut Fred, oui le QCM du GRE est très bien fait, je viens de lire leur practice book. On peut s’y inspirer. En effet, nous sommes plutôt habitués à poser des exos classiques, la rédaction de ce type de test demande de refléchir autrement…
Pour Moodle, ce n’est a priori pas compliqué d’insérer des formules de math si un filtre TeX est implémenté, mais ça ne semble pas être le cas pour le logiciel qui est installé dans mon université. Quand je saisis une question, j’ai une sorte d’éditeur HTML me permettant d’insérer des images et de copier/coller des passages de Word. De plus, il n’y a pas que la saisie des questions en elle-même, il faut aussi rentrer le barème, décider du nombre de points de pénalité en cas de réponse fausse, faire afficher des commentaires en fonction de la réponse donnée par l’étudiant, etc. On peut bien sûr économiser certaines étapes si on décide une fois pour toutes d’un format unique pour tous les QCM et en copiant/collant un QCM vierge pré-formaté, mais cela ne résout pas l’absence de filtre TeX. Peut-être que ce n’est pas un gros problème mais je ne me suis pas penché sur la question. Mais s’il y a un moyen commode de saisir des QCM, je suis également partant pour participer.
Je suis personnellement un grand fan des QCM…
J’en fais régulièrement en début d’année en Master pour évaluer le niveau (et l’hétérogénité des élèves). C’est objectif, c’est simple à corriger, et ça permet aussi des subtilités (j’adore les théorèmes que l’on pense juste mais qui ne le sont pas)
Bref, je serais très intéressé pour participer !
Merci pour vous réponses ! Je vous contacterai par email dans les deux mois qui viennent pour ce projet. (Mais je n’ai pas l’adresse éléctronique de JLT…)
Je trouve aussi que ça peut être une très bonne idée pour les évaluations des cours de première année de licence, et ça donnerait une base d’entrainement précieuse pour les élèves également.
Bon projet, je suis partant pour aider.
Il convient néanmoins de savoir aussi quel statut donner à la correction du QCM (notamment ceux pour s’entraîner) : complète et détaillé, concise mais avec les arguments principaux (à l’élève de mettre bout à bout les raisonnements), très brève (juste les réponses ABCDE) ?
Sinon les QCM du GRE me semblent une bonne source d’inspiration : je ne connaissais pas, c’est intéressant.
Pour les qcm je trouve très très utile ce logiciel :
home.gna.org/auto-qcm/ind…
Fonctionnalités
Mise en forme par LaTeX
Les sujets de QCM sont préparés par LaTeX, ce qui permet d’y écrire (éventuellement) toutes sortes de formules mathématiques.
Questions et réponses mélangées
AMC permet de changer de manière aléatoire l’ordre des réponses à l’intérieur de chaque question, ainsi que l’ordre des questions, de sorte que chaque sujet se présente différemment. Il est ainsi plus difficile pour les étudiants de copier sur leurs voisins…
Correction automatique à partir des scans des copies
À la suite de l’examen, les copies scannées peuvent être corrigées de manière automatique. Si l’on ne dispose pas de scanner, ou pour les copies pour lesquelles la correction automatique aurait mal fonctionné, une correction manuelle assistée est aussi possible : il suffit de cliquer à la souris sur les cases cochées par chaque étudiant sur la reproduction du sujet affichée à l’écran.
Merci pour ce lien intéressant. Est-ce qu’il y a aussi une version qui fonctionne en ligne, c’est-à-dire sans passer par du papier ?
Faire une version en ligne n’est pas trop dure. Il suffit de combiner un peu de langage php avec jsmath. Pour un exemple d’utilisation de jsmath, voir le site de "images des mathématiques" du CNRS.
Perso je suis en train de créer un site pour les HEC et j’utilise jsmath (je l’ai pas encore mis en ligne je peux pas vous montrer). Il suffit bêtement de rentrer les formules comme sous Latex dans les pages internet et ça roule tout seul.
Un peu de provocation…
Pourrait-on faire un programme qui répondre correctement au QCM.
Je veux dire par là : est-il besoin de comprendre quelque chose aux maths pour résoudre un exercice, où suffit-il d’une bonne, voire très bonne, mémoire, et du choix du bon algorithme.
Non, je m’exprime mal. Pour résoudre un exercice de maths, est-il besoin de savoir ce qu’on cherche pour le trouver. Evidemment non, il faut juste trouver quel algorithme appliquer.
C’est un jeu – et, je peux le comprendre, souvent une passion pour le matheux, loin de moi l’idée de critiquer : chacun ses passions.
Cette petite provocation amicale, c’est pour dire que cette forme de passion compréhensible interfère malheureusement avec l’enseignement.
Elle interfère en confondant résolution d’exercices et compréhension. J’ai un très petit niveau, mais pour passer mon bac j’ai résolu bon nombre d’équations – mais je ne sais pas ce que j’ai calculé : j’ai eu bon quand même, comme les copains. On rigolait bien, c’est déjà ça : "cherche pas à comprendre, applique la formule !".
L’enseignement du prof de maths c’est souvent : voilà les axiomes, voilà la définition. A partir de là, il a fait "son boulot". Maintenant, exercices et trucs pour réussir les exercices (surfez sur le net : les sites de maths ce n’est QUE ça : quels trucs pour réussir les exercices. En d’autres termes, je dirais que les maths, ils s’en foutent un peu…)
Et ceux que ça n’amusent pas, c’est à dire une grande partie de la population des élèves qui ont l’habitude d’avoir des cours où on leur demande de comprendre, de réfléchir, ne comprennent pas qu’on leur demande juste d’apprendre par coeur et d’appliquer, sans chercher à comprendre même les résultats.
Et le dernier à vérifier cette compréhension des élèves est le prof de math, qui vérifie les résultats comme ceux d’un QCM (voilà le lien). A croire qu’il a peur de constater que s’il n’était pas là et avait donné un livre de maths à lire, le résultat serait le même.
Mais le résultat est-il, réellement, si souvent différent : pas de stats sur ce sujet.
Pourquoi aucune stat pour voir si un livre de math fait mieux ou moins bien qu’un prof de math ? Il suffit d’aller sur les sites de cours de maths pour vérifier : à quoi bon des profs, puisqu’une moitié de la pédagogie en maths se limite à répéter ce qui est écrit dans le bouquin, l’autre moitié à dire que les élèves son nuls, la troisième moitié à montrer tous les trucs pour résoudre des exercices. Franchement, en vrai, à quoi sert un prof de math par rapport à un bon livre de math, à par dire que les élèves sont tous nuls ?
Ph.