eLearning : les clefs d'une évaluation réussie
Mesurer une compétence n’est jamais une mince affaire, et tous ceux qui ont eu à concevoir des tests peuvent en témoigner. Pourtant, nombreux sont les bénéfices qu'apportent une évaluation bien conçue ! S'il est admis qu'elles permettent d'estimer le niveau des apprenants, on sait moins que l'évaluation est aussi une aide précieuse qui améliore l'apprentissage. Proposer une évaluation pertinente est donc un vrai enjeu pour concevoir une formation efficace !
Heureusement, enseignant et formateurs peuvent compter sur la docimologie, ou science de l’examen. Cette discipline s’attache à relever les problèmes dans les méthodes d’évaluation, à conseiller l’évaluateur dans la construction et la correction d’un test. Elle cherche à lui éviter tous les biais qui pourraient compromettre la justesse de l’évaluation comme par exemple, la façon dont la consigne est formulée, l'heure ou l’ordre dans lequel la correction est effectuée ou l’ajustement du barème en fonction du niveau du groupe [1]. La docimologie nous livre donc de précieuses clefs pour améliorer l'apprentissage dont voici quelques exemples.
Pour éviter ces biais, il faut tout d’abord définir avec précision les compétences visées. Il suffit que l’évaluateur se pose quelques questions : “Qu’est-ce que j’attends de l’apprenant ?”, “Comment le test peut-il amener l’apprenant à la performance attendue ?”, “Quelles sont les compétences à mobiliser ?” Il pourra ensuite mieux cibler les exercices qui mobilise les compétences en question.
Par exemple, les manières d’évaluer le niveau en langue sont multiples car plusieurs composantes entrent en jeu : compréhension orale, compréhension écrite, phonétique, expression écrite, etc. Segmenter les différentes composantes à tester permet ainsi de créer des exercices adaptés à la nature de la performance attendue [2], et de correspondre au mieux aux compétences effectives.
Dans les années 80, Elana Shohamy, professeur en sciences de l’Éducation à l'Université de Tel Aviv, a mené une expérience testant l’impact de différentes méthodes d’évaluation d’une même compétence sur les résultats obtenus par les apprenants. Ces derniers ont dû répondre soit à un questionnaire à choix multiple (QCM) soit à plusieurs questions ouvertes. Sur un même sujet et en sollicitant la même compétence, les notes obtenues à ces deux types de tests étaient pourtant différentes. Est-ce que l’apprenant était plus ignorant dans un cas que dans l’autre ? Et bien non, c'est en réalité le type de test qui a une influence sur sa capacité à mobiliser ses connaissances ! [3]
En neuropsychologie, on distingue deux manières de restituer une information que l’on a en mémoire: le rappel indicé et le rappel libre [4]. Dans le rappel indicé, la restitution est favorisée par un mot ou autre indice, qui est absent dans le cas du rappel libre. Plus un test favorise le rappel libre, plus on est surs que la restitution est due à une bonne mémorisation et non à une simple déduction grâce à l’indice. Par ailleurs, rappeler une information, c'est améliorer sa mémorisation (voir aussi notre article sur le testing effect). Le rappel libre entrainant un plus grand effort de mémorisation, il permet aussi un meilleur ancrage en mémoire (voir aussi notre article sur les difficultés désirables).
Les questions ouvertes demandent à l'apprenant de produire lui même la bonne réponse, alors que le QCM la lui fait reconnaître parmi un ensemble de réponses. Dans l'absolu, il faudrait donc privilégier les questions ouvertes par rapport au QCM, étant donné qu'elles sollicitent plus la mémoire que ces derniers. Cependant, ne jetons pas trop vite les QCM aux orties : la précision et le haut degré d'automatisation de leur feedback en fait un outil d'apprentissage pertinent, pourvu qu'ils respectent un certain nombre de contraintes que nous allons voir maintenant. C'est notamment ce que permet de faire la solution eLearning Didask avec ses mises en situation interactives.
C’est à travers la consigne que l’apprenant va essayer de cerner ce que l'évaluateur attend de lui. Face à une consigne mal définie, l’apprenant pourrait faire une erreur alors même qu’au fond il connaissait la bonne réponse. Il peut aussi utiliser une autre stratégie que celle que le formateur voulait le voir employer : lorsqu’il faut relier des notions entre elles, l'apprenant peut procéder par élimination pour trouver la bonne réponse. Dans ces conditions, difficile alors pour le formateur de savoir si ce résultat est dû à une réelle maîtrise des connaissances ou s’il est dû à une simple déduction logique [5] !
Lorsque le formateur réalise son évaluation, il doit donc s'assurer que le seul facteur nécessaire pour répondre correctement est la maîtrise de cette notion. Une bonne stratégie est de partir des erreurs plausibles autour de la notion testée, et de concevoir l'évaluation en fonction de celles-ci. Par exemple, pour un QCM efficace, ces erreurs permettront de proposer un choix de réponses qui ont toute les mêmes indices : pour discerner la bonne réponse, l'apprenant devra alors évaluer la plausibilité de chaque proposition en allant mobiliser des connaissances supplémentaires.
Enfin, pour s'assurer d'évaluer correctement le niveau de maitrise réel de l'apprenant, il est souhaitable de diversifier les tâches à réaliser pour une même compétence. En effet, mobiliser une compétence à travers différentes modalités permet au correcteur de s’assurer que le résultat observé est bien dû à la maîtrise de cette dernière, et non à un biais de son test. C’est en somme une manière de recouper ses sources !
D’autre part, cette diversification aide aussi l’apprentissage. Elle permet de solliciter différentes ressources cognitives comme la mémoire, la métacognition, la compréhension... afin de renforcer et ancrer l’apprentissage en lui-même [6].
Il faut ainsi veiller à construire le test de façon à ce qu’il guide suffisamment l’apprenant sans trop en dire. Réfléchir à la construction d’un test revient à se mettre dans la peau de celui qui est testé pour prévoir les potentielles stratégies qu’il utilisera. C’est également cerner les compétences cibles que l’on souhaite le voir employer et construire le test de manière à le dissuader de l’emploi de stratégies alternatives. De plus, varier les plaisirs en diversifiant les types d’exercices permettra au correcteur de s’assurer de la solidité des connaissances, et aidera aussi l’apprenant à consolider ses connaissances et à s’améliorer.
[1] Leclercq, D., Nicaise, J., & Demeuse, M. (2004). Docimologie critique: des difficultés de noter des copies et d'attribuer des notes aux élèves.
[2] Kraiger, K., Ford, J. K., & Salas, E. (1993). Application of cognitive, skill-based, and affective theories of learning outcomes to new methods of training evaluation. Journal of applied psychology, 78(2), 311.
[3] Shohamy, E. (1984). Does the testing method make a difference? The case of reading comprehension. Language testing, 1(2), 147-170.
[4] Van der Linden, M., Coyette, F., Poitrenaud, J., Kalafat, M., Calicis, F., Wyns, C., & Adam, S. (2004). L'épreuve de rappel libre/rappel indicé à 16 items (RL/RI-16) (pp. 25-47). Solal.
[5] Raby, F., & Baillé, J. (1997). L’approche ergonomique des stratégies d’apprentissage dans l’apprentissage institutionnel d’une langue étrangère. Les cahiers de l’APLIUT, 16(3), 10-21.
[6] Senkfor, A. J., Van Petten, C., & Kutas, M. (2008). Enactment versus conceptual encoding: Equivalent item memory but different source memory. Cortex, 44(6), 649-664.
