Efficacité pédagogique : gare aux mauvaises interprétations !
Après avoir déployé des formations auprès de milliers d'apprenant.e.s, vous vous demandez si le jeu en valait la chandelle : ces formations induisent-elles une vraie montée en compétence chez vos apprenant.e.s ?
Vous avez donc décidé d'évaluer les différentes dimensions de l'efficacité pédagogique de ces formations. Attention cependant : plusieurs pièges se dressent sur votre route et peuvent vous mener vers de mauvaises conclusions.
Pour les déjouer, nous vous proposons 4 préceptes qui guideront votre démarche d'évaluation et vous permettront d'obtenir des informations fiables.
Votre formation est terminée : vous avez fait passer une évaluation à tous vos apprenant.e.s. Vous vous rendez compte que le taux de réussite moyen de ce test est de 80%. Un.e formateur.rice un peu trop enthousiaste aura tôt fait d'en conclure que la formation est un franc succès.
Est-ce vraiment le cas ? Celles et ceux qui ont lu avec attention notre article sur l'efficacité pédagogique auront sans doute remarqué le piège. En effet, comment estimer le progrès de vos apprenant.e.s à votre formation... sans connaître leur point de départ ?
Pour résoudre ce problème, vous pouvez demander à vos apprenant.e.s de suivre un test de positionnement : un test représentatif de ce qu'ils.elles devront être en mesure de faire à l'issue de la formation. Ainsi, si l'objectif de votre formation est de savoir cuisiner un soufflé, on peut demander aux apprenant.e.s de réaliser un soufflé avant, puis après la formation.
En pratique, le test de positionnement est souvent vu comme une perte de temps ou comme une menace pour l'apprenant.e. Or, cette information est indispensable pour voir si la formation proposée induit une réelle montée en compétence. De plus, proposer une évaluation en début d'apprentissage (1) constitue déjà une occasion d'apprendre.
Vous avez mesuré les performances de vos apprenant.e.s avant et après votre formation. Vous remarquez que leur taux de réussite moyen est passé de 20% à 80%. Vu l'ampleur de la différence, il serait naturel de conclure que la formation est d'une grande efficacité. Ce serait pourtant prématuré à ce stade : on ne sait pas ce qui se serait produit si aucune formation n'avait été suivie sur ce sujet.
Comment savoir ce que vaut ma formation sans point de comparaison ? L'être humain est un très bon apprenant, capable de progresser avec le pire des supports. Rappelez-vous : vous avez probablement retenu au moins certaines notions de vos cours les plus ennuyeux.
Il faut donc comparer systématiquement la montée en compétence de vos apprenant.e. avec un groupe contrôle. Celui-ci peut avoir reçu une variante de votre formation si vous cherchez à valider vos choix, ou une formation qui n'entraîne pas les mêmes compétences.
Deux raisons font qu'il est utile d'avoir un groupe contrôle :
Il faut donc évaluer l'effet de votre formation toutes choses égales par ailleurs. Comment faire concrètement ? Pas besoin d'être un rat de laboratoire pour ajouter un groupe contrôle à vos formations. Il suffit, par exemple, de déployer deux formations différentes à deux groupes différents.
Imaginons qu'un groupe d'apprenants va apprendre à cuisiner un soufflé au fromage ; un autre groupe, un moelleux au chocolat. D'abord en amont, puis à l'issue de la formation, chaque groupe sera testé sur sa capacité à cuisiner un soufflé au fromage ET un moelleux au chocolat. Ainsi, si le groupe qui a été formé à cuisiner un moelleux au chocolat réalise en moyenne une meilleure cuisson du moelleux que le groupe qui a été formé à cuisiner un soufflé, vous saurez que c'est grâce à la formation.
Le précepte n°2 en tête, vous décidez de comparer la montée en compétence de vos apprenant.e.s avec celle d'un groupe d'apprenant.e.s « contrôle ». Vous remarquez que ceux qui ont reçu la formation A ont un taux de réussite moyen qui est passé de 20% à 80%, alors que celui qui a reçu la formation B est passé de 20% à 50%. Vu l'ampleur de la différence, cette fois-ci, c'est incontestable : la formation A est plus bien efficace que la formation B.
Attention cependant : quand on compare des moyennes, de grandes différences peuvent ne rien vouloir dire. Regardons le graphe ci-dessous qui représente deux répartitions possibles d'apprenants en fonction de leurs performances aux évaluations.
La courbe rose correspond aux apprenant.e.s ayant suivi la formation A, la courbe bleu aux apprenant.e.s ayant suivi la formation B. Plus la courbe est haute, plus le nombre d'apprenant ayant eu ce taux de réussite est élevé.
Dans les deux cas, le taux de réussite moyen des apprenant.e.s à l'évaluation finale après la formation A est de 50% et celui à la formation B de 80%.
Pourtant, on peut remarquer que la « largeur » des courbes n'est pas la même d'un graphe à l'autre. Or, des courbes plus larges risquent de trop se superposer. Lorsque c'est le cas, cela signifie qu'un nombre important d'apprenant.e.s pourraient appartenir aussi bien au groupe A qu'au groupe B (zone violette sur le graphe). Dès lors, la différence de moyenne observée sera probablement due au hasard. Elle ne sera donc pas considérée comme significative (2).
Vous avez mesuré les performances de vos apprenant.e. s, vous les avez séparé en deux groupes et utilisé un test statistique pour voir si la différence entre leur performance est significative. Vos efforts sont récompensés : c'est effectivement le cas. Vu la progression observée - de 20 à 80% pour la formation A, de 20 à 50% pour la formation B - vous devriez en toute logique pouvoir conclure que la formation A est 2 fois plus efficace que la formation B.
... Pas si vite. Les résultats que vous avez obtenus ne sont valables que :
Par exemple, vos apprenants ont un taux de réussite avant la formation de 20% : cela pourrait signifier que votre formation est particulièrement adaptée aux novices. Si vous donnez la même formation à des apprenant.e.s au taux de réussite de départ de 50%, il est possible que l'effet s'inverse et que la formation B soit désormais la plus adaptée. Le même risque existe si vous comparez à une autre formation que la formation B. Dans tous les cas, la prudence s'impose quant à la portée de vos résultats.
Pour évaluer réellement l'efficacité de vos formations, vous avez intérêt à appliquer les préceptes suivants :
Ces préceptes sont plus simples à appliquer qu'il n'y paraît, et vous permettront de vous assurer que vos formations produisent un effet démontrable. Face à des besoins de montée en compétence de plus en plus nombreux et des apprenant.e.s au retour sur attente de plus en plus exigeant, l'efficacité pédagogique des formations n'est plus un luxe mais une nécessité.
(1) Voir notamment Richland, L. E., Kornell, N., & Kao, L. S. (2009). The pretesting effect: Do unsuccessful retrieval attempts enhance learning?.Journal of Experimental Psychology: Applied,15(3), 243.
(2) Comment savoir si une courbe est «trop large» ? Des tests statistiques existent pour vous indiquer si la différence entre vos deux groupes d'apprenant.e.s est due au hasard ou à une différence causée par votre formation, ou en d'autres termes si cette différence est significative. Vous trouverez un démonstrateur surle site "Evan's Awesome A/B Tools". Si cela vous intéresse et que vous voulez aller plus loin, des formations ANOVA existent pour les utiliser au mieux.
