Efficacité pédagogique : la mesurer, oui mais comment ?
Après avoir identifié les dimensions qui vous seront utiles dans l'article L'efficacité pédagogique, ça veut dire quoi ? et vous être renseigné.e sur la démarche à suivre (Efficacité pédagogique : gare aux mauvaises interprétations !), vous êtes prêt à faire parler vos données. Oui, mais... de quelles données parle-t-on ? Face à la profusion d'informations que vous pouvez obtenir sur vos apprenant.e.s, il est légitime de se sentir un peu perdu. Par quoi commencer ? Cet article vous aidera à y voir plus clair sur ce que vous disent (et ne vous disent pas) certains types de données, et comment choisir les indicateurs qui correspondent le plus à vos besoins.
Un réflexe courant est de demander directement à l'apprenant.e ce qu'il.elle pense de la formation qu'il vient de recevoir. Lui a-t-elle été utile ? A-t-il.elle l'impression d'avoir progressé ? Après tout, si la formation a été efficace, il.elle devrait bien le sentir. De plus, cette mesure est particulièrement facile à obtenir : il suffit d'administrer un simple questionnaire en fin de formation.
En réalité, ce n'est pas si simple : de nombreux facteurs influencent l'apprenant.e quand il.elle doit juger de l'efficacité d'une formation. Tout d'abord, nous ne sommes pas tous égaux pour estimer notre état de connaissance réel : cela dépend de notre métacognition, c'est à dire de notre capacité à évaluer avec justesse notre état cognitif et à l'ajuster pour atteindre le but que l'on s'est fixé (voir notre article Apprendre à apprendre pour mieux se former à propos de la métacognition et son rôle dans l'apprentissage). Or, en terme de métacognition, certain.e.s sont très performant.e.s... d'autres moins. Ainsi, la qualité des remontées que vous feront vos apprenant.e.s sera très variable selon les individus.
De plus, d'autres facteurs peuvent entrer en ligne de compte. Par exemple, si le.la formateur.rice a été particulièrement amusant.e, les apprenant.e.s auront éprouvé un sentiment positif pendant la formation, qu'ils peuvent confondre avec le sentiment d'avoir appris. En croyant mesurer l'efficacité pédagogique, vous mesurerez en réalité la sympathie qu'inspire la personne en charge de la formation.
Si ces mesures sont si imparfaites, faut-il pour autant se passer complètement des données subjectives ? Nous n'irons pas jusque là. Ces données restent utiles, mais il faut les considérer pour ce qu'elles sont : une information sur ce que l'apprenant.e pense avoir appris, et pas sur ce qu'il.elle a réellement appris. Elle ne vous permet pas d'évaluer votre efficacité pédagogique en tant que telle, mais vous donne d'autres informations qui permettront de l'éclairer : par exemple, il peut être intéressant de voir comment évolue l'écart entre ce que les apprenant.e.s pensent avoir appris et leur montée en compétence objective après avoir fait différentes formations.
Par ailleurs, les données subjectives sont un excellent moyen d'estimer le niveau de satisfaction de l'apprenant.e, qui peut tout à fait être un objectif en soi dans votre démarche d'évaluation.
En bref :
Puisque les données subjectives ne peuvent suffire à évaluer votre efficacité pédagogique, il vous faut faire appel à un autre type de données. L'idéal est de faire appel à des données dites "comportementales", c'est à dire qu'elles mesurent avec une certaine fiabilité le comportement de votre apprenant.e. Taux de bonnes réponses à un quiz, temps de réponse, nombre de changements de réponse... Ces données sont faciles à obtenir, notamment en environnement digital. Elles sont pourtant rarement exploitées alors même que ce sont elles qui vont renseigneront le mieux sur votre efficacité pédagogique.
Lorsque votre apprenant.e répond faux à une question, cela dépend évidemment de plusieurs facteurs... mais principalement de son niveau de connaissance. Plus vous multiplierez les questions et les choix possibles, plus vous aurez une estimation relativement précise de sa compétence. Pourvu que vous leur proposiez les tests de positionnement adéquats en amont, vous pourrez ainsi estimer la montrée en compétence de vos apprenant.e.s avant et après la formation, et la comparer avec d'autres formations (comme nous vous le détaillions dans l'article précédent de notre série sur l'efficacité pédagogique).
Pour aller plus loin, vous pourrez aussi regarder les autres données comportementales de vos utilisateurs, comme le temps de réponse. Sont-ils.elles devenu.e.s plus rapides au fur et à mesure des répétitions des exercices d'application (Testing effect - Pratiquer, c'est la clef du succès) ? Si oui, c'est aussi une information qui peut vous renseigner sur la qualité de votre formation.
Les données comportementales seraient-elles donc le Graal des learning analytics ? Tout dépend de la manière dont vous les avez obtenues. Par exemple, si vous proposez des évaluations trop faciles à vos apprenant.e.s, nul doute que vous obtiendrez des taux de performance extrêmement élevés. Seront-ils alors révélateurs de l'efficacité de votre formation... ou simple marqueur de la facilité de vos évaluations ? Il convient donc de proposer des évaluations dont la difficulté varie du très facile au très difficile.
De même, si vous mesurez les performances de vos apprenant.e.s immédiatement après la formation, cela ne vous donnera pas d'information sur leur mémorisation à long terme. Pensez donc bien à proposer une évaluation à vos apprenant.e.s au moment où vous souhaitez que celle-ci ait produit un effet : 3 ou 6 mois plus tard par exemple.
En bref :
Donnée subjectives, données comportementales... nous espérons que vous voyez maintenant un peu plus clair pour mesurer l'efficacité pédagogique de votre formation. Si vous ne deviez retenir qu'un point de cet article, retenez celui-ci : avant de partir à la chasse aux données, identifiez clairement les informations que vous souhaitez obtenir (progrès ? difficulté ? transfert ? satisfaction ?) pour ensuite sélectionnez les mesures adaptées à vos besoins. Plus que la nature des mesures choisie, c'est leur adéquation avec votre objectif qui fera la différence !
