USAGES PEDAGOGIQUES DES QCM

Un guide pour la mise en place dun questionnaire choix multiple

Mmoire prsent par Stphane Bravard Sous la direction de Jean-Franois Cerisier En vue de lobtention du Master Ingnierie des mdias pour lducation

Universit de Poitiers - UFR Lettres et Langues

Anne 2004 - 2005

Je tiens remercier toutes celles et tous ceux qui mont aid et soutenu pour mener bien ce travail de mmoire. Une pense particulire toutes les personnes qui mont encourag et permis de suivre cette anne universitaire.

Table des matires

Introduction ......................................................................................................... 6 1 Les QCM : dfinitions.................................................................................. 8
1.1 Dfinition et origine du questionnaire choix multiple .............................................8 Dfinition du QCM.............................................................................................8 Origine du QCM.................................................................................................9 Ce que lon reproche au QCM..........................................................................10 1.1.1 1.1.2 1.1.3 1.2

Les composantes des QCM ......................................................................................11 Les consignes....................................................................................................11 Plusieurs types de consignes ........................................................................11 La consigne classique ...................................................................................12 La consigne vrai faux ................................................................................14 La consigne appariement ..........................................................................14 La consigne de type rarrangement ..............................................................15 Lnonc ...........................................................................................................16 Les propositions................................................................................................17

1.2.1 1.2.1.1 1.2.1.2 1.2.1.3 1.2.1.4 1.2.1.5 1.2.2 1.2.3 1.3

Listes de rgles pour rdiger des QCM ....................................................................18 Listes des rgles concernant lnonc ..............................................................18 Listes des rgles concernant les rponses.........................................................19

1.3.1 1.3.2

Fonctions des QCM .................................................................................... 21

2.1 Les QCM comme outil dapprentissage ...................................................................21 Les modles pdagogiques de rfrences.........................................................21 Apports de la taxonomie de Bloom ..............................................................21 Apports du modle behavioriste ...................................................................22 Apports du modle constructiviste ...............................................................24 Lapprentissage par les questions .....................................................................24 Intrts des questions....................................................................................24 Apprentissage et questions ...........................................................................25 Temporalit et questions...............................................................................26 Questions et rcupration .............................................................................27 Questions et rptitions ................................................................................27 2.1.1 2.1.1.1 2.1.1.2 2.1.1.3 2.1.2 2.1.2.1 2.1.2.2 2.1.2.3 2.1.2.4 2.1.2.5

2.1.3 2.1.3.1 2.1.3.2 2.1.3.3 2.2

Apports potentiels des TIC ...............................................................................28 La place de linteractivit .............................................................................28 Le feedback ..................................................................................................31 Lindividualisation des rythmes et lautonomie ...........................................32

Les QCM comme outil dvaluation ........................................................................33 Pourquoi valuer ? ............................................................................................33 Conception classique : lvaluation norme.................................................33 Conception nouvelle : lvaluation critrie.................................................34 Quest-ce quvaluer ?......................................................................................35 Dfinitions fonctionnelles de l'valuation ....................................................35 Les fonctions de l'valuation ........................................................................36 Comment valuer ?...........................................................................................38 Quest-ce quun QCM peut valuer ?...........................................................38 Inciter lauto-valuation ...............................................................................40

2.2.1 2.2.1.1 2.2.1.2 2.2.2 2.2.2.1 2.2.2.2 2.2.3 2.2.3.1 2.2.3.2 2.3

Intrts et limites pdagogiques ...............................................................................40 Avantages des QCM.........................................................................................41 Les avantages quantitatifs des QCM ......................................................41 Les avantages qualitatifs des QCM ........................................................41 Les limites des QCM ........................................................................................42 Intrts et limites pour les formateurs ..............................................................43 Intrts et limites pour les apprenants ..............................................................44

2.3.1 2.3.1.1 2.3.1.2 2.3.2 2.3.3 2.3.4

Etude de cas : la ralisation dun guide mthodologique pour la

construction de QCM........................................................................................ 46
3.1 3.2 La commande du CNED EIFAD..............................................................................46 Le travail ralis pendant la priode de stage...........................................................47 Exemple : lanalyse des rgles de rdaction des QCM ....................................47 Rgles pour rdiger un nonc dune question choix multiple..................48 Rgles pour construire la bonne rponse dune question choix multiple ..52 Scnarisation des contenus ...............................................................................55 Rsultats obtenus ..............................................................................................56

3.2.1 3.2.1.1 3.2.1.2 3.2.2 3.2.3 3.3

La mise en place dune enqute aprs la priode de stage .......................................58 Les objectifs poursuivis ....................................................................................58 La dmarche adopte ........................................................................................58 4

3.3.1 3.3.2

3.3.3 3.3.4 3.3.4.1 3.3.4.2 3.3.4.3 3.3.4.4

Llaboration du questionnaire.........................................................................60 Lanalyse des rsultats......................................................................................62 Le traitement des donnes ............................................................................62 La synthse des rsultats ..............................................................................62 Le bilan des rsultats ....................................................................................68 Les prconisations ........................................................................................69

4 5

Conclusion ................................................................................................... 72 Bibilographie et Webographie .................................................................. 74

5.1 5.2 Bibliographie ............................................................................................................74 Webographie.............................................................................................................75

Annexes........................................................................................................ 78
6.1 6.2 Liste des rgles pour rdiger des questions choix multiple ...................................78 Questionnaire............................................................................................................79

INTRODUCTION

Le questionnaire choix multiple : (QCM), tel que nous le connaissons, entre autre sous sa forme papier, n'a pas bonne presse. En effet, il est souvent rduit des tests dvaluation de connaissances qui proposent de simples cases cocher en renvoyant juste une rponse du type vrai/faux.

Pourtant, un grand nombre de logiciels, accessibles en freeware ou en shareware sur Internet, permettent aujourdhui de raliser de nombreux exercices de types QUIZZ / QCM (questions choix multiple, textes trous, appariements, associations images/mots, tests de closure, etc.). Les QCM informatiss connaissent donc, a priori, une relle monte en puissance, dautant plus que les outils pour les construire sont a priori simples d'emploi et efficaces.

Devant lengouement de certains dutiliser ces types dexercices, le CNED EIFAD (Ecole dingnierie de la formation distance), dont lune des missions est de collecter les bonnes pratiques en enseignement distance, ma confi, pendant la priode de stage de trois mois, la ralisation dun module de formation en ligne sur le bon usage pdagogique des QCM. Lun des principaux objectifs de ce module tait que des formateurs puissent identifier, voire sapproprier, les diffrents enjeux pdagogiques lis lutilisation des QCM.

Dans le but de rpondre cette demande, nous avons eu recours diffrentes techniques. Nous avons effectu, dans un premier temps, une recherche bibliographique et documentaire trs riche afin de poser les fondements thoriques des QCM. Les deux premires parties de cette tude sont le fruit de cette recherche o nous avons tent de rpondre aux questions suivantes : les QCM, quelle(s) dfinition(s) ? Quelles prcautions faut-il prendre en compte lors de llaboration de QCM ? Quelles fonctions peuvent remplir les QCM ? En quoi les QCM peuvent-ils favoriser les apprentissages ? A quels types de courants pdagogiques se rfrent-ils ? Quel est lapport potentiel des TIC ? Quels types dvaluations sont possibles avec les QCM ? Quels sont les intrts et les limites pdagogiques des QCM ?

Les rponses toutes ces questions, nous ont permis de faire des choix et des propositions sur la mise en uvre concrte du module de formation. Les contenus ainsi rpertoris pour les

diffrents chapitres du module de formation ont t structurs et scnariss laide dun outil de conception multimdia. Compte tenu des difficults rencontres et des contraintes de ralisation, nous avons ralis, pendant la priode de stage, plutt un guide mthodologique la construction de QCM quun rel module de formation directement utilisable par les formateurs, en ligne et distance. Dans le but de faire voluer le produit, nous avons, par la suite, mis en place un test afin de juger sa qualit ergonomique et pdagogique. Lobjectif tait double, recueillir des informations auprs de personnes susceptibles dtre des usagers du produit afin de faire ressortir les points positifs et ngatifs dune part, en faire lanalyse et dgager quelques prconisations et amliorations dautre part. Cest ce que nous rvlerons dans la troisime partie de cette tude.

LES QCM : DEFINITIONS

1.1 Dfinition et origine du questionnaire choix multiple

1.1.1 Dfinition du QCM

Par questionnaire choix multiple nous dsignons tout exercice dans lequel lapprenant choisit la rponse la question pose parmi une liste de propositions. Ce type de questionnaire peut comprendre aussi bien les exercices lacunaires que les exercices dappariement. Notons que ce type dexercice est souvent considr comme tant trs guid. Cest dailleurs la raison pour laquelle ils rpondent assez bien la contrainte technique lie au multimdia.

Selon la dfinition de Dieudonn Leclercq, un QCM est une srie de questions auxquelles ltudiant rpond en oprant une slection (au moins) parmi plusieurs solutions proposes, chacune tant juge (par le constructeur de lpreuve et par un consensus entre spcialistes) correcte ou incorrecte indpendamment de lapprenant qui doit y rpondre (Leclercq, 1986).

Le petit Larousse illustr (1998) donne la dfinition suivante : questionnaire dexamen proposant, pour chaque question pose, plusieurs rponses entre lesquelles il sagit de choisir la bonne .

Le petit Robert (2004) propose la dfinition suivante srie de questions dans laquelle une liste de rponses est propose .

Enfin lencyclopdie Larousse (http://www.encyclopdie-larousse.fr) offre la dfinition suivante : forme dexamen dans lequel les rponses possibles sont numres et proposes au questionn, qui doit choisir celle quil estime tre la bonne .

Les QCM sont donc des questions choix de rponse, cela signifie que lapprenant na pas concevoir sa propre rponse, mais se contente de choisir une possibilit de rponse parmi les alternatives proposes. Les QCM ne sont pas : des questionnaires dopinion o les apprenants doivent noter leur avis sur une chelle allant de pas du tout daccord tout fait daccord ; des chelles dvaluation courantes utilises pour apprcier des travaux au moyen de notes allant par exemple de insuffisant excellent . En dtaillant chacun des termes de question choix multiple, Dieudonn Leclercq met en lumire le rapprochement entre la notion de choix et celle de dilemme. Solliciter lapprenant par le biais dun QCM, cest en fait le mettre en position de dilemme, le confronter des rponses auxquelles il naurait pas forcment pens afin dtayer sa rflexion. Cest par le biais de ce rapprochement que le QCM prend, selon nous, toute sa dimension didactique (Duchiron, 2003).

Cette dfinition laisse galement apparatre lide dvaluation, de jugement de lapprenant, qui a fait du QCM un objet de critiques systmatiques, tranant derrire lui sa mauvaise rputation, malgr la fascination parfois inexplicable de certains apprenants pour cet exercice qui parat dautres sans intrt.

1.1.2 Origine du QCM

Il est difficile de situer lorigine du QCM qui semble avoir exist de tout temps. Cependant la tradition est amricaine et remonte la premire guerre mondiale. Larme a en effet fait crer les clbres Army Tests par des psychomtriciens de lpoque, en vue de la slection des futurs officiers et sous-officiers parmi les mobiliss. La victoire des allis a, pour ainsi dire, donn son titre de noblesse au QCM.

En France, le QCM a t introduit en 1960 dans les facults de mdecine pour faire face au nombre toujours croissant dtudiants. Linstitution avait besoin dune mthode permettant une correction des preuves la fois rapide, uniforme et objective (Grand Larousse, 1968). En fait, de nombreux tests faisant partie de la vie de tous les jours sont maintenant bass sur

des QCM : le code de la route, les tests de quotient intellectuel, les divers tests psychologiques durant les entretiens dembauche, les concours administratifs, etc. Mais finalement, les QCM qui nous entourent vhiculent tous une ide de sanction. Ce sentiment a probablement contribu alimenter la mauvaise rputation du QCM.

1.1.3 Ce que lon reproche au QCM

Une des critiques les plus virulentes faite lgard des QCM concerne la place laisse au hasard et donc linjustice quils entranent. Comment diffrencier en effet les choix heureux par ignorance des choix corrects par comptence (Leclercq, 1986) ? Une des solutions consiste augmenter le nombre de propositions de rponses, lorsque ce nombre ne simpose pas par lui-mme. Dautre part, le fait de retirer des points en cas derreur peut dcourager les pronostiqueurs. Ce sentiment dinjustice peut galement venir du fait que les QCM sollicitent gnralement beaucoup plus la mmoire que la logique - ce qui, selon Dieudonn Leclercq, nest pas une fatalit - et affichent une certaine impuissance mesurer certains types de comptences telles que lexpression spontane, laptitude rdiger et exprimer sa pense, linvention de solutions nouvelles et mme la reproduction de mmoire sans support (Leclercq, 1986). Mais selon Vandevelde (1971 cit par Leclercq, 1986), force de vouloir tester plusieurs comptences en mme temps, limage que nous nous faisons de llve est () imprcise . Il ajoute que les QCM ne sont quun outil parmi dautres : il importe de recourir au mode dvaluation le plus adquat chaque situation .

Un autre cueil trs frquent des QCM concerne la tentation des concepteurs, qui semble irrpressible, ne poser des questions qui ne portent que sur des points de dtail. Cela semble tenir, comme le soulignent Noizet et Caverni (1978, cits par Leclercq, 1986), la nature mme des QCM, qui ne portent que sur des items dcidables et objectifs. Cela conduit invitablement un risque de parcellisation des connaissances , sollicitant majoritairement la capacit de mmorisation de lapprenant. Dans cette logique, si les QCM portent exclusivement sur des items dcidables et quils ne laissent pas de place lexpression des opinions, on peut craindre quils ne contribuent simplifier la vision du monde des tudiants , entranant ainsi la contraction de leur champ cognitif (Leclercq, 1986). Mais en prnant la complmentarit avec dautres outils, Dieudonn Leclercq dfend une

10

 formation harmonieuse qui ne saurait en aucun cas uniformiser les individus et les socits.

1.2 Les composantes des QCM

Trop souvent on ne sattache quau deux parties les plus visibles dun QCM savoir lnonc (amorce ou introduction) et les propositions (solutions proposes, choix). Pourtant la consigne toute son importance.

1.2.1 Les consignes

Les consignes dcrivent la question (exemple : pour les questions qui suivent une seule proposition est considre comme correcte), le mode de rponse (exemple : choisissez une seule des propositions proposes ou abstenez vous de rpondre), les principes de notation et le barme le cas chant.

Les consignes doivent tre si possible toujours crites, tre donnes lapprenant au dbut de lpreuve et sont valables pour toutes les mmes questions dune preuve.

1.2.1.1 Plusieurs types de consignes Selon Dieudonn Leclercq, nous pouvons obtenir diffrents types de consignes en faisant varier la forme de la question (Q) et la forme de la rponse (R).

Exemples de questions (Q) Q1 une seule solution propose est correcte. Q2 n solutions proposes sont correctes. Q3 une ou plusieurs des solutions proposes est (sont) correcte(s). Q4 une, plusieurs ou aucune des solutions proposes est (sont) correctes.

11

Exemples de rponses (R) R1 fournissez une rponse (ou omettez) R2 fournissez r rponses (N.B. r est suprieur 1 et infrieur k, le nombre de solutions proposes) R3 fournissez une ou plusieurs rponses (N.B. le nombre nest pas prcis et peut tre gal k, le nombre de solutions proposes) R4 fournissez une rponse pour chaque solution propose (1 vrai / 2 faux / 3 omission)

En faisant varier Q et R nous pouvons ainsi thoriquement obtenir 30 consignes diffrentes. La consigne de loin la plus utilise est la consigne QR = 11 ; nous pouvons dans ce cas prsent annoncer lapprenant quune seule solution prsente est correcte, et quil doit fournir une seule rponse.

1.2.1.2 La consigne classique Nous appelons consignes classiques celles o R=1 (fournissez une rponse, labstention constituant une rponse).

Exemple 1 : La capitale de lAngleterre est : a/ Glasgow b/ Liverpool c/ Manchester d/ Dundee e/ Aucune des quatre Source de lexemple : Leclercq, 1986.

Ici la consigne est du type QR=01 Q0 = une seule (ou aucune) des solutions proposes (n) est correcte. R1 = fournissez une seule rponse ou omettez. 12

Exemple 2 : Deux des formules suivantes permettent de calculer la circonfrence du cercle. Choisissez lune dentre elles : a/ 2R b/ 2R c/ R/2 d/ R e/ (R) f/ D Source de lexemple : Leclercq, 1986.

Ici la consigne est du type QR =21 Q2 = deux solutions proposes sont correctes. R1 = fournissez une seule rponse ou omettez.

Exemple 3 : Parmi les fruits suivants, le(s) quel(s) appartient (appartiennent) au groupe botanique des pommes ? a/ les poires b/ les pommes c/ les cerises d/ les poires et les cerises e/ les poires et les pommes f/ les pommes et les cerises Source de lexemple : Leclercq, 1986.

Ici la consigne est du type QR = 41 Q4 = une, plusieurs ou aucunes des solutions proposes est (sont) correcte(s). R1 = fournissez une seule rponse ou omettez.

13

1.2.1.3 La consigne vrai faux La question comprend un nonc (ou une proposition) o lapprenant doit indiquer s'il est vrai ou faux.

Exemple : Dans Pierre et le loup de Prokofieff le loup est reprsent par la flte VRAI FAUX Source de lexemple : Leclercq, 1986.

La moindre ambigit ou imprcision peut entraner un problme de comprhension. Par ailleurs un apprenant qui ne connat pas la bonne rponse 50 % de chance de la trouver par hasard.

1.2.1.4 La consigne appariement Les questions appariement, consistent mettre en relation des propositions fournies dans deux listes distinctes. Dans les questions appariement, il sagit de faire correspondre un lment de la liste (les solutions proposes) un lment de lautre liste (les questions).

Exemple 1 : Consigne : choisissez, parmi les personnes indiques droite, le partenaire dun personnage figurant gauche 1 : Daphnis 2 : Antoine 3 : Samson 4 : Romo Source de lexemple : Leclercq, 1986. 1 : Cloptre 2 : Dalida 3 : Juliette 4 : Chlo

Dans cet ensemble (correspondance biunivoque), il suffit de connatre la rponse correcte trois questions pour trouver automatiquement la dernire (forme dconseille).

14

Exemple 2 : Consigne : parmi les solutions numrotes droite, choisissez le partenaire de chaque personnage figurant gauche. Attention, il y a plus de partenaires que ncessaire

1 : Daphnis 2 : Antoine 3 : Samson 4 : Romo

1 : Cloptre 2 : Juliette 3 : George Sand 4 : Dalida 5 : Chlo

Source de lexemple : Leclercq, 1986.

Dans ce cas, le nombre de rponses possibles est plus important, ce qui rduit la place laisse au hasard.

1.2.1.5 La consigne de type rarrangement Une srie de propositions est prsente dans un ordre fix au hasard ou selon des rgles sans rapport avec le problme. Lapprenant doit les placer dans un ordre conforme un mode d'organisation indiqu en prcisant par des lettres ou des nombres cet ordre.

Exemple : Consigne : classez dans l'ordre chronologique d'apparition les 8 stades de dveloppement de la vigne prsents ci-aprs . A : nouaison B : vraison C : sortie des feuilles D : dbourrement E : arrt de croissance F : grappes visibles G : floraison H : maturit

Source de lexemple : Construire une situation dvaluation critrie. Disponible sur : http://www.educagri.fr/memento/section3/conduire/s3f5som.htm

15

1.2.2 Lnonc
Lnonc appel aussi amorce, tronc, corps, article de base, dfinit de faon gnral le problme (exemple : on veut, on souhaite, etc.) et pose la question (exemple : laquelle de ces propositions est correcte). Il peut tre crit sous la forme dune phrase complter : on utilise alors le mode affirmatif. Il peut tre crit sous la forme dune question : on utilise alors le mode interrogatif.

Exemple : Vous observez une prparation au microscope avec l'objectif 10x et l'oculaire 6x. On vous demande de passer l'objectif 40x . (Ici lnonc pose la situation). Quelles tapes devrezvous suivre pour obtenir l'image demande de faon satisfaisante, et dans quel ordre ? (Ici lnonc pose la question).

A) Mettre en place l'objectif 40x B) Centrer le point observer C) Ajuster le rglage grossier D) Augmenter l'clairage E) Ajuster la vis micromtrique Source de lexemple : Swinnen, 2002.

Le mode interrogatif : correspond un stimulus direct qui entrane une rponse ; est plus facile construire (parce quil permet dtre plus prcis) ; entrane moins de sources derreurs (surtout grammaticales) ; donne moins dindices pour la bonne rponse ou pour le rejet de mauvaises rponses.

16

Exemple 1 : mode interrogatif Dans quel domaine de lart, Pablo Picasso sest-il illustr ? a) La peinture. b) La musique. c) Le thtre. d) La posie. e) Le cinma.

Exemple 2 : mode affirmatif Pablo Picasso sest particulirement illustr par : a) la peinture, b) la musique, c) le thtre, d) la posie, e) le cinma.

On remarquera, au niveau de la ponctuation, pour le mode interrogatif que chaque proposition commence par une majuscule et se termine par un point. Alors que pour le mode affirmatif chaque proposition devant complter lnonc commence par une minuscule et se termine par une virgule. Seule la dernire proposition se termine par un point.

1.2.3 Les propositions

Les propositions font suite lnonc et sont videmment en rapport avec celui-ci. Parmi ces rponses/propositions, lapprenant doit distinguer la ou les proposition(s) exacte(s) des erreurs (ou distracteurs).

La bonne rponse doit tre incontestablement exacte et peut tre la meilleure rponse, lorsquon na pas affaire une science exacte. Les distracteurs sont des rponses plausibles mais incontestablement faux. Ils peuvent tre des ides fausses communment vhicules et

17

ou tre des erreurs frquentes, cest dire des erreurs dj mentionnes par les tudiants en classe, dans des travaux ou dans des examens antrieurs.

Dans un QCM, on doit viter dinventer des distracteurs la dernire minute car ils pourraient facilement devenir des indices pour la bonne proposition.

1.3 Listes de rgles pour rdiger des QCM

Pour chacun des trois lments dune question choix multiple, savoir les consignes, lnonc et les propositions, nous allons prsenter les rgles pour mieux les construire et les erreurs viter. Les deux listes de rgles ci-dessous ont t rediges partir dun document PDF intitul Liste des rgles pour rdiger des questions choix multiple de France Fontaine et dHuguette Bernard envoy par Dominique Chass (Coordonnatrice Coordination des services en TIC Bureau d'appui pdagogique - cole Polytechnique de Montral - Campus de l'Universit de Montral), le 22 dcembre 2004 et dun autre document PDF intitul Guide de rdaction des questions choix multiple de Daniel Pagonis accessible ladresse suivante : http://www.ujf-grenoble.fr/cotice

1.3.1 Listes des rgles concernant lnonc

Lnonc prsente une seule notion soumise la rflexion de lapprenant. Beaucoup ditems, sans le vouloir, prsentent plus dun problme. Lnonc prcise lobjet de la question en utilisant un langage simple et clair. Il faut viter de faire de vraies devinettes pour lapprenant et plutt faire en sorte que cela soit le plus comprhensible pour lui. Lnonc ninduit pas de jugement de valeur. Eviter les noncs de questions qui demandent lapprciation des apprenants. Lnonc est formul, autant que possible, la forme positive et ventuellement la forme interrogative. En aucun cas il sera formul la forme ngative. La prsence de ngations complique le traitement que lapprenant doit oprer sur le texte. La ngation

18

nest pas toujours exprime par ne pas ou non ; elle est prsente dans des mots tels que : retrait, absence, interdiction, cessation, nier, impossible, etc. Lnonc doit aussi souvent que possible regrouper les lments communs aux solutions proposes. Cette rgle pourtant basique et portant sur un aspect superficiel, est souvent transgresse. Lnonc doit tre compatible avec la question. Lnonc sera compos de tous les mots essentiels sa comprhension. Il devra tre le plus concis possible. De faon gnrale on peut dire que toute information requise la solution dun problme se retrouve dans lnonc plutt que dans les choix de rponses. Lnonc contient le mot dfinir. Il pose la question tandis que dans les choix de rponses on inscrit les dfinitions possibles du mot demand. Lnonc prcise lobjet de la question. Sans une telle prcision le diagnostic risque dtre compltement erron.

1.3.2 Listes des rgles concernant les rponses

La bonne rponse est incontestablement exacte et la seule parmi le choix de rponse. Elle nest pas plus longue que les autres choix de rponses, ni plus explicite, ni mieux construite (ce qui pourrait tre un indice de bonne rponse pour lapprenant). La bonne rponse, tout au long du test, varie de place de faon alatoire. Lorsquil sagit de noms dauteurs, de villes, etc. il est prfrable de placer les choix de rponses par ordre alphabtique. Il est aussi conseill de placer les choix de rponses par ordre numrique lorsquon a affaire des chiffres. Les choix de rponses sont homognes dans leur contenu, leur forme et leur structure grammaticale. Cest sans doute une des rgles les plus difficiles respecter. Sil est ais de trouver la bonne rponse, il est par ailleurs difficile de choisir des distracteurs faux mais plausibles et qui plus est, qui respectent toutes les rgles de la construction des choix de rponses.

19

Tous les distracteurs sont plausibles mais faux. Il est prfrable de mesurer certaines notions par dautres formes de questions plutt que dcrire des choix de rponses non plausibles et qui nont rien voir avec lnonc, uniquement pour avoir un nombre gal de choix de rponses dans tout lexamen.

Nous conseillerons de ne pas utiliser les formulations toutes ces rponses et aucune de ces rponses , comme choix de rponses. Souvent, lorsquon est cours dides de rponses, on opte pour des solutions telles que toutes ces rponses ou aucune de ces rponses , comme dernier choix de rponses.

Il est prfrable de ne pas rpter un mme mot dans les choix de rponses. Pour viter quun mot ne se rpte dans chacun des choix de rponses, on lintgre lnonc. Il est noter que, pour ces cas, le mode affirmatif est plus appropri que le mode interrogatif.

Eviter que certains mots compris dans lnonc ne se rptent dans un choix de rponses et conduisent ainsi la bonne rponse.

20

FONCTIONS DES QCM

2.1 Les QCM comme outil dapprentissage

Dans la pratique pdagogique traditionnelle, on n'envisage gnralement d'utiliser des questions choix multiple que pour valuer les connaissances acquises par des lves. Or, l'exprience montre que les QCM peuvent aussi se rvler trs efficaces en tant qu'outil d'apprentissage, au point que cela devrait idalement constituer leur fonction premire.

2.1.1 Les modles pdagogiques de rfrences

Poser quelques repres thoriques nous semble essentiel la comprhension des situations pdagogiques dans lesquelles sinscrivent les QCM. Ces modles ne sont bien sr pas reproduits tels quels dans la ralit. Les mthodes et le choix des questions varient en fonction des objectifs pdagogiques et du niveau dexigence de ces objectifs.

2.1 .1.1 Apports de la taxonomie de Bloom

En 1956, Benjamin S. Bloom et quatre autres chercheurs proposaient la Taxonomie des objectifs pdagogiques dans le but de dvelopper un systme de classification dans trois domaines : cognitif, affectif et psychomoteur. Selon ces chercheurs, les activits de lapprenant peuvent tre classes selon six niveaux dabstraction mentale de plus en plus complexes. La connaissance constitue le niveau le plus bas de cette hirarchie et implique le rappel des faits particuliers et gnraux, des mthodes et des processus ou le rappel dun modle, dune structure ou dun ordre . (Bloom, 1969) Le niveau de comprhension, quant lui, porte sur lapprhension intellectuelle [qui] permet ltudiant de connatre ce qui lui est communiqu et de se servir du matriel ou des ides qui lui sont communiques sans ncessairement tablir un lien entre ce matriel et un autre, ou en saisir toute la porte .

21

Lobjectif dapplication marque un niveau suprieur dabstraction. Il concerne lutilisation [de] reprsentations abstraites dans des cas particuliers et concrets .

Le niveau danalyse consiste claircir la hirarchie relative des ides et (ou) les rapports entre les ides exprimes . Il peut porter sur lorganisation de la communication, les moyens utiliss pour atteindre le but cherch et les bases sur lesquelles [la communication] a t labore et dispose .

Le cinquime niveau dabstraction que Bloom et ses collgues ont dfini est la synthse qui consiste disposer et combiner les fragments, parties, lments, etc., de faon former un plan ou structure que lon ne distinguait pas clairement auparavant .

Quant au niveau dabstraction le plus lev, il sagit de lvaluation qui se dfinit par une formulation de jugements [qualitatifs ou quantitatifs] sur la valeur du matriel et des mthodes utilises dans un but prcis . Les critres dvaluation, situs par rapport une norme dapprciation , peuvent tre proposs ou non ltudiant.

Par le biais de cette taxonomie, Bloom et al. ont montr quil existe plusieurs faons de savoir quelque chose et que cest en sollicitant tous ces niveaux dabstraction de la manire la plus labore et la plus diversifie possible que lapprentissage long terme sera dautant plus efficace.

Le principal apport de cette taxonomie la conception de QCM concerne la diversification des manires de solliciter lapprenant. Cet exercice ne doit en effet plus tre considr comme un simple outil de vrification de mmorisation des faits court terme quand il peut en fait constituer une aide prcieuse pour lenseignement / lapprentissage, en visant dvelopper les niveaux dabstraction les plus levs, tels que lanalyse, la synthse ou lvaluation.

2.1.1.2 Apports du modle behavioriste Nous pouvons considrer que le QCM est une application qui sinscrit directement dans le modle bhavioriste. Selon cette thorie, apprendre cest donner des rponses adquates lenvironnement. La thse behavioriste est base sur la formulation dobjectifs fixs en termes de comportements observables uniquement. Elle ne considre donc pas ce qui ressort de la

22

pense consciente ou inconsciente, non observable et considre comme bote noire . Elle dfinit des objectifs de matrise visant lacquisition de comportements positifs pour la socit. Cette thorie sappuie sur un modle dapprentissage stimulus-rponse, ou stimulationrponse : S R. Lenseignement programm dvelopp en laboratoire par le psychologue

Skinner (1950) et le formateur Crowder (1960) est fond sur cette thorie.

Dans lenseignement programm, lapprentissage est dcoup en objectifs oprationnels. Lacquisition dune nouvelle conduite est consquente dun agent de renforcement positif ou ngatif. Nous pouvons distinguer ici deux types denseignement programm. La conception linaire de Skinner

Le principe de renforcement, obtenu par le conditionnement et lentranement dans le cadre de lenseignement programm permet, selon Skinner, de construire des connaissances. Lenseignement programm se caractrise par une conception linaire de lapprentissage, un dcoupage de lenseignement en objectifs progressifs dfinis pralablement, une valuation centre sur le rsultat (atteinte des objectifs) et non sur les stratgies dapprentissage ou de rsolution de problmes. Lerreur est sanctionne et prend un statut particulirement pnalisant pour lapprenant. La programmation ramifie de Crowder

Une dizaine dannes aprs Skinner, Crowder conoit pour les besoins de larme un enseignement programm plus labor du point de vue de linteractivit offerte. Les programmes laissent plus de choix lapprenant par une organisation ramifie de linformation, qui renvoie un sous programme et prvoit plusieurs chemins possibles en fonction de ses rponses. Des informations complmentaires sont ainsi fournies en cas derreur (feedback).

Nous pouvons noter la diffrence entre le programme de type linaire (Skinner) o la rponse donne par l'lve doit tre toujours juste, et les programmes choix multiples (Crowder) ouvrant la possibilit de l'erreur et introduisant une aide (sous forme d'une information complmentaire) spcifique selon la rponse choisie.

23

De part son incompltude, lenseignement programm laisse entire la question de lacquisition de connaissances et de leur transfert. Cependant, lapport de lenseignement programm en formation est nanmoins incontestable, tant du point de vue des concepteurs doutils (exerciseurs) qui se sont attachs faire voluer ce modle, que des chercheurs en ducation qui ont effectu une analyse critique du modle.

2.1.1.3 Apports du modle constructiviste Les QCM labors avec feedback peuvent aujourdhui emprunter la dmarche constructiviste. Les enseignements mcaniss sont souvent fonds sur le dialogue hommemachine, la dcouverte guide et le dveloppement de l'intelligence. Ce qui diffrencie cette dmarche du modle prcdent, cest le nouveau statut de lerreur que nous pouvons y lire. Celle-ci nest plus considre comme une dficience de lapprenant, ni comme un dfaut du programme. Il est donc utile que les erreurs sexpriment car elles sont incontournables et, seul, leur traitement didactique permettra de les dpasser. Cette conception de lapprentissage laide de lordinateur inverse la relation entre lapprenant et lordinateur : en effet ce nest pas le programme qui guide lapprenant pas pas, comme dans lenseignement programm, mais au contraire lutilisateur qui apprend en donnant des instructions la machine et qui par essais et erreurs, corrige ses tentatives pour atteindre le but vis et raliser son objectif (Naymark, 1999).

2.1.2 Lapprentissage par les questions

Nous allons essayer de dmontrer lintrt pdagogique de lapprentissage par les questions. Les questions souvent utilises dans des quiz, QCM, tests et examens comme outils dvaluation, permettent la fois de mesurer lapprentissage, dvaluer les mthodes didactiques et de responsabiliser les apprenants au niveau de leurs efforts.

2.1.2.1 Intrts des questions Selon Will Thalheimer (2003), les questions amnent des avantages significatifs pour lapprentissage. Elles peuvent tre particulirement utiles quand de grandes quantits de matire apprendre doivent tre assimiles. Pour de nombreux apprenants, de longues

24

priodes

dapprentissage

peuvent

entraner

une

moindre

attention

pour

lobjet

dapprentissage. Les questions qui surviennent au cours de ces longs laps de temps peuvent aider les apprenants maintenir leur attention et leur apprentissage. Cest pourquoi les questions sont dautant plus efficaces lorsquelles sont conues pour susciter lapprentissage.

Regardons de plus prs en quoi des questions bien construites peuvent favoriser les apprentissages. Les questions : facilitent la rcupration dinformation dans la mmoire ; donnent aux apprenants des feedback au sujet de leurs ides errones ; attirent lattention des apprenants sur la matire la plus importante apprendre ; peuvent motiver les apprenants se lancer dans des activits dapprentissages supplmentaires ; rptent des ides essentielles, qui donnent aux apprenants la possibilit de rtudier ou de renforcer ce quils ont appris ou essay dapprendre.

2.1.2.2 Apprentissage et questions Noublions pas que le but de tout apprentissage est de prparer les apprenants rcuprer des informations dans la mmoire. On peut dire que la capacit rcuprer des informations est une fonction la fois dapprentissage et doubli. Il faut donc apprendre les informations de telle sorte quelles soient facilement accessibles partir de la mmoire.

Laccessibilit des informations apprises dpend : de la manire dont on a rcemment rflchi aux informations apprises ; de la similarit entre contextes dapprentissages et de rcupration ; de la frquence laquelle on y a rflchi ; de leur niveau dimportance motionnelle.

25

Plus les questions seront cibles sur les informations apprendre plus elles auront tendance favoriser et augmenter lapprentissage. Dit autrement, les informations non cibles sont moins bien tudies et attirent beaucoup moins lattention des apprenants. Dun point de vue pratique, si nous ne voulons pas quune information particulire soit oublie, il est prfrable de poser une question sur celle-ci.

2.1.2.3 Temporalit et questions Les questions peuvent tre prsentes avant ou aprs la matire apprendre. Quelles soient poses avant ou aprs une phase dapprentissage elles apportent des avantages de rptitions importants. Quand on regroupe les questions avant lapprentissage, on parle de prquestions. Lorsquon les regroupe aprs on parle de post-questions. Enfin lorsque les questions sont utilises lors de phases dapprentissage, on parle de pr-questions insres ou de post-questions insres .

Les pr-questions aident les apprenants concentrer leur attention sur des informations cibles quils rencontreront plus tard. Par exemple si on demande un apprenant, avant que commence un programme, ce que signifie le mot ondelette , il sera probablement plus attentif lorsque le mot en question sera utilis dans le programme. Les pr-questions amliorent lapprentissage en gnral mais elles peuvent galement dtourner lattention des apprenants sur des informations qui ne seraient pas cibles par ces questions. Il est par consquent important que les pr-questions ciblent les informations les plus importantes de la matire apprendre.

Les post-questions fournissent des exercices de rcupration et des feedback sur des informations qui ont dj t apprises.

Les pr-questions et post-questions favorisent la rptition de la matire apprendre. Elles aident les apprenants se concentrer sur le type de matire apprendre.

26

2.1.2.4 Questions et rcupration Will Thalheimer utilise la mtaphore suivante pour dfinir la pratique de la rcupration : Imaginez que votre mmoire est une fort sombre et profonde, o chaque arbre reprsente une parcelle de connaissance. Il y a des millions darbres dans la fort de votre mmoire. Chercher au travers de cette fort est une tche dcourageante. Il faut avancer pniblement travers des broussailles denses pour trouver les informations. Cependant, une fois que vous les avez trouves, vous avez suffisamment tass les broussailles du pied pour marquer votre chemin. En fait plus vous parcourez le mme itinraire travers votre mmoire, plus le chemin devient dfini. Nous aspirons une route pave. Ceci est essentiel car le temps permet aux broussailles de reprendre vigueur, ce qui peut obscurcir le chemin conduisant ces informations .

Le texte ci-dessus nous dit que la pratique de rcupration a seulement de la valeur si elle suit des itinraires utiles dans la mmoire. Les concepteurs doivent donc poser les bonnes questions aux apprenants de faon ce quils puissent effectuer des recherches mentales couronnes de succs ( condition que les apprenants aient reu suffisamment dinformations). La pratique de la rcupration : constitue un complment de valeur lapprentissage car elle apporte quelque chose que lapprentissage ne peut pas fournir savoir la recherche mentale ; aide viter loubli.

2.1.2.5 Questions et rptitions Les questions entranent au moins une rptition du point apprendre. Si une confrence apprend des futurs parents que le colostrum est la substance que les nouveaux ns, nourris au sein, reoivent de leur mre durant les premiers jours de leur vie, une question ultrieure sur le colostrum apporte une rptition de ce concept. Donner plusieurs questions sur un seul point dapprentissage entrane de multiples rptitions. Pour amliorer lapprentissage, les rptitions doivent tre pertinentes. Les questions que les apprenants voient comme pertinentes, ralistes et ayant un lien avec leur travail sont particulirement efficace. Enfin, les

27

rptitions espaces sont les meilleures. Les rptitions espaces sont plus efficaces que celles qui sont regroupes.

2.1.3 Apports potentiels des TIC

Aujourdhui le QCM, grce entre autres lintroduction des TIC, est envisag comme outil dapprentissage, intgr une squence pdagogique et non plus exclusivement comme instrument dvaluation. Un des atouts majeurs de lintroduction des TIC concerne le traitement de lerreur et la rtroaction immdiate que lapprenant peut recevoir ; ce qui constitue un lment extrmement formateur. Lapprenant na plus attendre la phase de correction pour pouvoir passer la phase de remdiation. Le QCM est un vritable outil dindividualisation de lapprentissage qui vise autonomiser lapprenant. Les TIC constituent un apport indniable en termes dapprentissage et contribuent donner aux QCM de nouvelles perspectives, mme sil est vident que la conception reste le matre-mot.

2.1.3.1 La place de linteractivit Passer dun QCM papier QCM du type interactif ne se rsume pas au simple fait de mettre des images, du son ou de la vido. Lenjeu de linteractivit dans ce type dexercice pourrait se traduire de la faon suivante : en quoi linteractivit pourrait-elle favoriser les apprentissages ? Le dveloppement de lapplication de lenvironnement, se fera plus en fonction du contenu du cours, des activits/exercices et des connaissances dvelopper. Certains types dexercices comme les exercices dappariement pourront favoriser et faciliter le processus de mmorisation. Quel est donc le rle de linteractivit dans les situations dapprentissages ? Tribollet (2002) distingue plusieurs niveaux dinteractivit.

Premier niveau d'interactivit

L'ordinateur pose une srie de questions (stimulus), et lapprenant rpond par des comportements observables interprtables par la machine (rsultats chiffrs ou mots cls). La rponse est value par le logiciel : juste ou fausse. L'exemple type est le QCM.

28

C'est l'application directe du behaviorisme. Si ensuite on laisse plus d'autonomie l'lve, il peut mettre plusieurs hypothses :

Deuxime niveau d'interactivit

Comme prcdemment l'ordinateur pose des questions et l'apprenant rpond, mais suivant le type de rponses (les erreurs courantes et les conceptions des lves ont t tudies avant) l'ordinateur propose dans le cas des rponses fausses une remdiation (feedback)

29

pour permettre l'apprenant de se corriger lui-mme. L'exemple type est le QCM avec remdiation (feedback).

Le but de l'interactivit est donc de grer les entres et les sorties du systme homme / machine. L'individu apprend lorsqu'il est plac dans une situation de relation avec l'environnement sur lequel il peut agir et qui ragit en modifiant certaines de ses composantes. On peut galement ajouter que la notion dinteraction est trs lie celle de rtroaction (feedback). Traditionnellement, les applications interactives ddies l'apprentissage grent au plus prcis cette notion de rtroaction afin d'aider au mieux l'utilisateur prendre conscience de la validit de son action et de l'aider surmonter les obstacles qu'il rencontre.

30

2.1.3.2 Le feedback Un aspect particulier de linteractivit est le feedback. Lordinateur a la possibilit de donner ce quon appelle des rtroactions (ou rponse en retour une action) immdiates, plus ou moins nombreuses et varies. Lefficacit du feedback est caractrise par : sa spcificit (rponse spcifique en fonction du niveau de lapprenant, de ses actions, de sa maturit, de sa capacit dautonomie) ; sa frquence (rponse aussi frquente que ncessaire en fonction du niveau daccompagnement souhait pour lapprenant) ; son dlai de rponse (rponse immdiate ou diffre en fonction de la programmation de lenseignement et de laction). Lorsque les apprenants sont incits rcuprer des informations ils rcuprent parfois des mauvaises informations. Le feedback peut aider les apprenants corriger ces ides fausses et donc de ce fait amliorer leur apprentissage. Selon Fenrich (1997) le feedback comprend plusieurs composantes : la composante dite de vrification qui fournit un jugement d'exactitude/erreur permettant lapprenant de vrifier la pertinence de son action ; la composante explicative qui apporte d'autres informations complmentaires. Ainsi les erreurs peuvent tre comprises et corriges par l'apprenant. Cette rtroaction aide l'apprenant dans ses choix d'action, et dans l'analyse de la pertinence de sa dcision par rapport au contexte propos et au but qui est le sien. En cela, la rtroaction exerce une certaine guidance de l'apprenant dans son activit. La rtroaction doit tre courte et contenir juste assez dinformations pour comprendre lerreur commise. Si toutefois la matire apprendre est plus complexe une rtroaction plus tendue peut tre justifie. La rtroaction peut tre donne immdiatement ou bien retarde ce qui dans ce dernier cas peut apporter une plus-value.

31

2.1.3.3 Lindividualisation des rythmes et lautonomie Un des atouts vidents et maintenant largement reconnus de lutilisation des TIC, cest lindividualisation des rythmes des apprenants. Lutilisation des TIC a galement un effet ddramatisant sur lapprenant. Cest loccasion pour lui de prendre confiance en soi, de se librer dune certaine pression, seul, face son cran. Il dispose de tout le temps ncessaire pour rflchir. Tous les individus peuvent matriser lapprentissage si on leur en donne le temps. Pour Caroll, et comme dans lenseignement programm linaire, le temps quon laisse l'apprenant est une variable importante pour apprendre. Lide est que nimporte quel lve peut atteindre la matrise si on lui laisse suffisamment de temps.

Lapprenant peut oser, il ne se trouve plus en situation de comparaison de sa performance par rapport celle des autres. Cependant il faut souligner que si lindividualisation des rythmes peut tre vcue comme un outil dencouragement, elle peut ventuellement tre perue comme un facteur denfermement, selon le profil de lapprenant.

Cette individualisation des rythmes dapprentissage rendue dautant plus facile par lintroduction des TIC va de pair avec un processus dautonomisation de lapprenant. Il convient tout de mme de faire preuve de prudence quant au concept d autonomie qui est couramment utilis mais parfois avec des sens trs diffrents. Lorsque Franois Mangenot parle de travail autonome devant un ordinateur par exemple (Mangenot, 2002), il fait rfrence au fait que lapprenant travaille seul devant la machine, sans enseignant, chacun son rythme. Cest dans ce cadre que sinscrivent lenseignement programm et les exercices de types QCM. Toute personne qui sauto-forme nest pas forcement autonome. On peut par exemple apprendre laide dun QCM, sans pour autant tre capable de mettre au point ses propres stratgies dapprentissages. Cest au travers de la capacit stratgique du sujet effectuer des choix dans un ou plusieurs aspects de sa formation (lieu, temps, rythme, contenus, etc.) et laborer un plan dactions cohrent afin darticuler ses objectifs et les moyens quil se donne pour les atteindre, que sexerce lautonomie en formation.

32

2.2 Les QCM comme outil dvaluation

Les QCM sont a priori peu utiliss, la fois pour des raisons culturelles et pour des raisons pdagogiques car ils sont souvent associs une pdagogie transmissive et la simple restitution des connaissances. Pourtant pour un grand nombre denseignants, de formateurs, ils restent un bon moyen pour recueillir des informations relatives aux apprentissages effectus et les interprter afin de porter un jugement dans le but de prendre une dcision. Utiliser les QCM comme outil dvaluation suppose quun certain nombre de conditions soient remplies (rdaction des QCM / apprentissages par les questions). Noublions pas non plus que lvaluation doit tre en adquation avec les objectifs du cours. Cest pourquoi, avant de nous intresser la question du comment valuer avec les QCM, nous allons brivement faire un rappel sur le pourquoi valuer et le quest-ce quvaluer.

2.2.1 Pourquoi valuer ?

Dans ce premier paragraphe il ne sagit pas de savoir s'il convient ou non d'valuer, mais bien de savoir quelles sont les conditions pour que les valuations soient aussi pertinentes et objectives que possibles. Nous distinguerons ici deux conceptions de lvaluation.

2.2.1.1 Conception classique : lvaluation norme Dfinition : ce type dvaluation a pour but deffectuer un bilan ( une somme ). Elle se caractrise par un classement des sujets les uns par rapport aux autres. Elle implique llaboration dune srie de tests, dpreuves de contrle, de palmars.

Le rle prioritaire des examens dans la pdagogie traditionnelle, c'est la slection des lves ou des tudiants. Cette slection s'opre partir d'preuves qui privilgient les performances restitutives des candidats. Le but est de classer des individus dans une distribution statistique o les notes leves restent exceptionnelles et minoritaires. Les preuves sont d'ailleurs construites pour aboutir un tel classement. Une telle valuation est dite normative ou norme . Cette conception classique de l'valuation reste dfendable dans certaines conditions, mais elle suscite de nettes critiques et nos examens traditionnels paraissent de plus en plus contestables aux yeux des spcialistes. Pourquoi ?

33

Les examens sont souvent centrs sur la rtention phmre de connaissances (exemple : quand commence le Moyen Age ?) A quoi bon ? Des chercheurs ont dmontr que 80% de telles connaissances actuelles ont disparu dans les 15 mois aprs l'examen (De Landsheere, 1971). Ils gnrent l'chec et le redoublement. Ils sont souvent injustes. De multiples recherches exprimentales tmoignent du dsaccord flagrant entre divers correcteurs qualifis et mme "l'infidlit" d'un mme correcteur (Piron, 1963).

Faut-il pour autant proscrire tous les examens ? Certainement pas. Ce serait d'ailleurs utopique. Malgr leurs dfauts manifestes, les examens gardent d'ardents dfenseurs qui invoquent notamment les arguments suivants. Les examens sont socialement incontournables. Nous vivons dans une socit qui pratique sans cesse l'valuation (examens mdicaux, permis de conduire, permis de chasse, concours). Qui oserait se fier un pilote d'avion non slectionn ? Refuser d'valuer, c'est laisser le champ libre aux pires abus (nominations politique, npotisme). Les examens sont psychologiquement souhaitables. Ils donnent un feedback qui favorise l'apprentissage. Tous les checs ne sont pas ngatifs Les examens sont relativement quitables. Les effets du hasard tendent s'annuler dans une srie d'preuves telles que nous laborderons. Nous pouvons donc soutenir que l'valuation norme reste une ncessit dans toutes les situations o une slection sociale s'avre lgitime En formation dadultes et dans l'enseignement suprieur, cette conception de l'valuation ne peut tre ni exclusive, ni dominante. Une approche complmentaire, axe sur l'acquisition de comptences, devrait modifier profondment l'thique et la pratique des examens.

2.2.1.2 Conception nouvelle : lvaluation critrie Dfinition : ce type dvaluation a pour but dindiquer ltat davancement dun apprentissage par rapport un ensemble dobjectifs atteindre et non pas situer les performances des

34

sujets en rfrence un groupe. Elle implique de dterminer un ensemble de critres et dindicateurs sur lesquels portera le jugement.

Dans ce modle, l'essentiel n'est pas la slection d'une minorit de surdous, mais bien la promotion de tous. Un maximum d'apprenants doit pouvoir matriser un maximum d'objectifs d'apprentissage. On parle, dans ce sens, de "pdagogie de la matrise" et "d'valuation critrie". Ce qui importe ici c'est la diversit des potentialits et des dmarches d'apprentissage. L'valuation devient partie intgrante de l'apprentissage ; elle constitue une information qui aide l'apprenant progresser et qui permet l'enseignant d'amliorer ses propres interventions.

Cette conception nouvelle de l'valuation offre d'indniables avantages : rduction sensible du nombre d'checs ; en principe, 80 % des apprenants devraient matriser 80 % des objectifs prvus ; motivation accrue ; l'apprenant entre en comptition avec lui-mme plutt que de rivaliser avec ses condisciples ; importance accrue des "savoir-faire" par rapport aux simples "savoirs" (restitution).

2.2.2 Quest-ce quvaluer ?

2.2.2.1 Dfinitions fonctionnelles de l'valuation En pdagogie lvaluation peut tre dfinie de la sorte : acte dlibr et socialement organis aboutissant un jugement de valeur sur les mrites ou les capacits d'une personne ; apprciation quantitative et ou qualitative d'un apprentissage en fonction d'objectifs pralablement dfinis, en fonction d'une dcision prendre.

35

Ces dfinitions appellent quelques commentaires : l'valuation nest pas quune simple "mesure" des capacits, elle peut tre aussi qualitative et diagnostique ; l'valuation suppose des objectifs d'apprentissage explicites (voire oprationnels) ; l'valuation concerne tout autant le formateur que l'apprenant ; elle vise optimiser les apprentissages ; l'valuation constitue une aide la dcision (promouvoir, slectionner, remdier).

2.2.2.2 Les fonctions de l'valuation Regardons maintenant les diverses classifications relatives l'valuation pdagogique. Nous nous en tiendrons la terminologie classique fonde la fois sur le type de dcision prendre et sur le moment o l'valuation est pratique. On distingue ainsi trois grands types d'valuation : prdictive, formative, sommative. Lvaluation diagnostique

Elle se pratique la plupart du temps avant l'apprentissage. Cependant elle peut survenir soit avant que les apprenants nentreprennent un programme dtudes, soit pendant le droulement mme de ce programme. Le moment nest pas un caractre essentiel pour reconnatre ce type dvaluation. Elle permet de prvoir les chances de succs d'un sujet dans un apprentissage donn. Avant un cours, l'enseignant peut, par exemple, contrler les pr-requis, les points forts et les points faibles de ses apprenants en vue d'optimiser sa dmarche didactique. Lvaluation formative

Elle s'intgre, de faon constante, pendant le processus dapprentissage. Elle fournie l'enseignant et l'apprenant un feedback, des informations sur le niveau dapprentissage atteint et sur les difficults rencontres. Ce contrle peut dboucher sur une reprise d'explication, une modification de la dmarche didactique, un "rattrapage" Ici, il s'agit bien d'aider l'apprenant progresser.

36

En valuation formative, un QCM bien construit et pourvu de solutions commentes pour chaque item peut tre utilis par les apprenants pour sentraner aux examens et aux concours ou pour sauto-valuer. Les rsultats obtenus, souvent sous forme de scores, leur permettront dune part, de mesurer lcart entre leurs connaissances relles et celles vises par lobjectif de la formation, dautre part de pouvoir se situer dans leur parcours pralablement tabli pour atteindre le dit objectif. Lvaluation sommative

Elle intervient aprs une sance d'apprentissage ou la fin d'une session, d'un semestre, d'une anne Elle constitue un bilan des apprentissages d'un sujet ou d'un groupe de sujets : dans quelle mesure ont-ils atteints les objectifs prvus ? La dcision conscutive ce bilan se traduit par une note, une mention, une promotion, une certification pour cela l'enseignant peut varier ses mthodes et proposer, par exemple, la rsolution d'un cas ou d'un problme, la ralisation d'un projet, une production personnelle condition, toutefois, que ces procdures restent cohrentes par rapport aux objectifs pralablement dfinis. Le QCM est souvent utilis pour mesurer lacquisition de lapprenant. Il se matrialise lors dune valuation sommative par un exercice devant tre ralis en un laps de temps limit. Il est gnralement compos dun ensemble de questions couvrant tout ou partie dun cours. Les rponses fournies donnent au correcteur les lments lui permettant dvaluer le degr dacquisition du savoir chez ses apprenants. Cette mesure se concrtise pour les apprenants par une note.

Source de lillustration : Morissette, 1996

37

2.2.3 Comment valuer ?

Au dbut, en cours ou la fin dune squence dapprentissage, le formateur peut mettre en place une srie dexamens de types QCM afin de diagnostiquer, de vrifier les diffrents niveaux dapprentissage.

La dmarche dune valuation de qualit pourrait comprendre les phases suivantes : la dfinition par lenseignant des besoins en connaissances et comptences ; la traduction par lenseignant en objectifs dapprentissage correspondants ; la mise en uvre de lenseignement, destin latteinte de ces objectifs ; lvaluation des acquis des tudiants.

2.2.3.1 Quest-ce quun QCM peut valuer ? Pour rpondre cette question il est bon de sintresser un ensemble de critres pdagogiques. Ces critres peuvent se traduire sous forme de trois questions fondamentales.

a. L'valuation est-elle cohrente par rapport la dcision prendre ? Une valuation qui vise diagnostiquer une difficult ne doit pas tre perue comme une sanction par l'apprenant. La confusion est frquente entre valuation formative et sommative. On peut galement revenir la question : quest-ce les QCM permettent de mesurer ? . A priori les QCM peuvent mesurer des objectifs de : connaissance : des questions qui font appel la mmoire ; comprhension : des questions qui appel linterprtation des donnes ; dexplication : des questions qui font appel la solution de problmes.

Il nest pas exclu datteindre dautres types dobjectifs avec de telles questions, mais ces dernires demeureront trs difficiles construire.

38

b. L'valuation est-elle cohrente par rapport aux objectifs d'apprentissage ? Cela parat vident. Pourtant, on observe de grandes discordances entre les objectifs initiaux et les modes d'valuation. La formulation des questions doit correspondre au niveau de formulation des objectifs pdagogiques. Il est donc important didentifier ce que lon veut valuer et ne pas : choisir au hasard les questions dexamens, mais plutt dterminer ce qui est important, en fonction de ce quon a enseign ; prendre le mot mot du livre de cours par exemple pour en faire des questions dexamens.

c. Pondration des objectifs dapprentissages La pondration permet de rpartir les points dun enseignement de telle sorte quil y ait quilibre entre les parties plus ou moins importantes du programme vis. En sinspirant du programme et en tenant compte des ses propres priorits, le formateur peut donc procder la pondration de ses objectifs. Aprs avoir dtermin les objectifs et la matire quon veut mesurer, une des faons simples de voir le portrait de son examen est de retranscrire les objectifs sous forme de tableau quon appelle tableau de spcification* .

On peut ainsi identifier combien de questions mesurera chaque objectif. Le tableau de spcification est ncessaire dans le cas o chacun des objectifs nest pas mesur par un nombre gal de questions ou lorsque certains objectifs ne sont pas mesurs par ce moyen dvaluation.

* Un tableau de spcification est un tableau double entre : une pour la liste des contenus ou notions matriser, une autre pour la liste des objectifs mesurer (par exemple, des objectifs qui font appel la mmoire, linterprtation des donnes ou la solution de problme). En considrant les deux entres, on indique combien de questions pourront tre poses par rapport chacune des notions, en tenant compte de chacun des objectifs.

39

2.2.3.2 Inciter lauto-valuation Dans le cadre dun QCM informatis, et encore plus sil sagit dun enseignement distance, lapprenant accde gnralement au corrig de chaque exercice et peut ainsi valuer sa production. Dans le but de favoriser lauto-valuation, il faut inciter lapprenant assumer les choix quil fait, en laissant le minimum de place au hasard, et laccompagner dans sa dmarche de comparaison entre sa production et le corrig pour viter que celui-ci se contente dune apprciation binaire ( jai bon / jai faux ). Il faut amener lapprenant trouver les raisons de son erreur.

Lutilisation de degr de certitude participe au dveloppement de procdures d'autovaluation. Un des principes la base de l'laboration du systme des degrs de certitude dcoule d'un objectif pdagogique ambitieux : pousser l'lve valuer sa propre comptence, et lui apprendre assumer les consquences des dcisions qu'il prend. Pour ce faire, on demande l'apprenant d'estimer lui-mme la validit de ses rponses, en valuant la probabilit qu'elles soient correctes. En fonction de cette probabilit, il doit alors choisir un degr de certitude. Les nombres de points qu'il va alors gagner ou perdre (en cas de rponse correcte ou fausse) seront dtermins en fonction de ce degr. Il semble juste en effet de pnaliser davantage un lve qui se trompe, alors qu'il met des affirmations catgoriques, plutt qu'un autre qui nonce les mmes affirmations errones, mais en les prsentant comme peu sres et en reconnaissant humblement son hsitation. De mme, il parat lgitime d'attribuer davantage de points quelqu'un qui accepte le risque d'une pnalisation svre, en affirmant fermement sa conviction.

2.3 Intrts et limites pdagogiques

Il est trs difficile de constituer une rubrique intrts et limites des QCM. Nous envisagerons ce chapitre en considrant les avantages quantitatifs et qualitatifs des QCM (en tenant compte des facteurs suivants : objectifs mesurs par les QCM, contenu valuer, temps de prparation et temps de correction) ainsi que leur limites. Nous verrons galement quels avantages peuvent en retirer les formateurs et les apprenants, mais aussi leurs limites.

40

2.3.1 Avantages des QCM

2.3.1.1 Les avantages quantitatifs des QCM Les QCM contribuent en principe amliorer la validit, la fidlit et la sensibilit dun examen parce quils constituent un moyen dobtenir et de corriger un grand nombre de rponses en peu de temps. Cette fonction ne peut tre remplie que par de bons QCM qui prsentent les trois caractristiques suivantes : la question est claire (ce qui facilite la comprhension) ; la rponse est brve (ce qui vite une formulation laborieuse) ; la correction est simple (ce qui vite au correcteur des prises de dcisions fastidieuses). Les examens constitus de QCM ont lavantage de pouvoir couvrir une grande tendue de la matire dtude. Linterrogation par un grand nombre de questions permet donc de recouvrir un grand nombre de points et par consquent permet une meilleure valuation des connaissances relles de lapprenant.

2.3.1.2 Les avantages qualitatifs des QCM Les QCM permettent aisment de mesurer des objectifs de connaissance (mmorisation), de comprhension (interprtation de donnes) et dapplication (solutions de problmes). Nous noublions pas les objectifs danalyse, de synthse et dvaluation (si nous considrons les grandes catgories dobjectifs de Bloom) mais des items mesurant de tels objectifs sont difficile construire. Lobjectivit de la correction des QCM. Comme les critres de correction sont dfinis lavance, les apprciations que pourraient introduire les correcteurs sont limines, ce qui augmente donc la fidlit de la correction. Elle permet lapprenant dobtenir, le cas chant, lui-mme les informations et donc de simpliquer dans sa propre formation. Les degrs de certitude dveloppent lauto-valuation et le sens des responsabilits. Ils sont indispensables pour empcher que lon puisse obtenir un score honorable en laissant au hasard le soin de choisir les rponses. Cela incite les apprenants

41

apprendre valuer leur propre comptence et aussi apprendre assumer les consquences des dcisions quils prennent.

2.3.2 Les limites des QCM

Il est difficile dvaluer travers un QCM des objectifs de comportements (exemple : mesurer lhabilet utiliser correctement un instrument par des questions choix multiple). Pas plus quil nest recommand de le faire travers des examens crits de toute autre nature que les QCM pour mesurer de tels objectifs. Il est impossible dvaluer, par exemple, la capacit de sexprimer dun apprenant ou sa crativit ou encore son habilet laborer une critique de recherche ou dune uvre littraire par de telles questions. Pour mesurer de tels objectifs il est prfrable de faire appel dautres moyens dvaluation. La prsentation de solutions errones aux apprenants. Nous pouvons craindre que des erreurs ne se fixent dans la mmoire des apprenants. Pour Skinner toute solution fausse, dans un test choix multiple, augmente la probabilit quun tudiant extraie un jour de sa mmoire dfaillante la rponse incorrecte au lieu de la rponse correcte (Leclercq, 1986). La contraction du champ cognitif. On pourrait craindre que les QCM contribuent simplifier la vision du monde des apprenants, la rduire un schma, et par consquent, uniformiser les individus. La conception de QCM demande un temps de prparation important. Il est dautant plus important dy consacrer du temps lorsquil sagit dvaluer les connaissances des apprenants. Il est trs difficile de trouver des rponses fausses et crdibles.

42

2.3.3 Intrts et limites pour les formateurs

Les QCM se rvlent tre un outil didactique de grande qualit, qui peut puissamment aider les formateurs dsireux de proposer leurs apprenants de vritables activits d'apprentissage concrtes. Lexamen sous forme de QCM est un moyen dobtenir et de corriger un grand nombre de rponses en peu de temps. En gagnant du temps sur ses corrections, le professeur devient davantage disponible pour d'autres tches plus valorisantes : il remplace un travail routinier et fastidieux (la correction de copies) par un travail beaucoup plus enrichissant (cration de nouvelles questions, analyse de rsultats ...) . Toutefois la conception de QCM demande un temps de prparation important. Il n'est pas rare que la mise au point d'une bonne QCM ncessite plus d'une heure de travail, pour la recherche de distracteurs intressants et la rdaction d'une formulation correcte (Swinnen, 2002). Limage que se font les apprenants du formateur peut tre amliore grce un systme de correction qui se veut objectif. Le professeur apparat davantage comme un guide ou un conseiller, face une matire de cours et surtout un systme d'valuation dont il n'est plus l'incarnation perverse (Swinnen, 2002). Llaboration des QCM permet au formateur de prendre du recul par rapport sa propre pratique et au contenu de formation quil dispense aux apprenants. Les QCM construites par le professeur lui-mme, ou au moins adaptes par lui en fonction de sa manire d'expliquer, de son vocabulaire propre, etc., sont un stimulant extraordinaire pour amliorer sa comprhension personnelle d'une matire de cours quelconque (Swinnen, 2002). Les questions cres le sont dfinitivement. La "banque" du formateur s'enrichit donc d'anne en anne, et l'intrt pratique de l'outil pdagogique ainsi labor ne cesse de s'accrotre. En outre, le fait pour diffrents formateurs/enseignants de partager une banque de QCM commune stimule l'mergence d'une vritable discussion pdagogique entre eux (concernant par exemple la validit des questions, la pertinence de tel ou tel distracteurs, la correction du langage, etc.).

43

Une des difficults qui se prsente au concepteur dun QCM est qu'il faut produire, outre les questions, une srie de solutions fausses mais suffisamment attirantes, dans un langage clair, ne laissant pas la place aux ambiguts ou aux interprtations multiples. Il faut donc que le formateur domine son sujet, soit capable de le prsenter de diffrentes manires, en connaisse les subtilits et les piges fond. Il lui faut galement apprendre s'exprimer de manire claire et concise. Les QCM imposent aussi au professeur de mieux dfinir ses objectifs, la nature trs ferme des QCM ne tolrant pas les imprcisions, les ides vagues ou trop gnrales (Swinnen, 2002).

La conception de QCM contraint le formateur fournir un effort de travail important, surtout ax sur la qualit. Cependant cest un travail dfinitif dans le sens ou toute question nouvellement cre est un acquis dont il pourra bnficier longtemps aprs.

2.3.4 Intrts et limites pour les apprenants

Les QCM peuvent se rvler trs efficaces en tant qu'outil d'apprentissage, au point que cela devrait idalement constituer leur fonction premire. Les QCM permettent de placer l'apprenant dans une situation d'apprentissage face une machine qui ragit ses rponses. Cette situation peut savrer tre efficace lorsquelle est matrise par ltudiant. Les QCM en ligne et ou informatiss offrent des avantages pdagogiques non ngligeables pour les apprenants : individualisation possible des rythmes, des moments et des lieux dapprentissages ; dveloppement de capacit induite chez lapprenant (autonomie, responsabilisation, auto-valuation, auto-organisation, appropriation des technologies offertes) ; immdiatet des rtroactions permettant l'apprenant de se tester l'instant mme o il achve l'tude d'une partie de la matire d'une formation ou tout autre moment lui convenant ; dans le cadre dune valuation formative et de travail de groupe les QCM peuvent stimuler la rflexion critique des apprenants. Leur forme ncessairement ferme, et donc limite, peut provoquer des confrontations passionnes d'interprtations diffrentes. 44

anonymat assurant la confidentialit de ses tests et vitant toute crainte de mauvais rsultats qui le discrditeraient et lui permettant de renouveler ses tests volont jusqu'au moment o ses rsultats s'amlioreront.

lutilisation des degrs de certitude peut apporter des avantages significatifs en leur offrant la possibilit dobtenir un score nettement suprieur leur comptence thorique, condition toutefois quils apprennent valuer correctement la validit de leurs rponses. Estimer correctement la validit de ses rponses. Il nous apparat que le systme de notation par degrs de certitude est l'un des rares stimuler efficacement l'auto-valuation. Estimer correctement la validit de ses rponses est en effet une ncessit absolue pour l'lve qui veut tirer un maximum de profit de ce mode de notation (Swinnen, 2002).

Les limites que nous pouvons formuler lgard des QCM dcoulent de la section prcdente puisque certains avantages ont leurs limites et certaines limites ont leurs avantages. Les QCM offrent peu de possibilits dinteractivit avec les autres acteurs (apprenants et formateurs). Il est difficile de favoriser le travail de groupe travers un QCM. Dans le cas dune situation dapprentissage les apprenants doivent faire face de nouvelles mthodes de travail (auto-formation). Le fait de sapproprier de nouvelles technologies (environnement de travail des exerciseurs / usages de nouveaux mdias) implique un temps dadaptation plus important. Les lves doivent tre entrans la rsolution de QCM, sans quoi les tests se rvleront de toute faon trs peu valides (surtout si les QCM sont accompagns de degr de certitude) il faut en effet un certain temps l'lve moyen pour comprendre vraiment ce que signifient les degrs de certitude, et notamment le retrait de points pour rponses fausses. Il faut donc le lui expliquer le mieux possible, et bien lui montrer qu'il n'a pas intrt compter sur la chance, surtout s'il assortit ses rponses de degrs de certitude forts : on a vite perdu le bnfice de quelques rares rponses correctes ! Il doit absolument comprendre qu'il est plus rentable d'valuer sa certitude, voire mme de ne pas rpondre, plutt que de rpondre au hasard (Swinnen, 2002).

45

ETUDE DE CAS : LA REALISATION DUN GUIDE METHODOLOGIQUE POUR LA CONSTRUCTION DE QCM

Les recherches et rflexions menes prcdemment, pendant la priode de stage de fvrier, mars et avril 2005, au sein du CNED EIFAD, nous ont permis de faire des choix et des propositions sur la mise en uvre concrte dun projet de formation. Dans ce chapitre nous trouverons les diffrentes tapes qui ont conduit la ralisation de ce projet.

3.1 La commande du CNED EIFAD

La mission propose tait de crer un module de formation en ligne prsentant lintrt pdagogique des QCM. Il devait tout particulirement sadresser un public de formateurs ayant dj une pratique de lenseignement et de la formation dune part et la volont de sinitier la conception dexercice en ligne dautre part. Lun des principaux objectifs tait que les formateurs puissent identifier, voire sapproprier, les diffrents enjeux pdagogiques lis lutilisation des QCM au moyen dune stratgie de formation sollicitant entre autre lautonomie des personnes.

A travers le module de formation, il fallait tout mettre en uvre pour que les formateurs puissent : apprhender les principales rgles de rdaction des QCM ; voir en quoi les QCM peuvent favoriser les apprentissages ; saisir quels types de contenus, objectifs peuvent tre mesurs travers les QCM ; percevoir les intrts et limites pdagogiques des QCM ; distinguer les enjeux lis la ralisation de QCM.

46

Enfin, pour raliser le module de formation, nous devions : reprer les diffrents outils logiciels disponibles en matire de ralisation de QCM (quelles fonctionnalits, quels cots, quels droits, etc.) ; proposer un guide, une dmarche qualit pour la ralisation de QCM intgrer ventuellement ergonomique) ; identifier, classer et synthtiser les ressources (rfrences utiles pour la formation) ; scnariser et structurer le contenu de formation. dans le module de formation (grille dvaluation, guide

3.2 Le travail ralis pendant la priode de stage

Un important travail de recherche, danalyse et synthse a t mis en uvre pour raliser ce module de formation. Pour illustrer ce travail, nous prendrons lexemple des rgles de rdaction des QCM qui, ne loublions pas, constitue un enjeu majeur dans llaboration dun QCM. Nous verrons ensuite comment ces contenus ont t structurs pour donner naissance aux rsultats obtenus.

3.2.1 Exemple : lanalyse des rgles de rdaction des QCM

Daprs Leclercq, la grande difficult concernant la conception des QCM rside dans la rdaction des items. Cest pourquoi nous avons dcid de consacrer toute notre attention sur cet aspect. A partir du document Liste des rgles pour rdiger des questions choix multiple de France Fontaine et dHuguette Bernard (voir annexe 1), prsentant les principales rgles de rdaction de QCM, nous avons essay de construire de toutes pices des exemples. Lobjectif vis tait de faire en sorte que les destinataires du produit puissent disposer, pour chacun des lments dune question choix multiple, de rgles accompagnes dexemples suivis dune analyse, de faon mieux construire les items et viter les principales erreurs lies leur rdaction.

47

3.2.1.1 Rgles pour rdiger un nonc dune question choix multiple a. Chaque question mesure un objectif important dapprentissage et porte sur des notions essentielles. Comme nous lavons mentionn prcdemment, avant de construire toute forme de questions, il est important de faire une liste des objectifs mesurer et de dterminer les contenus viss par cette valuation. Cest pourquoi la construction dun tableau de spcification nous semble importante.

Source de lillustration : Bernard et Fontaine, 1982

Il faut autant que possible viter de construire la dernire minute des questions qui ne porteraient pas sur les objectifs viss par la matire enseigne. Il faut galement viter de se laisser entraner la formulation de questions qui nont rien voir avec lenseignement dispens.

b. Lnonc prsente un seul problme solutionner. Lexemple qui suit prsente deux problmes solutionner. Il pose deux questions la fois. De plus les choix de rponses ne se rapportent qu une seule des deux questions.

48

Quels taient la nationalit et le pays dadoption dEugen Ionesco ? 1. Allemagne 2. Espagne 3. Roumanie 4. Portugal 5. France

Il est donc prfrable de construire deux items prsentant chacun un problme solutionner.

Quelle tait la nationalit dEugen Ionesco ? Quel tait le pays dadoption dEugen Ionesco ?

c. Lnonc utilise un langage simple et clair. Cette rgle, quoique simple et claire, est rarement respecte. Observons lexemple qui suit :

La diffrence entre une communication verbale et une communication non-verbale tient ce que dans cette dernire il ny a pas de valeur ajoute aux signes physiques. 1. Vrai 2. Faux

Il serait plus simple de poser directement la question suivante : Quelle diffrence existe-t-il entre une communication verbale et une communication non-verbale ?

d. La concision de lnonc. Lnonc sera compos de tous les mots essentiels sa comprhension. On remarquera partir de lexemple suivant que nous pouvons manquer cette rgle en omettant de prciser certaines informations.

49

Dans lexemple qui suit nous ne savons pas si on parle de lcrivain ou du cinaste. Do le manque de prcision. Lnonc ne contient pas tous les mots ncessaires sa comprhension.

Qui a fait The Shining ? 1. Stanley Kubrick 2. Peter Straub 3. Werner Herzog 4. Stephen King

Une meilleure formulation de la question pourrait tre par exemple :

Parmi les auteurs suivants, lequel a crit le roman The Shining ? 1. Stephen King 2. Peter Straub 3. Clive Barker 4. Sutter Cane

Parmi les cinastes suivants, lequel a ralis le film The Shining ? 1. Werner Herzog 2. Stanley Kubrick 3. David Lynch 4. Ken Loach

De faon gnrale, nous dirons que toute information requise la solution dun problme se retrouvera dans lnonc plutt que dans les choix de rponses.

e. Lnonc ninduit pas de jugement de valeur. Il est prfrable dviter les noncs de questions qui demandent lapprciation des apprenants. Observons lexemple suivant :

50

Lequel parmi les auteurs suivants est le meilleur : 1. Werber 2. Barjavel 3. Vian 4. Nothomb

Peut-on rpondre une telle question ? Il est prfrable de faire porter lattention de lapprenant sur des aspects objectifs, plutt que sur des aspects subjectifs.

f. La forme positive de lnonc. Lnonc est formul, autant que possible, la forme positive. La prsence de ngations complique le traitement que lapprenant doit oprer sur le texte.

La forme positive : Parmi les uvres suivantes, indiquez celle qui appartient Pablo Picasso ? Lnonc est clair simple et concis. Il pose un problme qui appelle une solution.

La forme ngative : Aucune des uvres suivantes nest de Pablo Picasso, sauf une. Indiquez laquelle ? Lnonc appelle la mme solution que prcdemment mais avec une formulation bien plus complique.

Parmi les uvres suivantes, laquelle nappartient pas Pablo Picasso ? Lnonc est ngatif. On attend de lapprenant quil reconnaisse luvre qui nappartient pas lauteur.

51

3.2.1.2 Rgles pour construire la bonne rponse dune question choix multiple a. La bonne rponse est incontestablement exacte et la seule parmi le choix de rponse. Elle nest pas plus longue que les autres choix de rponses, ni plus explicite, ni mieux construite (ce qui pourrait tre un indice de bonne rponse pour lapprenant).

En quelle anne est n Pablo Picasso ? 1. 1871 2. 1881 3. 1902 4. 1910

Tous les choix de rponses sont de la mme longueur et rpondent la mme question. Lapprenant doit savoir prcisment la bonne rponse. Aucun indice ne pourra la lui donner.

b. Lhomognit des choix de rponses. Les choix de rponses sont homognes dans leur contenu, leur forme et leur structure grammaticale. Cest sans doute une des rgles les plus difficiles respecter. Sil est ais de trouver la bonne rponse, il est par ailleurs difficile de choisir des leurres incontestablement faux mais plausibles.

Les choix de rponses sont homognes dans leur contenu

En 1907, Pablo Picasso peint : 1. Les Baigneuses 2. Les Demoiselles dAvignon 3. Olga Kokhlova la mantille 4. Portrait de femme au col vert

52

Dans cet exemple tous les choix de rponses sont des uvres de lauteur. Do lhomognit des choix de rponses.

Les choix de rponses sont homognes dans leur structure grammaticale

Dans les annes 1920, Pablo Picasso se rapproche du mouvement : 1. cubisme 2. surraliste 3. pointillisme 4. impressionnisme

Dans lexemple ci-dessus les choix 1, 3 et 4 ne saccordent pas grammaticalement avec lnonc.

Les choix de rponses sont homognes dans leur forme

En quoi le tableau de Pablo Picasso Les Demoiselles dAvignon marque-t-il une rupture avec lart traditionnel ? 1. Il irrite le grand public 2. Les grands peintres de lpoque sont exasprs 3. Il constitue une remise en question radicale de la peinture occidentale et de la tradition de la renaissance 4. Il marque le dbut dun art nouveau

La longueur de la bonne rponse dterminera la longueur des autres choix de rponses et non linverse. Si on ne peut rdiger plus succinctement la bonne rponse, il ne faut pas latrophier, sinon on pourrait lui enlever une partie de sa vracit.

53

c. Tous les distracteurs sont plausibles mais faux. Il est prfrable de mesurer certaines notions par dautres formes de questions plutt que dcrire des choix de rponses non plausibles et qui nont rien voir avec lnonc, uniquement pour avoir un nombre gal de choix de rponses dans tout lexamen.

En 1991, lcrivain Bernard Werber publie : 1. Lvangile 2. Les Fourmis 3. Les Thanatonautes 4. Les Visiteurs

Lapprenant qui a la moindre connaissance de lcrivain sait que les choix 2 et 3 sont des uvres de lauteur. Alors que les 1 et 4 sont superflus. Ils ne peuvent pas tre considrs comme des choix plausibles.

d. Eviter de rpter un mme mot dans les choix de rponses. Pour viter quun mot ne se rpte dans chacun des choix de rponses, on lintgre lnonc. Il est noter que, pour ces cas, le mode affirmatif est plus appropri que le mode interrogatif.

La molysmologie est la science des : 1. microbes 2. molcules 3. mollusques 4. pollutions Et non pas Quest-ce que la molysmologie ? 1. La science des microbes 2. La science des molcules 3. La science des mollusques 4. La science des pollutions 54

e. Eviter dutiliser les formulations toutes ces rponses et aucune de ces rponses , comme choix de rponses. Souvent, lorsquon est cours dides de rponses, on opte pour des solutions telles que toutes ces rponses ou aucune de ces rponses , comme dernier choix de rponses.

Des hommes tels que Bazille, Caillebote, Seurat, Tanguy ont partag une mme passion. Laquelle ? 1. Lautomobile 2. Le cinma 3. Laviation 4. Aucune de ces rponses

Si la rponse est aucune des ces rponses , comme cest le cas ici, on pourra dire que lapprenant reconnat que la bonne rponse ne figure pas parmi les choix de rponses, mais pourra-t-on affirmer quil connat la bonne rponse ?

f. La place alatoire de la bonne rponse. La bonne rponse, tout au long du test, varie de place de faon alatoire. Lorsquil sagit de noms dauteurs, de villes, etc. il est prfrable de placer les choix de rponse par ordre alphabtique.

Parmi les auteurs suivants, lequel a crit le roman The Shining ? 1. Clive Barker 2. Sutter Cane 3. Stephen King 4. Peter Straub

3.2.2 Scnarisation des contenus

Les contenus ainsi rpertoris pour les diffrents chapitres du module de formation ont t structurs et scnariss en essayant de faire varier le plus possible les modalits pdagogiques. Ces contenus ont t mis en forme laide du logiciel de conception multimdia Mediator

55

Pro . De faon dynamiser la lecture et lappropriation des contenus, ces derniers ont t prsents sous la forme de : cours transmissif, en essayant dintroduire des questions (accessibles partir dun clic ou survol de souris) la fin ou au dbut de chaque point cl (nous voulions montrer la plus-value du questionnement sur la squence pdagogique en ligne) ; activits dductives, en donnant des rgles, en montrant des exemples, en faisant faire des exercices, des activits de types QCM ; activits inductives, en accompagnant le formateur vers la dcouverte d'une interprtation, d'une loi ou d'une rgle.

3.2.3 Rsultats obtenus

Ce qui a t ralis pendant la priode de stage ressemble plus un guide au bon usage des QCM qu un rel module de formation directement utilisable par les formateurs, en ligne et distance. A ce stade de dveloppement, le produit tait donc plutt destin tre un outil de communication sur le futur produit de formation qu tre un rel outil de formation, mme sil recouvrait les principaux objectifs dfinis en dbut de stage. Ci-dessous des captures dcran pour illustrer le travail ralis laide de Mediator.

56

Pour devenir un vritable module de formation utilisable en ligne et distance, le produit devait subir quelques dveloppements techniques et pdagogiques supplmentaires. Mais avant toute chose, le produit devait tre expriment pour juger de sa validit ergonomique et pdagogique.

57

3.3 La mise en place dune enqute aprs la priode de stage

3.3.1 Les objectifs poursuivis

Afin de faire voluer le produit vers un vritable outil de formation, nous avons mis en place un test dans le but de lvaluer la fois au niveau ergonomique et pdagogique. Lobjectif tait double, recueillir des informations (donnes de types subjectives, relatives aux attitudes, aux opinions des utilisateurs et leur satisfaction) auprs de personnes susceptibles dtre des usagers du produit afin de faire ressortir les points positifs et ngatifs dune part, en faire lanalyse et dgager quelques prconisations dautre part.

3.3.2 La dmarche adopte

Aprs avoir observ quelques recommandations en matire de tests utilisateurs nous avons dcid de dcouper notre enqute en plusieurs tapes. Observons ci-dessous les plus importantes dentres elles.

Pralable au droulement de lenqute. Prise de contact avec les utilisateurs de faon fixer des rendez-vous. Compte tenu des disponibilits des personnes travaillant au CNED EIFAD et du fait que mon stage au sein de la structure tait termin, nous avons jug bon de retenir un minimum de cinq personnes, susceptibles dtre des usagers du produit, nayant pas particip son laboration, ce qui allait permettre dorienter lenqute vers une dimension plus raliste. Ainsi, ces personnes allaient dceler plus facilement les erreurs et les ambiguts qui auraient pu chapper notre attention. Notons que Nielsen et Landauer proposaient en 1993 que cinq utilisateurs permettaient de cerner 80 % des problmes principaux dutilisabilit, souvent les plus importants et les plus reprsentatifs.

58

Droulement de lenqute. Premire tape : description de la marche suivre pour le droulement de lenqute. Avant de commencer lenqute avec lutilisateur il fallait : rappeler brivement les objectifs du stage et la nature du travail ralis ; prsenter la nature et les caractristiques du produit et demander lutilisateur sil avait dj entendu parler du produit ; expliquer la finalit du test, ses objectifs, ses diffrentes tapes et sa dure ; prciser quil sagissait dvaluer le produit et non pas les comptences de lutilisateur ; inciter lutilisateur penser voix haute et verbaliser ses impressions, commentaires, envies, etc., loccasion de la deuxime tape ; relever lidentit et la fonction de lutilisateur ; noter les caractristiques techniques de lenvironnement de travail de lutilisateur. Deuxime tape : observation orale, dcouper en deux phases de type entretien, simulant une situation dusage, dune dure denviron une heure. Pendant cette tape il fallait veiller garder une certaine distance de faon ne pas modifier le comportement de lutilisateur par des paroles ou des gestes. De plus, les rponses aux questions poses par lutilisateur, si le cas se prsentait, ne devaient pas tre orientes vers la rponse que lon attendait ou voulait observer. Enfin concernant les moyens dobservations, les donnes allaient tre recueillies la fois sur support magntique pour loral et la fois sur support papier pour les observations de types comportementales. Premire phase : parcours libre dune dure de 45 minutes pour valuer la validit ergonomique du produit. Deuxime phase : parcours impos dune dure de trente minutes o lutilisateur devait choisir une rubrique pour juger de sa qualit pdagogique.

59

Troisime tape : questionnaire crit, permettant de balayer les principaux critres ergonomiques et pdagogiques relatifs au produit. Pour cela, il fallait mettre en place un questionnaire compos de suffisamment ditems, concernant les critres ergonomiques et pdagogiques, de faon soulever certains aspects qui navaient pas t abords lors de ltape prcdente ou bien au contraire venir entriner ce qui avait t exprim loral. Concrtement les utilisateurs taient invits rpondre toutes les questions et ou affirmations poses et indiquer pour chacune dentres elles sur une chelle de valeur, sils taient en accord ou en dsaccord. Pour cette tape aucune intervention de notre part ntait ncessaire, toutefois notre prsence tait requise si une question soulevait une ambigit. Enfin lutilisateur ne devait pas y consacrer plus de 45 minutes.

Aprs lenqute Analyse et bilan de lenqute. Des comptes rendus, faisant tat des points positifs, des points ngatifs et des amliorations apporter, taient tablis aprs chaque entretien afin dviter tout risque doubli. Les donnes issues des enregistrements audio et des questionnaires crits ont t traites ultrieurement.

3.3.3 Llaboration du questionnaire

La construction du questionnaire sest inspire dun certain nombre de ressources accessibles en ligne et rfrences bibliographiques, partir desquelles nous avons fait ressortir les points prendre en considration pour le questionnaire, puis nous avons retravaill et adapt le document obtenu aux spcificits du produit.

Pour citer quelques unes des ressources utilises, nous avons tenu compte des critres noncs par Bastien et Scapin (1993) dans Critres ergonomiques pour lvaluation dinterfaces utilisateurs pour construire une grille qui prsente lintrt dtre utiliss en conception comme en valuation et qui s'appliquent aussi bien dans le domaine du web que du logiciel. Il nous restait plus qu les interprter pour les adapter notre environnement. Nous nous sommes galement largement bass sur la Grille dvaluation dune interface WEB de Milon (2001) qui prcise que tout ou partie de cette grille peut tre utilise des fins d'valuation mais aussi de conception d'interfaces.

60

Le questionnaire labor comporte 49 questions, portant sur trois grands axes (voir annexe 2).

a. Lobservation des critres ergonomiques value certains aspects lis au fonctionnement, lutilit et lutilisabilit du produit tels que :

la lisibilit qui correspond au fait que les informations prsentes l'utilisateur doivent tre comprhensibles. Elles doivent donc tre adaptes l'utilisateur et tre facilement perues en optimisant la taille des polices, leur format, l'espacement entre les lignes, entre les lettres, les contrastes fond / caractre etc. Pour dire autrement les informations affiches dans la page doivent tre claires, bien organises, non ambiges, faciles lire, aisment reprables et utiles la tche ou laction.

la

cohrence qui nous suggre que les choix fait pour les lments de

linterface doivent tre respects dans la totalit de lapplication. Ce critre touche la fois aux diffrents lments visuels, leur appellation, aux diffrentes procdures, etc. Il est donc fondamental de regrouper les lments qui vont ensemble et de sparer ceux qui ne vont pas ensemble. Le critre de cohrence est un critre qui recouvre la totalit de linterface, cest donc sintresser tous les aspects de cette interface, savoir du global au particulier.

le retour dinformation concerne toutes les rponses du produit. Une rponse claire et informative doit tre fournie lutilisateur en indiquant o il se trouve dans le produit, quelles actions il a effectuer, si ces actions ont abouti et quelles actions doivent tre ralises ensuite. Lutilisateur doit donc toujours tre inform des consquences de ses actions.

61

b. Lobservation des critres pdagogiques examine les diffrentes facettes de la dimension pdagogique porte par le produit. Les aspects valus peuvent parfois paratre techniques, mais ils ont des consquences pdagogiques dont il faut tenir compte.

c. Lapprciation gnrale du produit laisse lutilisateur la libert de donner son point de vue sur la facilit dutilisation du produit par le biais de questions ouvertes, tout en apprciant les meilleurs et les plus mauvais aspects du produit.

3.3.4 Lanalyse des rsultats

3.3.4.1 Le traitement des donnes Cinq personnes, ayant le statut de chef de projet au sein du CNED EIFAD, ont particip favorablement au droulement de lenqute. Tous les entretiens ont t raliss dans les mmes conditions matrielles et techniques. Les utilisateurs disposaient tous du mme environnement informatique (caractristiques de lordinateur identiques) et des mmes comptences dans le domaine de la formation et des TIC. Par ailleurs, bien que les utilisateurs connaissaient lobjet de ma mission au sein de la structure ils navaient aucune ide de la nature du produit.

Les rponses obtenues laide du questionnaire ont toutes t saisies dans un logiciel de traitement denqutes et danalyse de donnes alors que les observations orales ont fait lobjet de comptes rendus crits. Les observations orales, issues des enregistrements audio et des prises de notes sur papier, sont venues complter lanalyse du questionnaire.

3.3.4.2 La synthse des rsultats Pour rendre compte des rsultats nous avons repris la structure du questionnaire. La synthse tient la fois compte dune analyse logicielle du questionnaire et des apprciations des utilisateurs issues des observations orales.

62

Lanalyse des critres ergonomiques

a. La lisibilit Au regard du tableau ci-dessus les utilisateurs semblent tre plutt satisfaits de la lisibilit du produit.
Lisibilit Jamais Informations lisibles Page identifie par un titre Forme du lien explicite Informations mises en vidence Structure facilite la lisibilit Dessins, schmas, etc. lisibles Icnes comprhensibles Total 0 0 0 0 0 0 0 0 Parfois non 1 1 3 0 1 2 0 8 La plupart du temps 3 2 1 3 2 3 4 18 Toujours 1 2 1 2 2 0 1 9 Total 5 5 5 5 5 5 5 35

Cependant les observations orales viennent relativiser cette tendance. En effet, la majorit des utilisateurs taient daccord pour dire que : les couleurs ntaient pas assez contrastes ; certains mots souligns ntaient pas cliquables alors quils avaient les mmes caractristiques que les liens ; certains icnes ntaient pas comprhensibles (souvent mal interprts).

b. La cohrence Lanalyse des graphiques ci-dessous montre que les utilisateurs ont apprci la cohrence et lharmonie du produit. Encore une fois grce aux enregistrements nous avons pu dceler quelques exceptions au niveau de la mise en forme de certains titres.
Y a t il une hom ognit et une cohrence ? La plupart du temps Toujours Parfois non 0,0% Jamais 0,0% 40,0% 60,0%

63

Les diffrentes couleurs sont-elles utilises de m anire cohrente ? Toujours La plupart du temps Parfois non 0,0% Jamais 0,0% 40,0% 60,0%

Les icnes, reprsentations graphiques et autres inform ations picturales sont-elles utilises de m anire uniform e ? Toujours La plupart du temps Parfois non 0,0% Jamais 0,0% Les m m es types d'inform ations (m enus, titres, boutons, etc.) sont-ils affichs au m m e endroit de la page et avec la m m e prsentation ? La plupart du temps Toujours Parfois non 0,0% Jamais 0,0% 40,0% 60,0% 40,0% 60,0%

c. Le retour dinformation Au regard des deux premiers graphiques ci-dessous les utilisateurs semblent tre plutt satisfaits. Dans lensemble le produit a plutt t jug comme simple et concis.
Les instructions et consignes affiches dans le produit sont-elles concises ? La plupart du temps Toujours Parfois non 0,0% Jamais 0,0%
Les fonctions du m enu sont-elles pertinentes (retour la page prcdente, som m aire, accueil, etc. ? La plupart du temps Toujours Parfois non 0,0% Jamais 0,0% 40,0% 60,0%

60,0% 40,0%

Cependant cest en analysant les deux items suivants que se sont rvles les plus grosses erreurs du produit au niveau ergonomique.

64

Les changem ents de situation se produisant dans la page (clic, survol avec la souris, etc.) apparaissent-ils clairem ent ? La plupart du temps Toujours Parfois non Jamais 0,0% 20,0% 20,0% 60,0%

Certaines actions au chargement de la page, notamment dans le chapitre apprentissage par les questions, sont venues, plusieurs reprises, perturber les utilisateurs dans leur progression du produit. A cet endroit prcis laffichage dun lien napparaissait pas assez clairement. Par ailleurs certaines pages (quelques exceptions dans le produit) disposant dune barre de dfilement vertical nont pas t visualises dans leur totalit.
La traabilit des liens dj visualiss est-elle explicite (couleur diffrente et reprable des liens non visualiss) ? Jamais La plupart du temps 0,0% Parfois non 0,0% Toujours 0,0% 100,0%

Cest principalement le systme de navigation qui a laiss les utilisateurs le plus perplexes. Ils reconnaissent tous avoir rencontr des difficults du fait que les liens dj visits ne changeaient pas de couleur. La consquence directe tait que les utilisateurs avaient souvent le sentiment dtre perdus sils nutilisaient pas le produit de faon linaire.

Lanalyse des critres pdagogiques

a. La prsentation des objectifs pdagogiques

Le produit prsente t-il clairem ent les objectifs pdagogiques ? Totalement Peu Pas du tout Beaucoup Total 2 2 0 1 40,0% 40,0% 0,0% 20,0%

Ce produit m riterait-il de fournir plus d'explications en introduction ? Totalement Peu Pas du tout Beaucoup Total 1 2 1 1 20,0% 40,0% 20,0% 20,0%

L'apprenant com prend t-il ce quoi fait rfrence chaque chapitre ? Beaucoup Totalement Pas du tout Peu Total 4 1 0 0 80,0% 20,0% 0,0% 0,0%

5 100,0%

5 100,0%

5 100,0%

65

Les objectifs viss travers le produit semblent tre assez clairs au regard des utilisateurs. Toutefois la description des objectifs pdagogiques ainsi que le public vis par le produit ne savrent pas tre assez suffisants, notamment en introduction. Les utilisateurs ont rencontr quelques difficults lorsquils ont d apprcier litem Le produit tient-il compte du niveau dapprentissage des apprenants compte tenu du fait quils avaient galement peu dinformation sur le public vis par la formation.

b. La qualit des textes

Les textes (style de rdaction) sont adapts aux publics ? Beaucoup Peu Pas du tout Totalement Total 4 1 0 0 80,0% 20,0% 0,0% 0,0%

Les textes (qualit du contenu) sont-ils bien com prhensibles ? Beaucoup Totalement Pas du tout Peu Total 4 1 0 0 80,0% 20,0% 0,0% 0,0%

Les rtroactions proposes dans les QCM sont-elles com prhensibles ? Beaucoup Totalement Peu Pas du tout Total 2 2 1 0 40,0% 40,0% 20,0% 0,0%

5 100,0%

5 100,0%

5 100,0%

Les utilisateurs ont jug favorablement ces items, mais encore une fois les remarques faites loral sont venues relativiser ce jugement. La pertinence du premier item a t remise en question compte tenu du fait quon avait trs peu dinformation sur le public vis. Les fautes dorthographe et loccasion le style de rdaction ont suscit de vives ractions.

c. Linteraction du produit

Com m ent qualifieriez-vous l'interaction apprenant produit ? Bonne Excellente Mauvaise Passable Total 4 1 0 0 80,0% 20,0% 0,0% 0,0%

Les rtroactions proposes dans les QCM sont-elles pertinentes ? Totalement Beaucoup Pas du tout Peu Total 3 2 0 0 60,0% 40,0% 0,0% 0,0%

La faon d'interagir avec le produit favorise t-elle les apprentissages ? Beaucoup Peu Totalement Pas du tout Total 3 1 1 0 60,0% 20,0% 20,0% 0,0%

5 100,0%

5 100,0%

5 100,0%

66

Linteraction du produit a t juge satisfaisante par lensemble des utilisateurs mme si certains petits bugs subsistent. Au regard du tableau ci-dessus, les rtroactions paraissent tre bien adaptes au contexte. Le dernier item a soulev quelques hsitations. En effet les utilisateurs ne pouvaient faire que des hypothses sur lefficacit relle du produit en termes dapprentissage.

d. La stratgie pdagogique

La stratgie pdagogique (cours, exem ples, activits) favorise t-elle l'atteinte des objectifs viss ? Beaucoup Totalement Pas du tout Peu Total 3 2 0 0 60,0% 40,0% 0,0% 0,0%

Le produit perm et-il d'atteindre les objectifs viss par les cours et les activits ? Beaucoup Totalement Pas du tout Peu Total 3 2 0 0 60,0% 40,0% 0,0% 0,0%

5 100,0%

5 100,0%

La bonne apprciation de ces items relve du fait davoir vari les modalits pdagogiques. En effet, lors de la conception du produit, une attention toute particulire a t retenue de faon capter lattention et dynamiser la lecture de lutilisateur.

e. Limpact sur les apprentissages

Le produit perm et-il d'atteindre les objectifs d'apprentissage m ieux que pourraient le faire d'autres m dias (ex. : m anuel, vido, film , cahier d'exercices) ? Peu Totalement Beaucoup Pas du tout Total 2 2 1 0 40,0% 40,0% 20,0% 0,0%

Pensez vous que ce type de form ation est efficace en term e d'apprentissage ? Totalement Beaucoup Pas du tout Peu Total 3 2 0 0 60,0% 40,0% 0,0% 0,0%

Pensez vous avoir appris ? Beaucoup Totalement Pas du tout Peu Total 2 2 1 0 40,0% 40,0% 20,0% 0,0%

5 100,0%

5 100,0%

5 100,0%

Les trois derniers items ne se sont pas rvls tre trs pertinents et par consquent difficiles valuer. Pour juger du premier item deux observations auraient t 67

ncessaires : une utilisant ce format, une autre utilisant un format diffrent. Pour le deuxime item, il savrait galement difficile de mesurer lefficacit du contenu en termes dapprentissage. En ce qui concerne le dernier item, tout dpendait de ce que lutilisateur connaissait dj sur le sujet.

3.3.4.3 Le bilan des rsultats Dune manire gnrale, nous pouvons affirmer que les utilisateurs sont satisfaits du produit. Cependant nous ne pouvons pas nous contenter dune telle observation. Essayons de voir quels sont les aspects ngatifs et positifs du produit.

a. Les aspects positifs

Dune manire gnrale les utilisateurs ont apprci lide, le concept du produit. Ils ont estim que lergonomie de linterface tait propre, simple et concise. A ce propos ils ont aim la prsentation harmonieuse des contenus.

Au niveau pdagogique, les utilisateurs ont port une attention toute particulire aux dfinitions donnes, aux exemples et contre exemples prsents.

b. Les aspects ngatifs

De toute vidence les utilisateurs reconnaissent avoir rencontr, sauf exception, de grandes difficults dans le systme de navigation du produit. Lapprciation des items Comment qualifieriez-vous le reprage et la navigation dans le produit ? Savez-vous tout moment o vous vous trouvez (do venez-vous ? o allez-vous ?) et Pouvezvous trouver rapidement ce que vous recherchez ? semblent tre assez rvlatrice de ce problme.

En termes de lisibilit, les utilisateurs ont estim que les couleurs du produit ntaient pas assez contrastes en jugeant linterface de tristounette .

68

Les utilisateurs ont galement dit du produit quil demandait une concentration maximale du fait de la densit des contenus certains endroits. Une attention toute particulire a t porte sur la qualit des textes et plus prcisment sur le style employ et lorthographe. Un utilisateur a galement mis en doute laspect pdagogique des contenus en critiquant la philosophie ducative du produit.

3.3.4.4 Les prconisations Pour tablir ces prconisations nous nous sommes la fois appuys sur lanalyse des prcdents rsultats et sur la dernire partie du questionnaire o des questions taient poses de faon ce que les utilisateurs prennent en considration la question de lamlioration du produit.

Les propositions damlioration dcrites ci-dessous portent la fois sur les aspects ergonomiques et pdagogiques du produit

a. Les amliorations prvoir au niveau ergonomique

Afin de rsoudre les problmes occasionns par le systme de navigation, des repres facilitant lexploration du produit devraient tre mis en place. Tout dabord, la proposition de gnrer un index et ou un plan du produit a fait lunanimit auprs des utilisateurs. Une aborescence prenant par exemple la forme dune frame sur le ct et jouant ainsi le rle de fil de navigation devrait permettre aux utilisateurs de savoir tout moment o ils se trouvent. Cette aborescence devrait faciliter lidentification de chaque chapitre et les diffrents niveaux de lecture lintrieur mme du chapitre. Enfin de faon pallier toute perte dorientation dans le produit, les liens visits devraient prendre une forme plus explicite et donc par consquent tre reprables sans effort par lutilisateur.

En vue doffrir un meilleur confort visuel aux utilisateurs certains aspects du produit devraient tre amliors. Les couleurs utilises, issues de la charte graphique du CNED EIFAD, devraient tre plus contrastes. Les utilisateurs ont galement souhait

69

que le produit sadapte la rsolution de lcran pour ne pas avoir de pollution en arrire plan.

Enfin quelques icnes devraient tre changs afin de ne pas soulever dambigits chez certains utilisateurs. Un effort devrait tre port sur les illustrations (dessins, schmas, images) de faon gayer un peu le produit.

b. Les amliorations prvoir au niveau pdagogique

Une attention toute particulire devrait tre porte sur la prsentation du produit en apportant plus dinformations sur les objectifs pdagogiques poursuivis et sur le public vis par le produit.

Dautre part certains aspects du produit devraient tre dcoups en plusieurs petits grains de faon soulager lattention que doit porter lutilisateur sur le contenu de formation. Les points essentiels de la formation devraient tre rappels en fin de parcours par exemple sous forme de tableau ou de fiches synthtiques.

Il faudrait pouvoir mettre en place un module de suivi de cours de faon ce que lutilisateur puisse grer son temps de travail (tat davancement, pourcentage, planning) et aussi de faon ce que le tuteur/administrateur puisse avoir un regard sur la progression de lutilisateur et intervenir si ncessaire. Pour rpondre ce type de besoin, un module dj existant dune plateforme LMS pourrait tre adapt ou bien dvelopp (programmation). Dans cette optique il faudrait prvoir lintgration des contenus dans une plateforme LMS dj utilise par le CNED EIAD.

Enfin une double relecture devrait simposer, tant au niveau de lorthographe et du style employ que de la qualit pdagogique des contenus. Pour rpondre au dernier aspect, le CNED EIFAD devrait faire appel un expert en science de lducation pour juger de la validit pdagogique des contenus de formation et si ncessaire retravailler certains aspects pdagogiques.

70

Ces amliorations devraient simplifier lutilisation du produit et optimiser par consquent son rendement. Pour pallier certains aspects techniques lis aux amliorations envisages et contraintes de publication (mises en ligne du produit), le produit devrait tre converti au format HTML. Afin dintgrer les amliorations, une premire maquette au format HTML, devrait tre propose au CNED EIFAD en septembre 2005 pour que le produit puisse tre par la suite mis en ligne sur une de leur plate-forme de formation distance.

71

CONCLUSION

Les QCM constituent un outil pdagogique extrmement riche, jusqu'ici mal connu et assez peu employ par les formateurs / professeurs. La mconnaissance des QCM est en effet l'origine de nombreuses critiques mises leur encontre. La plupart d'entre elles ne sont pas fondes. Elles consistent souvent faire des procs d'intention aux utilisateurs de cet outil, les accusant de vouloir en faire une panace universelle.

Cest pourquoi, dans notre introduction, nous nous sommes pos un certain nombre de questions. A travers cette tude, et afin de rpondre au plus prs de la commande du CNED EIFAD, nous avons tent dy rpondre aussi prcisement que possible. Comme nous avons pu le constater les fonctions des QCM sont importantes. Les QCM sont particulirement bien adapts, autant l'apprentissage, notamment assist par ordinateur, qu' l'valuation de connaissances acquises.

Utiliss dans des exercices d'apprentissage, les QCM permettent d'aborder la matire d'un cours d'une manire active, et cette occasion ils peuvent avoir un effet trs stimulant sur la motivation des apprenants.

Utiliss comme outil d'valuation, avec des degrs de certitude, ils font preuves de qualits particulires que n'offrent gnralement pas les autres techniques interrogatives couramment employes par les professeurs / formateurs.

Ils peuvent galement tre facilement incorpors dans des logiciels exerciseurs, lesquels seront utiliss comme outils de rvision ou de remdiation, par les apprenants qui disposent dj d'un ordinateur personnel (ou peuvent avoir accs un tel appareil). Cette technique se rvle particulirement efficace s'il est fait usage de QCM avec correction commente (feedback).

72

Cependant il ne faut pas oublier que la prparation et la rdaction de QCM est une lourde tche car non seulement il faut prparer les rponses correctes, mais il faut aussi, et c'est tout l'intrt, prvoir les commentaires en cas de rponses fausses.

Nous considrons donc, travers le guide que nous avons pu mettre en place, que les QCM sont un bon outil didactique, mais qui a tout de mme ses limites. Ils ne peuvent donc que venir complter la batterie doutils pdagogique dont disposent dj les formateurs / professeurs, et ne peuvent pas remplacer ce qui a dj fait ses preuves.

Enfin comme cette tude a pu le rvler, notament travers la mise en place du test ergonomique et pdagogique, il reste un certain nombre damliorations apporter pour que le produit devienne un rel module de formation accessible distance. Dautant plus que cest au niveau pdgogique que le test sest rvl tre le moins efficace notamment sur la question de la plus-value des QCM sur les apprentissages.

Cest pourquoi un expert en science de lducation devra juger de sa validit et qualit pdagogique. Il aurait par ailleurs t intressant de mettre en place une exprimentation afin de vrifier le postulat selon lequel les QCM peuvent dans une certaine mesure favoriser les apprentissages. Cette exprimentation aurait ncessit la constitution de deux groupes tests afin dobserver deux situations dapprentissage bien distinctes : lune utilisant les QCM, lautre utilisant une autre mthode pdagogique. Les rsultats obtenus et lanalyse ainsi ralise auraient permis de les confronter au point de vue thorique tel que nous lavons abord dans cette tude.

73

BIBILOGRAPHIE ET WEBOGRAPHIE

5.1 Bibliographie
BERNARD Huguette, FONTAINE France (1982) Les questions choix multiples : guide pratique pour la rdaction, lanalyse et la correction Montral : service pdagogique de luniversit de Montral.

BARLOW Michel (1996) Formuler et valuer ses objectifs en formation Bruxelles : ditions Labor.

DE LANDSHEERE C. (1971) Evaluation continue et examens - Prcis de docimologie, Bruxelles : ditions Labor Paris : ditions Nathan

DEMAIZIERE Franoise, DUBUISSON Colette, BLANVILLAIN Odile (1992). De l'EAO aux NTF - Utiliser l'ordinateur pour la formation. Paris : ditions Ophrys.

HADJI Charles (1990). Lvaluation rgles du jeu : des intentions aux outils. Paris : ESF, (col. Pdagogies).

LECLERCQ Dieudonn (1986). La conception des questions choix multiple. Bruxelles : ditions Labor.

74

MORISSETTE Dominique (1996) Guide pratique de lvaluation sommative. Gestion des preuves et des examens. Montral : ditions du renouveau pdagogique

NAYMARK Jacques (1999), Guide du multimdia en formation, bilan critique et prospectif, Paris : Editions Retz

NOIZET G. et CAVERINI J.P. (1978) Psychologie de l'valuation scolaire, Paris : ditions P.U.F.

PIERON H. (1963) Examens et docimologie, Paris : ditions P.U.F.

SCALLON Grard (2000). Lvaluation formative. Montral : ditions du renouveau pdagogique

5.2 Webographie
DUCHIRON, Emmanuelle. Les TIC dans lenseignement / apprentissage des langues : Atouts, limites & exploitations potentielles du choix fourni [en ligne] . Juin 2003. Disponible sur : http://www.sigu7.jussieu.fr/AEM/doc_pdf/memo_dea_ed.pdf

75

ERGOLAB, ressources ergonomie web et logiciel. Feedback et rapport homme-ordinateur [en ligne] . Novembre 2003. Disponible sur : http://www.ergolab.net/articles/imp_feedback.html

ERGOLAB, ressources ergonomie web et logiciel. Recette de test utilisateur - Partie 1 [en ligne] . Janvier 2004. Disponible sur : http://www.ergolab.net/articles/test-utilisateur-ergonomie-1.html

ERGOLAB, ressources ergonomie web et logiciel. Recette de test utilisateur - Partie 2 [en ligne] . Janvier 2004. Disponible sur : http://www.ergolab.net/articles/test-utilisateur-ergonomie-2.html

ERGOLAB, ressources ergonomie web et logiciel. Restituer les rsultats dune tude dergonomie [en ligne] . Octobre 2004. Disponible sur : http://www.ergolab.net/articles/imp_restituer-etude-ergonomie.html

ERGOLAB, ressources ergonomie web et logiciel. Les critres ergonomiques de Bastien & Scapin - Partie 1 [en ligne] . Dcembre 2003. Disponible sur : http://www.ergolab.net/articles/criteres-ergonomiques-1.html

ERGOLAB, ressources ergonomie web et logiciel. Les critres ergonomiques de Bastien & Scapin - Partie 2 [en ligne] . Dcembre 2003. Disponible sur : http://www.ergolab.net/articles/criteres-ergonomiques-2.html

LEGRAIN, Herv. Guide mthodologique pour laide la construction de questionnaires dvaluation des connaissances professionnelles [en ligne] . Aot 2004. Disponible sur : http://www.inoip.afpa.fr/QCM.pdf

76

LEMERCIER Cline, TRICOT Andr. Quels apprentissages sont-ils possibles avec des exerciseurs multimdia en classe [en ligne] . 2002. Disponible sur : http://archive-edutice.ccsd.cnrs.fr/docs/00/00/16/38/PDF/EXTricot.pdf

MILON, Marit. Grille dvaluation dune interface web [en ligne] . Aot 2001. Disponible sur : http://smyrne.int-evry.fr/dsi/enseignement/ergo/grille_web.pdf

SEYVE Daniel, GREPILLOUX Jrmie. Les dossiers thmatiques de GRECO : TICE et QCM [en ligne] . Janvier 2004. Disponible sur : http://askonce.grenet.fr/webgreco/documents/dossier_greco_qcm.pdf

SWINNEN, Grard. Didakit, lassistant didactique [en ligne] . 2002. Disponible sur : http://www.ulg.ac.be/cifen/inforef/swi/download/didakit.pdf

THALHEIMER, Will. Les avantages de lapprentissage par les questions [en ligne] . Janvier 2003. Disponible sur : http://www.questionmark.com/fra/whitepapers/index.htm

THERER, Jean. Evaluer pour voluer Elments de docimologie [en ligne] . 1999. Disponible sur : http://www.ulg.ac.be/lem/documents/THERER1999EVALUER.pdf

TRIBOLLET, Bernard. Rle de l'interactivit dans les simulations et l'apprentissage [en ligne] . Fvrier 2002. Disponible sur : http://web.lyon.iufm.fr/formation/tribollet/pages/tice/interactivite.html

77

ANNEXES

6.1 Liste des rgles pour rdiger des questions choix multiple

78

6.2 Questionnaire

QUESTIONNAIRE CNED-EIFAD

Date de lenqute :

Nom : Prnom : Fonction :

N.B : pour rpondre au questionnaire entourez la proposition qui vous semble la plus approprie.

Critres ergonomiques

1/ Lisibilit

Les informations prsentes sont-elles lisibles (taille, couleur, type de police) ? Jamais Parfois La plupart du temps Toujours

Chaque page est-elle clairement identifie par un titre ? Jamais Parfois La plupart du temps Toujours

Les liens sont-ils clairement identifis par une forme explicite ? Jamais Parfois La plupart du temps Toujours

Les informations importantes sont elles mises en vidence sur la page ? Jamais Parfois La plupart du temps Toujours 79

Les pages du produit sont-elles structures de manire faciliter la lisibilit ? Jamais Parfois La plupart du temps Toujours

Les schmas, dessins et autres affichages sous forme dimages sont-ils correctement annots (image + texte) et lisibles ? Jamais Parfois La plupart du temps Toujours

Les icnes et reprsentations graphiques sont-elles faciles reconnatre ou comprendre ? Jamais Parfois La plupart du temps Toujours

2/ Cohrence

Y a t il une homognit et une cohrence ? Jamais Parfois La plupart du temps Toujours

Les diffrentes couleurs sont-elles utilises de manire cohrente ? Jamais Parfois La plupart du temps Toujours

Les icnes, reprsentations graphiques et autres informations picturales sont-elles utilises de manire uniforme (mme forme mme taille mme emplacement) ? Jamais Parfois La plupart du temps Toujours

Les mmes types dinformations (menus, titres, boutons, etc.) sont-ils affichs au mme endroit de la page et avec la mme prsentation ? Jamais Parfois La plupart du temps Toujours

80

3/ Retour dinformation Les instructions et consignes affiches dans le produit sont-elles concises ? Jamais Parfois La plupart du temps Toujours

Les fonctions du menu sont-elles pertinentes (retour la page prcdente, sommaire, accueil, etc.) ? Jamais Parfois La plupart du temps Toujours

Les changements de situation se produisant dans la page (clic, survol avec la souris, etc.) apparaissent-ils clairement ? Jamais Parfois La plupart du temps Toujours

La traabilit des liens dj visualiss est-elle explicite (couleur diffrente et reprable des liens non visualiss) ? Jamais Parfois La plupart du temps Toujours

4/ Pour aller plus loin

Comment qualifieriez-vous lutilisation du produit (utilisation des menus, structure de linformation). Quelle apprciation gnrale se dgage de votre utilisation du produit ?

Comment qualifieriez-vous lespace de travail lcran ? Lorganisation du contenu vous parat-elle logique ?

Les diffrents types dinformations sont-ils clairement spars les uns des autres sur la page (menus, boutons, instructions, corps de texte, etc.) ?

81

Les pages vous paraissent-elles (trop) dpouilles ou (trop) peu charges ?

Comment qualifieriez-vous le reprage et la navigation dans le produit ? Savez-vous tout moment o vous vous trouvez ? (do venez-vous ? o allez-vous ?)

Pouvez-vous rapidement trouver ce que vous recherchez ?

Trouvez-vous linterface simple et concise ?

Critres pdagogiques

Le produit prsente t-il clairement les objectifs pdagogiques ? Totalement Beaucoup Peu Pas du tout

Ce produit mriterait-il de fournir plus dexplications en introduction ? Totalement Beaucoup Peu Pas du tout

Le produit tient-il compte du niveau d'apprentissage des apprenants ? Totalement Beaucoup Peu Pas du tout

Lapprenant comprend t-il ce quoi fait rfrence chaque chapitre ? Totalement Beaucoup Peu Pas du tout

Les textes (style de rdaction) sont adapts aux publics ? Totalement Beaucoup Peu Pas du tout

82

Les textes (qualit du contenu) sont-ils bien comprhensibles ? Totalement Beaucoup Peu Pas du tout

Comment qualifieriez-vous linteraction apprenant produit ? Excellente Bonne Passable Mauvaise

Les rtroactions proposes dans les QCM sont-elles comprhensibles ? Totalement Beaucoup Peu Pas du tout

Les rtroactions proposes dans les QCM sont-elles pertinentes ? Totalement Beaucoup Peu Pas du tout

La faon dinteragir avec le produit favorise t-elle les apprentissages ? Totalement Beaucoup Peu Pas du tout

La stratgie pdagogique (cours, exemples, activits) favorise-t-elle l'atteinte des objectifs viss ? Totalement Beaucoup Peu Pas du tout

Le produit permet-il d'atteindre les objectifs viss par les cours et les activits ? Totalement Beaucoup Peu Pas du tout

Le produit permet-il d'atteindre les objectifs d'apprentissage mieux que pourraient le faire d'autres mdias (ex. : manuel, vido, film, cahier d'exercices) ? Totalement Beaucoup Peu Pas du tout

Pensez-vous que ce type de formation est efficace en termes dapprentissage ? Totalement Beaucoup Peu Pas du tout

83

Pensez-vous avoir appris ? Totalement Beaucoup Peu Pas du tout

Dune manire gnrale

tes-vous satisfait du dispositif ? oui non

Quels sont les meilleurs aspects du produit ?

Quels sont les plus mauvais aspects du produit ?

Avez-vous repr des erreurs, des bugs ? oui non

Que proposez-vous pour amliorer ce produit ?

Souhaiteriez-vous que le produit propose des fonctions dimpression, de sauvegarde etc. ? oui non

Souhaiteriez-vous que le produit propose des fonctions de sauvegarde sans perte de contexte ? oui non

Souhaiteriez-vous que les pictogrammes soient dfinis dans une tape initiale ? oui non

Souhaiteriez-vous personnaliser certains aspects de linterface ?oui non

84

Souhaiteriez-vous un plan vous permettant de vous reprer dans les diffrentes rubriques de la maquette ? oui non

Souhaiteriez-vous avoir un index des rgles de rdaction des QCM, un glossaire, une aide, etc. ? oui non

Souhaiteriez-vous que le produit propose des fonctions dvaluation (scores) ?oui non

85

86

USAGES PEDAGOGIQUES DES QCM

Un guide pour la mise en place dun questionnaire choix multiple

Le questionnaire choix multiple, tel que nous le connaissons, entre autre sous sa forme papier, n'a pas bonne presse. En effet, il est souvent rduit de simples tests dvaluation de connaissances. Pourtant les QCM informatiss connaissent aujourdhui une relle monte en puissance, d'autant plus que les outils pour les construire sont a priori simples d'emploi et efficaces. Devant l'engouement de certains d'utiliser ces types d'exercices, le CNED EIFAD m'a confi, pendant la priode de stage, la ralisation d'un module de formation en ligne sur le bon usage pdagogique des QCM. Cette tude prcise les diffrentes tapes de conception du produit, allant de la recherche documentaire (dfinitions, composantes, fonctions, intrts et limites des QCM) la ralisation dun guide jusqu la mise en place dun test pour juger de la qualit ergonomique et pdagogique du produit pour enfin apporter quelques amliorations.

87