L'evaluation Des Comptences Linguistiques FLE

17me Colloque international de l'ADMEE Europe
admee
Europe
s s o ciatio n p o u r le
v e lo p p e m e n t d e s
t h o d o l o g ie s d '
v a l u a ti o n e n
d u c a t i on
d
m
e
e
Lisbonne - 18-20 novembre 2004

"L'valuation des comptences : entre reconnaissance et
validation des acquis de l'exprience "
Lvaluation des comptences linguistiques des adultes en franais

langue trangre dans une perspective de multi-rfrentialisation
Marc DEMEUSE, Service de Pdagogie thorique et exprimentale, Universit de Lige et IREDU,
Universit de Bourgogne et CNRS
Franck DESROCHES,
Alexandra CRENDAL,
Philippe OSTER,
Franois RENAUD, Direction des Relations internationales de lEnseignement, Chambre de Commerce
et dIndustrie de Paris (DRI-E/CCIP).
Et Xavier LEROUX.
Mots-cls : franais langue trangre, rfrentiel, comptences linguistiques, adultes non

francophones
ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)
Rsum
Lvaluation des comptences linguistiques des adultes en franais langue trangre est lobjet de
nombreux enjeux : reconnaissance et validation des acquis de lexprience ou dapprentissages formels
non certifis, notamment. Le Conseil de lEurope, mais aussi les services canadiens de limmigration
(Citoyennet et Immigration Canada) ou les autorits responsables de lenseignement suprieur des
pays francophones (comme la France ou la Communaut franaise de Belgique), dfinissent des
standards destins permettre lvaluation des comptences linguistiques de sujets adultes dans le
domaine du franais. Les objectifs de ces organismes peuvent tre trs variables et les enjeux, pour les
candidats lvaluation, plus ou moins importants (depuis la reconnaissance dun niveau de franais
dans la perspective dune valorisation barmique jusqu la possibilit daccder des tudes
suprieures en France ou en Belgique, ou tre admis comme immigrant conomique sur le territoire
canadien).
Si, explicitement ou non, les diffrents organismes font recours une approche par comptences, les
rfrentiels peuvent se prsenter de manire extrmement varie : le Conseil de lEurope, travers son
cadre commun de rfrence, et Citoyennet et Immigration Canada, dveloppent un document trs
complet et publi alors que les autorits acadmiques belges et franaises privilgient le travail de
commissions charges de crer ou dagrer des outils (tests ou examens) dvaluation.
Dautres acteurs, publics ou privs, dveloppent par ailleurs, en rapport avec les rfrentiels
mentionns, des outils quils soumettent lagrment des diffrentes autorits publiques. Cest dans ce
cadre, celui de loprationnalisation travers un outil dvaluation particulier, dont lobjectif est de
correspondre un ensemble de rfrentiels, que cette communication se situe. Elle mobilise la fois
une quipe de conception et un chercheur indpendant charg dassurer le contrle qualit de la
production et du suivi des tests.
Aprs une mise en correspondance des diffrents rfrentiels externes et du rfrentiel propre de loutil
dvaluation lui-mme, les auteurs mettront en vidence les stratgies de dveloppement des
diffrentes formes quivalentes (formes parallles) du test pour chacune des quatre composantes
(expression et comprhension de loral et de lcrit).
A travers lanalyse de la mise en uvre dun test particulier de franais gnral pour adultes dont la
langue maternelle nest pas le franais, lexpos tentera de mettre en vidence la complexit dune
rponse spcifique des prescrits distincts, sous contrainte dune procdure de qualit totale en voie
de certification.
17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

Lvaluation des comptences : entre reconnaissance et validation des acquis de lexprience
1. Les enjeux de lvaluation en franais langue trangre

1.1. Le contexte volutif de lvaluation en FLE : les composantes visibles du changement
Le domaine de lvaluation en franais langue trangre sest beaucoup dvelopp ces quinze
dernires annes, et notamment en France. Plusieurs vnements en politiques linguistiques et
ducatives ont pouss ce domaine voluer : la convergence des politiques linguistiques
europennes, la valorisation de la reconnaissance et des acquis de lexprience et les recherches dans
le domaine de lvaluation en franais langue trangre, alliant dsormais analyses qualitatives et
quantitatives, pr-exprimentes avec les premiers rfrentiels en franais langue trangre comme le
Franais fondamental et reconduites dans les standards dALTE, de DIALANG et enfin du Cadre
europen commun de rfrence pour les langues (CECR).
Dautres facteurs, sociologiques, ont aussi amen ces changements, et notamment la mondialisation
des changes et la mobilit accrue des tudiants, des professionnels, des personnes pour des raisons
conomiques, gopolitiques, ducatives. Cest dire combien les enjeux communicationnels sont
devenus grands. Dsormais, communiquer vite et efficacement est un enjeu majeur tant pour les
individus que pour le monde de lentreprise, la socit, un tat. Dans ce cadre-l, lvaluation de la
comptence en langue simpose car elle permet au candidat et linstitution de mesurer les relles
comptences en langue permettant une meilleure intgration. Tel est le cas pour les autorits
canadiennes qui accordent un quart des points (24 / 100) la matrise des langues franaise et
anglaise tout travailleur qualifi prsentant une demande de visa.
Troisimement, le facteur temporel simpose et a ouvert de nouvelles perspectives lvaluation en
langues. Pour reprendre lexpression dEric Delamotte (in Le commerce des langues, 1999), la
temporalit est renouvele en ce sens que la notion de temps influe sur la conception des outils et
linterprtation des rsultats. Deux niveaux temporels peuvent tre dgags : lun chronomtrique,
lautre chronologique. Au niveau chronomtrique, deux arguments de force ressortent :
Pour le candidat, lvaluation instantane quoffre un test de langue permet de valider, en
deux heures, un niveau de comptence et dobtenir, sous 48H00 ,des rsultats pour prsenter
un dossier dentre lUniversit ou une demande de visa en vue dtudes ou dmigration
future.
Pour les institutions, lexactitude du jugement et de la prise de dcision sont de mise. Aussi,
interprter les rsultats dun diplme obtenu il y a une dizaine dannes les intressent de
moins en moins. Elles se tournent petit petit vers des instruments de mesure qui
photographient la comptence linguistique du candidat au moment o il va tre recrut par un
office dimmigration ou admis luniversit.
Au niveau chronologique, les enjeux sont importants et ont amen des amliorations dans le domaine
de la conception dpreuves en franais langue trangre :
La mise en place du portfolio europen et lincitation la formation tout au long de la vie
amnent aujourdhui les candidats capitaliser toute exprience de lutilisation des langues et
acter toute valuation qui validerait un niveau de comptence. Or, si lon veut mesurer la
progression, il est important que le candidat passe une valuation standardise, talonne sur
un cadre de rfrence comme le Cadre europen commun de rfrence pour les langues
(CECR).
Le mme problme se pose pour des centres de formation qui utiliserait lvaluation dun
candidat comme un outil de positionnement. Les centres de formation en langues ont besoin de
se rfrer des outils qui mesureront toujours le niveau du candidat dans les quatre habilets
langagires et qui leur permettront de placer plus justement le candidat.
Le facteur temps trait ci-dessus montre combien lunivers symbolique de lvaluation semble avoir
chang de paradigme ces dix dernires annes. En effet, la notion defficacit et dquit apparat de
plus en plus dans les discours institutionnels. Dans le chapitre consacr lvaluation dans le Cadre
europen commun de rfrence pour les langues (Conseil de lEurope, 1998, p135), il est fait mention
de ces aspects : () dans un programme de langue, la comptence de lapprenant nest pas la seule
chose value par exemple, la rentabilit de certains matriels pdagogiques ou mthodes, le type et
la qualit du discours effectivement produit, la satisfaction de lenseignement et celle de lapprenant,
lefficacit de lenseignement, etc. . De plus, lapprenant nest plus seulement acteur de son
apprentissage ; il est aussi de plus en plus matre de son parcours ; il capitalise ses savoirs et savoirfaire et apprend tre conscient de ltat prsent de ces connaissances (recommandation du
Conseil de lEurope, p12).
Enfin, au niveau de lthique, il est intressant de constater une avance certaine. En effet, les
institutions qui slectionnent des candidats limmigration ou lentre luniversit font de plus en
plus appel des oprateurs externes spcialistes de lvaluation en langues et qui offrent des outils
adapts la demande de telles institutions. Ainsi, le slectionneur nest plus partie prenante de
lvaluation linguistique en elle-mme, mais slectionne le candidat en fonction de seuils dacceptabilit.
Par exemple, suite lamendement dune nouvelle loi sur limmigration, les autorits canadiennes
(Citoyennet et Immigration Canada) ont dcid dexternaliser la passation de lpreuve linguistique et
de la confier un organisme spcialiste de dvaluation en langues.
Le contexte de lvaluation en langues a donc bien volu depuis les annes 70 et de nouvelles voies
souvrent la recherche interdisciplinaire. Cette volution sest faite de concert avec la mise en place de
standards linguistiques qui ont t longuement prouvs scientifiquement : les Standards linguistiques
canadiens (Canada anglophone), les Niveaux de comptence en franais langue seconde (Qubec) et
le Cadre europen commun de rfrence pour les langues (Europe). Dautres standards existent dans
des domaines plus spcifiques : par exemple, les Stanlag pour lOTAN.
1.2. De lvaluation aux enjeux

Jean-Claude Mothe, Directeur du BELC, constatait il y a dix ans que lvaluation en langues vivantes
navait pas encore tout fait droit de cit en France. Aujourdhui, il en va diffremment.
Dans le monde francophone, il y a plthore de certifications. Elles sont actuellement recenses dans le
cadre du projet CERTEL, linitiative de lAgence Universitaire de la Francophonie (AUF). Le rapport
devrait paratre en 2005.
En France, les certifications sont trs nombreuses : certaines donnent un diplme, dautres une
attestation. Elles peuvent tre internes une institution ou externes : elles sont alors proposes dans le
monde entier, ce qui nest pas sans poser un certain nombre de difficults en termes dhomognisation
des preuves, de standardisation, dtalonnage et de calibrage. Cest le cas notamment des tests de
langue dont nous verrons plus loin ce que la dnomination recouvre du point de vue scientifique.

Les enjeux de ces certifications sont normes, et tout point de vue. La validation dune comptence
en franais langue trangre permettra au candidat dmigrer, voire dtre slectionn dans une
universit francophone. De tels enjeux amnent scuriser le dispositif de passation des preuves et
de dlivrance des rsultats, demande qui est dailleurs mise par les recruteurs et autorits.
Par ailleurs, dautres instances comme le Conseil de lEurope ont aujourdhui ce souci de garantir des
certifications de qualit. Le Cadre europen commun de rfrence pour les langues se rclame de cette
approche qualit et propose, dans cette optique, un outil partir duquel toutes les certifications pourront
tre relies, suite une validation interne et externe de loutil. Ainsi, candidats et Institutions pourront
comparer les niveaux dans toute lEurope.
Les deux enjeux dfinis prcdemment concernent le TEF. Cest donc dans ce cadre, celui de
loprationnalisation travers un outil dvaluation particulier, dont lobjectif est de correspondre un
ensemble de rfrentiels, que cette communication se situe. Elle mobilise la fois une quipe de
conception et un chercheur indpendant charg dassurer le contrle qualit de la production et du suivi
des items.
1.3. La rponse dun test de franais gnral pour adultes non francophones
Le Test dEvaluation de Franais (TEF), cr en 1998, avait pour premier enjeu de rpondre la
demande des coles de la Chambre de Commerce et dIndustrie de Paris et des tablissements
dEnseignement ltranger. Ces organismes cherchaient slectionner, le plus justement possible, les
tudiants trangers sur la base, entre autres, des comptences linguistiques.
Ds sa cration, les sept niveaux du TEF ont t indexs sur les six niveaux de comptence du Cadre
europen commun de rfrence pour les langues. Pour llaboration des sept niveaux TEF, de
nombreuses tudes ont t menes.
En juillet 2002, les autorits canadiennes adoptent une nouvelle loi sur limmigration, et Citoyennet et
Immigration Canada rfrence le TEF comme test de franais langue trangre. Ce rfrencement
donne lieu de nouveaux travaux : une recherche est alors mene sur la mise en correspondance du
cadre de rfrence du TEF avec les Standards linguistiques canadiens.
Cette communication tentera de montrer lexprimentation qui a t mene par une quipe
pluridisciplinaire.

2. Conception et construction du TEF

Avant daborder lexprimentation, il est important de bien dfinir le champ daction du Test dEvaluation
de Franais dun point de vue thorique et dans lapplication de la thorie.
2.1. Llaboration dun test : un exercice la croise des disciplines

Pour mriter le nom de test, un examen doit tre standardis, fidle, valide et talonn . Cette
dfinition donne par Gilbert de Landsheere (Dictionnaire de lvaluation et de la recherche en
ducation, p 295) tablit dentre des normes minimales de construction et de conception dun test.
Le processus dlaboration dun test fait appel plusieurs disciplines. Cest dailleurs ce qui en fait toute
sa richesse compar une valuation traditionnelle qui ne sappuie que sur la pratique pdagogique du
concepteur ou du formateur. Nanmoins, la mise en interaction de plusieurs champs disciplinaires peut
rendre parfois difficile les tudes menes sur cet objet comme lexprimentation sur la
multirfrentialisation lillustrera.
Comme le montre le schma n1, les tests sont la croise des disciplines. Du chercheur au praticien,
en passant par lvaluateur, les enjeux sont diffrents et les perceptions de loutil galement.
Nanmoins, quelle que soit la position de lacteur chercheur, valuateur ou dcideur, le cadre de
rfrence du test et son indexation, voire multi-indexation sur des rfrentiels nationaux restent des
points de rfrence.
Schma 1 La conception de tests et les disciplines thoriques et appliques connexes
Source : Alexandra Crendal, daprs un schma de Paul Rivenc sur la didactique des langues

2.2. Vers la mise en application : la construction du test

Les deux tableaux suivants, n1 et n2, sont un extrait de la table de spcification du TEF, test qui se
compose de deux sries dpreuves, les preuves dites obligatoires (comprhension crite,
comprhension orale, lexique / structure) et les preuves dites facultatives (expression crite,
expression orale).
Tableau 1 Epreuves obligatoires en 3 parties indissociables sous forme de questionnaire choix multiple
Dure
Structure
Score sur
Comprhension crite
60 min
50 questions
300 points
Comprhension orale
40 min
60 questions
360 points
Lexique / structure
30 min
40 questions
240 points
TOTAL
2H10
150 questions
900 points
Source : Le TEF, 6 annes dexpertise, mars 2004, brochure dite par la CCIP-DRI/E, p 7.
Tableau 2 Epreuves facultatives en deux parties indpendantes
Dure
Structure
Score sur
Expression crite (EE)
60 min
2 sujets traiter
450 points
Expression orale (EO)
35 min
2 sujets traiter
450 points
La conception des preuves est centralise et rpond aux critres dfinis dans la table de spcification
du TEF. Elle est ralise par des concepteurs slectionns pour leurs comptences et rgulirement
forms lutilisation des rfrentiels. Aprs valuation et validation pdagogique, les questions choix
multiples sont pr-testes auprs de candidats. Enfin, des analyses sont menes sur les items laide
de la mthode de rponse litem (MRI) et de lanalyse de Rasch.
Les activits du TEF, au-del de la conception, sont multiples. Deux grands processus interagissent :
celui de la conception (production des items, production des jeux) et celui de la ralisation (diffusion des
jeux, organisation des sessions TEF et communication des rsultats). La qualit de ces deux processus
est en permanence assure. Le schma n2 prsente ce cycle du Test dEvaluation de Franais (TEF)
et la mesure de sa qualit.

3. La rfrentialisation : un rfrentiel des rfrentiels

3.1. Le rle du rfrentiel dans le test
Le cadre de rfrence du TEF sest dabord appuy sur le Cadre europen commun de rfrence pour
les langues. Ces rfrences ont permis dlaborer les grilles de correction, ncessaires lvaluation
des preuves dexpression orale et crite, et de proposer des commentaires individualiss sur
lattestation du candidat. Si le candidat ou un centre de formation le souhaite, il peut partir des scores
obtenus et des commentaires attribus en fonction du niveau atteint se rfrer au Cadre europen
commun de rfrence pour les langues.
Schma 2 Cycle du Test dEvaluation de Franais (TEF) et mesure de sa qualit
La rfrentialisation devient un enjeu majeur lorsque certains niveaux correspondent la dlivrance de

points par des autorits telles que Citoyennet et Immigration Canada, et que ces standards ne trouvent
pas dquivalent dans le systme de notation propos par le test. Cela devient encore plus impliquant
lorsque ce mme candidat obtient de 1 4 points par comptence sil atteint au moins le niveau 3 du
TEF ou le standard 4 des SLC, comme nous le montre le tableau n3.
Cest dans ce cadre que sest impose la multirfrentialisation du TEF sur les Standards linguistiques
canadiens.

Tableau 3 Tableau dquivalence des scores et niveaux TEF et de leurs mises en correspondance avec les
SLC. Extrait du site Internet de Citoyennet et Immigration Canada (juillet 2002).
Niveau
Points
(par comptence)
lev
(CLB/SLC 812)
Moyen
(CLB/SLC 6-7)
lmentaire
(CLB/SLC 4-5)
Nant
(CLB/SLC 0-3)
1re langue
officielle : 4
2e langue
officielle : 2
2
1
(max. de 2)
0
Parler
Rsultats du test, par comptence

couter
Lire
crire
(expression orale)
(comprhension orale)
(comprhension crite)
(expression crite)
niveau 5
niveau 6
(349-450 points)
niveau 5
niveau 6
(280-360 points)
niveau 5
niveau 6
(233-300 points)
niveau 5
niveau 6
(349-450 points)
niveau 4
(271-348 points)
niveau 3
(181-270 points)
niveau 0
niveau 1
niveau 2
(0-180 points)
niveau 4
niveau 4
niveau 4
(217-279 points)
(181-232 points)
(271-348 points)
niveau 3
niveau 3
niveau 3
(145-216 points)
(121-180 points)
(181-270 points)
niveau 0
niveau 0
niveau 0
niveau 1
niveau 1
niveau 1
niveau 2
niveau 2
niveau 2
(0-144 points)
(0-120 points)
(0-180 points)
Source : http://www.cic.gc.ca/francais/qualifie/qual-3-1.html.
3.2. Une langue commune

La multirfrentialisation a donc des vertus plusieurs gards. Elle permet une plus grande mobilit
pour le candidat et facilite la traduction des niveaux pour les dcideurs, les formateurs et les
gestionnaires de programmes. Elle rend les rsultats entre les individus plus quitables comme nous le
montre ce passage extrait de lintroduction des Standards linguistiques canadiens.
Sustrina, 25 ans, est arriv au Canada dIndonsie avec des habilets limites en franais. Peu de
temps aprs son arrive, on value sa comptence linguistique et, sur la foi de ses rsultats, il fut plac
dans une classe de franais de niveau 6. Plus tard cette mme journe, Sustrina rencontra quelques
uns de ses amis immigrants et, dsireux de comparer son niveau dhabilet linguistique avec le leur,
annona quil se situait au niveau 6 en franais langue seconde et demanda chacun quel tait son
niveau. Une amie rpondit quelle tait classe dbutant avanc et quelle ne comprenait pas ce quil
voulait dire en parlant de niveau. Un autre rpondit quil comprenait parfaitement ce que Sustrina voulait
dire parce que, son cole de langue, il avait t class au niveau 4. Il ajouta quon avait sans doute
fait une erreur lEcole de Sustrina ou quil avait mal compris car, ils taient bien daccord l-dessus,
les habilets de Sustrina en franais ntaient certainement pas meilleures que celles de son amie, au
contraire.
Cest aussi avoir une langue commune qui permet une reconnaissance lchelle internationale dune
comptence en franais langue seconde et trangre.
3.3. Tableau synoptique de quatre rfrentiels en franais langue trangre

Le tableau n4 propose de dcrire, de faon succincte, quatre rfrentiels et de les comparer. Il sagit
du cadre de rfrence du TEF, du Cadre europen commun de rfrence pour les langues (CECR), des
Niveaux de comptence en franais langue seconde qubcois (NCFLS) et des Standards linguistiques
canadiens (SLC). Dautres rfrentiels auraient pu tre mentionns tant donn leur lien troit avec le
CECR (chelles dALTE ancres sur le CECR et chelle Dialang, une application du CECR dans une
version multilingue) ou avec le TEF (standards de lACTFL, American Council On the Teaching of
Foreign Languages).
Tableau 4 Tableau synoptique de quatre rfrentiels
TEF
SLC
NCFLS
Cadre europen
commun de rfrence
pour les langues
Standards linguistiques
canadiens
Niveaux de
comptence en franais
langue seconde
10 pages
191 pages
186 pages
45 pages
1998
2001
2002
1998
Chambre de
Commerce et
dIndustrie de Paris
Direction des Relations
Internationales de
lEnseignement
Didier
Conseil de lEurope
Centre des niveaux

comptence
linguistique canadiens
Gouvernement du
Qubec
Chambre de
Commerce et
dIndustrie de Paris
Conseil de lEurope
Division des langues
vivantes, Strasbourg
Citoyennet et
Immigration Canada
Groupe interministriel
sur le cadre commun
pour la francisation des
immigrants adultes
CECR
ACTFL
Treshold Level
Waystage
Alte
Canadian Language
Benchmarks (CLB)
Canadian Language
Benchmarks (CLB)
Normes nationales
pour la formation des
adultes en FLS
Conception et
administration de
programmes
Evaluation
Lire
Arrimage des
programmes
Base pour
lvaluation
Outil de
communication
Outil de pilotage
Comprhension crite
Test dEvaluation de
Description acronyme Franais

Nombre de pages
Date ddition
Editeur
Mandataire
Source
Vises
Comptences
Stades
Evaluation
Comprhension crite
Comprhension orale
Lexique / structure
Expression orale
Expression crite
Elmentaire (0+ - 2))
Intermdiaire (3-4)
Suprieur (5-6)
CECR
Apprendre
Enseigner
Evaluer
Comprendre
Ecouter
Parler
Ecrire
Elmentaire (A1-A2)
Indpendant (B1-B2)
Expriment (C1-C2)
Parler
Ecrire
Elmentaire (1-4)
Intermdiaire (5-8)
Avanc (8-12)
Interaction orale
Production crite
Dbutant (1-4)
Intermdiaire (5-8)
Avanc (9-12)
Niveaux
7 niveaux
6 niveaux
3 niveaux
12 niveaux
Langue dorigine
Franais
Langue de chaque
pays europen
Franais
Franais
oui
Traduction des CLB
http://www.fda.ccip.fr
http://www.coe.int
http://www.language.ca
http://www.immigrationquebec.gouv.qc.ca
Traduction
Consultables sur :
Ce tableau rsume bien les ressemblances et les divergences entre rfrentiels. Par exemple,
lapproche de la langue : elle est aborde de faon diffrente selon quil sagit du TEF, du CECR, des
NCFLS ou des SLC : le dcoupage des comptences diffre au niveau des habilets productives ou
rceptives et la notion de communication est plus ou moins importante.

10
4. La mise en correspondance du TEF avec les SLC

4.1. Schmatisation dune procdure pour relier les examens au CECR
La mthodologie adopte pour cette mise en correspondance des spcifications du TEF avec les
Standards linguistiques canadiens sappuie principalement sur une dmarche propose par le Conseil
de lEurope dans le manuel Relier les examens de langue au cadre europen de rfrence pour les
langues et dont la procdure est prsente dans le schma n3.
Schma 3 Reprsentation graphique des procdures permettant de relier les examens au CECR
SPECIFICATION
DU CONTENU DU TEST
Validit interne:
description et analyse
du contenu du test
Validit externe:
mettre en correspondance
le test avec les rfrentiels
Source : Conseil de lEurope (2003, p 4). Relier les examens de langue au Cadre europen de rfrence pour les langues:
apprendre, enseigner, valuer.

11
4.2. Dmarche adopte pour la mise en correspondance du TEF avec les SLC
Dmarche
La dmarche de recherche adopte repose
- dune part sur une tude qualitative relative la mise en correspondance thorique des
objectifs du TEF avec les descripteurs proposs par les Standards linguistiques canadiens,
- et dautre part sur une analyse quantitative ralise partir du classement des prototypes
ditems et des units relles du TEF.
Corpus tudi
Cette tude a t tablie partir de quatre corpus :
- les spcifications du test ;
- les units spcifiques du TEF (unit prototypes en termes de comptences et dobjectifs
viss) ;
- les units relles (items conus pour les jeux dpreuves et raliss partir des spcifications
dfinis dans lunit spcifique) ;
- les descriptions de comptences et dchelles contenues dans les Standards linguistiques
canadiens.
Droulement
Le tableau n5 retrace les diffrentes phases suivies pour la mise en correspondance de lchelle TEF
avec les niveaux de comptence des Standards linguistiques canadiens.
Tableau 5 Prsentation des phases et tapes de la mise en correspondance du TEF avec les SLC
PHASES
Synthse des SLC

par comptence et
par niveau
Regroupement des SLC

aux points de csure
Mise en correspondance thorique

des deux cadres thoriques TEF et SLC
Mise en correspondance thorique du cadre TEF,

des questions TEF et des SLC
Mise en correspondance pratique du cadre TEF, des

questions TEF et des SLC
ETAPES
Information et formation de lquipe TEF aux outils SLC ;
Ralisation de tableaux synoptiques types de la synthse des SLC ;
Lecture approfondie des SLC et slection de produits et normes de
comptence les plus pertinents en regard du TEF et dition des
tableaux synthtiques.
des SLC aux points de csure CIC ;
(agglomrat et carts*)
Liste de contrle du TEF.
Ralisation dun tableau synthtique ;
Mise en correspondance thorique des deux cadres.
Mise en correspondance des deux cadres avec les questions du
TEF (objectifs et niveaux associs) ;
Description et comparaisons ;
Analyse et jugement.
Protocole daction ;
Compilation de donnes et du matriel pour lexpertise ;
Classement des units types et relles par des experts (analyse
des donnes) ;
Interprtation des rsultats.
Source : Documents CCIP-DRI/E-TEF

12
La formation des valuateurs

Une attention toute particulire a t accorde au recrutement et la formation des experts
valuateurs. Les critres de slection ont port principalement sur la comptence des valuateurs qui
devait avoir un minimum de dix annes dexpertise de lenseignement des langues et tre spcialis en
linguistique, didactique et valuation des langues. Ces critres de choix ont t dtermins en fonction
des champs disciplinaires que recouvrait cette exprience (Cf. schma n1).
Sept experts, les mmes tout au long de lexprimentation, ont particip, soit :
3 experts extrieurs (valuation externe) ;
1 expert extrieur, mais assurant tout au long de lanne la qualit du test (valuation
mixte) ;
3 experts internes (valuation interne) et les concepteurs du TEF.
Quant la formation, elle a t dispense en amont de lexprimentation partir de fiches de synthse
des SLC. Les experts avaient galement reus une copie du rfrentiel SLC de manire se
lapproprier, deux mois avant lexprimentation.
4.3. Mise en correspondance thorique : lexemple de la comprhension crite

Mthodologie
Cette partie correspond aux phases 3 et 4 dcrites dans le tableau n5. La dmarche adopte a
consist en : la collecte de donnes (slection de descripteurs SLC appropris au TEF) ;
lorganisation de ces donnes (mise en correspondance) ;
linterprtation des rsultats.
Rsultats
La mise en correspondance du cadre TEF et des SLC est prsente par comptence. Lexemple
propos dans le tableau n6 concerne une unit type de la comprhension crite code CEAU10+. Ces
lments de description sont extraits de la table de spcification et mis en regard des descripteurs de
performance des SLC les plus pertinents pour le TEF.
Aprs mise en correspondance lors de la phase 3, on constate que lensemble des objectifs des
questions TEF recouvre une partie des descripteurs de performance relatifs chaque niveau de
comptence des SLC. Les domaines dapplication slectionns dans la table de spcification du TEF
recouvrent bien ceux des SLC et aux mmes niveaux. Lintroduction des SLC insiste particulirement
sur cet aspect : Les SLC mettent laccent sur les tches relies la collectivit, au travail et aux
tudes (Standards linguistiques canadiens, 2002, page iv).

13
Tableau 6 Mise en correspondance thorique du cadre TEF, des questions TEF et des SLC : la
comprhension crite / lire
Comprhension crite / lire
CADRE THEORIQUE ET QUESTIONS DU TEF
Code item Niveaux
TEF
TEF
CEAU1
PHASE 3
TEF 0+
CADRE DES SLC
Objectifs des questions du TEF

pour le candidat
Niveaux
SLC
Descripteurs de performance
globale
pour lapprenant
Reconnatre les situations lmentaires de la

vie courante :
- identifier la nature et la fonction dun
document trs court de lenvironnement
quotidien (pancartes, tiquettes ) ;
- reprer des mots isols.
- 20 mots maximum.
Niveau I
Standard 1
Peut apparier des illustrations simples et

de courtes phrases crites contenant des
mots familiers (p 28).
De 1 5 phrases.
Aprs mise en correspondance, lors de la phase 4, des items avec les descripteurs prslectionns en
phase 3, on constate galement une bonne concordance, comme lillustre lencart n1. Il y a parfaite
adquation entre le descripteur SLC du tableau n6 et litem propos dans lencart 1, tant au niveau de
lhabilet linguistique que de laspect psycholinguistique (longueur des phrases et traitement cognitif).
Encart 1 Unit relle du TEF
PHASE 4
Question 1
On peut lire cette inscription

A. sur une porte.
B. sur un tlphone.
C. sur un ordinateur.
D. sur un bus.
Les difficults rencontres lors de cette mise en correspondance thorique reposent essentiellement sur
des formulations floues, ne permettant pas aux valuateurs de distinguer le degr de distinction entre
deux descripteurs de niveaux diffrents. Par exemple, lutilisation des verbes reconnatre et
comprendre sont utiliss des niveaux suprieurs, alors que les spcifications du test ne les
introduisent quaux niveaux 0+ et 1. Dautre part, les descripteurs relatifs un contexte culturel
particulier ont t systmatiquement exclus : titre dexemple, dans la comptence parler, le candidat
discute lactualit canadienne .
14
4.4. Mise en correspondance empirique

Protocole dexprimentation
Suite cette mise en correspondance thorique, une exprimentation a t mene afin denvisager, de
faon plus pragmatique, cette indexation dchelles de comptence en franais langue trangre ou
seconde. Cette partie correspond la phase 4 dcrite dans le tableau n5.
Pour rappel, la procdure de mise en correspondance des questions du TEF et des SLC a t assure
la fois par un groupe interne (quipe pdagogique TEF et concepteurs TEF) et une quipe dexperts
externes : le Service de Pdagogie Exprimentale de lUniversit de Lige (SPE-ULG), un charg de
mission, le Groupe dtudes et de Recherche pour le Franais Langue Internationale (GERFLINT).
En dehors du travail danalyse du rfrentiel SLC, une mise lpreuve du classement des questions
TEF a t ralise sur deux jours conscutifs, au sige de la DRI/E-CCIP. La procdure suivante a t
adopte :
Le premier jour, la procdure de validation a t prsente aux trois experts externes, pralablement
forms aux SLC. Une premire exprimentation a alors t mise en uvre durant laquelle chaque
expert, isol dans un local diffrent et face 12 bacs correspondant aux 12 niveaux de rfrence des
SLC, devait ranger les units types du TEF couvrant les trois domaines de comptence suivants :
comprhension crite, comprhension orale et lexique/structure. Le schma n4 illustre cette partie de
lexprimentation.
Schma 4 Protocole daction pour le classement des units types

15
Aprs la premire exprimentation, les rsultats des 3 experts ont t confronts au classement ralis
par lquipe interne de manire obtenir une concordance optimale et commune des 4 classements,
comme le montre le schma n5.
Schma 5 Protocole daction pour le classement commun de rfrence des units types
Le deuxime jour a t consacr au classement des units relles. Il a t ralis partir du

classement commun effectu la veille et obtenu sur la base dun commun accord entre les 3 experts et
lquipe interne. 294 units, extraites de 4 jeux rels, dj utiliss, ont alors t classes par les trois
experts dans un mme temps, mais dans une salle diffrente pour viter leffet de contamination.
Schma 6 Protocole daction pour le classement des units relles.

16
Rsultats
Les taux de concordance des classements des 294 units sont prsents dans les trois tableaux n7,
n8 et n9. La valeur 0 signifie que les trois experts et le groupe interne ne parviennent pas, pour une
unit donne, fournir une rponse identique en termes de classement ; la valeur 2 signifie quau
moins deux experts ou un expert et le groupe interne fournissent un classement identique de lunit1, la
valeur trois que trois experts ou deux experts et le groupe interne fournissent une rponse identique ; la
valeur 4, que tous les experts et le groupe interne fournissent une rponse identique. Les rsultats
prsents sont agrgs au niveau du systme de points accords par CIC (cf. tableau 3).
Tableau 7 - Accords entre les 3 experts et le positionnement des diffrentes units de
comprhension crite (CE) par le groupe interne dans le systme de points (0, 1, 2 ou 4) de CIC.
Accords
Frquence
4
3
2
0
20
24
28
0
27,78
33,33
38,89
0
Frquence
cumule
72
52
28
0
% cumul
100,00
72,22
38,89
0
Tableau 8 - Accords entre les 3 experts et le positionnement des diffrentes units de

comprhension orale (CO) par le groupe interne dans le systme de points (0, 1, 2 ou 4) de CIC.
Accords
Frquence
4
3
2
0
32
48
37
0
27,35
41,03
31,62
0
Frquence
cumule
117
85
37
0
% cumul
100,00
72,65
31,62
0
Tableau 9 - Accords entre les 3 experts et le positionnement des diffrentes units de lexique et
structure (LS) par le groupe interne dans le systme de points (0, 1, 2 ou 4) de CIC.
Accords
Frquence
4
3
2
0
28
36
40
1
26,67
34,29
38,10
0,95
Frquence
cumule
105
77
41
1
% cumul
100,00
73,33
39,05
0,95
Les taux daccord impliquant trois ou quatre experts par groupe interne dpassent 60% pour la
comprhension crite et le lexique/structure, pour atteindre prs de 70% en comprhension orale ; une
seule unit a conduit un problme important de classification, en lexique/structure.
La valeur 2 est aussi accorde lorsque 2 groupes distincts de deux experts et/ou groupe interne saccordent
chacun sur un classement identique.

17
Bibliographie
Psychomtrie
Demeuse, M., Henry, G. (2004). Lanalyse classique ditems. In M. Demeuse (d.). Introduction aux
thories et aux mthodes de la mesure en sciences psychologiques et en sciences de lducation.
Lige (Belgique) : Les Editions de lUniversit de Lige.
Laurencelle, L. (1998). Thories et techniques de la mesure instrumentale. Sainte-Foy : Presses de
lUniversit du Qubec.
Leclercq, D., Denis, B., Jans, V., Poumay, M., Gilles, J.L. (1998). Chapitre 7. Lamphithtre
lectronique. Une application : le LQRT-SAFE. In D. Leclecq (d.). Pour une pdagogie universitaire
de qualit. Sprimont (Belgique) : Pierre Mardaga diteur.
Linguistique et didactique des langues

Baddeley, A. : La mmoire humaine, thorie et pratique (chapitres sur l'effet de rcence et la mmoire),
Presses Universitaires de Grenoble, 1993.
Citoyennet et Immigration Canada. Standards Linguistiques Canadiens 2002.
Conseil de lEurope, Division des Politiques Linguistiques (2003). Relier les examens de langue au
Cadre europen de rfrence pour les langues : apprendre, enseigner, valuer (CECR) Manuel
avant-projet. Strasbourg : DGIV/EDU/LANG.
Cuq J.-P., Grucq I. (2003). Cours de didactique du franais langue trangre et seconde. Collection
FLE. Presses Universitaires de Grenoble. Chapitre II.
Lussier, D. (1992). Evaluer les apprentissages dans une approche communicative. Collection f
autoformation. Paris : Editions Hachette.
Mothe, J.-C. (1975). Lvaluation par les tests dans la classe de franais. Paris : Editions Hachette /
Larousse.
Scovel, T. Psycholinguistics. Series Editors H.G. Widdowson. Oxford University Press.
conomie des langues
Delamotte, E. (1999). Le commerce des langues. Collection CREDIF Essais. Paris : Editions Didier.

18

L&#39;evaluation Des Comptences Linguistiques FLE

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

L&#39;evaluation Des Comptences Linguistiques FLE

Загружено:

Авторское право:

Доступные форматы

17me Colloque international de l'ADMEE Europe

Lisbonne - 18-20 novembre 2004

Lvaluation des comptences linguistiques des adultes en franais

Mots-cls : franais langue trangre, rfrentiel, comptences linguistiques, adultes non

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

1. Les enjeux de lvaluation en franais langue trangre

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

1.2. De lvaluation aux enjeux

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

2. Conception et construction du TEF

2.1. Llaboration dun test : un exercice la croise des disciplines

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

2.2. Vers la mise en application : la construction du test

Tableau 2 Epreuves facultatives en deux parties indpendantes

Expression crite (EE)

Expression orale (EO)

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

3. La rfrentialisation : un rfrentiel des rfrentiels

Schma 2 Cycle du Test dEvaluation de Franais (TEF) et mesure de sa qualit

La rfrentialisation devient un enjeu majeur lorsque certains niveaux correspondent la dlivrance de

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

Rsultats du test, par comptence

3.2. Une langue commune

3.3. Tableau synoptique de quatre rfrentiels en franais langue trangre

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

Tableau 4 Tableau synoptique de quatre rfrentiels

Centre des niveaux

Description acronyme Franais

Traduction des CLB

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

4. La mise en correspondance du TEF avec les SLC

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

Synthse des SLC

Regroupement des SLC

Mise en correspondance thorique

Mise en correspondance thorique du cadre TEF,

Mise en correspondance pratique du cadre TEF, des

Source : Documents CCIP-DRI/E-TEF

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

La formation des valuateurs

4.3. Mise en correspondance thorique : lexemple de la comprhension crite

17e colloque du 18 au 20 novembre 2004 Lisbonne, PORTUGAL

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

CADRE DES SLC

Objectifs des questions du TEF

Reconnatre les situations lmentaires de la

Peut apparier des illustrations simples et

Source : Documents CCIP-DRI/E-TEF

Encart 1 Unit relle du TEF

On peut lire cette inscription

Source : Documents CCIP-DRI/E-TEF

ASSOCIATION POUR LE DVELOPPEMENT DES MTHODOLOGIES DEVALUATION EN EDUCATION (ADMEE)

4.4. Mise en correspondance empirique

L'evaluation Des Comptences Linguistiques FLE

L'evaluation Des Comptences Linguistiques FLE