LA OBJETIVACIN DE LOS DESCRIPTORES DE EVALUACIN DE LA EXPRESIN ORAL EN LA ENSEANZA DE E/LE A ALUMNOS ADULTOS EN INMERSIN LINGSTICA

Masteranda: Raquel Gutirrez Acosta Tutora: Susana Martn Leralta

Mster Universitario en Lingstica aplicada a la enseanza del espaol como lengua extranjera Curso acadmico 2009/11

NDICE 1. INTRODUCCIN...................................................................................4
1.1. Justificacin de la investigacin.......................................................................... 5 1.2. Ob etiv!s ............................................................................................................. 1" 1.2.1. Objetivos generales ....................................................................................... 10 1.2.2. Objetivos especficos.................................................................................... 10

2. #$T%DO D# &% CU#$TIN .............................................................11

2.1. '(ecisi!nes te()in!lgicas ................................................................................ 11 2.1.1. Expresin oral: definicin del constructo...................................................... 11 2.1.2. Evaluar versus exa inar ....................................................................... 1! 2.1.". #riterios de evaluacin versus criterios de calificacin......................... 1$ 2.1.!. %escriptores de capacidad ling&stica versus escalas de niveles ........... 1' 2.1.(. #o petencia co unicativa: conoci iento ) uso de la lengua ..................... 21 2.2. Ca(acte(*sticas de las +e((a)ientas de evaluacin. ........................................ ," 2.2.1. *iabilidad+ valide, ) viabilidad ..................................................................... "0 2.2.2. -utenticidad+ interactividad e i pacto.......................................................... "' 2.2.". Otros factores condicionantes en la evaluacin ............................................ ". 2.,. '(!-ect!s - estudi!s (ecientes ........................................................................... 4" 2.4. C!nclusi!nes ....................................................................................................... 45

,. .%RCO T#RICO .............................................................................4/

,.1. #lab!(acin de 0(uebas de evaluacin de calidad .......................................... 4/ ".1.1. /ruebas de evaluacin de la expresin oral................................................... !0 ".1.2. #riterios de evaluacin de la expresin oral ................................................. (' ".1.". Obtencin ) trata iento de datos.................................................................. $2 ,.2. &a f!()acin de l!s evaluad!(es ...................................................................... 1, ,.,. Di)ensin 2tica de la evaluacin...................................................................... 11 ,.4. C!nclusi!nes ....................................................................................................... 13

4. #$TUDIO #.'4RICO.........................................................................15
4.1. 'lantea)ient! del estudi! e)0*(ic! ................................................................. 15 4.2. .et!d!l!g*a - dise6! ......................................................................................... /" !.2.1. /aradig a de investigacin........................................................................... '0 !.2.2. 1ariables de nuestra investigacin................................................................ '" !.2.2.1. 1ariables de contexto .......................................................................... '! !.2.2.1.1. EO2 3anta #ru, de 4enerife...................................................... '! !.2.2.1.2. Organi,acin de las ense5an,as oficiales de idio as en la #o unidad -utno a #anaria ................................................................ '( !.2.2.2. 1ariables de presagio .......................................................................... '$ !.2.2.2.1. %eparta ento de Espa5ol para extranjeros .............................. '$ !.2.2.2.2. 4ipo de alu nado 6ue estudia espa5ol en la EO2 3anta #ru, de 4enerife..................................................................................................... '$

!.2.2.". 1ariables de proceso ........................................................................... '. !.2.2.".1. Estructura de los estudios de espa5ol para extranjeros ) etodologa de ense5an,a ) evaluacin................................................... '. !.2.2.".2. 7etodologa en las clases de espa5ol ....................................... '0 !.2.2.".". /roceso de co probacin+ an8lisis ) aprendi,aje de la expresin oral de los alu nos ................................................................................... .0 !.2.2.!. 1ariables de producto.......................................................................... .2 !.2.2.!.1. 9a evaluacin en la EO2 3anta #ru, de 4enerife ..................... .2 !.2.2.!.2. Elaboracin ) evaluacin de las pruebas de certificacin de idio as de la #o unidad -utno a #anaria.......................................... .. !.2.". :erra ientas utili,adas en nuestro estudio................................................... .0 !.2.!. %esarrollo del estudio e prico: procesos para la evaluacin de la expresin oral atendiendo a las variables. ............................................................................... 01 !.2.!.1. #iclo 1. ............................................................................................... 01 !.2.!.2. #iclo 2 .............................................................................................. 100 !.2.!.". #iclo " .............................................................................................. 10' !.2.!.! #iclo ! .............................................................................................. 11' 4.,. &i)itaci!nes de la investigacin ..................................................................... 121 4.4. C!nclusi!nes de nuest(a investigacin .......................................................... 123 4.5. 7utu(as investigaci!nes ................................................................................... 1,2

5. CONC&U$ION#$...............................................................................1,4 1. 8I8&IO9R%74%.................................................................................1,3 /. %N#:O$ ..............................................................................................14,

1. INTRODUCCIN
El inter;s suscitado por la expresin oral durante nuestra observacin ) experiencia en el aula en la ense5an,a del espa5ol ) los proble as 6ue conlleva evaluarla nos <a llevado a reali,ar esta investigacin+ 6ue pretende encontrar for a aneras de evaluar de

8s precisa ) objetiva la produccin oral de los candidatos. %urante varios

cursos escolares <e os observado las continuas 6uejas de los profesores ) alu nos sobre la for a de evaluar la expresin oral= uc<os profesores se li itan a recoger

todos los errores 6ue co ete el alu no )+ a partir de su intuicin o de la interpretacin subjetiva de los criterios de evaluacin existentes+ deter inan un resultado+ provocando en el alu no cierta sensacin de falta de fiabilidad ) valide, en ellos. En la a)ora de a)or

las ocasiones estos resultados est8n i pregnados de subjetividad provocada+ la

parte de las veces+ por la vaguedad en la for ulacin de los descriptores de evaluacin existentes+ as co o por la falta de relacin entre las tareas 6ue se utili,an en la evaluacin+ los criterios de evaluacin ) el constructo 6ue las sustenta. %e esta en nuestra investigacin tene os por objetivo co probar si descriptores ) puntuaciones anera+

ediante la for ulacin de

8s precisas+ relacionadas con las pruebas de evaluacin de

la expresin oral+ se puede atenuar la subjetividad en la evaluacin de ;sta ) <acer 6ue los resultados sean candidatos. -s+ en el pri er captulo explica os detallada ente el proble a 6ue <e os observado del 6ue surge esta investigacin ) los objetivos 6ue nos <e os planteado+ para en el segundo captulo centrarnos en el estado de la cuestin donde tratare os de aclarar algunos t;r inos utili,ados en nuestro estudio ) las teoras ling&sticas 6ue sub)acen en ellos >:) es >10'1?+ #anale ) 3@ain >10.0?+ #anale >10."? Aac< an ) /al er >1000 ) 100$? ) Aordn >200$?+ entre otros?+ as co o explicare os algunos pro)ectos ) estudios recientes relacionados con la evaluacin de la expresin oral. En el captulo tres detallare os el arco terico en el 6ue se sustenta nuestro estudio 8s acordes+ v8lidos ) fiables con la produccin oral real de los

e prico citando a los principales investigadores ) teoras ling&sticas relacionadas con nuestra investigacin+ centr8ndonos funda ental ente en c o elaborar pruebas ) criterios de calidad ) garanti,ar la idoneidad de estos. /or Blti o+ en el captulo cuatro explicare os el desarrollo de nuestra investigacin donde se expone el estudio e prico llevado a cabo para la investigacin+ adoptando el odelo de Elliott >100"? basado en el

proceso de investigacinCaccin orient8ndolo funda ental ente a la evaluacin de la expresin oral del espa5ol de nivel A2 en la Escuela oficial de idio as >a partir de a<ora EO2? de 3anta #ru, de 4enerife. /ara ello+ estudia os las pruebas ) los criterios de evaluacin aplicados a ellas tanto en clase co o en las pruebas oficiales de certificacin ) elabora os nuevas pruebas ) criterios segBn lo observado en el resultado de nuestras investigaciones+ con el objeto de co probar su valide, ) fiabilidad. -si is o+ dise5a os las pruebas orales de certificacin del Blti o curso escolar 2010D2011 ) las evalua os aplicando los criterios de evaluacin existentes estableciendo las correspondientes conclusiones. 4odo ello se experi ent en el aula con 10 alu nos oficiales de espa5ol de nivel A2 ) en las pruebas de certificacin aplicadas a estos is os alu nos. En este Blti o captulo explicare os la etodologa ) <erra ientas

utili,adas+ las variables i plicadas+ el an8lisis de resultados+ as co o las li itaciones ) conclusiones de dic<o estudio e prico. *inal ente a5adi os la bibliografa utili,ada ) los anexos con algunos de los instru entos de recogida de datos e pleados ) explicados de anera 8s detallada.

1.1. Justificacin de la investigacin

9a elaboracin ) evaluacin de ex8 enes+ funda ental ente los de gran escala co o son los de certificacin+ ) otras uc<as circunstancias observadas en la ense5an,a

<acen 6ue el docente 6ue )a tiene cierta experiencia advierta en su pr8ctica diaria una serie de dificultades 6ue+ dependiendo de Bltiples variables+ suelen ser u) diferentes.

3in e bargo+ en la observacin diaria de la pr8ctica docente se aprecia una dificultad co Bn 6ue encuentra gran parte de los profesores no slo de ense5an,a de ED9E sino ta bi;n de otros idio as: la subjetividad ) fiabilidad de los criterios de evaluacin de la expresin oral. En la de a)ora de las ocasiones+ las pautas de edicin est8n expresadas

anera vaga ) desconocida por los candidatos ) evaluadores.

Esta investigacin surge de esta observacin en el aula as co o del descontento 6ue+ sobre este aspecto+ anifiestan los profesores de ense5an,a de idio as de la

#o unidad #anaria en general ) el propio alu nado en particular+ 6uien percibe 6ue la calificacin de la prueba de expresin oral+ funda ental ente en los ex8 enes oficiales de certificacin+ depende las 8s de interpretaciones o apreciaciones <ec<as por alguien de

uestras de actuacin obtenidas+ 6ue de datos objetivos 6ue ellos cono,can ) 6ue is os alu nos

puedan de ostrar su verdadero nivel en esta capacidad. -de 8s+ los

uestran su preocupacin con su do inio de la lengua oral a pesar de <aber superado con ;xito el curso escolar o las pruebas de certificacin. Ellos is os consideran 6ue su

nivel de expresin oral es inferior al deter inado por el resultado del exa en ) en otras ocasiones ocurre lo contrario: creen 6ue su do inio en dic<a capacidad es superior ) 6ue la puntuacin asignada a la expresin oral co o resultado de la evaluacin no se corresponde con su do inio real del idio a. Euestra investigacin se en arca en la EO2 3anta #ru, de 4enerife ) el sigue para la ense5an,a de 92 es co unicativo+ por lo 6ue la lo debe ser para deter inar la co petencia de un aprendi, de odelo 6ue

anera de evaluar ta bi;n anera idnea+ esto es+ si

un alu no es co petente en una lengua cuando posee un do inio suficiente de su gra 8tica+ vocabulario+ funciones co unicativas+ recursos retricos+ variedades dialectales ) sociales+ registro+ organi,acin ) co<esin+ fluide, ) la interpretacin correcta de varios co ponentes >aspectos de la co petencia co unicativa? la evaluacin ) los criterios de evaluacin ta bi;n deben estar <ec<os en funcin de estos conoci ientos. 3iguiendo el Marco comn europeo de referencia de las lenguas >7#EF+ 2002? la evaluacin de una lengua debe ser analtica: es necesario 6ue se valoren separada ente1 distintos ele entos+ en este caso+ de la produccin oral. En este sentido+ los ex8 enes de las EO2 de #anarias s cree os 6ue cu plen con este re6uisito+ la dificultad se plantea cuando debe os deter inar 6u; escala es la 6ue debe os utili,ar para deli itar 6u; grado de do inio tiene un candidato en cada uno de estos aspectos. -de 8s+ Gc o sabe os 6ue su grado de do inio+ por eje plo+ en el l;xico es u) alto+ alto+ edio+

suficiente o bajoH 3e recurre de nuevo a la subjetividad del profesorado. -6u es donde se <ace necesaria una actuacin 6ue <aga fiables los resultados creando una escala clara ) objetiva+ )a 6ue para 6ue un exa en sea idneo debe cu plir tres criterios: valide,+ fiabilidad ) viabilidad >#anale ) 3@ain >10.0?+ Aac< an ) /al er >1000 ) 100$?+ 7#EF >2002?+ Aordn >200$??. #asi todos los profesores elaboran ex8 enes con valide, por lo decir+ los confeccionan en la enos se cu ple la valide, de contenido ) aparente+ es edida 6ue se supone 6ue iden lo 6ue deben de edir+ )

la viabilidad sie pre se intenta garanti,ar. /ero en la expresin oral es

u) difcil 6ue

-un6ue sabe os 6ue todos ellos est8n relacionados ) 6ue no se pueden dar los unos sin los otros+ a la <ora de evaluar se pueden observar de anera 8s detallada ediante una escala analtica en lugar de <olstica.

se cu pla el re6uisito de fiabilidad en cuanto a la consistencia de su 6ue los criterios est;n bien elaborados.

edicin+ a no ser

El proble a de la expresin oral es 6ue la produccin del alu no no es una respuesta cerrada 6ue per ite calificarla co o correcta o incorrecta+ sino 6ue el candidato produce respuestas abiertas ) originales 6ue re6uieren la intervencin de una persona para valorarlas. 9a dificultad est8 en cu8nta subjetividad utili,a el evaluador para calificar la prueba ) si es posible eli inarla o+ al expresin oral. /or otro lado+ el i pacto >Aac< an ) /al er 100$: "0?+ es decir+ el efecto 6ue produce el exa en en los individuos >a micro level? ) en la sociedad ) en el siste a educativo >a macro level?+ 6ue genera un exa en de certificacin es tal 6ue los criterios de evaluacin 6ue aseguren resultados reales ) fiables son u) i portantes en enos+ atenuarla en la evaluacin de la

la evaluacin de la co petencia de la expresin oral de un candidato+ )a 6ue i plica a los individuos 6ue dise5an las pruebas ) los criterios para esos ex8 enes+ a los candidatos 6ue los reali,an ) a los profesores 6ue preparan a esos candidatos2. -de 8s+ este tipo de exa en repercute uc<si o en la ense5an,a del espa5ol en los cursos

pares funda ental ente >A8sico 2+ 2nter edio 2 ) -van,ado 2?+ )a 6ue una parte del curso se orienta a preparar a los candidatos para esta prueba aun6ue no est;n obligados a <acerla. -ctual ente+ co o )a <e os dic<o anterior ente+ el alu no puede elegir+ cuando llega a ese curso+ reali,ar la prueba de certificacin ) conseguir+ as+ un ttulo o pro ocionar ) pasar al siguiente nivel sin reali,ar la prueba de certificacin+ sie pre 6ue <a)a aprobado co o alu no oficial el nivel anterior o 6ue <a)a <ec<o una prueba de clasificacin 6ue lo sitBe en el nivel 6ue 6uiere cursar. /or todo ello+ es funda ental garanti,ar la calidad de la <erra ienta de edicin )a 6ue es una anera de

asegurar la valide, del constructo+ )+ en definitiva+ de dotar de valide,+ fiabilidad ) viabilidad al exa en >Aordn 200$: $'?. En esta investigacin parti os de la <iptesis de 6ue los proble as 6ue observa os en la evaluacin de la expresin oral se pueden deber+ ade 8s+ a 6ue la correccin de las pruebas de expresin oral+ debido a su propia naturale,a+ son uc<o 8s difciles de

edir 6ue las de co prensin+ por eje plo+ ) sie pre entra5an el riesgo de subjetividad+ )a 6ue los procedi ientos llevados a cabo por la evaluacin no suelen ser

En el caso de 6ue sean alu nos oficiales dentro del contexto de nuestra investigacin+ es decir+ alu nos 6ue estudian o <an estudiado el idio a en alguna institucin educativa.

ec8nicos ni objetivos. /ero Gse puede evaluar la expresin oral procedi ientos o+ dic<o de otra ec8nicos ) objetivos 6ue per itan una anera+ Gc o pode os evaluar de una

ediante

a)or fiabilidad de la pruebaH anera 8s objetiva uestras

de lengua 6ue ofrecen unos resultados 6ue deben ser interpretadosH Ia Aordn >200$: 2"'? planteaba esta is a pregunta ) daba algunas soluciones tericas a ello+ pero sera

u) interesante investigarlo en la accin en el aula ) en la evaluacin de los ex8 enes de certificacin+ para co probar la eficacia de las soluciones 6ue propone+ as co o la aportacin de otras 6ue surjan de dic<a investigacin. 2gual ente el 7#EF >2002: 1.0? se5ala algunos pasos a seguir para reducir la subjetividad en la evaluacin ) au entar la valide, ) la fiabilidad de las pruebas:
C %esarrollar una es0ecificacin del c!ntenid! de la evaluacin+ basada por eje plo en un arco de referencia co Bn al contexto de 6ue se trate. C Jtili,ar val!(aci!nes c!)0a(tidas para seleccionar el contenido ) evaluar las actuaciones. C -doptar 0(!cedi)ient!s n!()ali;ad!s respecto a la for a de reali,ar las evaluaciones. C /roporcionar claves definitivas de 0untuacin para las pruebas indirectas ) funda entar las valoraciones de las pruebas directas sobre c(ite(i!s es0ec*fic!s definid!s. C Exigir Bltiples valoraciones )+ en su caso+ la ponderacin de distintos factores. C Feali,ar una f!()acin adecuada en relacin con las di(ect(ices de evaluacin. C #o probar la calidad de la evaluacin >valide,+ fiabilidad? anali;and! l!s dat!s de evaluacin.

#ree os 6ue si los descriptores de correccin est8n bien definidos+ si se for ulan de anera tan precisa 6ue los evaluadores no puedan salirse de esa escala )+ sobre todo+ si se adecuan al contexto ) al tipo de alu nado+ la subjetividad se podra -de 8s+ la fiabilidad est8 u) ligada al itigar.

odelo de exa en ) a c o est8n for uladas

sus preguntas. -un6ue los profesores intenten o piensen 6ue <acen pruebas v8lidas+ Gestas iden real ente lo 6ue un alu no sabe ) los te 6ue en ellas se proponen son

real ente justos para todos los estudiantesH 9os alu nos+ dependiendo de sus costu bres ) su cultura+ aprenden de distinta necesita anera= as+ por eje plo+ un asi8tico

8s tie po para contestar las preguntas 6ue un ale 8n o+ en una interaccin 8s c odo 6ue un asi8tico ) no reaccionar8 de la

oral+ un franc;s o italiano se sentir8 is a

anera. GEstas apreciaciones no debe os tenerlas en cuenta a la <ora de odo+ Glos aspectos

confeccionar ex8 enes ) de evaluarH+ o dic<o de otro

socioculturales no deberan tener cabida en los descriptores de la evaluacin de la expresin oralH. %esde nuestro punto de vista+ <asta a<ora no se <a tratado este aspecto con la suficiente profundidad+ ) cree os 6ue es un punto u) i portante dentro de la

evaluacin 6ue en particular.

ejorara la valide, de los ex8 enes en general ) de las pruebas orales

- este respecto+ Iag&e >2010: 2"? apunta varias posibles soluciones 6ue son dignas de investigar para co probar su efectividad )
posible ente no sera posible adoptar decisiones in ediatas en lo referido a la calificacin del exa en+ pero s respecto a la evaluacin en general ) al dise5o is o de pruebas de edicin. En cual6uier caso+ los dise5os de pruebas con este perfil son co plejos ) se deberan asentar sobre investigaciones ) estudios de ca po relevantes.

Eo pode os per anecer ajenos a la influencia del co ponente sociocultural en la elaboracin ) en la edicin de los ex8 enes ) los te s de correccin deberan

reflejar esta co plejidad. - partir de estas <iptesis generales intenta os ejorar la pr8ctica docente ) la ediante una explicacin

evaluacin de la expresin oral diagnosticando el proble a

co prensiva de la situacin actual. /ara ello+ intentare os obtener evidencias 6ue sirvan co o punto de partida ) de co paracin con las 6ue se observan de los ca bios o efectos del plan de accin >9atorre+ 200.: !"?. /arti os del procedi iento llevado a cabo <asta a<ora e intenta os ejorarlo. Eos centra os en elaborar criterios de

evaluacin objetivos 6ue puedan ser aplicados a ex8 enes o a otras <erra ientas de evaluacin+ fij8ndonos funda ental ente en los actuales ex8 enes de certificacin de la #o unidad -utno a #anaria ) los criterios de evaluacin 6ue para ellas <a establecido la #onsejera de Educacin de #anarias. %e esta for a+ pretende os i ple entar unos descriptores de evaluacin 8s co pletos ) rigurosos adecuados al

contexto ) al i pacto de la evaluacin 6ue nos sirvan en nuestra pr8ctica educativa para los ex8 enes de certificacin+ siendo extensibles+ con algunas odificaciones+ a otros

instru entos de evaluacin tanto del proceso de aprendi,aje de esta destre,a co o a los resultados finales. 3e pretende investigar los efectos de estos descriptores+ en relacin con la viabilidad de las pruebas elaboradas+ a trav;s de una espiral de ciclos de investigacinCaccin puestos en ejoras. #onsidera os+ as+ citando las palabras de Iag&e >2010: "C!?+
6ue los ex8 enes Cel dise5o de los is osC est8n lejos de los enfo6ues etodolgicos actuales+ lo cual genera una enor e distancia entre la realidad del aula+ la docencia is a+ ) la edicin de la co petencia >K? los ex8 enes no parecen cu plir adecuada ente en todos los casos >o no con garantas suficientes? su co etido de edicin de la co petencia sincrnica de un aprendiente.

arc<a durante un curso escolar+ para introducir

Esto lleva aparejado el 6ue los te

) descriptores no est;n bien elaborados ) 6ue no encionados anterior ente+ por lo 6ue

respondan a los criterios de valide, ) fiabilidad

cree os 6ue los criterios de evaluacin ) escalas deter inados por la #onsejera de Educacin son %e esta ejorables. ejorar la pr8ctica

anera+ cree os 6ue con esta investigacin no slo se puede

educativa+ sino ta bi;n la actitud del alu no ante la evaluacin de la expresin oral ) el conoci iento de su do inio en este aspecto+ )a 6ue la utili,acin de descriptores le proporciona las pautas para deter inar sus capacidades ) as poder adscribirlas a un deter inado nivel+ repercutiendo+ asi is o+ en el ejor desarrollo de su proceso de

ense5an,aCaprendi,aje+ puesto 6ue la evaluacin ta bi;n per ite rendir cuentas de ;ste. 2gual ente+ ) si se observan resultados favorables+ el ca bio introducido en la for a de evaluar podra ser asi ilado e incorporado a la organi,acin educativa del #entro donde se lleve a cabo la investigacin.

1.2. Objetivos
1.2.1. Objetivos gene ales
C #onocer la actual valide, ) fiabilidad de los ex8 enes de certificacin de Espa5ol en las EO2 de la #o unidad #anaria. C %eter inar la influencia de la aplicacin de criterios ) pruebas v8lidos ) fiables para establecer el do inio de nivel ling&stico en E9E. C /roponer unos criterios de evaluacin ) descriptores bien desarrollados para reducir la variacin e inconsistencia en la evaluacin de la expresin oral.

1.2.2. Objetivos es!ec"ficos.

C /roponer criterios de correccin 6ue per itan <acer 8s v8lidos ) fiables los actuales ex8 enes de Espa5ol de expresin oral de certificacin aplicados a candidatos de nivel avan,ado en in ersin ling&stica de una EO2 de 4enerife. C #onocer c o influ)e la correcta elaboracin de criterios de correccin ) de pruebas de evaluacin de la expresin oral en la adecuada deter inacin del nivel de do inio avan,ado de espa5ol ) en la dis inucin de la subjetividad en la evaluacin. C 1erificar si las <erra ientas propuestas son v8lidas ) fiables+ ) per iten subsanar los proble as detectados en la evaluacin de la expresin oral de alu nos de nivel avan,ado en in ersin ling&stica de las EO2 de #anarias.

10

2. #$T%DO D# &% CU#$TIN

4eniendo en cuenta los objetivos perseguidos con este trabajo+ el is o puede en arcarse dentro de las investigaciones relacionadas con la evaluacin+ en concreto con la evaluacin de la expresin oral en ex8 enes de alto i pacto co o son las pruebas de certificacin+ 6ue tienen por objeto reflexionar sobre el dise5o+ la elaboracin ) la correccin de <erra ientas de evaluacin para garanti,ar la eficacia+ calidad+ fiabilidad+ valide, ) viabilidad de estas. - continuacin se exponen las reflexiones 6ue se recogen en algunos de los estudios 8s recientes en torno a las

dificultades 6ue existen en relacin con el dise5o de estas pruebas ) de los criterios de evaluacin+ as co o algunos aspectos 6ue se relacionan indirecta ente con la evaluacin pero 6ue son indispensables a la <ora de evaluar la actuacin de un candidato. El <ec<o de 6ue en nuestro trabajo reitere os con frecuencia deter inados conceptos tiene la Bnica finalidad de fijar su a plio valor en el terreno 6ue nos ocupa >la objetivacin de los descriptores de evaluacin de la expresin oral?+ otorg8ndoles la profundidad nocional 6ue su i portancia+ a nuestro juicio+ erece. Eo obstante+ antes

de proseguir con la exposicin es conveniente reali,ar algunas precisiones ter inolgicas.

2.1. ' ecisiones te (inolgicas

3eguida ente+ va os a definir algunos t;r inos con los 6ue va os a trabajar a lo largo de nuestra investigacin ) 6ue uc<as veces se <an llegado a confundir con otros 6ue se

<an considerado si ilares. En pri er lugar definire os lo 6ue entende os por expresin oral dentro de nuestra investigacin para luego poder detallar ejor las

diferencias entre conceptos 6ue+ en ocasiones+ su uso co o se 8ntica ente e6uivalentes es errneo.

2.1.1. #)! esin o al* definicin del const ucto

/ara evaluar la expresin oral es necesario deter inar 6u; entende os por ;sta+ debido a 6ue de esta definicin depende tanto el enfo6ue 6ue adopte os para su aprendi,aje ) ense5an,a co o para su evaluacin. 9a expresin oral se encuentra unida a la co prensin auditiva )a 6ue en una conversacin+ por eje plo+ los usuarios de la lengua asu en los papeles de e isor ) receptor teniendo 6ue escuc<ar e interpretar lo
11

6ue dice su interlocutor >co prensin auditiva? para luego responderle >expresin oral?+ ) junto a la co prensin ) expresin escritas for an las cuatro destre,as ling&sticas b8sicas: <ablar+ escuc<ar+ leer ) escribir. -parte de estas+ el 7#EF va ade 8s+ la interaccin ) la co unicativo entre dos o 8s all8 ) se5ala+

ediacin. 9a interaccin se entiende co o interca bio utua ente interca biando

8s participantes 6ue se influ)en

acciones ) reacciones verbales ) no verbales+ ) la

ediacin se produce cuando el

usuario se convierte en un canal de la trans isin de la infor acin entre dos interlocutores 6ue no pueden co unicarse directa ente por6ue+ por eje plo+ usan cdigos distintos co o cuando ocurre en una traduccin. %esde una concepcin general+ la expresin oral se identifica con <ablar >7#EF+ 2002?+ pero esta identificacin es necesario precisarla con a)or nitide,+ puesto 6ue una

persona puede <ablar sin sentido o fuera de contexto )+ sin e bargo+ puede ser entendida+ es decir+ puede <ablar co etiendo cotidiana ente co o <ablar Bltiples errores+ lo 6ue se conoce

al dentro del 8 bito de un aprendiente de idio as.

/ero Gexpresarse correcta ente de for a oral en otro idio a significa ser entendido por un interlocutorH /ara uc<os es as: no i porta co eter errores si puede ser entendido. an,anas+ segura ente nuestro

3i al entrar en una tienda deci os )o 6uerer

interlocutor nos entiende e+ incluso+ se <a cu plido la intencin co unicativa pero Geso significa 6ue nos <e os expresado correcta enteH /or nuestra experiencia <e os constatado 6ue uc<os profesores piensan as+ ) ense5an el idio a sin corregir a sus 8s+ <aciendo 6ue a u) difcil de superar.

alu nos )a 6ue consideran 6ue si los corrigen no 6uerr8n <ablar este alu nado se le pueda fosili,ar el error siendo+ 3obre el trata iento del error <a) 8s adelante+

uc<as teoras en las 6ue no nos va os a detener )a

6ue no es el objetivo de esta investigacin+ pero es un factor 6ue influ)e en la ense5an,a de la expresin oral ) en su posterior evaluacin. /ara otros profesores )Do evaluadores+ si el candidato se expresa for al ente bien+ su expresin oral es buena. 3egBn este tipo de evaluadores la <abilidad ling&stica del candidato se ide segBn el a)or o enor nB ero de errores gra aticales ) l;xicos a)or desarrollo de ejores

detectados. %e esta for a se puede penali,ar a candidatos con un sus interlenguas frente a otros 6ue slo por una

a)or correccin obtuvieran

notas >7artne,+ 100(: "$$?. Este tipo de evaluador parece anclado en las ideas estructuralistas de 3aussure de langue ) parole, o en las de #<o sL) de competence ) performance+ de las 6ue <ablare os posterior ente+ en donde no se tena en cuenta el contexto de uso de la lengua ) en donde lo i portante era el siste a+ lo for al. En este
12

sentido+ debe os advertir 6ue aun6ue una persona se exprese correcta ente en espa5ol desde el punto de vista for al+ si el ensaje carece de sentido o de significado para su

interlocutor+ su produccin oral no es v8lida+ puesto 6ue slo utili,a correcta ente el nivel for al+ gra atical+ o incluso l;xico de la lengua pero su adecuacin al contexto o su registro no son los correctos ) son los 6ue revisten enor e i portancia para tener ;xito en la co unicacin oral. /or lo tanto+ siguiendo un enfo6ue co unicativo del estudio de la lengua+ en el 6ue nos detendre os 8s adelante+ ) 6ue es el 6ue nosotros seguire os para esta investigacin+

el tener una correcta expresin oral significa no slo saber expresarse oral ente bien en el idio a objeto de estudio+ sino ta bi;n 6ue lo 6ue se exprese tenga sentido+ un significado para la persona 6ue escuc<e o con la 6ue se interactBe. /ara ello+ las actividades 6ue utilice os para la evaluacin de la expresin oral tienen 6ue ser lo 6ue 9ittle@ood >100.? deno ina actividades de co unicacin funcional donde se trans ita el significado 6ue se desea de un odo efica, en una situacin concreta. /ero+ ade 8s+

no slo ser8 i portante 6ue lo 6ue se exprese tenga sentido en una situacin deter inada sino 6ue sea+ ade 8s+ apropiado a la situacin social en 6ue se encuentra+ co prob8ndose a trav;s de tareas de interaccin social donde los candidatos deben prestar especial atencin a los significados funcionales ) a los sociales 6ue se trans iten ediante la lengua. -s+ por eje plo+ en un nivel -1 de espa5ol pode os proponer una tarea de evaluacin oral pidi;ndole a los candidatos 6ue interactBen entre ellos present8ndose los unos a los otros o+ incluso+ presentando a una tercera persona. %eben+ as+ elegir los recursos ling&sticos 6ue tienen 6ue utili,ar+ co unic8ndose de anera efectiva desde un punto

de vista funcional= pero si ade 8s les indica os 6ue esas presentaciones se producen en el 8 bito del trabajo+ entonces ta bi;n deber8n adecuarse a las convenciones sociales 6ue exige la co unicacin. - la vista de esta concepcin de la expresin oral se observa 6ue su evaluacin co prende no slo la co petencia ling&stica del candidato sino ta bi;n la socioling&stica ) la prag 8tica+ confor ando+ as+ la co petencia co unicativa de ;ste >:) es+ 10'1= #anale ) 3@ain+ 10.0= Middo@son+ 10'.= Aac< an+ 1000 ) 100$= 18,6ue,+ 2000= 7#EF+ 2002?. En conclusin+ el uso ) aprendi,aje de la lengua+ )+ por consiguiente+ esto abarca a la expresin oral+ se podra definir co o recoge el 7#EF >2002: 0?:
El uso de la lengua N6ue inclu)e el aprendi,ajeN co prende las acciones 6ue reali,an las personas 6ue+ co o individuos ) co o agentes sociales+ desarrollan una serie de co petencias+ tanto generales co o co petencias co unicativas ling&sticas+ en 13

particular. 9as personas utili,an las co petencias 6ue se encuentran a su disposicin en distintos contextos ) bajo distintas condiciones ) restricciones+ con el fin de reali,ar actividades de la lengua 6ue conllevan procesos para producir ) recibir textos relacionados con te as en 8 bitos especficos+ poniendo en juego las estrategias 6ue parecen 8s apropiadas para llevar a cabo las tareas 6ue <an de reali,ar. El control 6ue de estas acciones tienen los participantes produce el refuer,o o la odificacin de sus co petencias.

2.1.2. +#valua , versus +e)a(ina ,

4odos los expertos coinciden en 6ue la evaluacin es indispensable dentro de la ense5an,a de idio as+ pero en ocasiones se confunden los t;r inos evaluar ) exa inar. %urante nuestra vida est8 presente la evaluacin+ no slo cuando tene os 6ue reali,ar un exa en sino ta bi;n cuando dese pe5a os una actividad+ cuando to a os una decisin o cuando elegi os la casa 6ue 6uere os co prar. %esde un punto de vista general+ la evaluacin nos sirve para anali,ar una serie de datos para+ en consecuencia+ adoptar la decisin adecuada. >Aordn+ 200$:1.?. #oncretando esta definicin en la ense5an,a de idio as la evaluacin es la valoracin del grado de do inio ling&stico 6ue tiene el usuario >7#EF+ 2002: 1''?. /ode os decir 6ue es necesaria desde el punto de vista pr8ctico+ por6ue nos servi os de ella para to ar decisiones 6ue resulten acertadas+ ade 8s de constituir un incentivo para el estudiante+ o la justa para valorar sus conoci ientos cuando <a) 6ue anera 8s

edirlos con los de otros

>Aordn+ 200$: ('?= )+ desde el punto de vista did8ctico+ )a 6ue for a parte del currculo de la ense5an,a de 92 co o <erra ienta para observar el proceso de aprendi,aje del alu no donde no slo se tienen 6ue deter inar los contenidos+ objetivos+ etodologa ) estrategias de ense5an,a+ sino ta bi;n los criterios de

evaluacin 6ue son los 6ue deter inan el ;xito de la ense5an,a. 2gual ente+ la evaluacin resulta u) i portante en la investigacin sobre la ad6uisicin de segundas

lenguas ) en el an8lisis de 2nterlengua. 3in e bargo+ exa inar es la anera en la 6ue obtene os infor acin suficiente para ediante

reali,ar nuestra evaluacin. Oeneral ente+ obtene os esta infor acin

ex8 enes+ aun6ue estos no son los Bnicos instru entos+ )a 6ue ta bi;n pode os recabar esta infor acin ediante la observacin en clase o la resolucin de tareas+ por

eje plo. El exa en es un instru ento 6ue sirve para recoger evidencia suficiente 6ue per ite to ar decisiones acerca del do inio de lengua del evaluado >/rati+ 200': 12?. #on la infor acin obtenida de los instru entos de evaluacin exa ina os+ es decir+

14

pode os obtener unos datos 6ue pode os cuantificar ) co putar <aciendo 6ue la to a de decisiones sea 8s objetiva. Eo obstante+ para 6ue esta objetividad se produ,ca es

necesario 6ue nos asegure os de 6ue estos instru entos de evaluacin 6ue utili,a os para luego evaluar >ex8 enes+ notas de observacin en clase+ tareas+ etc.? sean fiables ) v8lidos con el objeto de 6ue nuestras decisiones sean acertadas. /rati >200': 12? centr8ndose en el concepto de exa en se5ala 6ue segBn el punto de vista con el 6ue se ire+ el exa en puede percibirse de distinta anera. Fecoge estos

puntos de vista diferentes en el siguiente cuadro sobre las representaciones de la palabra exa en: #uadro 1. para los estudiantes prueba de dos sentidos: >1? pone a prueba las <abilidades ling&sticas >1?por6ue ensa)an su capacidad en acciones 6ue usar8n >2? da testi onio >laboral+ personal? >2? por6ue de uestran a todos lo 6ue <an en el futuro

acad; ico+

aprendido. para los docentes evaluacin /or6ue recoge evidencia para %ic<a tomar decisiones. puede

evidencia

tener efectos directos sobre la ense5an,a ) poner en arc<a la investigacin. para la sociedad certificacin #o o docu ento sellado+ re6uerido co o

<abilitacin para accionar en el ade 8s undo real+ 6ue da prestigio )

presencia institucional.

#o o se puede ver+ para los profesores un exa en es evaluacin+ confundiendo los dos t;r inos+ por6ue consideran 6ue el fin Blti o de los instru entos de evaluacin 6ue se
15

utili,an para exa inar es evaluar+ es decir+ otorgar una valoracin a partir de la actuacin de la persona evaluada ediante la interpretacin de los datos 6ue

proporcionan dic<os instru entos de evaluacin. %e a< 6ue se identifi6ue evaluacin con exa en aun6ue no sean exacta ente lo is o. -de 8s+ en la evaluacin se tiende

a generali,ar a partir de una situacin observada sobre otras situaciones no observadas >7cEa ara+ 100$+ citado en *igueras+ 200!: $'?+ es decir+ aun6ue sola ente exa ine os a un candidato de un aspecto deter inado dentro de los conoci ientos ) <abilidades 6ue debera ostrar en un acto de <abla+ la actuacin

producida se generali,a a la totalidad de los conoci ientos ) <abilidades de dic<a destre,a. %e esta anera+ los ex8 enes o el procedi iento de exa inar se encuentra dentro de la

evaluacin o el procedi iento de evaluar+ es decir+ el concepto de evaluar engloba el concepto de exa inar+ )a 6ue se puede evaluar exa en+ datos de clase+ etc.?. En nuestra investigacin nos centrare os en la evaluacin del do inio ling&stico de la expresin oral ediante las tareas facilitadas en los ex8 enes de certificacin de la ediante distintos procedi ientos >un

#o unidad -utno a #anaria.

2.1.-. +C ite ios de evaluacin, versus +c ite ios de calificacin,

3e puede decir 6ue el concepto criterio de evaluacin+ al igual 6ue el de evaluar o evaluacin <aca con el de exa inar o exa en+ engloba el de criterios de calificacin. 9os criterios de evaluacin son las consideraciones 6ue debe tener en cuenta el evaluador para deter inar la actuacin de un candidato ) le per iten decidir si esa actuacin es positiva o no ) en 6u; edida. 9os criterios de evaluacin per iten

deter inar c o se interpreta la actuacin >7#EF+ 2002: 1'.?+ estos criterios deter inan la consecucin de un objetivo de aprendi,aje= sin e bargo+ los criterios de calificacin iden esa actuacin en una prueba concreta. /or lo tanto+ el concepto de 8s a plio 6ue el de calificacin. 3i 6uere os concretar aBn

criterios de evaluacin es

8s los criterios de calificacin+ pode os recurrir a los descriptores de calificacin 6ue deter inan de una for a 8s detallada la edida de la actuacin del candidato. -s+

por eje plo+ un criterio de evaluacin de la expresin oral de un alu no de A2 puede ser saber argu entar de anera co<erente ) fluida con su interlocutor una idea

defendida por este sobre un te a de actualidad= los criterios de calificacin pueden ser

16

edir la actuacin del candidato deter inada por ese criterio de evaluacin+ teniendo en cuenta las distintas co petencias >ling&stica+ socioling&stica ) prag 8tica?+ )+ a su ve,+ los descriptores de calificacin per itiran anera 8s detallada. edir cada una de esas co petencias de

/or eje plo+ en el criterio de calificacin de la gra 8tica 6ue se encuentra ubicado en la co petencia ling&stica+ un descriptor podra ser utili,a correcta ente una gran variedad de estructuras ) for as gra aticales propias del nivel >Aoletn Oficial de #anarias >AO#?+ nP 1$'. Fesolucin de 2. de julio de 2010). Es decir+ parti os del concepto general de evaluacin )+ a partir de a<+ se va concretando cada ve, fin de 6ue el evaluador pueda to ar una decisin adecuada+ lo relacin con el resultado del candidato. /retende os+ en esta investigacin+ <acer 8s objetivos estos descriptores de 8s con el

8s objetiva posible+ en

calificacin de los ex8 enes de certificacin de las EO2 de la #o unidad -utno a #anaria+ de ostrando 6ue en la actualidad no cu plen los re6uisitos de valide,+ fiabilidad ) viabilidad.

2.1... +Desc i!to es de ca!acidad ling/"stica, versus +escalas de niveles,

#uando establece os criterios para el logro de los objetivos de aprendi,aje necesita os utili,ar descriptores 6ue contribu)an a la for ulacin de estos criterios. 9os descriptores se utili,an co o criterios de evaluacin si se presentan co o una escala co binando descriptores de distintas categoras en un p8rrafo <olstico por nivel >7#EF+ 2002: 1.1?. 9os descriptores de capacidad ling&stica se pueden identificar con lo 6ue el 7#EF >2002: 1.1? lla a descriptores del do inio ling&stico referido a co petencias concretas >gra atical+ l;xica+ se 8ntica+ ortogr8fica ) orto;pica?. El progreso en el desarrollo de la capacidad 6ue tiene un alu no de utili,ar los recursos ling&sticos se puede clasificar por escalas de nivel dentro de cada co petencia. -s+ las escalas de niveles deter inan lo 6ue un alu no o candidato debe saber dentro de ese nivel ) en relacin con la co petencia a la 6ue pertene,ca dic<a escala. 9a capacidad ling&stica de un alu no en los ex8 enes de certificacin tienen 6ue estar relacionadas con un nivel+ )a 6ue un alu no se exa ina del idio a en funcin a ese nivel: de a< 6ue <a)a ex8 enes de certificacin para nivel A8sico+ 2nter edio o -van,ado. 9as escalas de niveles nos sirven para deter inar este nivel de una general ) de una anera anera

8s especfica en relacin con cada co petencia concreta. -s+

17

un descriptor de capacidad ling&stica se puede concretar en una escala de nivel+ por eje plo+ de la siguiente for a:

#uadro 2.
#O7/E4EE#2- 92EOQR342#- OEEEF-9 #2 3aca provec<o de un do inio a plio ) fiable de un co pleto repertorio de ele entos ling&sticos para for ular pensa ientos con precisin+ poner ;nfasis+ diferenciar ) eli inar la a big&edad. Eo anifiesta ninguna li itacin de lo 6ue 6uiere decir. Elige una for ulacin apropiada de una a plia serie de ele entos ling&sticos para expresarse con claridad ) sin tener 6ue li itar lo 6ue 6uiere decir. 3e expresa con claridad ) sin anifestar ostensible ente 6ue tenga 6ue li itar lo 6ue 6uiere decir. %ispone de suficientes ele entos ling&sticos co o para <acer descripciones claras+ expresar puntos de vista ) desarrollar argu entos+ utili,ando para ello algunas oraciones co plejas ) sin 6ue se le note uc<o 6ue est8 buscando las palabras 6ue necesita. %ispone de suficientes ele entos ling&sticos co o para describir situaciones i predecibles+ para explicar los puntos principales de una idea o un proble a con ra,onable precisin ) para expresar pensa ientos sobre te as abstractos o culturales+ tales co o la Bsica ) las pelculas. %ispone de suficientes ele entos ling&sticos co o para desenvolverse ) de suficiente vocabulario co o para expresarse con algunas dudas ) circunlo6uios sobre te as co o la fa ilia+ aficiones e intereses+ trabajo+ viajes ) <ec<os de actualidad+ pero las li itaciones l;xicas provocan repeticiones e incluso+ a veces+ dificultades en la for ulacin. 4iene un repertorio de ele entos ling&sticos b8sicos 6ue le per ite abordar situaciones cotidianas de contenido predecible+ aun6ue general ente tiene 6ue adaptar el ensaje ) buscar palabras. /roduce expresiones breves ) <abituales con el fin de satisfacer necesidades sencillas ) concretas: datos personales+ acciones <abituales+ carencias ) necesidades+ de andas de infor acin. Jtili,a estructuras sint8cticas b8sicas ) se co unica ediante frases+ grupos de palabras ) fr ulas e ori,adas al referirse a s is o ) a otras personas+ a lo 6ue <ace+ a los lugares+ a las posesiones+ etc. 4iene un repertorio li itado de frases cortas e ori,adas 6ue inclu)e situaciones predecibles de supervivencia= suelen incurrir en alentendidos e interrupciones si se trata de una situacin de co unicacin poco frecuente. 4iene un repertorio u) b8sico de expresiones sencillas relativas a datos personales ) a necesidades de tipo concreto.

#1 A2

A1

-2

-1

>7#EF+ 2002: 10'? Estos descriptores se refieren a la capacidad ling&stica general concretada en una escala de nivel. 3in e bargo+ dentro de la capacidad ling&stica general pode os establecer+ ta bi;n divididos en escalas de nivel+ descriptores de do inio de cada una de las capacidades 6ue confor an la capacidad ling&stica de un candidato. -s+ por eje plo+ pode os establecer descriptores de do inio de la co petencia l;xica dependiendo del nivel+ co petencia 6ue pertenece+ a su ve,+ a la co petencia ling&stica= 6uedara de la siguiente
18

anera:

#uadro ".
F2SJET- %E 1O#-AJ9-F2O #2 4iene un buen do inio de un repertorio l;xico u) a plio+ 6ue inclu)e expresiones idio 8ticas ) colo6uiales= uestra 6ue es capa, de apreciar los niveles connotativos del significado. 4iene un buen do inio de un a plio repertorio l;xico 6ue le per ite superar con soltura sus deficiencias ediante circunlo6uios= apenas se le nota 6ue busca expresiones o 6ue utili,a estrategias de evitacin. Auen do inio de expresiones idio 8ticas ) colo6uiales. %ispone de un a plio vocabulario sobre asuntos relativos a su especialidad ) sobre te as 8s generales. 1ara la for ulacin para evitar la frecuente repeticin+ pero las deficiencias l;xicas todava pueden provocar vacilacin ) circunlo6uios. 4iene suficiente vocabulario para expresarse con algBn circunlo6uio sobre la a)ora de los te as pertinentes para su vida diaria+ co o+ por eje plo+ fa ilia+ aficiones e intereses+ trabajo+ viajes ) <ec<os de actualidad. 4iene suficiente vocabulario para desenvolverse en actividades <abituales ) en transacciones cotidianas 6ue co prenden situaciones ) te as conocidos. 4iene suficiente vocabulario para expresar necesidades co unicativas b8sicas. 4iene suficiente vocabulario para satisfacer necesidades sencillas de supervivencia. 4iene un repertorio b8sico de palabras ) frases aisladas relativas a situaciones concretas.

#1

A2

A1

-2

-1

%O72E2O %E 1O#-AJ9-F2O #2 #1 A2 Jtili,a con consistencia un vocabulario correcto ) apropiado. /e6ue5os ) espor8dicos deslices+ pero sin errores i portantes de vocabulario. 3u precisin l;xica es general ente alta+ aun6ue tenga alguna confusin o co eta alguna incorreccin al seleccionar las palabras+ sin 6ue ello obstaculice la co unicacin. 7anifiesta un buen do inio del vocabulario ele ental+ pero todava co ete errores i portantes cuando expresa pensa ientos 8s co plejos+ o cuando aborda te as ) situaciones poco frecuentes. %o ina un li itado repertorio relativo a necesidades concretas ) cotidianas. Eo <a) descriptor disponible.

A1

-2 -1

>7#EF+ 2002: 100? #o o pode os co probar+ se <a creado un descriptor de capacidad ling&stica centrado en la co petencia l;xica ) se <a deli itado aBn 8s en dos descriptores diferentes

19

co o son el de la ri6ue,a l;xica ) el de do inio del vocabulario+ 6ue+ a su ve,+ se <an concretado 8s dentro de una escala de nivel. ejorar no slo

Estos descriptores son de gran a)uda para el evaluador ) se pueden deter inando lo 6ue el candidato debe <acer sino ta bi;n en 6u;

edida lo <ace bien o

al. -s+ cada descriptor por co petencia ) nivel se puede subdividir en otros descriptores 8s pe6ue5os 6ue deter inen la edida del descriptor cuantific8ndola en

funcin de si es excelente+ adecuada+ suficiente+ li itada o inadecuada ) pueden ta bi;n to arse co o criterios de calificacin. -s+ por eje plo+ dentro de una tarea expositiva de expresin oral > onologada? de un exa en de certificacin pode os deter inar para el l;xico lo siguiente: #uadro !.
/untuacin de l;xico . $ ! 2 0 Jtili,a un vocabulario+ u) variado ) preciso+ adecuado a la tarea. 9UV2#O

Jtili,a un vocabulario adecuado a la tarea+ variado ) preciso. Jtili,a un vocabulario adecuado a la tarea+ ) suficiente. 7uestra un uso del vocabulario poco adecuado a la tarea+ ) li itado. Jtili,a un vocabulario inadecuado ) u) li itado para la tarea.

>Aoletn Oficial de #anarias >AO#?+ nP 1$': 2222". Fesolucin de 2. de julio de 2010+ por la 6ue se dictan instrucciones para la elaboracin de las pruebas co unes de obtencin de los certificados de ense5an,as de idio as de r;gi en especial+ en la #o unidad -utno a de #anarias?. El proble a estriba+ co o )a <e dic<o anterior ente+ en 6ue no todos los evaluadores tienen un is o criterio para considerar algo excelente+ adecuado+ suficiente+ li itado

o inadecuado+ por lo 6ue las puntuaciones suelen variar de un evaluador a otro. %e a< 6ue los descriptores deban ser lo 8s exactos ) claros posibles para 6ue no <a)an

dobles interpretaciones ) se pueda obtener la fiabilidad de los resultados. %e todas aneras+ tene os 6ue tener en cuenta 6ue el do inio de la capacidad

ling&stica del alu no es slo uno de los aspectos 6ue de uestran su co petencia co unicativa o lo 6ue Aac< an >1000? lla <abilidad ling&stica co unicativa+ )a 6ue la co petencia co unicativa co prende no slo la ling&stica sino ta bi;n la sociocultural ) la prag 8tica >7#EF+ 2002: 10$?+ co o vere os en el siguiente punto.
#O7/E4EE#2- 92EOQR342#- OEEEF-

20

2.1.0. Co(!etencia co(unicativa* conoci(iento 1 uso de la lengua

Es necesario disponer de una concepcin de la naturale,a de la lengua para poder elaborar ) evaluar una prueba de lengua. #o o dice 3polsL) >10.0: 1"2?: uno no puede desarrollar una buena prueba de lengua sin tener un ;todo para definir lo 6ue idiendo

significa el saber una lengua+ )a 6ue <asta 6ue no se <a decidido lo 6ue se est8 no se puede afir ar <aberlo edido.

En la ense5an,a de idio as+ el profesor <ace una evaluacin del nivel de lengua objeto de estudio por parte del alu no+ 6ue en el caso 6ue nos ocupa es el espa5ol+ pero G6u; odelo de lengua va os a evaluarH 9a respuesta a esta pregunta la debe tener u) clara

el exa inadorCevaluador+ )a 6ue+ si no+ los resultados de la evaluacin careceran de valide,. Este aspecto <a sido de tal i portancia 6ue durante los a5os <an surgido un gran nB ero de teoras ling&sticas a este respecto ) aun6ue ;stas son a plia ente conocidas+ cree os con son de su o inter;s citarlas en nuestro estudio )a 6ue el evaluador debe tener un conoci iento claro de ellas para poder saber 6u; es lo 6ue va a evaluar ) 6u; ele entos va a anali,ar en las producciones orales siguiendo las escalas de evaluacin. El proceso de construccin de pruebas de evaluacin debe observarse desde su co ien,o ) se debe considerar principal ente la lengua 6ue se 6uiere evaluar. 3e pretende an emphasis on the centrality of constructs what we are trying tomeasure requires testers to consider what is known about language knowledge and ability, and ability to use the language. anguage testing involves not only the

psychometric and technical skills required to construct and analyse a test but also knowledge about language! testers need to be applied linguists, aware of the latest and most accepted theories of language description, of language acquisition and language use" >-lderson et al., 2002: .0?. %e esta for a+ en nuestra investigacin las teoras sobre la co petencia co unicativa+ funda ental ente las de Aac< an ) /al er >100$?+ son esenciales para la validacin de las pruebas a trav;s del concepto de lengua utili,ada en su constructo. /ara entender la evaluacin actual de la lengua ) la actitud de algunos profesoresCexa inadores ante ella debe os co prender cu8l <a sido la evolucin de este concepto <asta a<ora+ ) es por ello por lo 6ue expondre os breve ente c o se <a entendido la lengua <asta a<ora para su ense5an,a ) el o odelo

odelos 6ue se siguen en esta investigacin ) 6ue suelen pri ar actual ente en la

ense5an,a ) evaluacin de la 92. 3e pretende ofrecer con ello una visin general 6ue expli6ue
21

la actitud ) pr8ctica de algunos exa inadores ante la evaluacin ) la

aplicacin del

odelo elegido para esta en este estudio e prico.

9os postulados de la lengua co o siste a tienen su origen en el #urso de ing$%stica general de 3aussure >100"? 6uien distingua entre lengua >langue) ) <abla >parole?+ surgiendo+ as+ la dicoto a lenguaC<abla propia del estructuralis o europeo+ donde la lengua se refiere al siste a ling&stico+ el conjunto de unidades ) reglas del siste a 6ue es co Bn a todos los individuos de una co unidad ling&stica. 3egBn 3aussure >100": '0? la lengua es la parte social del lenguaje+ exterior al individuo+ 6ue por s slo no puede crearla ni odificarla+ no existe 8s 6ue en virtud de una especie de contrato

establecido entre los

ie bros de la co unidad. 3in e bargo+ el <abla es individual=

en el acto del <abla de una persona+ por eje plo+ intervienen los actos de fonacin necesarios para ejecutar las co binaciones de la lengua. -s+ durante los dos pri eros tercios del siglo VV el estructuralis o fue el ovi iento

predo inante en la ling&stica )+ por extensin+ en la ense5an,a+ elabor8ndose ex8 enes en donde lo i portante era+ sobre todo+ la co petencia ling&stica+ es decir+ la gra 8tica+ el vocabulario ) la pronunciacin. %e a< 6ue en las pri eras pruebas de evaluacin de la expresin oral se evaluara funda ental ente el co ponente gra atical ) l;xico )+ por consiguiente+ la actitud de algunos profesores veteranos en la ense5an,a de 6uerer evaluar aBn bajo este siste a. 9a aplicacin de los principios del estructuralis o a la did8ctica de la 92 fue un gran avance para adoptar otra etodologa en la ense5an,aCaprendi,aje del idio a ) superar 8s i portante se encuentra en el

el enfo6ue de gra 8ticaCtraduccin. 3u aplicacin

;todo audioling&e+ basado en la audicin ) en la repeticin+ 6ue se encuentra en consonancia con el conductis o+ en donde el aprendi,aje se ad6uiere ) por ediante <8bitos

edio de la repeticin. 3in e bargo+ la concepcin del lenguaje de 3aussure

considerado co o un siste a autno o de signos constituido por ele entos interrelacionados es lo 6ue diferencia al estructuralis o europeo+ con su car8cter entalista sobre la concepcin saussureana del lenguaje+ del estructuralis o nortea ericano+ cu)o padre es 9eonard Aloo field+ 6ue es de car8cter conductista ) observacional+ )a 6ue para estos Blti os recurrir a la cientfico. 9a concepcin de la lengua co o siste a+ a pesar de <aber sido )a superada+ todava <o) se encuentra en algunos ejercicios+ libros de texto e incluso tareas de exa en. /osterior ente+ se introduce la idea de 6ue el ser <u ano puede reproducir secuencias ling&sticas 6ue nunca antes <aba escuc<ado >#<o sL)+ 10$(? siguiendo este car8cter
22

ente estaba fuera de todo rigor

entalista iniciado por 3aussure. 4odas las personas tene os una Ora 8tica Jniversal debido a la 6ue posee os co petencia >competence?+ una gra 8tica interior de nuestra lengua+ ) actuacin >performance? 6ue se corresponde con el uso de la lengua afectado por nociones irrelevantes co o falta de e oria o distracciones+ por eje plo+ pero

consideradas aceptables. /arece 6ue la dicoto a de lengua ) <abla de 3aussure es si ilar a la de co petencia ) actuacin de #<o sL)+ sin e bargo para 3aussure la lengua tiene un car8cter social+ ientras 6ue para #<o sL) es psicoling&stico )+ por

otra parte+ el estructuralis o se centraba en la elaboracin de clasificaciones+ repertorios+ co o un inventario de for as ling&sticas. Eo obstante+ para los generativistas+ co o es el caso de #<o sL)+ se abre una investigacin 8s din8 ica )

no tan est8tica+ )a 6ue se observa la co petencia co o un conjunto de reglas capa, de explicar la creatividad ling&stica. 3e pretende+ as+ explicar la co petencia ling&stica o co petencia gra atical+ frente a la descripcin ling&stica propia del paradig a estructuralista. En los a5os '0 se ponen en entredic<o estas teoras+ )a 6ue al observar la lengua en uso es u) difcil poder explicar su correcta produccin sola ente ediante el

conoci iento de la gra 8tica. #on :) es >10'1? se introduce el co ponente socioling&stico+ es decir+ se debe tener en cuenta el contexto de uso de la lengua )a 6ue debe estudiarse dentro de una co unidad de <abla. /ropone+ as+ el concepto de co petencia co unicativa donde intervienen no slo el aspecto ling&stico+ gra atical o aceptable de la lengua >#<o sL)?+ sino 6ue ta bi;n <a) 6ue tener en cuenta el uso de la lengua en la produccin de enunciados adecuados en el contexto discursivo. -s+ co o advierte Middo@son >10.0: .!? la co petencia de #<o sL) no tiene nada 6ue ver con la de :) es+ a bos est8n jugando diferentes tipos de juego+ a #<o sL) no le interesa el uso del lenguaje sino su gra 8tica+ para ;l:
la co petencia es algo uc<o 8s abstracto 6ue el lenguaje= es el conoci iento de un siste a de reglas+ de par8 etros o principios+ configuraciones en la ente para las 6ue el lenguaje si ple ente sirve de evidencia >K? /ara #<o sL)+ entonces+ la co petencia es el conoci iento gra atical co o un arraigado nivel ental por debajo del de lengua >K?. /ara :) es+ por otro lado+ la co petencia es la <abilidad para <acer algo: para usar la lengua >K?. 9o 6ue #<o sL) eli ina de su definicin con tanto cuidado :) es lo restablece. >&b%dem?

/or lo tanto+ <a) 6ue atender en el estudio de la lengua+ ade 8s de a lo gra atical+ 6ue para :) es >10'1: !0? es lo posible+ a lo factible+ es decir+ el conoci iento psicolgico ) su uso > e oria+ ecanis os de percepcin+ etc.?+ 6ue es lo 6ue est8 dentro de lo

aceptable para #<o sL)+ la actuacin= a lo apropiado segBn las caractersticas

23

contextuales )+ por Blti o+ a lo 6ue se da en la realidad+ a lo <ec<o+ <aciendo referencia a la convencin ) al <8bito. 3in e bargo+ puede 6ue algo resulte posible+ factible+ apropiado+ ) 6ue no llegue a ocurrir >ib%dem! !1?+ o ediante un eje plo 8s

clarificador: una frase puede ser gra atical ente correcta+ estilstica ente torpe+ social ente diplo 8tica ) de uso poco frecuente >ib%dem: "'?. Estos cuatro sectores pueden ser anali,ados en oc<o co ponentes del acto del <abla o aconteci ientos contenidos en la palabra inglesa 3/E-W2EO >:) es 10'!: ((C$1? : C 3 >setting y scene? referido a la situacin del acto del <abla+ tanto fsica >setting? co o psicolgica >scene?+ esta Blti a i plica aspectos culturales. C / >participant? en lugar de <ablanteCo)ente+ puesto 6ue a veces en un acto de <abla se re6uiere de una audiencia o de un solo e isor. C E >ends): etas ) resultados. ensaje.

C - >act'sequence?: for a ) contenido del

C W >key?: la clave referida al tono ) la for a del acto de <abla. C 2 >instrumentalities?: el canal por el 6ue se trans ite la infor acin >escrito+ oral+ variedades dialectales o estilos? C E >norms?: las nor as de interaccin ) de interpretacin. C O >genres?: tipos+ categoras+ caractersticas de lengua. 3e considera 6ue ediante

el g;nero se reconocen caractersticas for ales co o+ por eje plo+ el tipo de discurso. %e esta anera+ :) es introduce la di ensin prag 8tica en el uso del lenguaje+ en la

6ue los aspectos socioculturales resultan de deter inados actos co unicativos+ pues se considera 6ue todo acto de <abla se desarrolla en un contexto sociocultural ) tiene+ ade 8s+ una funcin co unicativa. En 10'.+ :. O. Middo@son+ siguiendo una idea si ilar a la de :) es+ considera 6ue se deben tener en cuenta las reglas de uso en situaciones sociales particulares+ 6ue segBn su criterio es la co petencia co unicativa+ diferente a la co petencia gra atical pero en la 6ue a bas for an parte de la co petencia del <ablante. %e esta anera+ establece la

dicoto a entre siste a ling&stico >usage? ) el uso o valor en la lengua >use? considerando 6ue la co petencia co unicativa se debe entender 8s co o uso >use?

6ue co o siste a >usage?. El uso de uestra el conoci iento de las reglas ling&sticas ) est8 u) relacionado con la co petencia de la 6ue <ablaba #<o sL)+ that which

makes evident the e(tent to which the language user demonstrates his ability to use his knowledge of linguistic rules for effective communication" >Middo@son+ 10'.: "?.
24

/or lo tanto+ Middo@son sostiene 6ue su distincin entre siste a >usage? ) uso >use? est8 u) relacionada con la dicoto a presentada por 3aussure ente langue ) parole )+

a su ve,+ con la distincin entre competence ) performance de #<o sL) >ib%dem?. /osterior ente+ en 10.0+ #anale ) 3@ain a plan la nocin de co petencia co unicativa de :) es ) se5alan 6ue ;sta+ a su ve,+ est8 confor ada por otras subco petencias" >#anale ) 3@ain+ 10.0: 20C"1?: C #o petencia gra atical: referida al cdigo ling&stico+ en el 6ue se inclu)en el vocabulario+ la for acin de palabras ) frases+ la pronunciacin+ la ortografa ) la se 8ntica. C #o petencia socioling&stica: el contexto ) las reglas socioculturales as co o en 6u; edida las expresiones son producidas ) entendidas adecuada ente en

dic<o contexto. C #o petencia discursiva: relacionada con los ele entos de co<esin ) las reglas de co<erencia. C #o petencia estrat;gica: estrategias verbales ) no verbales 6ue se utili,an para suplir fallos en la co unicacin. /or lo tanto+ la co petencia co unicativa se refiere tanto al conoci iento co o a la <abilidad para utili,ar este conoci iento cuando se participa en una co unicacin real >#anale+ 10.": $$?+ entendi;ndose co o <abilidad a la utili,acin+ correcta o no+ de estos conoci ientos en la co unicacin real. -de 8s+ #anale ta bi;n distingue entre la ense5an,a ) evaluacin orientadas al conoci iento ) las orientadas a la <abilidad. :asta entonces se pensaba 6ue si se tenan buenos conoci ientos en una 92+ se poda utili,ar esa 92 sin proble as. 3in e bargo+ #anale >10."? considera 6ue el conoci iento ) la <abilidad de una lengua est8n relacionados. -s+ nos aporta el eje plo de un progra a de autoescuela 6ue si se basa en los conoci ientos ) no en la pr8ctica+ no sabra os c o actuaran los aprobados en una situacin real conduciendo un coc<e+ lo cual sera total ente inadecuado ) peligroso. 9o is o ocurrira si se ignorara el aspecto terico u orientado al

conoci iento+ )a 6ue si un aprendiente en la pr8ctica ><abilidad? co ete una i prudencia o fallo+ se podra diagnosticar+ por eje plo+ a partir de su falta de conoci iento. /or ello+ #anale >10."? considera 6ue tanto la ense5an,a ) evaluacin
3

Enti;ndase co o cada uno de los aspectos 6ue co ponen una co petencia ) a la 6ue le corresponden una serie de descriptores en la escala de evaluacin.

25

orientada al conoci iento co o orientada a la <abilidad no se pueden dar de una anera separada+ dando lugar a un enfo6ue integrador+ co unicativo. 3iguiendo este odelo de co petencia co unicativa de #anale ) 3@ain >10.0? ) odelo de <abilidad ling&stica odelo de #anale ) 3@ain pero

#anale >10."?+ Aac< an >1000? propone su co unicativa 6ue tiene los organi,ados de distinta repercutido

is os co ponentes 6ue el anera. 3u

odelo de <abilidad ling&stica co unicativa <a

uc<si o en la

anera de ense5ar ) evaluar una lengua. Aac< an

distingue dos 8reas en la co petencia ling&stica del <ablante: por un lado el conoci iento organi,ativo 6ue a su ve, se subdivide en el conoci iento gra atical >l;xico+ orfolgico+ sint8ctico+ fonolgico ) ortogr8fico? ) el conoci iento textual

>ele entos de co<esin ) organi,acin retrica escrita ) oral?+ )+ por otro lado+ el conoci iento prag 8tico referido al uso de la lengua+ relacin de oraciones+ textos e intenciones+ ) co puesto+ a su ve,+ por el conoci iento funcional+ lla ado en 1000 por Aac< an co petencia ilocutiva+ 6ue co prende una serie de funciones divididas en ideales+ anipulativas+ <eursticas e i aginativas+ ) por el conoci iento

socioling&stico+ 6ue <ace referencia a los dialectos+ registros+ expresiones idio 8ticas+ referencias culturales ) figuras del <abla. 4odo esto se puede observar de una for a 8s clara en el siguiente es6ue a 6ue aportan Aac< an ) /al er >100$: $.? sobre las 8reas del conoci iento ling&stico >el subra)ado es nuestro?:

#uadro (.
O(gani;ati!nal <n!=ledge ><o@ utterances or sentences and texts are organi,ed? 9(a))atical <n!=ledge ><o@ individual utterances or sentences are organi,ed? Wno@ledge of vocabular) Wno@ledge of s)ntax Wno@ledge of p<onolog)Dgrap<olog) Te>tual <n!=ledge ><o@ utterances or sentences are organi,ed to for texts? Wno@ledge of co<esion Wno@ledge of r<etorical or conversational organi,ation '(ag)atic <n!=ledge ><o@ utterances or sentences and texts are related to t<e co unicative goals of t<e language user and to t<e features of t<e language use setting? 7uncti!nal <n!=ledge ><o@ utterances or sentences and texts are related to t<e co

unicative goals of

26

language users? Wno@ledge of ideational functions Wno@ledge of anipulative functions Wno@ledge of <euristic functions Wno@ledge of i aginative functions $!ci!linguistic <n!=ledge ><o@ utterances or sentences and texts are related to features of t<e language use setting? Wno@ledge of dialectsDvarieties Wno@ledge of registers Wno@ledge of natural or idio atic expressions Wno@ledge of cultural references and figures of speec<.

9a diferencia respecto al

odelo de #anale ) 3@ain estriba en 6ue no inclu)e la

co petencia estrat;gica entre los constitu)entes de la co petencia ling&stica pero s la considera parte de la <abilidad ling&stica co unicativa. /ara Aac< an+ la co petencia estrat;gica no sirve para re ediar fallos en la co unicacin+ co o se5alaban #anale ) 3@ain+ sino 6ue se usa para llevar a cabo funciones de planificacin+ ejecucin ) valoracin+ explicando+ de esta for a+ c o interaccionan los co ponentes de la co petencia ling&stica >gra atical+ textual+ funcional ) socioling&stico?. #o o se puede co probar+ Aac< an a pla el odelo de #anale ) 3@ain. El papel de la

co petencia estrat;gica fue a pliado+ a su ve,+ posterior ente por Aac< an ) /al er >100$: '0C'(? concibi;ndola co o una serie de co ponentes o estrategias etacognitivas 6ue operan en tres 8reas: estableci iento de etas >decidir 6u; se va a

<acer?+ valoracin >establecer 6u; se necesita+ con 6u; se <a de trabajar ) c o se <a <ec<o? ) planificacin >decidir c o usar lo 6ue se tiene?. -cerc8ndonos a nuestro tie po+ el siglo VV2+ el 7#EF >2002: 00C120? advierte 6ue las co petencias del usuario o alu no se pueden considerar aspectos de la co petencia co unicativa en donde no slo se inclu)en las co petencias relacionadas con la lengua sino ta bi;n otras co petencias generales. /or ello+ el uso ) aprendi,aje de la lengua se podra definir co o recoge el 7#EF >2002: 0?:
El uso de la lengua N6ue inclu)e el aprendi,ajeN co prende las acciones 6ue reali,an las personas 6ue+ co o individuos ) co o agentes sociales+ desarrollan una serie de c!)0etencias+ tanto gene(ales co o c!)0etencias c!)unicativas ling?*sticas+ en particular. 9as personas utili,an las co petencias 6ue se encuentran a su disposicin en distintos c!nte>t!s ) bajo distintas c!ndici!nes ) (est(icci!nes@ con el fin de reali,ar actividades de la lengua 6ue conllevan 0(!ces!s para producir ) recibir te>t!s relacionados con te)as en A)bit!s especficos+ poniendo en juego las est(ategias 6ue parecen 8s apropiadas para llevar a cabo las ta(eas 6ue <an de reali,ar. El control 6ue de estas acciones tienen los participantes produce el refuer,o o la odificacin de sus co petencias.

27

En todas estas co petencias se deben tener en cuenta tanto los conoci ientos co o las destre,as ) <abilidades de cada una de ellas. -s+ en el 7#EF se deja claro 6ue las co petencias del usuario o alu no est8n for adas por: 1. #o petencias generales en donde se inclu)en : a? El conoci iento declarativo >saber? co puesto por: C El conoci iento del undo+ 6ue se encuentra relacionado con el vocabulario ) la aterna. -6u se debe tener especial relevancia en la undo respecto al pas

gra 8tica de la lengua

ense5an,a de idio as en deter inar el conoci iento del o pases en los 6ue se <abla la lengua objeto de estudio.

C El conoci iento sociocultural: el conoci iento de la sociedad ) de la cultura de la co unidad o co unidades en las 6ue se <abla el idio a+ es un aspecto del conoci iento del undo >7#EF+ 2002: 100?. 3e deben tener en cuenta las

caractersticas de la sociedad europea en su vida diaria+ condiciones de vida+ relaciones personales+ valores+ creencias ) actitudes respecto a distintas cuestiones+ el lenguaje corporal+ las convenciones sociales o el co porta iento ritual en deter inadas 8reas co o+ por eje plo+ en cere onias ) pr8cticas religiosas. C 9a conciencia intercultural: <a) 6ue prestar atencin a las diferencias ) si ilitudes entre el pas de origen ) el extranjero teniendo en cuenta+ por eje plo+ estereotipos o tpicos nacionales. b?#o petencia existencial >saber ser?: relacionada con factores individuales >actitudes+ otivaciones+ valores+ creencias+ estilos cognitivos ) tipo de

personalidad?. c? #apacidad de aprender >saber aprender?: se desarrolla en el curso de su propio aprendi,aje. -6u se inclu)en la reflexin sobre el siste a de la lengua ) la co unicacin ) reflexin sobre el siste a fon;tico ) las destre,as correspondientes >destre,as de estudio+ descubri iento ) an8lisis?. 2. #o petencia co unicativa: a? #o petencia ling&stica: co puesta por el conoci iento de recursos for ales ) su capacidad para usarlos. 2nclu)e las co petencias l;xica+ gra atical+ se 8ntica+ fonolgica+ ortogr8fica ) orto;pica. b?#o petencia socioling&stica: 6ue tiene en cuenta los arcadores ling&sticos de

relaciones sociales+ nor as de cortesa+ expresiones de la sabidura popular+ las diferencias de registro+ el dialecto ) el acento.
28

c? #o petencia prag 8tica: 6ue inclu)e las co petencias discursiva+ funcional ) organi,ativa.

3i todo esto lo aplica os a la expresin oral pode os considerar 6ue la co petencia co unicativa en el <abla co prende lo siguiente >18,6ue,+ 2000: 1'?:

#uadro $.
&% CO2'#T#NCI% CO2UNIC%TI3% CO2'#T#NCI% &IN456$TIC%

7&UID#8

CO2'#T#NCI% #$TR%T94IC%

CO2'#T#NCI% DI$CUR$I3%

CO2'#T#NCI% CU&TUR%&

dominio lxico

cmo salir del paso titubeos necesarios

dominio sint ctico dominio #onolgico

producir cadenas de lengua, no palabras adaptar mensa!es correccin, pero no muc%a intencionalidad

gestos m"mica $alores

En la actualidad+ las ense5an,as de idio as se articulan siguiendo las directrices del 7#EF 6ue a su ve, <an sido elaboradas teniendo en cuenta las teoras ling&sticas encionadas anterior ente. En este sentido+ cabe se5alar 6ue los profesores de las EO2 de #anarias siguen ta bi;n los odelos tericos a6u expuestos+ entendi;ndose no cada 8s a la ense5an,a

uno en su totalidad sino 6ue se <a escogido de ellos lo 6ue se adecua de una 92 bas8ndose en la experiencia ) en el contexto de actuacin. 2neludible ente+ de anera

8s relevante se <an tenido co o referente

8s cercano

las Blti as teoras ling&sticas aplicadas a la pedagoga co o son las de #anale >10."?+ Aac< an >1000?+ Aac< an ) /al er >100$?+ ) el 7#EF >2002?+ ) en el caso concreto del espa5ol+ el /lan curricular del 2nstituto #ervantes >/#2#+ 200'?. - la vista de estas teoras+ est8 de ostrado 6ue el odelo de lengua a ense5ar es el 6ue conjuga los

conoci ientos ) las <abilidades siguiendo el enfo6ue co unicativo defendido por estos ling&istas ) co en,ando por :) es en 10$$ con su odelo de co petencia

29

co unicativa+ concepto de vital i portancia en la ense5an,a de lenguas+ )a 6ue no slo debe os tenerlo en cuenta para saber c o debe os ense5ar la lengua en el aula sino 6ue ta bi;n nos sirve co o reflexin de nuestra propia pr8ctica docente. 9a propia actividad docente en sus diferentes fases de ense5an,a+ aprendi,aje ) evaluacin es un acto co unicativo+ por lo tanto es dependiente de la co petencia co unicativa co o cual6uier otra anifestacin ling&stica >9lobera+ 100(: 2(?.

2.2. Ca acte "sticas de las :e a(ientas de evaluacin.

2.2.1. 7iabilidad; valide< 1 viabilidad
9o 6ue todos los expertos tienen claro con car8cter general >Aac< an ) /al er+ >100$?+ Aordn >200$?+ /rati >200'?? es 6ue las <erra ientas de evaluacin deben ser v8lidas+ fiables ) viables para 6ue sean efectivas. 9a fiabilidad consiste en la consistencia de la edicin+ es decir+ si un alu no reali,a a5ana le tendra 6ue dar el

un exa en <o) ) le da un resultado+ si lo volviera a reali,ar

is o resultado >Aac< an ) /al er+ 100$?. /ara el 7#EF >2002: 1''? la fiabilidad es un concepto t;cnico:
3e puede decir 6ue una prueba o un procedi iento de evaluacin tiene valide, en la edida en 6ue pueda de ostrarse 6ue lo 6ue se evalBa real ente >el constructo? es lo 6ue+ en el contexto en cuestin+ se debera evaluar ) 6ue la infor acin obtenida es una representacin exacta del do inio ling&stico 6ue poseen los alu nos o candidatos 6ue reali,an el exa en.

Eo obstante+ co o )a apunta os anterior ente+ ) se5ala Aordn >200$:1'1C1'2?+

la subjetividad de la correccin puede incidir en la fiabilidad de la prueba o+ ejor dic<o+ en su falta de fiabilidad >K?. El ejor odo de paliar la subjetividad de correcciones reali,adas por evaluadores es+ en pri er lugar+ disponer de buenos criterios de evaluacin 6ue proporcionen descripciones claras ) operativas de niveles de actuacin ) 6ue asignen puntuaciones+ 6ue podran ser co putadas a los distintos niveles asignados.

%e a< la i portancia de establecer descriptores claros+ objetivos ) especficos de cada una de las destre,as teniendo en cuenta el tipo de exa en+ el nivel ) el alu nado al 6ue va)an destinadas. /ara co probar la fiabilidad de una prueba debe os considerar dos tipos: fiabilidad interna 6ue se produce cuando apenas existe variacin en la puntuacin de una actuacin ling&stica oral reali,ada en dos ocasiones distintas+ ) fiabilidad externa o entre correctores 6ue se refiere a la si ilitud entre distintos exa inadores a la <ora de puntuar. Jna anera de garanti,ar la fiabilidad entre conectores ) de supervisar ediante la t;cnica del uestreo donde un evaluador o

el trabajo de los evaluadores es

jefe del e6uipo observa la ad inistracin de la prueba ) puntBa de for a independiente

30

ientras 6ue el exa inador <ace lo

is o por su parte= luego+ se interca bian

puntuaciones ) discuten discrepancias. Esto es lo 6ue se suele <acer en la EO2 3anta #ru, de 4enerife+ contexto de nuestra investigacin. Otra for a es ediante la doble

correccin de la prueba en su totalidad o de cada una de sus partes: cada exa inador puntBa las partes de anera independiente ) el jefe del e6uipo observa si las edia de las dos puntuaciones ) si

puntuaciones son parecidas o no+ si lo son se <alla la

no lo son los dos exa inadores deber8n volver a corregir la tarea ) revisar8n los criterios de evaluacin relacionados con el nivel 6ue se evalBa. 3i aBn as no se ponen de acuerdo+ se pasar8 la correccin a otro exa inador 6ue puede ser incluso el jefe del e6uipo. /ara todo ello+ es necesario grabar las actuaciones de los candidatos. 4a bi;n pode os recurrir para garanti,ar esta fiabilidad externa a los ejercicios de fiabilidad >-lderson et al.+ 100.: 1"0? 6ue se escoger8n co o los 8s representativos

de entre todos los reali,ados en funcin a los distintos aspectos de la escala de puntuacin ) a los diferentes proble as a los 6ue se enfrentan los exa inadores+ estos ejercicios )a <abr8n sido corregidos por un exa inador jefe o por una co isin de evaluacin. /ara ello+ se les pide a los exa inadores 6ue den una puntuacin individual al ejercicio ) luego se co para con la del jefe o co isin evaluadora. 3i se observan uc<as diferencias se reflexiona sobre la causa de estas o se replantea una nueva unificacin de criterios. 9os ejercicios de fiabilidad ) la doble correccin son 8s difciles de llevar a cabo en

las pruebas de exa en oral+ )a 6ue sera cara la copia de audios de fiabilidad si <a) uc<os exa inadores. 3in e bargo+ si los exa inadores no son llevar a cabo+ ) uc<os se podran

ediante la grabacin de la actuacin de los participantes se lograra+

ade 8s+ efectuar la doble correccin. 3in e bargo+ <a) 6ue tener en cuenta 6ue las puntuaciones obtenidas de las actuaciones grabadas pueden ser distintas a las obtenidas ediante actuaciones en directo+ )a 6ue en las grabadas no se pueden advertir ele entos no verbales 6ue se producen en el discurso o en la interaccin oral+ por ello+ general ente las puntuaciones establecidas las de actuaciones en directo. En cuanto a la fiabilidad interna+ slo se puede asegurar corrigiendo el exa inador una ve, 8s el ejercicio 6ue )a <a puntuado anterior ente. %e esta for a+ advertir8 si las o entos distintos difieren uc<o entre ellas o no+ ) si ediante grabaciones suelen ser inferiores a

puntuaciones asignadas en dos es as se podr8n to ar

edidas al respecto.

31

/or otro lado+ es necesario la valide; del constructo >Aac< an ) /al er+ 100$? en la edida en 6ue pode os interpretar una calificacin de la prueba co o indicador representativo de la <abilidad ling&stica del candidato. -de 8s+ esto per itir8 poder generali,ar las tareas de exa en a una serie de tareas de uso de la lengua a las 6ue corresponden. 4ene os+ as+ 6ue preguntarnos si el exa en es representativo de la lengua eta del nivel 6ue se pretende edir ) si su puntuacin est8 acorde con el

objetivo del exa en. -l igual 6ue la fiabilidad existen distintas for as de deter inar la valide, de una prueba. -s+ siguiendo a -lderson et al. >100.: 1$$C1.0? pode os deter inar dos tipos de valide,: valide, interna 6ue se refiere a los estudios reali,ados sobre el contenido de una prueba ) su efecto+ ) la valide, externa 6ue <ace alusin a la co paracin de los resultados de las distintas actuaciones de los alu nos ) las obtenidas fuera de la prueba. 9a valide, interna se puede co probar de distintas aneras: una de ellas es edidas de su capacidad

deter inando la valide, aparente a partir de los co entarios ) opiniones obtenidos sobre la vala de una prueba entre personas 6ue no las <an elaborado co o los alu nos o ad inistradores. - trav;s de ella pode os observar la reputacin de nuestros ex8 enes+ pues esto influ)e en la valide, de respuesta de una prueba. -s+ un alu no 6ue se to a una prueba en serio no contesta de la is a anera 6ue si la considera

poco i portante. Esto es lo 6ue Aac< an ) /al er >100$? lla a autenticidad+ la cual est8 relacionada a su ve,+ con la valide, de respuesta+ de contenido ) de constructo+ )a 6ue engloba aspectos 6ue van desde el dise5o de las tareas+ pasando por la definicin del do inio ling&stico a 6ue se ide+ los edir+ la percepcin 6ue tienen los candidatos sobre la lengua ide <asta las generali,aciones 6ue se

ateriales con los 6ue se

puedan establecer con los resultados. /ara Aac< an ) /al er la autenticidad depende de la definicin del concepto de lengua ) de las tareas en las 6ue se use este tipo de lengua a evaluar+ as co o del uso de unos buenos criterios ) escalas de evaluacin 6ue constaten 6ue los resultados obtenidos reflejan la capacidad de la lengua 6ue se pretende edir+ en nuestro caso+ la expresin oral. Otra for a de deter inar la valide, interna es ediante la valide, de contenido 6ue se

refiere a la adecuacin del contenido de una prueba con lo 6ue se pretende evaluar. En este caso son los redactores o expertos en la ateria los 6ue e iten juicios de valor al

respecto. Esta valide, de contenido est8 relacionada con las especificaciones de una prueba ) con el currculo de la
32

ateria. 3egBn -lderson et al. >100.? esta valide, se

podra deter inar

ejor a trav;s de la creacin de un instru ento para la recogida de

datos+ por eje plo+ en for a de escalas. /or Blti o+ la valide, de respuesta ta bi;n puede garanti,ar la valide, interna. En ella se observa c o los candidatos responden a la prueba cualitativa+ por eje plo+ ediante ;todos de recogida

ediante la recogida de datos introspectivos pregunt8ndole al anera de proceder+ o ta bi;n de anera

alu no el por6u; de su respuesta o

retrospectiva. 7ediante esta se pueden saber 6u; procedi ientos >estrategias? usan los candidatos para reali,ar una tarea. /or su parte+ Aac< an ) /al er >100$: 1!"C1!!? no se centran tanto en la respuesta 6ue producen las tareas sino en las caractersticas de los candidatos ) las <abilidades ling&sticas necesarias para 6ue la tarea pueda ser respondida con ;xito+ es decir se plantean en 6u; candidato >interactividad?. /or otro lado+ la valide, externa se puede deter inar ta bi;n de distintas for as+ por eje plo ediante la valide, concurrente 6ue supone co parar los resultados de la 8s o enos el is o periodo de la prueba. En edida interactBa la tarea con el

prueba con otros resultados de estos

nuestra investigacin se pueden recoger resultados de otras pruebas de los alu nos 6ue no est;n relacionados por eje plo+ con la prueba de certificacin. En estos casos <a) 6ue tratar los resultados de correlacin con cautela debido a 6ue es u) difcil co parar

la prueba con otra u otras 6ue est;n reconocidas co o v8lidas ) fiables. 2ncluso se pueden recopilar las valoraciones 6ue el profesor o profesores 6ue conocen a dic<os alu nos tienen sobre su capacidad ling&stica co unicativa+ no slo con la capacidad 6ue se evalBa >la expresin oral? sino ta bi;n con el resto de ellas e+ incluso+ con la valoracin del propio estudiante. Otra anera es a trav;s de la valide, predictiva. En este caso+ las edidas externas se

recogen despu;s de 6ue la prueba se <a)a <ec<o. -s se puede ad inistrar una prueba ) posterior ente otra distinta 6ue aun6ue nos pode os encontrar con ida la is a capacidad ling&stica co unicativa+

uestras truncadas debido a 6ue las diferencias de ejora en dic<a capacidad

resultados entre una prueba ) otra puede variar a causa de la

del candidato al estudiar el idio a en in ersin+ perseverancia en los estudios+ etc. 3e pueden estudiar correlaciones entre resultados de los alu nos durante el curso ) los resultados del exa en final o+ incluso+ de certificacin con otras edidas de sus

capacidades o con el ;xito en la correcta clasificacin de ;ste. En este Blti o caso es u) fina la lnea 6ue separa la validacin concurrente ) la predictiva+ )a 6ue por eje plo+ en las EO2 se <ace a un alu no una prueba de clasificacin ) durante la
33

pri era se ana de clase se debe deter inar si ese alu no est8 bien clasificado+ antes de 6ue dic<o alu no <a)a tenido tie po de considerar concurrente ) predictiva. /or Blti o+ aparte de la valide, interna ) externa pode os considerar la valide, de constructo 6ue intenta deter inar <asta 6u; punto la prueba se basa en la teora 6ue sub)ace+ es decir+ si la prueba ide la puesta en pr8ctica de la teora. Jna for a de ejorar+ para 6ue la valoracin se pueda

deter inar la valide, de constructo es observando las correcciones entre distintas partes de la prueba+ de cada parte con su totalidad o eli inando la parte anali,ada. 3e puede ade 8s+ co parar los resultados con las caractersticas psicolgicas ) los datos personales de los alu nos para detectar la e6uidad de ;sta co plejos co o el an8lisis >-lderson et al.+ 100.: 1'0? 9a fiabilidad ) la valide, de las <erra ientas de evaluacin no sie pre se producen de anera conjunta= no debera os tener valide, sin fiabilidad+ pero los l ites no est8n claros. - este respecto+ -lderson et al. >100.: 1.2? se5alan la confusin 6ue existe entre estos dos conceptos ) consideran 6ue aun6ue es u) difcil discernir entre ellos+ lo 6ue ediante an8lisis 8s ultirrasgo o la validacin convergente ) divergente !

i porta en realidad es si la prueba da un resultado 6ue puede considerarse co o un reflejo justo ) preciso de la <abilidad ling&stica del candidato. -de 8s ni la valide, ni la fiabilidad se pueden considerar de anera pura+ es decir+ co o valores absolutos )a

6ue existen grados entre ellas 6ue se deben co ple entar+ pero dependiendo del objetivo de la prueba+ de los candidatos a los 6ue va)a dirigido ) de las consecuencias de los resultados negativos de ;sta en los candidatos se decidir8 detri ento de la otra. 9a estabilidad de los resultados depende ta bi;n del rigor con el 6ue se apli6uen los criterios+ sobre todo en los ex8 enes a gran escala donde no se pueden tener 8s axi i,ar una en

uestras de lengua del candidato 6ue en la situacin del exa en. /or ello+ se <ace necesaria la for acin de los exa inadores. %e otra antienen los anera+ si los evaluadores no

is os criterios+ la evaluacin depender8 de la subjetividad del is a persona evaluada por dos personas distintas en

evaluador pudiendo obtener la una

is a prueba notas total ente diferentes. En este sentido+ el 7#EF considera 6ue 8s i portante 6ue la fiabilidad es la precisin de las decisiones >7#EF+

incluso
!

/ara una explicacin con detalle consultar Werlinger+ *E. >10'"+ citado por -lderson et al.+ 100.: 1'0?. )oundations of *ehavioral +esearch. :olt+ Fineart< and Minston. Eueva IorL+

34

2002: 1''?. 9o ideal sera tener e6uipos de redaccin de te s 6ue inclu)an a redactores profesionales ) a profesores con la experiencia adecuada+ )a 6ue las inexactitudes en los siste as de evaluacin ) las interpretaciones de los exa inadores son una de las fuentes 6ue puede a ena,ar la solvencia de cual6uier prueba. -de 8s+ todo esto se co plica 8s en la evaluacin de la expresin oral en el aula de idio as puesto 6ue+ en uc<as

ocasiones+ el profesorCexa inador no slo exa ina al candidato sino 6ue ta bi;n tiene 6ue actuar de interlocutor <aciendo preguntas+ respondiendo al candidato e intentando evaluar la actuacin+ ) todo ello a la ve,. /or ello+ es 8s necesaria la for acin de los

exa inadores para poder controlar todas estas variables+ ade 8s de co prender las bases 6ue se encuentran en las escalas de puntuacin con las 6ue deben trabajar ) el de interpretar los descriptores de for a co<erente. -s is o+ /arrondo >200!b: ".? ta bi;n coincide en la i portancia de for ar a los exa inadores )+ bas8ndose en el #digo deontolgico de la -sociacin de entes certificadores de la co petencia ling&stica >-94E+ ,ssociation of anguage -ersters in .urope?+ establece las obligaciones de los evaluadores en cuatro 8 bitos: utilidad+ transparencia+ e6uidad ) derec<os ) responsabilidades. Jna for a de poder alcan,ar la fiabilidad dentro de la evaluacin de la expresin oral es la 6ue advierte 9uo a >2000: !C(?+ 6uien considera 6ue cuando percibi os la necesidad de evaluar se pone en anera arc<a un ciclo de actividades para alcan,ar este objetivo de la

8s rigurosa posible. /ri ero <a) una etapa de planificacin+ donde los

evaluadores deben definir lo 6ue debe evaluarse. 4odos deben tener clara esta definicin para luego desarrollar+ probar ) revisar las tareas ) los criterios de calificacin ) de ad inistracin para garanti,ar as su fiabilidad. 9os evaluadores ta bi;n deben llevar un control >observacin? de todo lo 6ue sucede en este ciclo 6ue les per ita detectar dificultades e introducir ca bios. 9uego co ien,a el periodo de evaluacin de los participantes con la ad inistracin ) calificacin de la prueba a partir de los criterios elaborados segBn las necesidades detectadas en un principio. 3i se observan 8s

dificultades el ciclo puede volver a co en,ar de nuevo. -s+ ve os co o 9uo a+ en el es6ue a 6ue nos presenta+ aparece el lugar de trabajo donde los evaluadores elaboran los criterios+ las tareas+ las instrucciones ) todo lo necesario para la fiabilidad ) viabilidad de la prueba co o una f8brica+ )a 6ue se elabora un producto con unas garantas de calidad: /,s at any factory, quality assurance is an important aspect of the development work. &t ensures that the testing practices being developed are good enough for the original purpose" >2000: (?.
35

4odo este proceso 9uo a lo representa de la siguiente

anera+ donde se

uestra 6ue el

trabajo de control de calidad se extiende sobre el ciclo de evaluacin en su conjunto >9uo a+ 2000: (?:

#uadro '.

Otro re6uisito 6ue debe tener toda <erra ienta de evaluacin es la viabilidad+ lla ada por Aac< an >100$: "(? practicability, 6uien considera 6ue esta viabilidad se da cuando existen recursos tanto de tipo <u ano+ acad; icos+ econ icos ) estructurales para dise5ar+ desarrollar ) <acer uso del exa en+ as co o cuando existe la disponibilidad de los is os+ es decir+ cuando dispone os de todos los recursos adecuados para llevar a

cabo el exa en. En ocasiones+ esta viabilidad no depende del profesor o del evaluador sino de las instituciones educativas pertinentes= el profesor slo puede <acer todo lo posible para garanti,ar la viabilidad en funcin de los edios ) recursos disponibles no edios ) recursos co o su

slo de la institucin acad; ica sino ta bi;n de sus propios

tie po fuera del trabajo+ su propio ordenador ante la no disponibilidad de estos+ pagarse cursos de perfecciona iento sobre la evaluacin o de infor 8tica+ entre otros. -nte estas situaciones en donde no existe una for acin previa en la evaluacin el profesor+
36

desde su propia ;tica co o profesional de la ense5an,a+ intentar8 6ue los resultados obtenidos sean todo lo adecuados ) objetivos posible a la actuacin del candidato pero+ co o )a <e dic<o+ <a) aspectos 6ue son co petencia de las instituciones educativas ) 6ue est8n fuera del alcance del profesor para 6ue se den estos re6uisitos a6u encionados.

2.2.2. %utenticidad; inte actividad e i(!acto.

9os aspectos de autenticidad+ interactividad e i pacto ta bi;n son re6uisitos funda entales para deter inar la calidad de una <erra ienta de evaluacin >Aac< an ) /al er >100$?+ Aordn >200$??. %esde 6ue se <a adoptado el enfo6ue co unicativo en la ense5an,a de lenguas+ las caractersticas de las tareas de exa en deben corresponder con las caractersticas de las tareas de uso de la lengua eta. 3egBn propone Aac< an >100$: 2"? /we define

authenticity as the degree of correspondence of the characteristics of a given language test task to the features of a - 0 1 task". -s+ si existe autenticidad+ pode os deter inar si el candidato puede desenvolverse satisfactoria ente en situaciones reales fuera del exa en. En la actualidad+ todos los libros de texto ) ex8 enes tienen tareas 6ue cu plen este re6uisito )a 6ue las tareas de si ulacin de situaciones reales en el aula son bastante eficaces para acercar al alu no al uso de la lengua en acciones de la vida diaria. -s+ por eje plo+ tanto en el aprendi,aje del idio a co o en su evaluacin ) teniendo en cuenta el nivel se proponen tareas+ en el caso de la expresin oral 6ue es el 6ue nos ocupa+ de exposicin e interaccin en situaciones 6ue pueden ocurrir en la realidad co o+ por eje plo+ debates+ di8logos en una entrevista de trabajo+ argu entaciones sobre un te a+ etc. En las tareas de interaccin oral se cu ple otro de los re6uisitos 6ue debe tener toda <erra ienta de evaluacin: la inte(actividad. #on este tipo de tareas se puede observar la edida en 6ue las <abilidades ) las caractersticas del alu no se usan para el

cu pli iento de la tarea de exa en. Estas <abilidades ) caractersticas segBn Aac< an >100$? son el conoci iento ling&stico+ la co petencia estrat;gica ) las estrategias etacognitivas. -s+ ientras un alu no se est8 expresando oral ente est8 poniendo en

arc<a todas sus <abilidades para llevar a cabo con ;xito la tarea. Estas <abilidades ta bi;n las usa cuando el candidato se expresa
(

ediante un

onlogo+ )a 6ue en

Aac< an >100$: 1.? lla a 49J a target language use+ entendido en espa5ol co o uso de la lengua eta >J97?.

37

realidad interactBa con una audiencia+ pero slo a trav;s de la interaccin cara a cara se pueden utili,ar algunos conoci ientos ) estrategias co o son el registro+ la confir acin en el entendi iento de la infor acin+ las vacilaciones o recordar lo dic<o anterior ente+ por eje plo >9uo a+ 2000?. Estos aspectos se deberan reflejar en los criterios de correccin ) calificacin de las tareas de expresin oral en interaccin+ por6ue si el <ablante los utili,a de uestra 6ue sabe expresarse de con otros interlocutores ) no se li ita a una anera interactiva

era exposicin de su parte de la tarea para uc<as ocasiones con

luego callarse ) cederle el turno al interlocutor+ co o ocurre en algunos candidatos en este tipo de pruebas.

/or Blti o+ es necesario percatarse del i)0act! 6ue genera la prueba+ deno inado repercusin o efecto rebote+ traducciones del ingl;s backwash o washback, entendido co o el efecto 6ue produce el exa en en los individuos ) en la sociedad o siste a educativo >Aac< an+ 100$?. En el caso de nuestra investigacin+ el i pacto de los ex8 enes de certificacin es u) alto )a 6ue afecta a los dise5adores del exa en+ a las

personas 6ue reali,an el exa en ) a los profesores 6ue preparan a los candidatos. 2gual ente+ repercuten en la etodologa de la ense5an,a+ por lo 6ue aBn se <ace 8s

necesario 6ue se cu plan todos estos criterios 6ue <e os citado. 4odas estas caractersticas de fiabilidad+ viabilidad+ valide,+ autenticidad+ interactividad e i pacto 6ue dan utilidad al exa en no deben ser observadas ) aplicadas separada ente+ sino 6ue se encuentran relacionadas entre s. %esde el o ento en 6ue

en un exa en no se d; alguna de ellas+ no se podra considerar un buen exa en+ )a 6ue su resultado no representara el do inio del candidato del idio a ) nivel en el 6ue se exa ina.

2.2.-. Ot os facto es condicionantes en la evaluacin

#o o <e os visto anterior ente+ uno de los factores 6ue influ)e en la objetividad de los resultados de la evaluacin es la falta de fiabilidad. El proble a est8 cuando+ dependiendo del evaluador+ un is o candidato puede obtener calificaciones o

percepciones de su <abilidad diferentes+ incidiendo en esta falta de fiabilidad )+ por consiguiente+ en la valide, de la prueba. /ero nos encontra os con 8s factores 6ue pueden acentuar la subjetividad de la

evaluacin. Jno de ellos es la personalidad de los candidatos+ ) aun6ue es verdad 6ue este aspecto no se puede controlar+ los evaluadores deberan tenerlo en cuenta para 6ue no les influ)a en su percepcin. -s+ podra parecer 6ue un candidato extrovertido ) con

38

buena pronunciacin es

u) co petente frente a otro 6ue es

8s t ido. En algunas a)or nota al

ocasiones+ esto <a <ec<o 6ue algunos evaluadores puntBen con

extrovertido 6ue al t ido. 3in e bargo+ esto no puede suceder en la evaluacin )a 6ue influira la personalidad del candidato en la nota final )+ por tanto+ la evaluacin carecera de fiabilidad ) valide,. #onsidera os 6ue estas situaciones se producen debido a 6ue la parte expositiva de la prueba+ sobre todo en un nivel A8sico+ tiene una duracin u) escasa de tres a cinco inutos+ lo 6ue no per ite real ente obtener

uestras de la lengua aceptables para evaluar la co petencia del candidato. 3e <a de ostrado+ segBn estudios llevados a cabo a este respecto+ 6ue el tie po ni o para obtener uestras relevantes de lengua est8 fijado en die, inutos

>Aordn+ 200$: 21!? por lo 6ue una posible solucin sera alargar estas tareas expositivas+ co o ni o a die, inutos. Eo obstante+ <a) un factor decisivo en la

te poralidad de la prueba 6ue es la viabilidad de ;sta+ sobre todo en los ex8 enes de alto i pacto en donde <a) un a)or nB ero de candidatos. Esto <ace 6ue se redu,ca el anera precipitada )+

tie po de las tareas llevando a una obtencin de los resultados de por lo tanto+ a una falsa calificacin del candidato. /or otro lado+ co o advierten

uc<os ling&istas >Aac< an ) /al er+ 100$ ) Aordn+

200$? la personalidad del candidato ta bi;n influ)e en las tareas de interaccin debido a 6ue un car8cter extrovertido tiende a acaparar toda la conversacin+ no dejando uc<as oportunidades de de ostrar su co petencia a un candidato de respetar los die, inutos co o 8s t ido+ a pesar

ni o. Esto lleva a los evaluadores sin for acin o

sin experiencia a la falsa creencia 6ue <e os citado anterior ente ) 6ue ta bi;n ocurre en la tarea expositiva: el candidato 8s extrovertido es el 8s co petente. /or ello+ es

i portante poder asegurar el entrena iento de los evaluadores 6ue les per itir8 detectar estas situaciones ) actuar en consecuencia sin 6ue su calificacin est; influida por estos aspectos. En el is o sentido la lengua aterna+ la for acin acad; ica+ la

cultura o el sexo repercuten en la actuacin del candidato en un exa en >Aordn+ 200!b: 10? -si is o+ Aac< an >citado por Aordn+ 200!b: 1.C10? advierte 6ue no slo la lengua aterna de la persona evaluada influ)e en la evaluacin+ sino ta bi;n la lengua del evaluador+ as co o su for acin ) experiencia. aterna

39

2.-. ' o1ectos 1 estudios ecientes

3e exponen a continuacin algunos estudios ) pro)ectos relacionados con la elaboracin de criterios de evaluacin 6ue suponen la certificacin oficial de la co petencia idio 8tica en los 6ue se establecen unos objetivos ) se deter inan etodologas a

seguir. Estos pro)ectos nos sirven de referencia ) base para la elaboracin de nuestros propios criterios de evaluacin dentro de nuestra investigacin. #o o )a <e os visto+ el correcto desarrollo ) dise5o de los descriptores asociados a las escalas de nivel son de extre a i portancia en la evaluacin )a 6ue proporcionan odelos con los 6ue los candidatos pueden co pararse para autoevaluarse+ ) son u)

eficaces para au entar la fiabilidad de una evaluacin subjetiva co o es la de la expresin oral. /ero debe os destacar 6ue la a)or o enor exactitud en los

descriptores de la escala+ el procedi iento llevado a cabo o la aplicacin de la etodologa adecuada no es lo 6ue <ace 6ue la evaluacin de una tarea+ por eje plo+ sea fiable sino 6ue la dificultad reside en la finalidad para la 6ue se usan estos criterios >/arrondo+ 200!a?+ teniendo en cuenta el contexto+ el tipo de alu nado ) los objetivos de aprendi,aje #asi todas las investigaciones relacionadas con la evaluacin ) 8s concreta ente con

el desarrollo de criterios+ descriptores o escalas dentro de esta <an tenido co o referencia los siguientes pro)ectos 6ue se podran considerar los >/arrondo+ 200!a= Aordn+ 200$= /rati+ 200'?: En pri er lugar+ pode os no brar al pro)ecto sui,o+ financiado por el #onsejo superior de investigacin cientfica sui,o+ basado en un banco de descriptores elaborados a partir de otras escalas )a existentes de trav;s de estas ) edicin de la co petencia= a 8s destacables

ediante su experi entacin con profesores+ se reali,aron descriptores

8s claros ) Btiles para los usuarios. /osterior ente+ a partir de una seleccin de estos descriptores los profesores participantes les presentaron a sus alu nos un cuestionario de autoevaluacin. 3egBn /arrondo >200!a: 0$0?:
este banco de descriptores se utili, despu;s para elaborar la pri era edicin de los niveles co unes de referencia en el Marco comn europeo de referencia >2002? ) crear los instru entos de autoevaluacin necesarios para la creacin de un prototipo de 2asaporte ling$%stico europeo o 2ortfolio europeo de las lenguas+ docu ento ideado para recoger los logros+ etapa por etapa+ de los usuarios en el aprendi,aje de otras lenguas.

Otro de los pro)ectos destacados es el /ro)ecto %2-9-EO 6ue desarrolla escalas de evaluacin con la finalidad de clasificar o diagnosticar al candidato en su nivel de co petencia ediante una autoevaluacin+ diferentes pruebas de co petencia

40

ling&stica ofrecidas a trav;s de 2nternet ) su correspondiente retroali entacin. 3e ofrecen escalas de evaluacin en 1! idio as ) le confiere al alu no una autono a en su propio proceso de aprendi,aje. /or su parte+ el pro)ecto #-EC%O+ desarrollado por -94E tiene co o objetivo la validacin de descriptores de la capacidad ling&stica con relacin al 7#EF. %e esta anera les es 8s f8cil a los usuarios co prender la escala de niveles en relacin con

las <abilidades reales de las 6ue <ace uso. #abe destacar 6ue la asociacin -94E tiene co o objetivo el estableci iento de escalas ) niveles co unes de co petencia as co o el estableci iento de for as de proceder co unes para la elaboracin+ desarrollo ) distribucin de siste as de calificacin ) de co unicacin de resultados as co o el an8lisis e investigacin de estos. /or ello cre un cdigo deontolgico o #digo de Auena /r8ctica para los evaluadores en donde se especifican trabajo co unes en la evaluacin. En un intento por desarrollar lo 6ue los usuarios deberan <acer cuando utili,an una lengua+ el #onsejo de Europa desarrolla una serie de especificaciones estableciendo una descripcin de los niveles de co petencia ling&stica. Estas especificaciones fueron desarrolladas pri ero para ingl;s lla adas nivel u bral 6ue+ posterior ente+ fueron adaptadas al franc;s >un niveau'seuil? ) al espa5ol+ desarrolladas estas Blti as por /eter 3lagter en 10'0. - partir de estas pri eras especificaciones <an surgido nuevas ideas ) a pliaciones+ funda ental ente en ingl;s+ pero actual ente segui os la descripcin de niveles recogida en el 7#EF >2002?+ del 6ue <ablare os posterior ente+ ) 6ue en el caso del espa5ol no <a sido objeto de revisin <asta la fec<a. 9a descripcin de niveles de co petencia ling&stica se detalla a continuacin: #uadro .. #2 -van,ado #1 A2 2nter edio A1 -2 /rincipiante -1 7aestra %o inio operativo efica, -van,ado J bral /latafor a -cceso edidas ) ;todos de

41

En el caso de las EO2 de #anarias segui os esta descripcin de niveles+ aun6ue con la salvedad de 6ue no i parti os clase del nivel avan,ado del 7#EF >#1+ #2?= nuestro nivel avan,ado es el A2. %e anera 8s reciente+ surge el 7arco co Bn europeo de referencia >7#EF+ 2002?

6ue ta bi;n fue desarrollado por el #onsejo de Europa+ ) 6ue proporciona una base co Bn para la elaboracin de progra as de lenguas+ orientaciones curriculares+ ex8 enes+ anuales+ etc.+ en toda Europa >7#EF+ 2002: 1?. %e esta a)or unidad entre sus anera se pretende

Xconseguir una

ie brosY ) aspirar a este objetivo

Xadoptando una accin co Bn en el 8 bito culturalY >ib%dem! 2?. -ctual ente+ el 7#EF es una referencia ineludible en todas las ense5an,as de idio as influ)endo en la progra acin+ etodologa+ evaluacin ) ateriales de las instituciones educativas

co o son las EO2 o el 2nstituto #ervantes cu)o /lan curricular+ desarrollado a partir del 7#EF+ es una referencia en la did8ctica del espa5ol. En relacin con el 7#EF+ la asociacin -94E estableci las bases para un odelo de

/ortfolio europeo de las lenguas >/E9? validado por el #onsejo de Europa ) 6ue uc<as instituciones educativas utili,an en sus ense5an,as. El /E9 constitu)e el pasaporte ling&stico del candidato confor ado por una carpeta de docu entos de trabajos <ec<os por el alu no+ reflexiones ) experiencias sobre su proceso de aprendi,aje. 4odo ello sirve de co ple ento a los certificados oficiales ) facilita a los usuarios la co prensin de los niveles de co petencia 6ue <an ad6uirido en su proceso de aprendi,aje en la lengua objeto de estudio. -de 8s+ ta bi;n es Btil para ofrecer infor acin a terceras personas en una entrevista de trabajo+ por eje plo+ sobre nuestra co petencia ling&stica de anera detallada ) <o ologada.

4a bi;n cabe destacar otras asociaciones de evaluacin de lenguas 6ue operan en Europa. -s+ ade 8s de -94E tene os a la -sociacin europea de evaluacin ) pruebas de lengua $ >E-94-+ .uropean ,ssociation for anguage -esting and ,ssessment? o a la -sociacin 2nternacional de pruebas de lengua' >294-+ &nternational anguage -esting ,ssociation?. 294- se estableci en el a5o 100! ) desde principios de los a5os .0 organi,a una conferencia internacional relacionada con las pruebas de lengua+ el #olo6uio de investigacin de pruebas de lengua >94F#+ en sus siglas en ingl;s?. 294- pretende
$ '

ediante estas conferencias+ entre otras

etas+ esti ular el

/ara /ara

8s infor acin se puede consultar su p8gina @eb: @@@.ealta.eu.org. 8s infor acin se puede consultar su p8gina @eb: @@@.iltaonline.co .

42

desarrollo profesional+ pro over la difusin ) publicacin de infor acin relacionada con el 8rea de pruebas de lengua+ desarrollar el 8rea de las pruebas de lengua ) proporcionar personas capaces de liderar esa 8rea ) pro over servicios profesionales a sus ie bros. 9a 94F# de 294- suele centrar sus ponencias en los ex8 enes a gran 8s 6ue en las evaluaciones de aula. /or su parte+ E-94-+ creada en 200!+ a)or nB ero de

escala

pretende acercar las pruebas de lengua ) la evaluacin al

profesionales en Europa. /ara ello tiene por objetivo co partir la experiencia profesional en el ca po de la evaluacin ) pruebas de lengua+ incre entar la co prensin de la evaluacin de dic<as pruebas+ pro over el reconoci iento de la evaluacin ) pruebas de lengua co o disciplina profesional en Europa+ ejorar la

pr8ctica de los siste as de evaluacin de lenguas o for ar a expertos en dic<as pruebas. 4a bi;n+ al igual 6ue 294-+ ofrece conferencias todos los a5os para favorecer este interca bio de experiencias ) dotar de for acin a los profesionales de la ense5an,a de lenguas+ )a 6ue ta bi;n lleva a cabo se inarios especficos ) talleres. -si is o+ debido a la i portancia 6ue tiene la for acin de los evaluadores tanto -94E co o E-94- <an desarrollado un cdigo deontolgico 6ue sirve de gua. /or su parte+ -94E <a dise5ado un #digo de Auena /r8ctica para los elaboradores de pruebas ) E-94<a elaborado un cdigo de deontologa profesional 6ue abarca directrices de buena pr8ctica en tres 8reas: la evaluacin de lengua tanto en la for acin de profesores 6ue aBn no se <an incorporado a su pr8ctica profesional co o en la de los 6ue se encuentran trabajando+ la evaluacin en el aula ) las pruebas de lengua a una institucionales o nacionales. 4odos estos pro)ectos ) asociaciones+ ) actual ente de una anera 8s concreta el a)or escala+

7#EF+ <an servido para crear ) desarrollar unos criterios de evaluacin ) unos descriptores 8s precisos para conseguir unas pruebas de calidad ) unos resultados

fiables. 3obre estas bases se <an <ec<o los %iplo as de Espa5ol co o 9engua Extranjera >%E9E? ) las /ruebas de #ertificacin de las EO2 >/#EO2?. 9os %E9E+ 6ue acreditan el conoci iento del idio a espa5ol+ fueron creados por el 7inisterio de Educacin de Espa5a en 10.0+ por el Feal %ecreto .2$D1..+ de 20 de julio+ con el objetivo de difundir el espa5ol e incre entar la presencia del espa5ol en el undo. /ri era ente estos ex8 enes slo se reali,aban en el extranjero ) eran elaborados por el 7inisterio de Educacin de 7adrid= ade 8s+ solo exista el %iplo a A8sico de Espa5ol e inclua+ junto a tareas para evaluar las destre,as ling&sticas+ tareas sobre co entarios de texto 6ue
43

edan los conoci ientos literarios del candidato.

/osterior ente+ en 1000 se cre el %iplo a 3uperior de Espa5ol ) se ajust el tipo de pruebas centr8ndose 8s en lo ling&stico ) eli inando lo cultural o literario.

En 1001 la Jniversidad de 3ala anca+ pas a encargarse de la elaboracin ) calificacin de estos ex8 enes por un convenio fir ado con el 7inisterio de Educacin. Esta Jniversidad )a se <aba infor ado sobre c o confeccionar pruebas de calidad a trav;s de -94E. En este convierte en la en el extranjero. En 100" la Jniversidad de 3ala anca siguiendo las directrices del nivel u bral para el espa5ol establecidas por 3lagter en 10'0+ crea el #ertificado 2nicial de Espa5ol. /osterior ente el 2nstituto #ervantes se convierte en la institucin adecuada para <acerse cargo de la elaboracin+ distribucin ) calificacin de las pruebas )+ por lo tanto+ en ente certificador+ tal co o est8 en la actualidad. 9os certificados ca bian de no bre ) pasan a lla arse %iplo a de Espa5ol nivel inicial+ nivel inter edio ) nivel superior. -ctual ente estos diplo as se <an actuali,ado siguiendo el 7#EF en %iplo a de Espa5ol nivel -1+ %iplo a de Espa5ol nivel -2+ %iplo a de Espa5ol nivel A1 >antes inicial?+ %iplo a de Espa5ol nivel A2 >antes inter edio?+ %iplo a de Espa5ol nivel #1+ %iplo a de Espa5ol nivel #2 >antes superior?. -parte del 2nstituto #ervantes+ son uc<as las instituciones educativas 6ue <an is o a5o nace el 2nstituto #ervantes ) se

ejor institucin para difundir la lengua espa5ola con nu erosas sedes

desarrollado sus pruebas de certificacin+ co o la Jniversidad de Auenos -ires+ 6ue teniendo en cuenta las necesidades de los extranjeros 6ue vivan en el pas ) partiendo del an8lisis de uestras de escritura ) oralidad+ fue delineando descriptores de nivel )

especificaciones de ex8 enes 6ue resultaron un for ato probado ) <o ologado entre las pruebas+ dando lugar+ as+ a la #ertificacin de la #o petencia 9ing&stica de E93E en la -rgentina >/rati+ 200'?. En las EO2+ en 100. a trav;s del Feal %ecreto 0$'D100.+ de 2 de septie bre >AOE 21.? se expedan certificaciones acad; icas+ no diplo as+ al finali,ar los estudios conducentes al aprendi,aje de un idio a. -s+ al finali,ar los estudios del idio a durante tres cursos se expeda el certificado de nivel ele ental ) al finali,ar dos cursos 8s se expeda el certificado de nivel superior. #uando )a el alu no tena este certificado de nivel superior+ el 7inisterio de educacin expeda un #ertificado de aptitud del idio a objeto de estudio. 9o pode os ver resu ido en la siguiente tabla:

44

#uadro 0. #JF3O /ri ero 3egundo 4ercero #uarto Suinto #EF42*2#-%O

#ertificado de nivel ele ental #ertificado de nivel superior #ertificado de -ptitud del idio a

- partir del Feal %ecreto 0!!D200"+ de 1. de julio >AOE+ nP 1.2? por la 6ue se establece la estructuras de ense5an,as de idio as de r;gi en especial+ se pasa de estudiar un idio a en cinco cursos a <acerlo en seis cursos+ <aci;ndolo coincidir con la descripcin de niveles del 7#EF. 3e establecen+ as+ tres niveles >A8sico+ 2nter edio ) -van,ado? ) al finali,ar cada uno de ellos se expide el certificado de nivel A8sico >-2?+ de nivel 2nter edio >A1? ) de nivel -van,ado >A2?+ no conte pl8ndose las ense5an,as de nivel #1 ) #2. En un principio+ los ex8 enes de certificacin los reali,aba un e6uipo contratado para tal fin 6ue nor al ente eran profesores voluntarios de EO2. /ero durante los Blti os dos cursos escolares son los distintos departa entos de las EO2 de #anarias los 6ue tienen 6ue elaborar+ distribuir ) evaluar estos ex8 enes de certificacin. %e a< 6ue sea tan i portante establecer criterios v8lidos+ fiables ) viables para este tipo de ex8 enes teniendo en cuenta el contexto ) los alu nos i plicados.

2... Conclusiones
#o o se <a podido co probar+ en todo dise5o+ elaboracin+ distribucin ) evaluacin de cual6uier <erra ienta de evaluacin es necesario 6ue se cu plan deter inados aspectos 6ue <acen 6ue se convierta en una <erra ienta de calidad co o son: la valide,+ fiabilidad+ viabilidad+ autenticidad+ interactividad e i pacto >Aac< an ) /al er+ 100$?. Estos aspectos parecen aBn 8s difciles de llevar a cabo en evaluaciones subjetivas

donde interviene la accin <u ana co o es el caso de la expresin oral+ donde ta bi;n inciden otros factores co o son las caractersticas de los propios candidatos+ la in ediate, de la infor acin o la naturale,a cooperativa de toda accin verbal+ 6ue sigue unas nor as de construccin co partida del discurso. /ara ello+ se <ace necesaria la for acin de los exa inadores 6ue ediante un cdigo deontolgico puedan reali,ar

acciones ) to ar decisiones co unes sin 6ue se vea afectada la objetividad+ as co o

45

tener claro cu8l es el objetivo de la evaluacin e+ incluso+ de cada prueba+ 6u; enfo6ue es el 6ue esta os utili,ando ) 6u; lengua va os a evaluar. -de 8s+ si consegui os 6ue los descriptores sean for ulados con a)or claridad ) detalle )+ sobre todo+ sean itigarse la

adecuados al contexto ) al tipo de alu nado+ cree os posible 6ue pueda subjetividad en la evaluacin >Aordn+ 200$?. En el siguiente captulo+ referido al arco terico+ explicare os con

8s detalle c o ediante la

se pueden conseguir estos aspectos citados por Aac< an ) /a er >100$?

creacin de pruebas de evaluacin de calidad+ 6u; tipo de for acin deben tener los evaluadores para ello ) la presencia de una di ensin 6ue considera os i prescindible dentro de la evaluacin: la ;tica.

46

-. 2%RCO T#RICO
/arti os de la creencia de uc<os expertos en la investigacin de la evaluacin de la ense5an,a de idio as de 6ue la evaluacin cu ple un doble papel+ pedaggico ) pr8ctico+ 6ue per ite clarificar objetivos tanto al profesor co o al alu no+ i pulsar al alu no a to ar consciencia de su propio aprendi,aje ) proporcionar al profesor la to a de decisiones. Esto no slo se consigue por edio de ex8 enes sino ta bi;n a trav;s de

otras <erra ientas de evaluacin 6ue no tienen por 6u; estar enfocadas al resultado+ sino al proceso 6ue conducen a ;l+ per itiendo averiguar las dificultades ) los logros en la ad6uisicin del aprendi,aje de la segunda lengua. /ara ello+ son indispensables pruebas viables ) descriptores fiables elaborados con rigor ) validados e prica ente >Aordn >200$?+ -lderson+ et al. >100.?+ 9uo a >2000? o Iag&e >2010? entre otros?. #o o se puede ver+ la evaluacin de la lengua es un ca po bastante prolijo 6ue durante a5os <a dado lugar a un gran nB ero de lneas de investigacin para profundi,ar en esta cuestin+ tanto para poder deter inar la <abilidad ling&stica de la for a 8s precisa

posible co o para profundi,ar en el conoci iento de su naturale,a. #o o )a <e os visto+ se <an <ec<o i prescindibles conceptos co o fiabilidad+ valide, ) viabilidad de las tareas de exa en o <an surgido Bltiples reflexiones acerca de los tipos de

evaluacin+ sobre 6u; evalua os o las <erra ientas ) caractersticas necesarias para reali,ar un buen exa en. Es evidente 6ue la extensin del te a es bastante a plia ) a pesar de 6ue <are os referencia constante a uc<os de estos conceptos en nuestro

trabajo+ co o )a se <an tratado anterior ente en el apartado correspondiente al estado de la cuestin+ a<ora nos centrare os en los aspectos tericos relacionados con la elaboracin de pruebas o ex8 enes de idio as+ as co o la redaccin de descriptores de evaluacin.

-.1. #labo acin de ! uebas de evaluacin de calidad

- tenor de lo dic<o anterior ente+ pode os advertir 6ue no slo los descriptores de evaluacin son indispensables para asegurar la transparencia de los resultados+ sino 6ue ta bi;n estos criterios tienen 6ue estar en consonancia con las pruebas 6ue evalBan+ por lo 6ue el dise5o ) la elaboracin de estas ta bi;n debe de <acerse con el 6ue el 6ue se e plea para el de los criterios de evaluacin. 3on uc<os los estudios sobre la evaluacin 6ue tratan de estos aspectos pero nos 8s i portantes ) relevantes is o rigor

va os a centrar en dos aportaciones 6ue nos parecen las

47

en relacin a la elaboracin de pruebas de evaluacin de calidad e indispensables para nuestra investigacin: la de Aac< an ) /al er >100$? ) la de Aordn >200$?. 9as aportaciones de Aac< an ) /al er >100$? sobre las caractersticas 6ue debe tener toda prueba de evaluacin de una lengua >fiabilidad+ valide,+ viabilidad+ interaccin+ autenticidad e i pacto?+ )a las <e os desarrollado en el apartado del estado de la cuestin de este trabajo ) no nos va os a extender caractersticas se <an basado 8s en ellas. 3obre estas

uc<os dise5adores de pruebas para garanti,ar la calidad

de estas ) nos servir8n para <acer un an8lisis de cada una de las tareas 6ue elabore os para las pruebas de certificacin. /ero si bien Aac< an ) /al er >1000 ) 100$? nos proporcionan las caractersticas+ Aordn >200$? nos propone algunas sugerencias para dise5ar un buen exa en. -s+ considera 6ue en una fase previa al dise5o del exa en se debe decidir cu8l es el objetivo del exa en lo 6ue per itir8 saber cu8les son los usuarios a los 6ue va dirigido+ el tipo de recursos necesarios o 6u; tareas va os a e plear en la prueba. /osterior ente pasare os al dise5o de ;ste 6ue+ en el caso de un exa en de certificacin+ se tendr8n 6ue tener en cuenta los contenidos de acuerdo con el nivel 6ue proponga. -si is o+ se deter inar8n las partes de las 6ue consta el exa en+ cu8ntas pruebas se incluir8n en cada parte ) de 6u; tipo ser8n dic<as pruebas+ se redactar8n las pruebas ) las instrucciones+ as co o los criterios de evaluacin ) la redaccin de los descriptores. 9uego es necesaria una fase de experi entacin con candidatos de las is as caractersticas a los 6ue va destinado el exa en. Esta fase per itir8 co probar la valide, de la prueba ) la fiabilidad de los criterios de evaluacin en donde si se observara alguna dificultad se revisaran ) se odificaran para ejorarlos. /or Blti o+ ejorarlo )

se debe <acer una reflexin a partir de los resultados obtenidos para poder

ta bi;n para reflexionar sobre nuestra propia labor co o evaluadores ) dise5adores de pruebas. /ode os ver todo el proceso resu ido en el siguiente es6ue a 6ue nos proporciona Aordn >200$: $.?:

1er cuadro de an8lisis de tareas+ anexo $.

48

#uadro 10.

%eter inar el objetivo del exa en. /recisar el perfil del candidato. *ase previa 3eleccionar tareas de exa en en relacin con tareas de uso de la lengua. Esti ar los recursos necesarios.

/recisar los contenidos: 8reas te 8ticas+ nociones ) funciones prag 8ticas+ exponentes ling&sticos >gra 8tica ) vocabulario?+ de acuerdo con un deter inado nivel. *ase de dise5o Establecer los procedi ientos: distribucin de las partes+ tipos de pruebas+ duracin. Fedactar las pruebas ) las instrucciones. %efinir criterios de evaluacin.

*ase de experi entacin

-d inistrar el exa en a un grupo >o grupos? de control si ilar>es? al 6ue est8 destinado el exa en definitivo.

*ase de recapitulacin

#o probar la valide, de las pruebas ) la fiabilidad de los resultados. Fecapacitar para obtener retroali entacin.

4odas estas apreciaciones ) caractersticas 6ue nos ofrecen Aac< an ) /al er >100$? ) Aordn >200$? nos per iten generali,ar odos de proceder ) unificar criterios a la <ora

de elaborar pruebas ) criterios de correccin ) nos servir8n de base en nuestra investigacin.

-.1.1. ' uebas de evaluacin de la e)! esin o al.

-de 8s de los aspectos apuntados en el apartado anterior+ en el caso de las pruebas de expresin oral debe os advertir otras consideraciones no garanti,an la idoneidad de ;sta. :e os visto 6ue para poder evaluar la expresin oral se tienen 6ue plantear tareas co unicativas donde el candidato pueda de ostrar su <abilidad ling&stica. En ellas se tienen en cuenta no slo los conoci ientos sino ta bi;n las <abilidades del candidato para resolver con ;xito la tarea. En este sentido+ el 7#EF nos ofrece distintos tipos de
49

enos i portantes 6ue

tareas 6ue pode os llevar a cabo en la evaluacin oral ) distingue por un lado las actividades 6ue deno ina de expresin oral <ablar en donde el usuario de la lengua produce un texto oral 6ue es recibido por uno o 8s o)entes >7#EF+ 2002: $1?+ ) por 8s

otro+ las actividades de interaccin oral donde el usuario debe conversar con uno o candidatos.

9as actividades de expresin oral 6ue cita el 7#EF es lo 6ue nosotros lla are os tareas onologadas o onogestionadas >#alsa iglia ) 4usn+ 200': 10?+ donde el

candidato produce ;l solo su actuacin. -lgunos eje plos de actividades de este tipo 6ue nos propone el 7#EF >2002: $1? en su captulo cuatro son las siguientes:
C reali,ar co unicados pBblicos >infor acin+ instrucciones+ etc.?= C dirigirse a un pBblico >discursos en reuniones pBblicas+ conferencias universitarias+ ser ones+ espect8culos+ co entarios deportivos+ presentaciones de ventas+ etc.?. /ueden suponer+ por eje plo: C leer en vo, alta un texto escrito= C <ablar apo)8ndose en notas+ en un texto escrito o en ele entos visuales >es6ue as+ i 8genes+ gr8ficos+ etc.?= C representar un papel ensa)ado= C <ablar espont8nea ente= C cantar.

9as relaciones 6ue se producen en este tipo de actividades es de persona a audiencia. 3in e bargo+ en algunas de estas actividades co o leer en vo, alta un texto escrito+ <ablar apo)8ndose en notas o cantar+ la expresin oral es slo el canal+ por6ue el verdadero discurso es escrito ) el <ablante recita de e oria o lee+ pero no est8

produciendo lengua propia >Aordn+ 200$: 20!?. #o o se puede ver+ estas actividades son consideradas por algunos ling&istas no adecuadas para evaluar la produccin oral )a 6ue ;sta se basa en la escrita ) esti an 6ue desde un enfo6ue co unicativo la ateriali,acin 8s aut;nticaZ de la expresin oral es la 6ue reviste la for a de una conversacin >ib%dem?. Eo obstante+ considera os 6ue en estos casos se dan otros rasgos propios de la expresin oral co o la in ediate, en la produccin ) la aparicin de ele entos i previstos 6ue pueden influir en la co unicacin. %ebe os recordar 6ue la i previsibilidad es una de las caractersticas funda entales de la por uc<o 6ue se estudie de odalidad oral )

e oria lo 6ue se va a decir o c o se va a actuar+ lo

i previsto sie pre puede suceder. /or lo tanto+ si bien algunas de estas actividades onologadas est8n lejos de la conversacin+ co parten con ella aspectos de i provisacin e incluso alentendidos+ refor ulacin de lo 6ue se iba a decir o de

provocacin de conflictos co o ocurre en los interca bios dialogados o plurigestionados >#alsa iglia ) 4usn+ 200'?.

50

/ara estas actividades

onologadas el 7#EF nos ofrece escalas de nivel 6ue se pueden

consultar en el captulo cuatro del 7#EF >2002: $1C$!? con descriptores para la expresin oral en general+ para el onlogo sostenido co o descripcin de experiencias

) co o argu entacin+ por eje plo en un debate+ para declaraciones pBblicas ) para <ablar en pBblico. Estas escalas son de gran a)uda para el evaluador= sin e bargo+ se puede apreciar 6ue en algunos niveles no existe descriptor disponible por lo 6ue cree os 6ue en estos casos el evaluador puede recurrir a lo 6ue se considera 6ue debe <acer el candidato en la escala general+ es decir+ por eje plo+ en la expresin oral en general= o ta bi;n <acer ;l is o el descriptor para esos niveles donde no existe bas8ndose en su experiencia )Do for acin. /or otro lado+ el segundo tipo de actividades 6ue el 7#EF nos aporta son actividades ) estrategias de interaccin oral. 9a interaccin oral se produce cuando el candidato actBa ante un interlocutor <aciendo a su ve, los papeles de <ablante ) o)ente. /ara ello+ debe utili,ar no slo conoci ientos ling&sticos sino ta bi;n estrategias 6ue exigen una cooperacin entre los candidatos. 9as actividades ) estrategias de interaccin oral 6ue cita el 7#EF >2002: '(? son:
N N N N N N N N N N transacciones= conversacin casual= discusin infor al= discusin for al= debate= entrevista= negociacin= planificacin conjunta= cooperacin pr8ctica centrada en los objetivos= etc;tera.

2gual ente+ ofrece escalas ilustrativas con descriptores por niveles para la interaccin oral en general+ para co prender a un interlocutor nativo+ para la conversacin infor al ) la conversacin for al+ por eje plo en reuniones de trabajo+ para colaborar para alcan,ar un objetivo+ para interactuar con el fin de obtener bienes ) servicios+ para interca biar infor acin ) para entrevistar ) ser entrevistado+ 6ue ta bi;n se pueden consultar en el captulo cuatro del 7#EF >2002: '(C.1?. -parte de darnos una tipologa de actividades de expresin e interaccin oral para la elaboracin de las pruebas correspondientes a esta capacidad ling&stica+ el 7#EF va 8s all8 ) nos advierte 6ue en la interaccin intervienen toda una serie de estrategias co o son:

51

C 9a planificacin+ donde se consideran los posibles interca bios 6ue se van a llevar a cabo en la tarea+ lo 6ue el 7#EF deno ina encuadre+ ) donde se activan una serie de es6ue as entales 6ue desarrollan estas consideraciones >un

praxeogra a+ es decir+ un diagra a 6ue representa la estructura de la interaccin co unicativa?. -de 8s+ ta bi;n se produce una identificacin de vaco de infor acin ) de opinin >condiciones de idoneidad?+ una valoracin de lo 6ue se puede dar por supuesto )+ por Blti o una planificacin de los interca bios posibles o probables. C 9a ejecucin: durante la is a actuacin de los candidatos se producen turnos de o ento en el 6ue cada uno de los candidatos

palabras 6ue <acen referencia al

est8 interviniendo llevando la iniciativa en el discurso+ cooperacin interpersonal ) de pensa iento para asegurar una cooperacin en la tarea ) una co prensin utua+ estrategias para enfrentarse a lo inesperado ) peticin de a)uda. C 9a evaluacin+ 6ue se origina cuando se produce un ajuste entre el es6ue a ental 6ue se pensaba utili,ar ) lo 6ue ocurre real ente >control de los es6ue as ) del praxeogra a? as co o cuando se valora el ;xito+ es decir+ si todo <a salido co o se pensaba >control del efecto ) del ;xito?. C 9a correccin+ 6ue se puede observar ediante estrategias 6ue usan los candidatos

para pedir u ofrecer aclaraciones+ as co o para reparar la co unicacin cuando ;sta se <a visto da5ada al producirse Estas estrategias ta bi;n se alentendidos.

iden por escalas descriptivas de nivel >7#EF+ 2002: .!C

.(? ) las debe tener en cuenta el evaluador en la correccin de las pruebas de expresin oral. -de 8s de todos estos aspectos+ la produccin oral contiene otras variables 6ue el evaluador percibe en la actuacin del candidato ) 6ue no debe os pasar por alto. -s+ una intervencin oral puede ir aco pa5ada por gestos ) acciones no verbales 6ue influ)en en la co unicacin >por eje plo+ se5alar? o acciones paraling&sticas 6ue conllevan significados co unes dentro de una is a cultura ) 6ue pueden ser

diferentes en otras co o+ por eje plo+ gestos relacionados con el co porta iento de una persona >estar loco >el dedo <aciendo crculos a la altura de la sien? o gui5os de co plicidad?. 2gual ente existen sonidos 6ue llevan significados 6ue se <an <ec<o convencionales >sonidos extraling&sticos en el <abla: a)+ ba<+ uuuu<? o cualidades prosdicas co o el tono de la vo,+ la cualidad+ el volu en o a duracin de ;sta. #o o ve os+ la expresin oral contiene innu erables variables 6ue el evaluador debe
52

tener en cuenta a la <ora de e itir un resultado+ ) las escalas 6ue nos proporciona el 7#EF son de gran a)uda )a 6ue sirven de gua para esta labor tan difcil. Es evidente 6ue los Blti os aspectos pertenecientes a la co unicacin no verbal no los pode os edir ) valorar por escalas pero ta bi;n influ)en en la co unicacin ) no se pueden apartar de la valoracin de la actuacin del candidato. Jna de las actividades 6ue cita el 7#EF co o actividad de interaccin es la entrevista. Este tipo de actividad se <a utili,ado tradicional ente en educativas bajo la creencia de 6ue es la 6ue uc<as instituciones

ejor refleja la actuacin del candidato+ )a 8s visos de autenticidad en lo 6ue 8s representativa

6ue parece 6ue esta prueba es la 6ue reviste

respecta a la expresin oral >si esta os de acuerdo en 6ue la for a

de la expresin oral la constitu)e la conversacin? >Aordn+ 200!a: 00(?. 3in e bargo pode os co probar 6ue algunos cientficos esti an+ ediante algunos estudios <ec<os

al respecto+ 6ue este tipo de actividad no es la adecuada para valorar la expresin oral. *igueras >200!: $"C.!? <ace un an8lisis crtico de la entrevista co o tarea de exa en. 3egBn su estudio <ec<o a alu nos adultos de nivel 2nter edio de ingl;s+ la entrevista slo per ite un contexto Bnico >dos profesores frente a un alu no?+ dando lugar a una uestra u) reducida de lengua+ )a 6ue el candidato slo se li ita a responder a las

preguntas del evaluador. Esto supone 6ue la conversacin no sea natural+ puesto 6ue <a) pocas ocasiones en las 6ue el candidato puede e pe,ar un turno+ no existen las interrupciones o las respuestas i previstas 6ue se suelen dar en una interaccin real ) slo alguna peticin de aclaracin o de repeticin de la pregunta por parte de la persona evaluada. /or tanto+ la uestra de lengua en este tipo de pruebas orales >la entrevista? es

u) li itada+ por lo 6ue no se puede evaluar la lengua oral del candidato+ )a 6ue no constitu)e una uestra a plia del constructo a evaluar. -de 8s+ el evaluador arca

una relacin de poder 6ue deter ina la actuacin del candidato+ ) en el for ato de exa en se deben axi i,ar las capacidades de los candidatos ) no li itarlas+ co o axi i,a el rol del exa inador.

ocurre con la entrevista en donde se 3i aBn as se 6uiere

antener este for ato de entrevista para evaluar la expresin oral+

;sta debe estar estructurada cuidadosa ente para 6ue los aspectos de la prueba considerados i portantes se cubran con cada estudiante+ ) cada estudiante sea evaluado de for a si ilar >-lderson et al. 100.: $!? ade 8s+ Aordn >200!a: 00(? considera 6ue si los entrevistadoresCexa inadores est8n entrenados en su t;cnica ) la entrevista est8 u) bien estructurada ) experi entada no tiene 6ue plantear proble as. 9o 6ue is a situacin

debe os garanti,ar es 6ue los candidatos usen la lengua dentro de una

53

de dificultad+ es decir+ un candidato no puede li itarse a <acer preguntas si ples ientras otro tiene 6ue usar un lenguaje deficiencias en la lengua a evaluar. - la vista de los resultados de su investigacin+ *igueras >200!: .1? advierte 6ue+ en consonancia con lo 6ue propone el 7#EF+
si los plantea ientos de evaluacin de la lengua oral inclu)en tareas 6ue generan tipos de discurso onolgico ) dialgico+ actividades con distintos objetivos co unicativos ) en distintos 8 bitos+ podre os e itir juicios sobre las co petencias orales de los alu nos de for a uc<o 8s v8lida ) fiable+

8s co plejo 6ue puede resaltar sus

es decir+ 6ue existen otras for as para evaluar la expresin oral+ otros tipos de tareas 6ue reflejan de una anera 8s fiable la capacidad ling&stica del candidato. 8s relevante co o introduccin a la

Eo obstante+ considera os 6ue la entrevista sera

tarea o tareas de evaluacin de la expresin oral+ co o una fase previa a ;sta. %e esta anera+ el candidato puede sentirse 8s c odo ) reducir la tensin ) el nerviosis o

producidos en estas situaciones de exa en. En este caso+ la entrevista ser8 concebida co o una to a de contacto con el candidato ) nunca basare os en ella el resultado de la actuacin de la persona evaluada= de este odo se contribu)e a la aceptabilidad de la

tarea+ lo cual incre enta el ndice de fiabilidad de la prueba >Aordn+ 200$: 21(?. Jna ve, 6ue )a sabe os el tipo de actividades 6ue pode os utili,ar para elaborar una prueba de expresin oral+ debe os deter inar otros aspectos esenciales en relacin con la elaboracin de la tarea en s is a. En este sentido+ Aordn >200!a: 00!+ 200$: 20(C

20$? considera 6ue en las pruebas de expresin oral destinadas a evaluar la capacidad ling&stica del candidato es aconsejable 6ue tengan un apo)o gr8fico 6ue depender8 del nivel del idio a 6ue se evalBa >una foto para una descripcin fsica >nivel inicial?+ una secuencia de vi5etas para relatar una <istoria >inter edio? o una secuencia de vdeo para proporcionar un resu en )Du opinin de ;sta >avan,ado??. 3egBn Aordn este tipo de actividades con apo)o gr8fico en las 6ue no <a) interaccin reducen la tensin en el exa en+ por lo 6ue se pueden concebir co o actividades preparatorias. /or otra parte+ en tareas de interaccin debe <aber un interca bio de vacos de infor acin donde un alu no posee infor acin 6ue el otro no conoce ) tienen 6ue negociar para poder entenderse ) llegar a un acuerdo= si ulaciones si ilares 6ue se suelen producir en clase en donde se producen situaciones inventadas+ si ilares a las de la vida real ) en las 6ue los alu nos deben interactuar= o por Blti o+ representacin de papeles >role playing? en la 6ue los alu nos reciben una fic<a con una personalidad deter inada ) deben actuar con su interlocutor de acuerdo con el papel asignado. En este caso+ se debe considerar
54

6ue en pruebas de alto i pacto+ si los candidatos no se conocen previa ente+ se puede ver afectada la valide, de ;sta+ )a 6ue existen factores co o desconoci iento de la actividad de exa en o caractersticas personales co o la nacionalidad+ cultura+ edad o sexo 6ue pueden llevar a no recoger una actuacin ling&stica adecuada. /or ello+ Aordn advierte 6ue en estos casos es exa inador. /or su parte+ Eorris >100.+ citado en *igueras+ 200!: '0? inclu)e otros aspectos para la elaboracin de la prueba de expresin oral: C El nB ero ) el tipo de interlocutores+ )a 6ue esto deter ina la actuacin dependiendo de si la persona evaluada tiene 6ue interactuar con uno o candidatos o con el profesor. C 9a cantidad ) el tipo de input+ pues segBn c o se presente la infor acin de la tarea >en la lengua aterna del candidato o en lengua extranjera?+ ;sta puede 8s ejor 6ue la interaccin se <aga con un

odificar el discurso generado. C 9a fa iliaridad con el contenido de la tarea ) con los interlocutores. C El tie po de planificacin. C El tipo de intervencin prevista: planificada previa ente o espont8nea. C El objetivo co unicativo: segBn la situacin 6ue se plantee+ por eje plo+ si <ace falta llegar a un acuerdo o no en la interaccin. 2gual ente+ 18,6ue, >2000: (!? incide en 6ue una prueba 6ue evalBe la expresin oral debe ser planteada co o un ejercicio co unicativo ) para ello se debe producir una interaccin en la 6ue intervengan co o ni o dos personas+ ade 8s+ debe 6uedar

claro 6ui;n <abla con 6ui;n ) para 6u; Ces lo 6ue deno ina explicitacinC+ )+ al igual 6ue Aordn+ considera 6ue debe existir un vaco de infor acin o de opinin+ es decir+ la respuesta 6ue se desea obtener no debe ser conocida sino inesperada+ ) contener un ni o de novedad para el interlocutor= por Blti o+ <a) 6ue tener en cuenta si <a) 8s

de una sola respuesta o no >prediccin nula?+ 6ue en el caso de la expresin oral se refiere+ por eje plo+ si los interlocutores deben llegar a un acuerdo o no+ si <a) 6ue aportar una solucin a un proble a+ etc.+ co o )a nos adverta Eorris >objetivo co unicativo?. #uando una persona se expresa oral ente en interaccin+ co o se5alaba el 7#EF+ intervienen uc<as variables ) para evaluar esa interaccin es indispensable incidir en

ellas. -de 8s de las especificadas en el 7#EF+ 9uo a >2000: 1"2C1""? nos ofrece un eje plo de criterios a tener en cuenta en una prueba de certificacin >, general purpose
55

proficiency test? ) plantea 6ue la capacidad para interactuar de

anera efectiva conlleva

ta bi;n la capacidad para interactuar en distintos contextos+ para lo cual <a) 6ue observar el grado de for alidad+ las convenciones de cortesa o la utili,acin del registro >for al o infor al?. 4a bi;n supone evaluar la claridad en la presentacin >co<erencia ) co<esin? ) la capacidad para expresar lo 6ue se pide de anera correcta.

Esto significa 6ue el candidato debe de ostrar+ ade 8s+ 6ue tiene un buen conoci iento del vocabulario ) las estructuras de la lengua+ capacidad para acceder a los conoci ientos relativa ente r8pido+ una pronunciacin co prensible ) capacidad para co prender ) reaccionar al discurso del interlocutor. 3i alguno de estos aspectos estuvieran por debajo de lo 6ue se considera adecuado para el nivel+ la actuacin de la persona evaluada se considerara negativa. - la vista de estas consideraciones+ 9uo a propone evaluar de anera analtica todos los aspectos 6ue for an parte de la

co petencia co unicativa )+ ade 8s+ advierte 6ue aun6ue la co petencia estrat;gica no se evalBe de for a directa+ s puede influir en la calificacin por6ue interviene en la reali,acin de la tarea. #o o se puede co probar+ la a)ora de estudios coincide en 6ue la interaccin es la 8s caracterstica en 6ue

ejor for a de evaluar la expresin oral )a 6ue es la for a

las personas se relacionan ) co unican. /ero debe os destacar 6ue aun6ue se <a diferenciado entre las tareas onologadas+ 6ue lla aba el 7#EF de expresin oral+ ) onologadas ta bi;n

las tareas interactivas+ de interaccin oral segBn el 7#EF+ las

son interactivas+ )a 6ue si bien es verdad 6ue+ por eje plo+ en una conferencia la Bnica persona 6ue tiene el derec<o ) el deber de <ablar es 6uien pronuncia el discurso+ la audiencia 6ue lo escuc<a interactBa con el ponente ediante toda una serie de aspectos 8s notoria entre ellas es 6ue

no verbales 6ue afectan al conferenciante. 9a diferencia unas son

8s tpicas o infor ales+ las dialogadas o plurigestionadas >#alsa iglia ) 8s o enos espont8neas= ) otras son 8s for ales )

4usn+ 200'? 6ue suelen ser preparadas+ las

onologadas o onogestionadas+ pero a bas se dan en interaccin.

%e esta for a+ #alsa iglia ) 4usn >200': 1.? se5alan una serie de rasgos 6ue se suelen dar en las producciones orales 8s cotidianas+ rasgos 6ue debere os advertir en

nuestras tareas de evaluacin de la expresin oral para 6ue la si ulacin producida en el exa en sea lo 8s real posible.

9a situacin de enunciacin oral prototpica se caracteri,a+ b8sica ente por los siguientes rasgos: En pri er lugar+ por la participacin simult3nea de las personas 6ue intervienen en ella. 78s 6ue e isores ) receptores+ es preferible o 8s ajustado referirnos a ellas co o

56

C C

inte(l!cut!(es. En segundo lugar+ por la presencia simult3nea de 6uienes interactBan+ se co parte el espacio ) el tie po+ los interlocutores participan ca(a a ca(a. En tercer lugar+ por6ue los interlocutores activan+ constru)en ) negocian en la inte(accin una relacin interpersonal basada en sus caractersticas psicosociales: el estatus+ los papeles o la i agen+ por eje plo.

-de 8s de todos estos aspectos+ la prueba de expresin oral al ser planteada co o actividad co unicativa debe ser significativa+ es decir+ debe tener sentido para los participantes+ por lo 6ue es necesario 6ue <a)a ese vaco de infor acin al 6ue aluda os anterior ente. 4a bi;n debe ser aut;ntica para <acerla 8s cercana al

alu no+ abierta para 6ue los candidatos puedan <ablar ) actuar con cierta libertad= es necesario 6ue se inclu)a una retroali entacin significativa con el objeto de 6ue los participantes sean infor ados de la causa del resultado de su actuacin positivo o negativo+ dosificar la dificultad en el desarrollo de la prueba dependiendo del nivel+ siendo 8s reco endable ad inistrar al principio las pruebas 8s sencillas ) dejar para

el final las

8s co plicadas+ )+ por Blti o+ tener en cuenta la diferencia 6ue puede edios 6ue posee el alu no para expresarse ) lo 6ue real ente 6uiere

existir entre los

expresar+ de a< 6ue sea i portante en el aprendi,aje del idio a introducir estrategias de co unicacin >Fobera #arre5o+ citado por /inilla+ 200!: .00? 9o 6ue resulta evidente es 6ue todos estos aspectos 6ue <e os se5alado for an parte de la expresin oral entendida co o acto co unicativo ) tanto para dise5ar+ desarrollar co o para evaluar las uestras de lengua de las personas evaluadas+ debe os apreciar

todas estas variables si 6uere os obtener pruebas de exa en ) resultados de calidad.

-.1.2. C ite ios de evaluacin de la e)! esin o al

Jna ve, 6ue tene os elaboradas las pruebas para evaluar la expresin oral de los usuarios ) las <e os ad inistrado+ tene os 6ue valorar la <abilidad ling&stica co unicativa de los exa inados dependiendo de los datos 6ue se desprendan de ellas. El 7#EF >2002: 10"C10!? establece para la expresin oral catorce categoras cualitativas 6ue debe os tener en consideracin co o son: estrategias de turnos de palabras+ estrategias de colaboracin+ peticin de aclaracin+ fluide,+ flexibilidad+ co<erencia+ desarrollo te 8tico+ precisin+ co petencia socioling&stica+ alcance general+ ri6ue,a de vocabulario+ correccin gra atical+ control del vocabulario ) control fonolgico. 3in e bargo+ estas categoras deberan co binarse+ refor ularse o reducirse a un nB ero 8s pe6ue5o seleccionando a6uellas 6ue se adecuen 8s a las

necesidades de los alu nos ) al objetivo de la prueba+ )a 6ue se considera 6ue el l ite

57

8xi o de categoras debera ser siete+ puesto 6ue por enci a de este nB ero se esti a u) difcil de controlar por parte del exa inador. %e esta for a+ los resultados de una actuacin procedentes de una prueba de lengua ) la solvencia de estos se pueden edir dependiendo de las dudas 6ue se tengan sobre las

caractersticas de los candidatos+ c o se les va a evaluar+ si las preguntas est8n relacionadas con las caractersticas de estos )+ sobre todo+ inexactitudes en los siste as de puntuacin ) variedad de interpretacin ) aplicacin de estos por parte de los correctores >-lderson et al.+ 100.: 10$?. En la evaluacin de la expresin oral la puntuacin 6ue se utili,a es subjetiva+ los evaluadores no pueden deter inar su valoracin en t;r inos de verdadero o falso sino 6ue deben valorar <asta 6u; punto la actuacin de un candidato en relacin con la tarea a desarrollar se puede considerar buena o ala. /ara ello+ se <acen necesarios unos

criterios de evaluacin lla ados plantillas de correccin >marking schemes? o escalas de valoracin >rating scales? 6ue aun6ue existen algunas distinciones entre ellas+ en espa5ol se suelen utili,ar bajo la deno inacin de criterios de evaluacin para a bas >ib%dem: 10(?. Estos criterios contienen una serie de descriptores 6ue entra5an una serie de afir aciones sobre el tipo de actuacin ling&stica al 6ue se refiere cada punto de la escala. Esta escala en donde se inclu)en los criterios de evaluacin puede ser <olstica >holistic scale? o ta bi;n lla ada escala de i presin general >impression scale? ) se utili,a cuando los evaluadores 6uieren deter inar el resultado de la prueba de una anera

r8pida+ sobre todo en ex8 enes de clasificacin o en ex8 enes de progreso donde el evaluador tendr8 8s uestras de lengua 6ue evaluar a lo largo del curso )+ por lo tanto+

no le <ace falta ser tan especfico en estos tipos de exa en. Jn eje plo de escala <olstica es la siguiente0: #uadro 11. 1.C20 1$C1' 12C1( excelente 7u) bien Aien 2ngl;s natural con errores ni os ) reali,acin co pleta de la tarea enco endada. 78s 6ue un conjunto de frases si ples+ con buen vocabulario ) estructuras. -lgunos errores b8sicos. Feali,acin si ple aun6ue precisa de la tarea enco endada con algunos errores serios.

3e to a a6u el eje plo >en su versin traducida? 6ue -lderson et al. >100.: 10.? to aron de J#9E3 >&nternational .(aminations in .nglish as a )oreign anguage 4eneral 5andbook+ 10.'?. -un6ue <ubi;se os preferido incluir a6u los bare os utili,ados en la prueba oral de los %E9E+ estos no se encuentran aBn publicados. 58

.C11 (C' 0C!

3uficiente *lojo 7u) flojo

Fa,onable ente correcta aun6ue torpe ) no co unicativa O trata iento natural ) justo del te a+ con algunos errores. 1ocabulario ) gra 8tica no adecuados al te a. 2nco<erente. 9os errores uestran la ausencia de conoci ientos b8sicos de ingl;s.

/ero+ si lo 6ue se 6uiere es ju,gar varios co ponentes de una actuacin ling&stica por separado >gra 8tica+ vocabulario+ registro+ ortografa+ co<erencia ) co<esin+ etc.? se debe utili,ar una escala analtica >analytic scale? en la 6ue <a) descriptores para cada co ponente de dic<a escala. Este tipo de escala per ite valorar con aspecto de la actuacin ling&stica pudiendo tener un 8s detalle cada

is o candidato puntuaciones

distintas en dic<os co ponentes deter inando al final una puntuacin global para la totalidad de la actuacin o diferenciada en cada uno de sus co ponentes. continuacin #uadro 12. 4-FE- 2 N $0 /JE4O3 CON$I9N% #ubre a plia ente el objetivo de la co unicacin+ ajust8ndose al tie po establecido ) trata todos los puntos de la tarea con detalle. #ubre el objetivo de la co unicacin+ ajust8ndose al tie po establecido ) trata todos los puntos de la tarea. #onsigue el objetivo de la co unicacin de anera suficiente ) trata la itad+ o 8s+ de los puntos de la tarea. El grado de cu pli iento de la co unicacin es insuficiente ) trata enos de la itad de los puntos de la tarea. Eo consigue el objetivo de la co unicacin ) trata pocos puntos de la tarea. OR9%NIB%CIN C COD#$IN 2nteractBa de anera natural+ respeta las nor as de co unicacin ) e plea arcadores variados del discurso de for a u) adecuada 2nteractBa adecuada ente+ tiene en cuenta las nor as de co unicacin+ ) <ace un uso apropiado de los arcadores del discurso 2nteractBa de anera co<erente+ tiene en cuenta la a)or parte de las nor as de co unicacin ) <ace un uso adecuado de los arcadores del discurso. 2nteractBa de for a poco co<erente ) <ace un uso li itado de los arcadores del discurso. Eo interactBa adecuada ente+ ni e plea de for a apropiada los arcadores del discurso. &E:ICO
10

ostra os un eje plo de escala analtica10:

/untuacin 10 ' ( " 0 /untuacin 10 ' (

$ 0 /untuacin

Esta escala es la 6ue se utili,a en las EO2 de #anarias para evaluar la prueba de interaccin oral en espa5ol+ recogida en la Fesolucin de 2. de julio de 2010 FAO# EP 1$'. 7i;rcoles 2( de -gosto de 2010: 222!C222$?.

59

Jtili,a un vocabulario+ u) variado ) preciso+ adecuado a la tarea. Jtili,a un vocabulario adecuado a la tarea+ variado ) preciso. Jtili,a un vocabulario adecuado a la tarea ) suficiente. 7uestra un uso del vocabulario poco adecuado a la tarea ) li itado. Jtili,a un vocabulario inadecuado ) u) li itado para la tarea. 'RONUNCI%CIN 9a pronunciacin es u) correcta ) la entonacin u) apropiada. 9a pronunciacin es correcta ) la entonacin apropiada. 9a pronunciacin ) entonacin son adecuadas. 9a pronunciacin es poco clara ) la entonacin poco apropiada. 9a pronunciacin es u) defectuosa ) la entonacin poco apropiada 7&UID#B El di8logo se reali,a con una gran fluide, ) soltura+ ) con las pausas adecuadas. El di8logo se reali,a con fluide, ) soltura+ ) las pausas apropiadas. El di8logo se reali,a con las pausas ) la fluide, apropiadas. El di8logo se reali,a con escasa fluide, ) pausas incorrectas. El di8logo se reali,a sin fluide, ) con pausas incorrectas. 9R%.GTIC% Jtili,a correcta ente una gran variedad de estructuras ) for as gra aticales propias del nivel. Jtili,a correcta ente estructuras ) for as gra aticales propias del nivel. Jtili,a estructuras ) for as gra aticales propias del nivel+ de for a suficiente. Jtili,a de anera insuficiente las estructuras ) for as gra aticales propias del nivel. Jtili,a un nB ero u) li itado+ ) con nu erosos errores+ de estructuras ) for as gra aticales propias del nivel. R#9I$TRO 3e ajusta a la situacin de co unicacin durante toda la tarea ) <ace un uso correcto de los arcadores del contexto social. 3e ajusta a la situacin de co unicacin durante toda la tarea con algBn error en el uso de los arcadores del contexto social. Eo se ajusta a la situacin de co unicacin ni utili,a los arcadores apropiados del contexto social.

12 . $ ! 0 /untuacin $ ! " 2 0 /untuacin $ ! " 2 0 /untuacin 12 . $ ! 0 /untuacin ! 2 0

En esta escala las co petencias 6ue aparecen atienden a los siguientes aspectos para su evaluacin >Fesolucin de 2. de julio de 2010 FAO# EP 1$'. 7i;rcoles 2( de -gosto de 2010: 2221? : #uadro 1". C #o petencia prag 8tica #onsigna 3e refiere al grado de cu pli iento del objetivo de co unicacin solicitado en la tarea: si se <a cu plido total o parcial ente o si no se <a cu plido en absoluto. #o prueba si se <a respetado la duracin en la extensin de las intervenciones

60

6ue se solicitaba en la consigna de la tarea. 1erifica si se <an tratado todos los puntos de la tarea+ as co o la pertinencia del contenido del texto en conjunto o de deter inadas partes de este. Organi,acin 3e refiere al grado de adecuacin en la organi,acin del texto: la ) co<esin for a de presentar la infor acin+ la estructura interna+ la liga,n entre las partesK Entre los ecanis os para la construccin textual+ se prestar8 especial atencin al e pleo adecuado de conectores as co o de los arcadores propios de la conversacin. C #o petencia ling&stica 1erifica el grado de correccin en el vocabulario e pleado+ su variedad ) la precisin del l;xico+ sie pre segBn la tarea propuesta ) dentro del nivel de co petencia evaluado. /ronunciacin 3e refiere a la correccin en la articulacin de los sonidos+ ) fluide, cuestin 6ue se ponderar8 sie pre en relacin con el nivel evaluado ) con el principio de efectividad en la co unicacin. 3e evaluar8 ta bi;n la adecuacin de la entonacin+ el rit o ) las pausas en funcin de la odalidad discursiva+ la tipologa textual ) la funcin co unicativa. Ora 8tica 3e refiere al grado de correccin de todos los ele entos relacionados con la orfologa ) la sintaxis: orden de los ele entos+ concordancias+ for as ) estructurasK En el an8lisis de los errores 6ue la produccin presente+ ser8 necesario considerar si estos corresponden al estadio de ad6uisicin ling&stica 6ue se pretende certificar+ si se derivan de la to a de riesgos ) en 6u; grado obstaculi,an la co unicacin. C #o petencia socioling&stica Fegistro 3e refiere a la consideracin de cuestiones tales co o la situacin de co unicacin >la real de la prueba )Do la creada a partir de las pautas consignadas en esta?+ el propsito de esta co unicacin+ los destinatarios+ el ensaje ) la relacin Creal o virtualC 6ue les une a estas personasK 3e deber8 co probar 6ue estas variables <an condicionado 6ue+ para el texto+ se elija un deter inado registro+ estilo ) nivel ling&stico+ lo 6ue se verbali,ar8 a trav;s de la utili,acin de unas for as arcadas socioling&stica ente >en el l;xico+ en las estructurasK?. odelo de co petencia co unicativa 6ue is a puntuacin a todas las categoras 8s i portancia >l;xico ) gra 8tica?+ es 9;xico

#o o se puede ver+ en esta escala se sigue el propone el 7#EF >2002? ) no se da la considerando 6ue las 8s puntuadas tienen

decir+ aparecen ponderadas. Eo obstante+ la ponderacin diferenciada de te s rara ente ejora la fiabilidad o la valide, >-lderson et al.+ 100.: 1!$? )a 6ue si una

61

parte vale

8s 6ue otra sera

8s fiable 6ue la parte 6ue

8s vale tuviera el doble de

te s 6ue la otra 6ue si se presentara el los 6ue pertenecen a la parte ib%dem?. En otras ocasiones se

is o nB ero de te s para las dos 8reas )

8s i portante valen el doble >Ebel >10'0?+ citado en

e,clan las escalas analticas con las <olsticas= as+ por eje plo+

se evalBa la gra 8tica con una escala analtica ) la consigna con un bare o <olstico. 2ncluso+ concreta ente en la evaluacin de las pruebas de expresin oral+ algunas instituciones optan por 6ue el evaluadorCinterlocutor ofre,ca una visin general de la actuacin del candidato+ utili,ando para ello una escala <olstica ) el evaluadorC exa inador lo <ace con 8s detalle+ )a 6ue no tiene 6ue interactuar con el aspirante+

ediante un bare o analtico. En definitiva+ es necesario decidirse por un siste a de evaluacin ) experi entarlo con evaluadores ) para ello es conveniente la for acin de estos.

-.1.-. Obtencin 1 t ata(iento de datos.

El registro de las uestras obtenidas a partir de las actuaciones de los candidatos es una for a de experi entar los criterios de evaluacin con el fin de garanti,ar la fiabilidad en las pruebas de expresin oral. 9a for a 8s usual de registrarlas es ediante

grabaciones de audio= as+ tene os resultados tangibles de las producciones de los alu nos con la finalidad de ser co partidas+ observadas ) evaluadas+ as co o para poder otorgar a la produccin oral el is o rango de objetividad ) de i portancia 6ue

se da tradicional ente a las producciones escritas. Esto ta bi;n facilita la labor de los evaluadores ante posibles recla aciones+ )a 6ue conta os con un docu ento de la actuacin del candidato+ )+ por otra parte+ puede utili,arse para la for acin de estos. 3iguiendo a Aordn >200!a: 000?:
9a Bnica anera de asignar resultados fiables a pruebas abiertas 6ue precisan calificacin subjetiva+ es 6ue los evaluadores tengan claro el alcance de cada uno de los par8 etros de actuacin establecidos en las escalas 6ue se adopten. Jn est8ndar unifor e garanti,a la objetividad de la calificacin )+ consecuente ente+ la fiabilidad de la is a. Eo se contar8 con una <erra ienta fiable si no se for a a evaluadores 6ue sepan utili,arla+ ) eso slo se consigue con la pr8ctica 6ue lleve a la <o ogenei,acin de criterios.

-de 8s+ en ex8 enes de alto i pacto+ es necesario 6ue se <aga una doble correccin del exa en+ bien por parte del en el caso de 6ue <ubieran is o evaluador o por parte de evaluadores diferentes )+ uc<as discrepancias en los resultados debe intervenir un

tercero o un jefe evaluador para nivelar la calificacin. En cuanto a las pruebas orales esto slo es posible si se graban las producciones de los participantes.

62

Eo obstante+ co o )a <e os co entado con anterioridad+ la evaluacin sobre pruebas grabadas suelen tener resultados 8s altos 6ue sobre pruebas directas )a 6ue en las

grabaciones de audio se pierden ele entos paraling&sticos ) extraling&sticos 6ue ta bi;n intervienen e influ)en en la co unicacin oral ) 6ue son tre enda ente i portantes para 6ue la co unicacin sea efectiva. Jna for a de suplir esta carencia de las grabaciones de audio es sustituirlas por grabaciones de video donde s se podran apreciar todos estos ele entos. 3in e bargo+ la posibilidad de poder grabar las actuaciones ta bi;n depende de los de los participantes. edios logsticos disponibles ) del consenti iento

-.2. &a fo (acin de los evaluado es

4odos los estudios consultados inciden en 6ue la for acin de los evaluadores es indispensable para 6ue la evaluacin se lleve a cabo con fiabilidad+ viabilidad ) valide,. 3i esta for acin no existe+ los evaluadores+ al enos+ deben ser personas uestras de capacidad

experi entadas en la ense5an,a de idio as ) en la evaluacin de ling&stica. Estos Blti os+ la

a)ora profesores+ para suplir su falta de for acin co o

profesionales de la evaluacin+ sobre todo en lo 6ue concierne a ex8 enes de alto i pacto+ pueden to ar co o referencia el #digo de #onducta o de Auena /r8ctica de -94E11. Esta -sociacin <a desarrollado un cdigo deontolgico 6ue garanti,a los derec<os de los usuarios ) los co pro isos 6ue ad6uieren con ellos los evaluadores+ avalando la transparencia ) calidad en la evaluacin. 3e pretende 6ue los usuarios tengan la seguridad de 6ue las pruebas para la obtencin de un certificado de capacidad ling&stica no slo aseguran el nivel 6ue deter ina el resultado de estas con total fiabilidad+ sino ta bi;n su calidad. -s+ -94E nos ilustra sobre aspectos tales co o 6ui;nes for an parte del proceso de evaluacin+ 6u; obligaciones tienen los evaluadores ) cu8les son las responsabilidades de los usuarios+ as co o ta bi;n nos sugiere un proceso de introspeccin o

:a) 6ue recordar 6ue ade 8s de -94E existen otras asociaciones 6ue <e os no brado anterior ente ) 6ue ta bi;n facilitan la for acin de los evaluadores )+ por extensin+ la de los profesionales de la ense5an,a de lenguas co o son E-94- o 294-. Eos <e os centrado en -94E por6ue es la 8s antigua de las tres asociaciones+ creada en 1000+ ) es la 6ue 8s <a desarrollado su #digo de Auena /r8ctica.

11

63

autoevaluacin para elaborar ) evaluar pruebas con rigor. 3eguida ente nos propone os explicar estos aspectos con 8s detalle.

En cuanto a las personas 6ue for an parte del proceso de evaluacin+ distingue tres agentes: los creadores de los ex8 enes 6ue los elaboran ) los 6ue los ad inistran= los usuarios de estos+ lla ados usuarios secundarios+ 6ue son los 6ue utili,an los resultados de los ex8 enes para to ar decisiones profesionales )Do acad; icas= ) por Blti o+ los candidatos o usuarios pri arios 6ue son los 6ue se presentan a los ex8 enes. Jna ve, deter inados los individuos 6ue intervienen en la evaluacin+ -94E nos proporciona un #digo de #onducta 6ue trata las obligaciones de los entes certificadores en cuatro 8 bitos: C Jtilidad: <a) 6ue infor ar a los usuarios de c o es el tipo de prueba+ 6u; se evalBa en ella ) su utilidad. /ara ello+ <a) 6ue tener en cuenta el contexto ) el tipo de alu nado al 6ue va dirigida la prueba+ el odelo de lengua a evaluar+ los

contenidos ) los criterios de evaluacin 6ue se usan. C 4ransparencia: el usuario debe saber c o se evalBan las pruebas ) c o se expresa el rendi iento de cada candidato. C E6uidad: deben de ser justas para todos los usuarios independiente ente de su g;nero+ ra,a+ religin+ lengua la reali,acin de las aterna o discapacidades 6ue puedan obstaculi,ar

is as. %ebe os asegurarnos 6ue las diferencias de

rendi iento de los candidatos se deban a la evaluacin de la destre,a ) no a influencias de su ra,a+ g;nero o religin. C %erec<os ) responsabilidades: los usuarios deben conocer los resultados de sus ex8 enes+ deben saber 6ue tienen derec<o a la revisin de estos+ a la recla acin de los resultados+ a la proteccin de sus datos personales+ al periodo de tie po estipulado para la destruccin de los ex8 enes ) a la valide, de las certificaciones expedidas. -de 8s+ -94E ta bi;n advierte de las responsabilidades de los usuarios en cuatro apartados: seleccin de ex8 enes adecuados relacionados con el tipo de candidatos a los 6ue se dirigen+ interpretacin de los resultados+ co pro iso de e6uidad ) justicia e infor acin para los usuarios. 2gual ente nos expone un proceso de autoevaluacin e introspeccin 6ue per ite una reflexin ) concienciacin sobre la elaboracin+ ad inistracin ) correccin de pruebas con el fin de establecer ejoras. Eos se5ala cuatro aspectos de la accin introspectiva:

64

C %ise5o ) confeccin de pruebas siguiendo procesos estandari,ados de elaboracin de pruebas basadas+ en su C -d inistracin de ex8 enes. C /rocesado de la docu entacin ediante la correccin+ calificacin ) a)ora+ en enfo6ues co unicativos.

co unicacin de resultados. En este aspecto -94E incide en 6ue es funda ental la for acin de los evaluadores. C -n8lisis ) revisin sobre el rendi iento de las pruebas ) revisin de contenidos para adaptarlos al 7#EF. 4odas estas directrices nos sirven de apo)o para tener una idea 8s clara de lo 6ue se

debe <acer en relacin con la elaboracin de pruebas ) c o se debe evaluar. En este sentido+ si nos ce5i os a la evaluacin de la expresin oral los aspectos 6ue <e os se5alado acrecientan su relevancia en el caso de la for acin de los evaluadores de esta destre,a+ )a 6ue no slo deben atender a las variables )a tienen 6ue interpretar los descriptores de evaluacin de encionadas sino 6ue ta bi;n anera co<erente ) co prender

los principios 6ue sub)acen en ellos. -s+ se <ace necesario 6ue los evaluadores de las pruebas de expresin oral graben las actuaciones para 6ue cuando las puntBen ) se pongan en co Bn los resultados con otros evaluadores+ puedan volver a escuc<ar la actuacin del candidato para exponer las puntuaciones de for a independiente+ discutir las notas+ odificar la escala si <ace falta ) dar una valoracin consensuada. /ara un

profesor de idio as 6ue no est; acostu brado a este tipo de evaluacin de certificacin+ si no tiene la for acin adecuada+ puede pasar por alto estas consideraciones= de a< 6ue sea tan necesario el adiestra iento de esta labor. -de 8s+ en ocasiones+ el evaluador debe interactuar con el candidato+ aun6ue si <a) 8s de un evaluador lo conveniente es 6ue uno actBe co o interlocutor >evaluadorC interlocutor? dedic8ndose slo a conversar con el aspirante+ ) el otro se li ita a evaluar la actuacin >evaluadorCexa inador?. Esto dis inu)e la tensin de los candidatos a la ve, 6ue 6uien evalBa se puede centrar en tal fin sin necesidad de irar o asentir+ es

decir+ interactuar con la persona evaluada. %e todas for as+ aun6ue el 6ue asu e el papel de interlocutor slo interactBe con el candidato+ ta bi;n se est8 for ando una valoracin de la actuacin de ;ste. /or ello+ lo considera os ta bi;n evaluador+ al igual 6ue al 6ue exa ina. 9a for acin de los evaluadores per ite 6ue estos sepan c o actuar con los aspirantes en cada situacin+ dnde sentarse segBn su rol en la evaluacin de la expresin oral+ c o anotar puntuaciones de for a discreta+ etc. /ero si bien la for acin de los
65

evaluadores es necesaria+ ta bi;n lo es la de los ad inistradores de la prueba+ 6ue en el caso de las EO2 suelen coincidir en una is a persona: el profesor. 3e puede considerar

ad inistrador de la prueba de expresin oral+ en el caso de 6ue <a)an dos evaluadores para una is a prueba+ al evaluadorCinterlocutor+ 6ue tiene 6ue asegurarse de 6ue los

candidatos entiendan la tarea ) sepan lo 6ue deben <acer. -si is o+ deber8 saber c o <acer 6ue estos se sientan 8s c odos o c o actuar para introducir en la

conversacin a los 6ue todava no <an <ablado. 4odo ello exige una for acin al respecto. 3egBn -lderson et al. >100.: 11$? se necesitar8 edio da 8s de for acin edio da co o ientras

para los exa inadores 6ue tendr8n 6ue interactuar con los candidatos )

ni o para la for acin de los profesores 6ue actuar8n co o interlocutores

6ue otro <ace la funcin de exa inador. 4a bi;n se5alan a otro tipo de ad inistrador de las pruebas de expresin oral co o es el aco odador >ib%dem: 11$?+ 6uien se tiene 6ue asegurar de la correcta entrada ) salida del aula o el 6ue los exa inados no se co uni6uen con los 6ue aBn no <an <ec<o la prueba. /or Blti o+ ade 8s del aco odador advierten la figura del vigilante+ 6ue es el responsable de la distribucin ) recogida de los ex8 enes+ de la ad inistracin del tie po o de 6ue los candidatos no se a)uden durante el exa en. #o o pode os ver+ aun6ue los evaluadores no tengan for acin especfica en estos aspectos+ la existencia de un cdigo deontolgico+ su propia experiencia ) su ;tica profesional puede llevar tanto a la reali,acin de pruebas de evaluacin de calidad co o a una correccin fiable de estas. I es 6ue+ ade 8s+ este Blti o aspecto+ la ;tica+ es b8sico en la evaluacin ) no lo pode os pasar por alto.

-.-. Di(ensin =tica de la evaluacin

9a posibilidad de ;xito 6ue tiene un profesor de idio as de conseguir un proceso de evaluacin ) unos resultados fiables es total ente factible si se tienen en cuenta los aspectos encionados anterior ente+ pero esta labor no es slo del profesor+ sino 6ue

exige un co pro iso por parte de todos. 3e trata de redistribuir ) de co partir el poder+ la ri6ue,a+ las responsabilidades+ el acceso a las oportunidades ) al conoci iento. Es preciso+ en definitiva+ incluir la di ensin ;tica de la evaluacin en el orden del da de las sociedades de ocr8ticas odernas >/arrondo+ 200!a: !"?.

/arrondo <ace extensiva esta di ensin ;tica a toda la sociedad. %esde este punto de vista+ uc<as instituciones educativas co o+ por eje plo+ el 8s transparente posible en el proceso de

2nstituto #ervantes en su e pe5o por ser lo

66

evaluacin+ <a aplicado el #digo de #onducta desarrollado por -94E en sus ex8 enes. 9a infor acin sobre las caractersticas de estos es accesible a todos los usuarios a trav;s de su p8gina @eb 12 en donde se incluso+ existen uestra toda esta infor acin e+

uestras de ex8 enes de a5os anteriores.

El acceso a estos aspectos relevantes de la evaluacin de ex8 enes <ace 6ue la cuestin ;tica est; presente en estas instituciones+ )a 6ue per ite a los usuarios recla ar el resultado de un exa en+ es decir+ pedir cuentas+ >lo 6ue lla a 7cEa ara >citado por Aordn 200!b: 2!? accountability?, asegurar dic<as instituciones 6ue la repercusin de dic<o exa en >washback effect? sea positiva ) tener en cuenta el i pacto de ;ste+ es decir su efecto en la sociedad. En este sentido+ 7cEa ara >ib%dem? observa la responsabilidad ;tica en la evaluacin de la lengua co o una responsabilidad social. Otros consideran 6ue la cuestin ;tica en la evaluacin debe estar relacionada con la responsabilidad 6ue conlleva la pr8ctica de una profesin dedicada a la ense5an,a. -s Aac< an >citado por Aordn+ 200!b: 2"? consideraba 6ue la ;tica de los evaluadores conseguida a trav;s de la profesionali,acin de estos ) de la existencia de un cdigo deontolgico co o el 6ue propone -94E puede evitar algunos proble as observados en la evaluacin de la expresin oral. 3iguiendo esta idea+ 3tanfield >100": 100? une la profesionali,acin de los profesores ) la publicacin de un cdigo deontolgico para estos uniendo profesionali,acin a ;tica. -s+ los exa inadores abordar8n con ;xito la cuestin ;tica si tienen un cdigo de ;tica profesional as co o una gua para elaborar+ ad inistrar ) calificar pruebas para la evaluacin de una lengua. En las EO2 de #anarias ta bi;n se <a intentado cu plir con todos estos aspectos relevantes sobre la claridad de la evaluacin )+ as+ aparte de estar publicada toda la infor acin relevante a los ex8 enes de certificacin en el Aoletn Oficial de #anarias >AO#?+ en concreto+ la EO2 3anta #ru, de 4enerife <a ad inistrado tanto a los alu nos oficiales co o libres un cuadernillo infor ativo sobre estas pruebas 6ue ta bi;n <a sido publicado en su p8gina @eb1". - la vista de todos estos intentos para 6ue la ;tica est; presente en la evaluacin+ se puede considerar 6ue <e os avan,ado
12

uc<si o a tenor de las investigaciones

3e puede consultar toda la infor acin relativa al 2nstituto #ervantes ) a sus ex8 enes en @@@.cervantes.es. 9a p8gina @eb de la EO2 3anta #ru, de 4enerife es @@@.eoisantacru,detenerife.co

1"

67

consultadas sobre este te a aun6ue todava nos 6ueda ca ino por recorrer+ )a 6ue aun6ue es verdad 6ue se <an for ado uc<os expertos en el ca po de la evaluacin )

6ue+ por lo tanto+ existen profesionales dedicados a esto+ en el caso de las EO2 todava no se <a producido la profesionali,acin de los evaluadores en pruebas de certificacin+ por lo 6ue la ;tica desde el punto de vista de la pr8ctica profesional s est8 presente co o ense5antes. 3in e bargo+ a pesar de 6ue ;sta se intente+ en el 8 bito de ex8 enes de alto i pacto+ no se puede asegurar )a 6ue no existe una for acin especfica para el profesorado ni ta poco un cdigo deontolgico en las EO2 para tal fin relacionado con el tipo de prueba+ con el alu nado ) con el contexto de reali,acin de los ex8 enes.

-... Conclusiones
9as investigaciones 6ue giran en torno a la evaluacin coinciden en la i portancia de ;sta dentro de la ad6uisicin de una lengua tanto por otivos pr8cticos co o por

otivos pedaggicos+ aun6ue el l ite 6ue separa la objetividad de la subjetividad en una evaluacin sea casi invisible+ co o )a advierte el 7#EF >2002:1.0?:
toda evaluacin debera ser lo 8s objetiva posible. 9as consecuencias de las valoraciones personales 6ue conllevan las decisiones subjetivas respecto a la seleccin de contenido ) la calidad de la actuacin+ se deberan reducir tanto co o fuera posible+ >K?. Esto es debido a 6ue los resultados de las pruebas+ u) a enudo+ se utili,an por terceros para to ar decisiones respecto al futuro de las personas 6ue <an sido evaluadas.

En conclusin+ para poder garanti,ar esta objetividad o+ por lo

enos+ una puntuacin

objetiva es necesaria la elaboracin rigurosa de pruebas orales co unicativas relacionadas con el objetivo de dic<as pruebas ) con las caractersticas de los alu nos a las 6ue van dirigidas+ el desarrollo de te s adecuados ) de ex8 enes o <erra ientas de evaluacin viables+ la definicin consensuada del constructo a evaluar por los exa inadores as co o la for acin de estos ) su responsabilidad o ;tica profesional para <acer de la evaluacin una <erra ienta Btil ) efectiva.

68

.. #$TUDIO #2'6RICO
..1. 'lantea(iento del estudio e(!" ico
#o o )a <e os explicado al principio del presente trabajo+ la idea de llevar a cabo esta investigacin surge de la co probacin en el aula ) en los ex8 enes de certificacin 6ue a5o tras a5o <e os ad inistrado en la EO2 3anta #ru, de 4enerife de 6ue los resultados de las pruebas de expresin oral+ funda ental ente+ est8n deter inados por la subjetividad de los evaluadores ) no por criterios de evaluacin bien definidos 6ue les puedan otorgar a estas a)or objetividad. -un6ue existan actual ente criterios de

evaluacin para estos ex8 enes+ sus descriptores est8n for ulados de tal for a 6ue llevan a confusin+ optando el profesorado+ al final+ por <acer una interpretacin subjetiva de estos adapt8ndolos a sus necesidades. 4odo ello+ unido a la falta de preparacin por parte del profesorado en relacin a la evaluacin de ex8 enes a gran escala+ <ace 6ue nos cuestione os la fiabilidad ) valide, de estas pruebas orales. %e esta for a+ partiendo de la pregunta Ges posible elaborar criterios de evaluacin
1!

ejor

definidos para evaluar la expresin oral en las EO2 de tal for a 6ue se pueda eli inar o+ al enos+ dis inuir la subjetividad en la evaluacinH+ es decir Gc o pode os anera 8s objetiva ) precisa uestras de lengua 6ue ofrecen unos

evaluar de una

resultados 6ue deben ser interpretadosH se proponen los objetivos de esta investigacin )a se5alados en el epgrafe 1.2. :a) 6ue destacar 6ue los criterios ) las pruebas de evaluacin 6ue a6u se proponen est8n intervencin del estudio. u) relacionados con el contexto de

-un6ue la evaluacin no debera tener en cuenta principal ente ninguna actuacin concreta+ sino 6ue debera intentar valorar las co petencias generali,ables 6ue se uestran en esta actuacin >7#EF+ 2002: 1.0? nos <e os centrado slo en la evaluacin de la expresin oral por tres otivos: es la 6ue 8s proble as presenta al evaluador debido al alto grado de subjetividad 6ue usa en su evaluacin cuando tiene 6ue ofrecer un resultado acertado ) lo 8s objetivo posible+ la necesidad de acotar el estudio debido a su car8cter e prico+ ) la ausencia de estudios a este respecto+ centrados funda ental ente en las otras destre,as.

1!

69

..2. 2etodolog"a 1 dise>o

..2.1. 'a adig(a de investigacin
%ebido a 6ue los funda entos tericos en los 6ue se basa nuestro trabajo )a se <an explicado en los captulos dos ) tres+ nos centrare os en explicitar las caractersticas de nuestro estudio. En nuestra investigacin nos centra os en las pruebas de certificacin de espa5ol para extranjeros de las EO2 de #anarias1(+ funda ental ente en las tareas de la evaluacin de do inio de la expresin oral de nivel avan,ado 1$ de un grupo de alu nos 6ue estudian el idio a en un contexto for al >EO2? ) en situacin de in ersin ling&stica >3anta #ru, de 4enerife?. 3e co pararon los resultados de estos alu nos+ obtenidos con los nuevos criterios de evaluacin elaborados a partir de los resultados de la experi entacin llevada a cabo en clase durante el curso escolar+ con los resultados de estos is os alu nos en las pruebas de certificacin obtenidos ediante los criterios

de evaluacin establecidos por la #onsejera de Educacin para deter inar si+ real ente+ con nuevos criterios 8s claros ) precisos se adecuaban los resultados a la

actuacin oral real de los alu nos ) se dis inua la subjetividad 6ue con los de la #onsejera de Educacin. A8sica ente se anali,a lo siguiente: C 3i las tareas ) los descriptores de las pruebas de certificacin de la expresin oral actuales est8n bien elaborados ) cu plen las reglas de fiabilidad+ viabilidad ) valide,. C 3i esto no es as+ ejorar dic<as tareas ) descriptores dise5ando ) aplicando ediante representaciones cuantitativas o escalas

criterios de evaluacin fiables

6ue puedan transfor ar la actuacin de un candidato en una puntuacin 6ue

%urante nuestro estudio las pilota os ediante actividades si ilares ) pruebas de clase de expresin oral+ teniendo en cuenta 6ue en la evaluacin en clase tene os 8s uestras de lengua de los alu nos ) 6ue en certificacin slo se tiene 6ue evaluar la actuacin desarrollada durante el exa en. 3in e bargo+ los criterios de evaluacin ) las escalas desarrolladas en nuestra investigacin se pueden utili,ar ta bi;n para evaluar actividades co unicativas de expresin oral en clase o las pruebas de progreso ) do inio durante el curso. 16 Eos <e os centrado en el nivel avan,ado por tres causas: por6ue dic<o nivel nos proporciona uestras de lengua 8s a plias en las 6ue basar los criterios de evaluacin+ por6ue en la #o unidad -utno a #anaria no existe aBn un currculo de nivel -van,ado+ por lo 6ue dificulta aBn 8s la incertidu bre en la evaluacin de este+ ) por la necesidad de acotar el ca po de investigacin debido al tie po ) recursos disponibles.

15

70

deter ine si ;ste posee el nivel de do inio de la prueba 6ue se le presenta ) en 6u; grado. C %eter inar c o influ)e la correccin de los descriptores en la deter inacin del nivel de do inio de los candidatos. 9a valoracin de todos estos datos se llev a cabo a trav;s de la co probacin+ an8lisis ) aplicacin de las pruebas de certificacin de la expresin oral existentes ) de sus criterios de evaluacin ) su co paracin con las directrices del 7#EF en cuanto a la evaluacin+ de -94E en relacin con la elaboracin de pruebas ) criterios de evaluacin ) de la bibliografa consultada. /osterior ente se crearon unas nuevas partiendo de estos odelos ) se co probaron las

diferencias respecto a las anteriores. 3e pretenda co probar la valide,+ fiabilidad ) viabilidad de los criterios de evaluacin creados. 3e utili, una etodologa ecl;ctica 6ue se adscribe dentro de la investigacin accin

definida por Elliott >100": ..? co o el estudio de una situacin social para tratar de ejorar la calidad de accin en la is a+ siguiendo un odelo basado en el car8cter anera+

cclico de la investigacin: planificar, actuar, observar y refle(ionar. %e esta se sigue el

odelo planteado por Elliott >100": 00? )a 6ue se ajusta a las necesidades de

nuestro estudio+ puesto 6ue per ite+ siguiendo este car8cter cclico+ planificar+ actuar+ observar ) reflexionar. -s+ ediante la deteccin del proble a ) la observacin de lo

6ue ocurre en el aula )+ por extensin+ en los ex8 enes de certificacin+ se establece un plan de accin 6ue se desarrolla con los estudiantes ) cu)os resultados nos servir8n de observacin ) reflexin para posibles es6ue a a seguir es el siguiente: ejoras+ volvi;ndose a iniciar el ciclo. El

71

#uadro 1!.
&'()*&+&,-,&.) '(/ 0123/(4-

)ecesidad o problema encontrado

'&-5).6*&,2

89u ocurre: ,omprobacin del problema 8,mo deber"a ser:

7&0.*(6&6 '( -,,&.)

3;69<('- '( 62/<,&2)(6

0<(6*- () 4-1,7- '( /01&4(1- -,,&.) 1(,25&'- = -)>/&6&6 '( '-*26 ,2),/<6&2)(6 1(+/(?&.) = 4(@21-6

-de 8s+ se persigue una investigacin crtica para conseguir+ segBn We citado por 9atorre+ 200.: 2!?+

is >10.!+

una for a de indagacin autorreflexiva reali,ada por 6uienes participan >profesorado+ alu nado+ o direccin por eje plo? en las situaciones sociales >inclu)endo las educativas? para ejorar la racionalidad ) la justicia de: a? sus propias pr8cticas sociales o educativas= b? su co prensin sobre las is as= ) c? las situaciones e instituciones en 6ue estas pr8cticas se reali,an >aulas o escuelas por eje plo?.

3e intenta+ por lo tanto+ una

ejora de la praxis

ediante una visin crtica de ;sta. /ara

ello+ los datos obtenidos son tanto de tipo cualitativo co o cuantitativo. -de 8s+ para la elaboracin de ex8 enes de expresin oral+ de sus descriptores ) la evaluacin de estos ade 8s de seguir las caractersticas propuestas por Aac< an ) /al er >100$? de fiabilidad+ valide,+ viabilidad+ interactividad+ autenticidad e i pacto+ de las 6ue <e os <ablado anterior ente+ ta bi;n se tuvo en cuenta el odelo propuesto por 3ari 9uo a

>2000: $?+ 6uien observa el proceso de elaboracin de ex8 enes ) sus criterios en estadios o ciclos en donde las puntuaciones de usos ) de necesidades+ el desarrollo de

72

estas puntuaciones ) criterios >si boli,ado por 9uo a en una f8brica en donde la calidad debe estar u) relacionada con la planificacin ) el desarrollo?+ la

ad inistracin de la prueba )+ por Blti o+ la nota deben estar nti a ente ligadas. -de 8s+ la ad inistracin ) desarrollo de las pruebas debe ser triangular >tareas+ candidatos e interlocutoresCexa inadores? al igual 6ue la nota >rendi iento+ calificacin ) criterios? para garanti,ar su valide, ) fiabilidad. %e la is a anera+ se intentaron seguir los pasos para elaborar pruebas de exa en ateria co o las 6ue

con rigor siguiendo algunas aportaciones de expertos en la

propone Aordn >200$? o Iag&e >2010?+ ade 8s de las directrices de -94E ) del 7#EF ) se a5adieron ca bios ) nuevas propuestas a la lu, de los resultados+ por lo 6ue se pretendi de ostrar la valide, ) fiabilidad de las 6ue existen ) se propusieron otras nuevas dependiendo de las necesidades. Euestra investigacin se llev a cabo durante el curso acad; ico 2010D2011 1' ) se dividi en cuatro ciclos de investigacin para per itir la puesta en pr8ctica de la accin ) el an8lisis de las diferentes variables objeto de estudio.

..2.2. 3a iables de nuest a investigacin

-un6ue en esta investigacin nos centrare os funda ental ente en las variables de producto+ debido al te a objeto de estudio+ es indispensable tener en cuenta otras variables 6ue ta bi;n intervienen en nuestra investigacin+ )a 6ue la planificacin de la investigacin ) la experi entacin de ;sta se <a llevado a cabo durante los tres pri eros ciclos de investigacin con los alu nos de clase para luego+ en el cuarto ciclo+ desarrollarlo en las pruebas de certificacin de junio del Blti o curso escolar 2010D2011 con estos alu nos oficiales ) anali,ar los resultados a lo largo del curso >eneroC a)o? con el fin de establecer correlaciones. 2gual ente+ co o )a se <a dic<o anterior ente+ se contrastan los resultados con los de las pruebas de certificacin ediante los criterios

de evaluacin establecidos por la #onsejera de Educacin para co probar la falta de valide, de estos Blti os en relacin con la produccin oral real de los candidatos frente a los elaborados durante este estudio e prico ) utili,ados en clase. -s+ al co parar los resultados entre ellos se puede deter inar la fiabilidad ) valide, de las pruebas ) los criterios de evaluacin de estas+ puesto 6ue si los resultados desprenden 6ue no existe una notable diferencia entre las pruebas reali,adas a lo largo del curso ) las de
1'

%esde el 1! de setie bre de 2010 <asta el 20 de junio de 2011.

73

certificacin calificadas con los nuevos criterios de evaluacin se confir ara la valide, ) fiabilidad+ significando esto+ 6ue a pesar de conocer el profesorCevaluador a los alu nos oficiales ) de <aberlos adiestrado en este tipo de prueba+ ;sta criterios de evaluacin aplicados ediante los

ide con objetividad el do inio ling&stico de estos

no vi;ndose el resultado au entado subjetiva ente+ )a 6ue no difiere de su <abilidad ling&stica co unicativa real observada en el aula )+ por lo tanto+ se dis inu)e la subjetividad en la evaluacin 6ue es lo 6ue nos propone os. 4.2.2.1. Variables de contexto Euestra investigacin se desarrolla en la EO2 3anta #ru, de 4enerife situada en las 2slas #anarias en un grupo de die, alu nos oficiales de nivel -van,ado 2 >A2? entre 1. ) "( a5os 6ue estudian el espa5ol en in ersin ling&stica. 9os alu nos oficiales son de distinta nacionalidad ) sexo: seis ujeres ) cuatro <o bres de entre 1. a "( a5os+ <a) arro6u+ dos a ericanos ) un italiano.

dos rusos+ dos polacos+ un lituano+ un c<eco+ un

- continuacin explicare os breve ente c o funcionan la ense5an,a ) la evaluacin en este tipo de institucin educativa para poder entender 4.2.2.1.1. EOI Santa Cruz de Tenerife 9a EO2 3anta #ru, de 4enerife es un centro educativo 6ue depende de la #onsejera de Educacin+ #ultura+ Jniversidades ) %eportes del Oobierno de #anarias. /or tanto+ es un centro pBblico cu)o objeto es la ense5an,a de idio as. 9os idio as ofertados son: ale 8n+ 8rabe+ c<ino+ espa5ol para extranjeros+ franc;s+ ingl;s e italiano+ en <orarios de a5ana+ tarde ) noc<e. Es el 4enerife con una a)or centro de ense5an,a de idio as en 3anta #ru, de ejor nuestra investigacin.

atrcula de !(00 alu nos durante el Blti o curso escolar 2010D2011.

En lo 6ue se refiere al espa5ol para extranjeros+ ade 8s de la EO2 + Bnica ente alguna organi,acin no guberna ental >#ru, Foja+ #8ritas...? ofrece clases de este idio a. 4a bi;n se i parten clases en alguna acade ia privada de idio as. Eo obstante+ es la EO2 la 6ue cuenta con el a)or nB ero de estudiantes de espa5ol co o lengua

extranjera+ ) la Bnica 6ue i parte clases ) expide ttulos oficiales de espa5ol en la provincia de 3anta #ru, de 4enerife. -de 8s de los puestos directivos >%ireccin+ 1icedireccin+ [efatura de Estudios ) 3ecretara de %ireccin? ) del personal no docente >3ecretara+ #onserjera ) 7anteni iento?+ la Escuela se organi,a en %eparta entos+ existiendo tantos %eparta entos co o idio as ofertados. -l frente de cada %eparta ento <a) un [efe de %eparta ento+ a excepcin del %eparta ento de ingl;s 6ue posee+ ade 8s+ un jefe de
74

departa ento adjunto debido al gran nB ero de profesorado >1.? ) alu nado >unos "000? de ingl;s. 4.2.2.1.2. Organizacin de las enseanzas oficiales de idio as en la Co unidad !utno a Canaria 9os estudios de las ense5an,as de idio as en #anarias se estructuran siguiendo los niveles del #onsejo de Europa concretados en el 7#EF >2002? ) las directrices de la #onsejera de Educacin+ #ultura+ Jniversidades ) %eportes de #anarias >AO#: 200'D20( C 9unes 1( de Octubre de 200', %ecreto "$2D200'?. %e esta anera+ el estudio de los idio as se distribu)e en seis cursos escolares de ni a de 1!0 <oras por curso escolar. -s+

septie bre a junio+ con una carga lectiva tene os los siguientes niveles: #uadro 1(. E21E9E3

#JF3O3 EE EO2

#OFFE3/OE%EE#2#OE E9 7#EF

A8sico 1 A8sico A8sico 2 A8sico " >slo 8rabe ) c<ino? 2nter edio 1 2nter edio 2nter edio 2 2nter edio " >slo 8rabe ) c<ino? -van,ado 1 -van,ado -van,ado 2

-1 -2 CCCCCCCC

A1 >se podra decir A1.1? A1 >se podra decir A1.2? CCCCCCC

A2 >se podra decir A2.1? A2 >se podra decir A2.2?

9as clases de cada curso tienen una duracin de cinco <oras se anales repartidas en dos <oras por clase dos veces a la se ana ) otras dos <oras los viernes alternos. - partir del es de febrero se deja de i partir clase los viernes para dedicarlos a coordinacin del profesorado ) cu plir as las 1!0 <oras de las 6ue consta cada curso. -l finali,ar cada nivel+ los alu nos tienen la opcin de presentarse a un exa en de certificacin del nivel 6ue <an cursado >A8sico+ 2nter edio o -van,ado?+ pero ;ste no es obligatorio para pasar de nivel. 3i los alu nos <an aprobado el exa en de do inio de final de curso podr8n pasar al siguiente nivel aun6ue no <a)an <ec<o la prueba de

75

certificacin. -de 8s+ ta bi;n se pueden presentar a estos ex8 enes de certificacin alu nos libres+ es decir+ alu nos 6ue no asisten a clase sino 6ue se preparan por su cuenta+ ) optar a la certificacin de espa5ol del nivel correspondiente. /or lo 6ue los profesores de EO2 tienen una doble labor 6ue es la de i partir ense5an,as del idio a de su especialidad )+ ade 8s+ certificar las co petencias de este idio a. 4.2.2.2. Variables de "resagio 4.2.2.2.1. #e"arta ento de Es"aol "ara extran$eros En la actualidad+ el %eparta ento de Espa5ol para extranjeros consta de dos profesores nativos. Eo <a <abido un creci iento de profesores proporcional al creci iento de alu nos. Jna de las profesoras tiene cierta per anencia en el #entro puesto 6ue tiene una co isin por cargo directivo= el segundo profesor fluctBa con de asiada frecuencia. Es ) <a sido la nota 8s negativa de este departa ento+ pues el segundo

profesor general ente viene al centro sin ningBn tipo de experiencia en este tipo de ense5an,a+ lo 6ue revierte en la calidad de ;sta.

4.2.2.2.2. Ti"o de alu nado %ue estudia es"aol en la EOI Santa Cruz de Tenerife 9a EO2 se encuentra enclavada en uno de los lugares 8s c;ntricos de 3anta #ru,+ lo 6ue per ite un f8cil acceso del alu nado espa5ol desde cual6uier lugar de donde venga. En ca bio+ no ocurre lo is o con los alu nos extranjeros+ pues en su a)ora

viven en pueblos ) ,onas de los alrededores de 3anta #ru,. 4ene os alu nos 6ue se despla,an desde puntos 8s lejanos+ co o -deje+ Oarac<ico o El /uerto de la #ru,.

Estas circunstancias <an condicionado la organi,acin de nuestro departa ento+ pues desde un co ien,o los <orarios lectivos <an sido de dos <oras alternas+ se co ien,a sie pre a las 0:00 <oras ) se finali,a a las 1":00 <oras. %e esta posibilitado una 3anta #ru,. 3in e bargo+ el 6ue no <a)a uc<a oferta de cursos de tarde <a perjudicado uc<o la anera se <a

a)or afluencia a clase de esos alu nos 6ue viven tan retirados de

potenciacin de nuestro idio a. 9os alu nos 6ue est8n afincados en 4enerife Cla a)oraC necesitan insertarse a trav;s del idio a en nuestra sociedad ) en el laboral= el <orario de abandonos a a5ana les resulta inco patible )+ por eso+ <a) undo uc<os

itad de curso. /ara ellos es i prescindible+ co o

ni o+ co unicarse

de for a oral con los de 8s+ es decir+ entender ) ser entendidos. %urante este curso
76

escolar se i parte clase a dos grupos de Espa5ol por la tarde+ 6ue eran los 6ue solicitudes tenan en relacin al <orario de tarde+ la acogida <a sido bastante buena.

8s

En cuanto al nB ero+ <a) 6ue decir 6ue de los cincuenta alu nos del co ien,o de la ense5an,a del espa5ol en nuestra EO2 <ace 2( a5os+ <o) conta os con un nB ero cercano a las dos centenas. 3uelen ser u) nu erosos el A8sico 1+ el 2nter edio 1 )+

en algunos casos+ el A8sico 2 ) el 2nter edio 2. El -van,ado 1 ) 2 fluctBa segBn los a5os acad; icos. :a) 6ue resaltar 6ue el A8sico 1 e 2nter edio 2 se nutren casi sie pre de c<icas au'pair 6ue no continBan sus estudios en la escuela+ pues deben partir a sus pases para continuar sus estudios universitarios. En los Blti os a5os <a <abido una gran evolucin en cuanto al tipo de alu nos. :ace veinte a5os Espa5ol se nutra de alu nos a)ores+ sobre todo jubilados ) a)or ente

de nacionalidad ale ana e inglesa 6ue vivan en las islas. :o) el panora a es total ente diferente. 9os alu nos suelen ser uc<o 8s jvenes+ con verdadero inter;s

por estudiar el idio a debido a ra,ones laborales en el futuro+ ) son estos alu nos los 6ue funda ental ente se presentan a las pruebas de certificacin. 3i <ace unos a5os la diversidad del alu nado por ra,n de su nacionalidad era bastante <eterog;nea+ <o) este panora a est8 ca biando poco a poco. :o) las clases de espa5ol se nutren de alu nos de #entroCEuropa ) c<inos. Eo es el caso del A8sico 1 del presente curso+ donde <a) unas die, nacionalidades: una gran parte de ale anes+ ingleses+ tailandeses+ sa<arauis+ <indBes+ c<inos+ islandeses+ italianos+ franceses+ etc. Estos alu nos viven en las islas o+ en el caso de los co o au'pair o 8s jvenes+ vienen por un tri estre o un curso escolar ejor el idio a para su

ediante una beca Eras us para aprender

futuro profesional. -s+ tene os alu nos de

u) diversas edades 6ue van desde los 1$

<asta los '( a5os. #o o se puede ver+ es un alu nado <eterog;neo+ tanto en edad ) nacionalidad co o en intereses+ 6ue estudia el espa5ol en in ersin ling&stica. /ara uc<os de estos alu nos+ el exa en de certificacin se convierte en una

<erra ienta funda ental para acceder a un trabajo pBblico o privado e+ incluso+ para estudiar en la Jniversidad= de a< 6ue sea i prescindible 6ue los ex8 enes de certificacin sean lo 8s v8lidos+ fiables ) viables posible.

3in e bargo+ ) aun6ue est8 aprobado por le)+ no tene os un curso especfico para alu nos asi8ticos ) 8rabes+ en el 6ue el nivel A8sico est; estructurado en tres cursos escolares >A8sico 1+ A8sico 2 ) A8sico "?+ co o )a ocurre en los idio as 8rabe ) c<ino para espa5oles. Esto <ace 6ue el segui iento de la clase para estos alu nos sea co plicado+ al tener 6ue seguir el rit o del resto+ ) provoca
77

u)

uc<os abandonos=

igual ente influ)e en la evaluacin+ )a 6ue son presentan a los ex8 enes de certificacin. -ctitud en relacin con la expresin oral. 9a a)ora de los alu nos de nuestro estudio

u) pocos los asi8ticos 6ue se

anifiestan abierta ente 6ue lo 6ue ejor de

pretenden funda ental ente en las clases de espa5ol es aprender a expresarse for a oral ) prefieren+ en relacin a la

etodologa de ense5an,a+ 6ue todas las

actividades sean de expresin oral. Esta peticin no se puede llevar a cabo debido a 6ue el currculo de las ense5an,as de EO2 exige la integracin de destre,as ) por6ue ade 8s nuestra etodologa est8 basada en el aprendi,aje de la co petencia ling&stica en su

totalidad+ lo 6ue inclu)e+ ade 8s de la expresin oral+ la co prensin oral ) la expresin ) co prensin escrita. /or otra parte+ anifiestan ediante un ejercicio de iedo al

introspeccin 6ue una de las causas 6ue dificultan su expresin oral es el ridculo ) a e6uivocarse.

4.2.2.&. Variables de "roceso 4.2.2.&.1. Estructura de los estudios de es"aol "ara extran$eros ' etodolog(a de enseanza ' e)aluacin. 9os estudios de espa5ol para extranjeros se organi,an co o los del resto de idio as siguiendo las directrices del apartado anterior. Eor al ente casi todos los grupos tienen clase por la a5ana de 0 a 11 o de 11 a 1"

<oras+ ) dos grupos reciben clases por las tardes+ por de anda expresa del alu nado+ de 1$ a 1. <oras ) de 1. a 20 <oras. :a) un grupo para cada nivel a excepcin de A8sico 1 en donde tene os 2 grupos. 3in e bargo+ la de anda de los alu nos 6ue 6uieren cursar estudios de espa5ol es a)or ) a partir de novie bre+ 6ue es cuando llegan la uc<os alu nos 6ue no obtienen pla,a por6ue

a)ora de extranjeros a las islas+ <a) los grupos )a se encuentran llenos.

9as clases est8n for adas por alu nos de distintas nacionalidades 6ue estudian el espa5ol en in ersin ling&stica )+ dado el contexto de ense5an,a+ se presta atencin en la ense5an,a del idio a al espa5ol eridional.

En relacin con las ense5an,as de espa5ol por niveles+ las ense5an,as del Eivel A8sico+ 2nter edio ) -van,ado tienen una duracin de 2.0 <oras+ distribuidas en dos cursos. Eo obstante+ el %ecreto "$2D200' >AO# 200'D20(?+ en su artculo ! recoge 6ue las

78

ense5an,as del nivel A8sico del idio a espa5ol co o lengua extranjera i partidas a alu nado de origen asi8tico o 8rabe tendr8n una duracin de !20 <oras. /uesto 6ue aBn la #onsejera de Educacin no <a concretado este Blti o t;r ino+ la progra acin para el nivel A8sico est8 pensada para ser desarrollada en unas 2.0 <oras. 3in e bargo+ <a) 6ue tener en cuenta 6ue el alu nado de origen asi8tico ) 8rabe no puede seguir el rit o de la clase co o <acen el resto de las nacionalidades+ ) es por ello por lo 6ue con este tipo de alu nado nos centra os en el nivel A8sico 1 en trabajar la pronunciacin+ la escritura+ la co prensin de textos b8sicos+ as co o la interaccin en contextos u)

sencillos+ considerando 6ue si alcan,an estos objetivos aprobar8n el nivel A8sico 1 a la espera de 6ue la #onsejera de Educacin se pronuncie al respecto ) apruebe las !20 <oras de nivel A8sico para este tipo de alu nado. 4.2.2.&.2. *etodolog(a en las clases de es"aol Es necesario 6ue deter ine os la etodologa a seguir por el %eparta ento de odelo de lengua espa5ol+ )a 6ue en ella se encuentran las bases 6ue deter inan 6u; evaluar ) 6u; criterios se van a seguir para la evaluacin de ;sta. 3e parte de un odelo de lengua entendida co o uso de ;sta+ tal ) co o aparece

definida en el 7#EF >2002?: aprendi,aje+ ense5an,a+ evaluacin. -si is o+ los niveles previstos para estas ense5an,as se basan en los niveles de referencia del #onsejo de Europa. 9os objetivos generales ) especficos para cada una de las destre,as+ la seleccin de los distintos tipos de contenidos ) los criterios generales de evaluacin 6ue se llevan a cabo son igual ente co<erentes con este enfo6ue. %el concepto de lengua enunciado se deriva un odelo de co petencia co unicativa

ling&stica 6ue tiene una base funda ental ente pr8ctica+ 6ue se e6uipara con la capacidad de uso del idio a ) 6ue co prende tanto la co petencia ling&stica co o las co petencias socioling&stica ) prag 8tica. 3e trata de 6ue el estudiante de lenguas+ co o futuro usuario del idio a+ llegue a ser capa, de poner en juego las co petencias encionadas para llevar a cabo actividades ling&sticas ediante el procesa iento+

receptiva ) productiva ente+ de textos de distinto tipo sobre diversos te as+ en 8 bitos ) contextos especficos+ ) ediante el desarrollo de las estrategias 8s adecuadas para

llevar a cabo dic<as actividades. %e estas co petencias+ las pura ente ling&sticas son un ero ve<culo para la

co unicacin )+ en este sentido+ el alu no las ad6uiere a trav;s de actividades ) tareas

79

en las 6ue dic<as co petencias se ponen en uso. %el

is o

odo+ las co petencias

socioling&stica ) prag 8tica se ad6uieren sie pre a trav;s de tareas en las 6ue se utili,an ateriales aut;nticos 6ue les per iten entrar en contacto directo con los usos )

caractersticas de las culturas en cuestin. 9as tareas de aprendi,aje+ dise5adas a partir de los objetivos especficos 6ue se pretenden alcan,ar+ son ta bi;n co unicativas para ofrecer al alu no adulto la oportunidad de utili,ar el idio a tal co o lo <ara en situaciones reales de co unicacin. En el contexto de unas tareas de estas caractersticas+ los alu nos reali,an actividades de expresin+ co prensin o ediacin o una co binacin de

ellas. /ara llevar a cabo efica, ente las tareas correspondientes+ los alu nos son entrenados en estrategias de planificacin+ ejecucin+ control ) reparacin+ as co o en una serie de procedi ientos discursivos generales ) especficos para cada destre,a+ ) se les proporcionan unos conoci ientos for ales 6ue les per iten co prender ) producir textos ajustados a las necesidades 6ue generan las situaciones de co unicacin. 4.2.2.&.&. +roceso de co "robacin, an-lisis ' a"rendiza$e de la ex"resin oral de los alu nos %ado 6ue lo 6ue pretende os es 6ue los criterios de evaluacin ) las pruebas de expresin oral de las 6ue dependen estos criterios sean lo 8s objetivas+ v8lidas )

fiables posible en las pruebas de certificacin+ es indispensable experi entar las pruebas de expresin oral ) los criterios de evaluacin dise5ados con los alu nos. %esde el pri er contacto con los alu nos se observ 6ue la capacidad para expresarse oral ente era suficiente+ pero li itada para el nivel en el 6ue estaban atriculados

>A2?+ observacin 6ue ta bi;n se <aba constatado en a5os anteriores. %e los 10 alu nos+ cuatro de ellos estaban en dic<o nivel por6ue as lo <aba deter inado el departa ento por prueba de clasificacin ) el resto <aban pasado de nivel una ve, ter inado el curso anterior >-van,ado 1?. %e los 10 en total+ cinco de ellos tenan una produccin oral u) li itada para el nivel. Esta produccin oral se observ en la

interaccin en clase e incluso+ los 6ue <aban pro ocionado de curso alegaron 6ue en la certificacin de inter edio obtuvieron una buena nota en expresin oral+ por lo 6ue se vio la necesidad de co probar las pruebas ) los criterios de evaluacin de la expresin oral de certificacin para co probar su fiabilidad ) valide, ) elaborar unos nuevos.

80

%e esta ciclos

anera+ se ejecut un plan de trabajo cclico 6ue corresponde a cada uno de los encionados anterior ente+ basados+ una ve, detectado el proble a+ en la

co probacin+ observacin+ dise5o+ desarrollo+ ejecucin ) an8lisis. %e esta for a+ en clase+ en pri er lugar se les pidi a los alu nos 6ue <icieran un ejercicio de introspeccin para 6ue nos dijeran 6u; dificultades observaban cuando se expresaban oral ente ) casi todos contestaron 6ue el traducir ental ente del idio a iedo a e6uivocarse ) el tener 6ue a)or

aterno al espa5ol es lo 6ue les produca

dificultad. Jna

inora expres dificultad en cuestiones relacionadas con la gra 8tica a

la <ora de <ablar. - partir de estas i presiones se detect una variable encubierta relacionada con la actitud de los alu nos a la <ora de expresarse > iedo ) frustracin?. /osterior ente se reali, un an8lisis de necesidades para co probar por 6u; 6ueran estudiar espa5ol ) ta bi;n un '0\ de los alu nos aleg 6ue lo 6ue pretendan era expresarse correcta ente de for a oral puesto 6ue era trabajo+ 6ue en su u) necesario para ellos en su

a)ora era de cara al pBblico+ es decir+ esto deter inaba lo 6ue )a se

<aba pensado: 6ue las actividades co unicativas de expresin oral deben ser aut;nticas puesto 6ue los alu nos 6uieren expresarse correcta ente en su co unicacin con los nativos en su vida diaria ) 6ue ta bi;n <aba sido observado por Aac< an ) /al er >100$?+ Aordn >200$? o el 7#EF >2002? entre otros. %e esta for a+ ) una ve, observadas las dificultades e intereses de los alu nos respecto a la expresin oral se co en,aron a dise5ar actividades co unicativas de produccin oral 6ue nos serviran de experi entacin para crear pruebas de expresin oral para ex8 enes+ ) en concreto+ para certificacin+ con el fin de anali,ar el resultado ) actitud de los alu nos en dic<as pruebas ) co pararlos con resultados surgidos a lo largo del curso+ as co o para practicar dic<a destre,a en clase a partir de las dificultades ) necesidades observadas anterior ente. En las actividades co unicativas dise5adas para clase ) para las pruebas de certificacin de la expresin oral se sigui la etodologa se5alada en el epgrafe anterior ) se inclu)eron los aspectos1. 6ue nu erosos ling&istas >Eorris >100.?+ citado por *igueras+ 200!?+ 18,6ue, >2000?+ Aordn >200!a ) 200$?? o instituciones >#onsejo de Europa >7#EF+ 2002?+ -94E+ 2nstituto #ervantes >/#2#?? <an se5alado co o relevantes para 6ue la prueba sea lo 8s efica, posible.

18

9os aspectos relevantes a incluir en actividades co unicativas de expresin oral )a <an sido recogidos en el epgrafe ".1. del arco terico.

81

- partir de la elaboracin de estas pruebas se dise5aron criterios de evaluacin teniendo en cuenta el constructo 6ue se pretende evaluar10+ las caractersticas de estos alu nos20 ) el contexto de intervencin. 4.2.2.4. Variables de "roducto #o o )a <e os dic<o+ nuestra investigacin se centra en las variables de producto aun6ue estas no pueden observarse individual ente de las anteriores )a 6ue dependen de ellas. Eos referi os a 6ue nuestro estudio se basa los procedi ientos+ es decir+ en c o variables de la for a 8s en los resultados ) no tanto en

edir esos resultados teniendo en cuenta las

8s rigurosa posible sin 6ue pasen inadvertidas las peculiaridades edi os >expresin oral? para concluir con un

de la capacidad co unicativa 6ue producto objetivo21+ fiable ) v8lido.

En pri er lugar explicare os c o se evalBa en la EO2 3anta #ru, de 4enerife tanto en clase co o durante las pruebas de certificacin ) explicare os c o se procede para la elaboracin de estas pruebas de certificacin. #ree os 6ue estos aspectos son i portantes por6ue per iten entender c o est8n elaboradas las actuales pruebas de certificacin ) 6u; criterios se siguen para evaluarlas+ para luego centrarnos en un epgrafe aparte+ debido a su i portancia ) extensin+ en los procesos llevados a cabo para la evaluacin de la expresin oral en el presente trabajo. 4.2.2.4.1. .a e)aluacin en la EOI Santa Cruz de Tenerife 3e siguen las directrices recogidas en la Orden de 1' de abril de 2000 >AO# ! de a)o de 2000? por la 6ue se regula la evaluacin del alu nado 6ue cursa ense5an,as de idio as de r;gi en especial en la #o unidad -utno a de #anarias. -si is o se <a tenido en cuenta la clasificacin 6ue propone el 7#EF en su epgrafe 0." >2002: 1."? )
1er epgrafe 2.1.1. del estado de la cuestin. #abe se5alar 6ue aun6ue nos <e os basado en las necesidades+ dificultades ) caractersticas de los alu nos oficiales para la elaboracin de las pruebas ) los criterios de evaluacin de la expresin oral+ estas necesidades ) dificultades se pueden <acer extensibles Caun6ue sin llevar a generali,arC a los alu nos libres+ puesto 6ue en la pr8ctica docente suelen observarse las is as i presiones de los alu nos en cuanto a la dificultad de expresarse oral ente independiente ente de la nacionalidad. /or ello+ se <a co probado la valide, ) fiabilidad de estas pruebas con estos alu nos ) se <an considerado 6ue podran ta bi;n ser v8lidas ) fiables con los libres. 21 Eos referi os a dis inuir la subjetividad de los evaluadores dentro del proceso de evaluacin. 3abe os 6ue las pruebas de produccin oral son subjetivas ) 6ue no se pueden edir por edios ec8nicos para <acerlas total ente objetivas co o las de co prensin oral ) escrita+ pero s cree os 6ue se puede itigar esa subjetividadA
20 10

82

se <an llevado a cabo las 6ue se <an esti ado alu nado ) necesidades de estos. %e esta llevan a cabo distintos tipos de evaluacin:

8s adecuadas al contexto+ tipo de

anera+ en la EO2 3anta #ru, de 4enerife se

1C %e clasificacin+ para situar al alu no 6ue es nuevo en la Escuela en el nivel correspondiente. 9a reali,an los profesores del departa ento ) se evalBan las cuatro destre,as >co presin de lectura+ co prensin auditiva+ expresin e interaccin escrita ) expresin e interaccin oral?. El exa en es cualitativo ) no se le asigna puntuacin sino slo el nivel 6ue tiene el candidato segBn los resultados de la prueba. Esta evaluacin se reali,a a principio de curso+ ) a veces+ ta bi;n en el transcurso del durante el desarrollo de ;ste cuando llega un alu no nuevo. %e esta anera+ 6uien <a)a superado por evaluacin de aprovec<a iento un nivel+ is o

aun6ue no <a)a superado la prueba de certificacin correspondiente+ podr8 acceder al pri er curso del nivel in ediato superior+ estando exento de la prueba de clasificacin. Esta prueba consta de una autoevaluacin del alu no ) una prueba de do inio para cada curso+ ) en ella se deci ales= se <ace la /ara <acer la necesita co o C iden las cuatro destre,as 6ue se califican del uno al die, sin edia arit ;tica ) se redondea al valor entero correspondiente. enos+ un cuatro en tres destre,as. 3e odo de proceder es el siguiente:

edia se tiene 6ue obtener+ al ni o un cinco para aprobar. El

El alu no elige el curso al 6ue 6uiere acceder ) cu pli enta el cuestionario de autoevaluacin. %e obtener un resultado positivo+ reali,a la prueba de do inio correspondiente al curso anterior al elegido. 3i el resultado es negativo+ el alu no deber8 replantear su eleccin.

C C

3e confecciona un acta para cada uno de los cursos. Jna ve, co en,ado el curso+ el profesor+ en funcin de las capacidades del alu no ) las pla,as vacantes+ puede reubicar al alu no en un curso superior o inferior+ al asignado en la prueba de clasificacin.

/uede reali,ar la prueba a6uel aspirante 6ue no <a)a cursado estudios de EO2+ o+ si lo <a <ec<o+ 6ue <a)a transcurrido un a5o acad; ico entre el curso en 6ue estuvo atriculado ) el de la prueba.

9a clasificacin tendr8 efecto slo para el a5o acad; ico correspondiente ) no se certificar8n los cursos anteriores.

3i un alu no oficial del curso pasado 6uisiera acceder a un nivel superior 6ue el 6ue le corresponde+ podr8 renunciar a su pla,a del nivel 6ue est8 atriculado en los

83

pla,os establecidos para tal fin+ ) se presentar8 por libre a la certificacin 6ue ;l considere del nivel superior. C 3i un alu no 6uisiera <acer la certificacin para un nivel inferior+ podr8 <acerlo segBn directrices de la #onsejera de Educacin. 2.C%e progreso+ 6ue proporciona datos+ a lo largo del curso+ sobre los avances en el aprendi,aje del alu nado+ as co o del grado de consecucin de los objetivos ) contenidos progra ados. 3e extiende desde principio de curso <asta el do inio > ediados de enero ) 2000 >AO# ! de a)o de 2000? o ento de la reali,acin de la prueba de

a)o?. 3egBn se recoge en la Orden de 1' de abril de

-rtculo '.C -d inistracin de la evaluacin. '.1. 9a evaluacin de progreso ser8 reali,ada por el profesor de cada grupo ) registrar8 los resultados obtenidos en las cuatro destre,as >co prensin de lectura+ co prensin auditiva+ expresin e interaccin escrita ) expresin e interaccin oral?.

"C %e do inio+ 6ue

ide la di ensin ling&stica de la co petencia co unicativa del

alu nado ) per ite co probar el nivel de do inio del idio a logrado al final de cada cuatri estre. Esta prueba se reali,a a finales de enero durante el pri er cuatri estre ) a finales de a)o durante el segundo cuatri estre. Es elaborada por los profesores del

departa ento ) consta de cuatro partes independientes: co prensin de lectura+ co prensin auditiva+ expresin e interaccin escrita ) expresin e interaccin oral. "C %e aprovec<a iento: en la orden citada anterior ente se recoge lo siguiente sobre este tipo de evaluacin:
,rt%culo 1.' .valuacin de aprovechamiento del curso y del nivel. 1.6. a evaluacin final de aprovechamiento del alumnado, en cada uno de los cursos, tendr3 dos componentes! la evaluacin de progreso y la prueba de dominio. 78) 1.9. a evaluacin final de aprovechamiento del :ivel ser3 la obtenida en el ltimo curso de ;ste.

!C %e certificacin: los ex8 enes de certificacin son ex8 enes oficiales de do inio a gran escala donde se deter ina si un candidato tiene la <abilidad ling&stica suficiente del nivel 6ue se exa ina >A8sico+ 2nter edio o -van,ado?. /ara dise5ar+ distribuir ) evaluar este tipo de exa en se siguen las directrices de la #onsejera de Educacin >AO# EP 1$'. 7i;rcoles 2( de -gosto de 2010+ resolucin de 2. de julio de 2010? teniendo en cuenta el 7#EF ) los currculos respectivos de cada nivel. - la vista de estas instrucciones pode os observar cu8l es el objetivo de las pruebas de certificacin

84

de espa5ol dependiendo del nivel en el 6ue se exa ine el candidato >el resaltado es nuestro?:
a? Nivel 8Asic!. 9a prueba de certificacin de nivel b8sico tiene co o finalidad evaluar la capacidad del alu nado aspirante para usar el idio a de anera suficiente+ receptiva ) productiva ente+ tanto en for a <ablada co o escrita+ as co o para ediar entre <ablantes de distintas lenguas+ en situaciones cotidianas ) de in ediata necesidad 6ue re6uieran co prender ) producir textos breves+ en diversos registros ) en lengua est8ndar+ 6ue versen sobre aspectos b8sicos concretos de te as generales ) 6ue contengan expresiones+ estructuras ) l;xico de uso frecuente. 9a posesin del #ertificado del nivel b8sico acredita una co petencia de idio a del nivel -2 del 7arco co Bn europeo de referencia para las lenguas: aprendi,aje+ ense5an,a ) evaluacin >7#EF9?+ del #onsejo de Europa. b? Nivel Inte()edi!. 9a prueba de certificacin de nivel inter edio tiene co o finalidad evaluar la capacidad de la persona candidata para utili,ar el idio a con cierta seguridad ) flexibilidad+ receptiva ) productiva ente+ tanto en for a <ablada co o escrita+ as co o para ediar en la co unicacin entre <ablantes de distintas lenguas+ en situaciones cotidianas ) enos corrientes 6ue re6uieran co prender ) producir textos en lengua est8ndar+ con estructuras <abituales ) un repertorio l;xico co Bn no u) idio 8tico+ ) 6ue versen sobre te as generales+ cotidianos o en los 6ue se tiene un inter;s personal. 9a posesin del #ertificado del nivel inter edio acredita una co petencia de idio a del nivel A1 del 7arco co Bn europeo de referencia para las lenguas: aprendi,aje+ ense5an,a ) evaluacin >7#EF9?+ del #onsejo de Europa. c? Nivel %van;ad!. 9a prueba de certificacin de nivel avan,ado tiene co o finalidad evaluar la capacidad de la persona candidata para utili,ar el idio a con soltura ) eficacia en situaciones <abituales ) 8s especficas 6ue re6uieran co prender+ producir ) tratar textos orales ) escritos conceptual ) ling&stica ente co plejos+ en una variedad de lengua est8ndar+ con un repertorio l;xico a plio aun6ue no u) idio 8tico ) 6ue versen sobre te as generales actuales o propios del ca po de especiali,acin ) de inter;s del <ablante. 9a posesin del #ertificado del nivel avan,ado acredita una co petencia de idio a de nivel A2 del 7arco co Bn europeo de referencia para las lenguas: aprendi,aje+ ense5an,a ) evaluacin >7#EF9?+ del #onsejo de Europa.

>AO# EP 1$'. 7i;rcoles 2( de -gosto de 2010+ resolucin de 2. de julio de 2010? -de 8s+ deter ina las caractersticas generales de las t;cnicas e instru entos de evaluacin.
9as pruebas de certificacin <an de per itir la obtencin de la infor acin necesaria para conocer el do inio alcan,ado en el idio a por la persona aspirante. /ara ello se utili,ar8n t;cnicas e instru entos viables+ eficaces ) fiables 6ue <an de cu plir+ entre otras+ las siguientes caractersticas: C #o prender los objetivos ) contenidos 8s significativos del currculo. C -decuarse a la naturale,a diversa de los contenidos curriculares. C /er itir la graduacin del do inio alcan,ado en cada de las destre,as. C /er itir la asociacin de escalas nu ;ricas a valoraciones cualitativas. C -decuarse al car8cter propio de cada una de las destre,as. C 7edir el grado de do inio de los distintos aspectos de cada contenido planteado.

85

C /er itir el conoci iento del grado de transferencia de los aprendi,ajes ad6uiridos en cada una de las destre,as a distintos contextos. C Jtili,ar los recursos ni os indispensables para la obtencin de la infor acin.

>&b%dem? 9as destre,as 6ue se evalBan son cuatro: co prensin de lectura+ co prensin auditiva+ expresin e interaccin escrita ) expresin e interaccin oral+ cada una de ellas calificadas en partes diferentes. 9a diferencia entre el exa en de do inio 6ue se reali,a al final de un curso escolar ) la prueba de certificacin es 6ue los ex8 enes de do inio no necesitan ser tan rigurosos co o los de certificacin+ )a 6ue el i pacto de los pri eros es enor ) el conoci iento uc<o 8s 6ue

de la <abilidad ling&stica 6ue tiene el profesor de sus propios alu nos es a)or+ puesto 6ue tiene uestras de lengua generadas durante el curso

suficientes para deter inar su co petencia. 3in e bargo+ en certificacin no se conoce a los candidatos+ por lo enos a los de atrcula libre+ ) el i pacto del exa en es

a)or+ por lo tanto+ la fiabilidad ) la valide, ta bi;n deben serlo. Eo va os a extendernos en explicar c o se estructuran las pruebas de cada una de las destre,as+ )a 6ue sobrepasara los l ites de este trabajo= sin e bargo+ s nos detendre os 8s adelante en explicar la estructura de las pruebas de expresin oral en

el captulo cuatro donde se aborda la reali,acin de la investigacin+ )a 6ue es la capacidad co unicativa en la 6ue nos va os a centrar en nuestra investigacin. #o o se puede ver+ uno de los aspectos 6ue se5ala la #onsejera de Educacin ) 6ue todos los cientficos consideran indispensables+ co o vere os 8s adelante+ es

utili,ar t;cnicas e instru entos+ viables+ eficaces ) fiables >ib%dem?+ pero al poner en anos de los profesores su elaboracin sin tener ninguna for acin al respecto+ )a se est8 incu pliendo+ al enos+ uno de estos principios 6ue es el de la fiabilidad+ sin

no brar la viabilidad de la elaboracin de las pruebas. G# o van a cu plir los profesores todas estas caractersticas en sus pruebas sin for acin ) sin tie po de experi entacin para pilotar ) deter inar su valide,H 2ntentare os deter inar ) abordar las dificultades 6ue se plantean en las Escuelas Oficiales de 2dio as no tanto en la elaboracin de las pruebas+ )a 6ue la experiencia de estos <ace 6ue se desenvuelvan con solvencia en estas cuestiones+ sino sobre todo en la evaluacin de la expresin oral. /ara ello+ planteare os posibles soluciones a estas.

86

 #alificaciones En relacin a c o se califica en la EO2 3anta #ru, de 4enerife+ segui os las directrices de la Orden citada anterior ente de 11 de abril de 2000 >AO# ! de 2000?+ donde se especifica lo siguiente:
-rtculo $.C Obtencin de las calificaciones. $.1. 9a calificacin final de aprovec<a iento se obtendr8 calculando la edia arit ;tica entre los resultados obtenidos en la evaluacin de progreso ) la prueba de do inio+ con la condicin de 6ue en esta Blti a se obtengan+ al enos+ cuatro puntos. El resultado de esta edia se redondear8 al valor entero correspondiente. 9a calificacin final igual o superior a cinco puntos se expresar8 con el t;r ino Z-ptoZ. 9a calificacin inferior a cinco se expresar8 con el t;r ino ZEo -ptoZ. $.2 9as calificaciones de la evaluacin de progreso ) de la prueba de do inio se expresar8n del uno al die,+ sin deci ales. Esta escala nu ;rica+ en cada una de las destre,as+ se <ar8 corresponder+ en sus distintos valores+ con los objetivos ) contenidos previstos en las progra aciones did8cticas para cada curso ) nivel del idio a+ de acuerdo con los criterios establecidos por el centro en su pro)ecto educativo. $.". 9as destre,as ser8n calificadas del uno al die,+ sin deci ales+ en la evaluacin de progreso ) en la prueba de do inio. $.!. 4anto en la evaluacin de progreso ) co o en la prueba de do inio la calificacin se obtendr8 calculando la edia arit ;tica de las calificaciones obtenidas en las cuatro destre,as+ redondeada al valor entero correspondiente $.(. 4a bi;n se podr8 superar el curso cuando en la prueba de do inio se obtengan cinco o 8s puntos+ sobre una escala de die,+ con independencia de la calificacin obtenida en la evaluacin de progreso.

a)o de

- tenor de lo recogido+ si un alu no

anifiesta un progreso clara ente positivo+ no se

le tienen en cuenta las calificaciones anteriores 6ue pudieran repercutir negativa ente en el resultado final de dic<a evaluacin de progreso. El is o criterio se aplica si el

progreso es negativo: las Blti as notas ) observaciones son las 6ue prevalecen+ siguiendo el criterio de la evaluacin continua. - finales de enero ) la pri era se ana de junio >co o ni o? se infor a a los

alu nos+ a trav;s de una lista con notas por destre,as sobre su evaluacin de progreso+ de do inio ) de aprovec<a iento respectiva ente. 2nstru entos de evaluacin 3e procura e plear el a)or nB ero de instru entos de evaluacin posibles >esto ata5e funda ental ente a los alu nos a los 6ue se pueda aplicar la evaluacin continua?+ de for a 6ue pueda garanti,arse la fiabilidad de la infor acin recogida. - continuacin se presenta un listado de los instru entos de evaluacin 6ue pueden e plearse: C9a observacin del trabajo diario. CEl cuaderno de clase del alu no.

87

C9os ex8 enes ) de 8s pruebas escritas ) orales. C9a autoevaluacin del alu no+ funda ental ente desarrollada a trav;s de los odelos del /ortfolio Europeos de las 9enguas >/E9?. C9as entrevistas. CEl diario de clase. C#uestionarios. C*ic<a de correccin de errores. C*ic<a de segui iento individual. C/ortfolio #riterios de calificacin ) pro ocin 9a evaluacin infor ativa del alu nado oficial se reali,a de for a continua con la infor acin 6ue recoge el profesor en la reali,an al arc<a nor al de las clases. -de 8s+ se

enos dos pruebas globales de segui iento 6ue evalBan todas las destre,as.

Estas dos pruebas se llevan a cabo preferente ente al final de cada uno de los dos cuatri estres >en torno a finales de enero Npri era pruebaC ) finales de pruebaC?. 9os ex8 enes 6ue se reali,an est8n basados Bnica ente en las cuatro destre,as. Esto no descarta 6ue a lo largo del curso+ si algBn profesor desea reali,ar ejercicios de co petencia gra atical o evaluar el vocabulario lo <aga libre ente+ pero la evaluacin final debe estar ponderada tal ) co o se indic. a)o Nsegunda

4.2.2.4.2. Elaboracin ' e)aluacin de las "ruebas de certificacin de idio as de la Co unidad !utno a Canaria. 9os ex8 enes de certificacin se ubican dentro de los ex8 enes de nivel de do inio 6ue conducen a un certificado oficial >Aordn+ 200$?. Este tipo de ex8 enes los deberan reali,ar expertos 6ue <a)an tenido una for acin especfica en la evaluacin ) en donde se contara con profesores+ pedagogos+ psiclogos+ evaluadores+ etc.+ para cubrir todos los aspectos i plicados en la reali,acin de un exa en de estas caractersticas >Aordn+ 200$: .1?. Esto ade 8s es indispensable para 6ue los criterios de evaluacin est;n unificados en todas las EO2. 3in e bargo+ en las EO2 de #anarias+ los ex8 enes de certificacin los organi,an los propios profesores de las distintas EO2. 9a #onsejera de Educacin resuelve facultar a

88

los e6uipos directivos de las EO2 para 6ue arbitren el procedi iento

8s adecuado para

6ue los %eparta entos de coordinacin did8ctica de cada escuela confeccionen los ex8 enes correspondientes a las pruebas de obtencin de los certificados de los idio as ) niveles i partidos en la is a >AO# EP 1$'. 7i;rcoles 2( de -gosto de 2010+

resolucin de 2. de julio de 2010?+ ocup8ndose cada escuela de la reali,acin de la prueba de una destre,a+ lo 6ue produce disparidad de criterios en un exa en+ )a 6ue no es un e6uipo de trabajo en co Bn el 6ue las reali,a sino los is os profesores 6ue+

ade 8s de su carga lectiva+ deben reali,ar ) evaluar unas pruebas tan i portantes sin ninguna for acin al respecto. -de 8s+ los evaluadores+ sobre todo los 6ue exa inan la actuacin oral+ tienen 6ue trabajar bajo una considerable presin de tie po ) slo pueden anejar un nB ero estricta ente li itado de criterios >7#EF 2002: 20?. Esto 8s necesaria la presencia de un e6uipo de profesionales

<ace 6ue cada ve, se <aga

elaboradores ) evaluadores de pruebas de certificacin ) de sus criterios de evaluacin para 6ue las pruebas puedan ser viables ) fiables.

..2.-. ?e a(ientas utili<adas en nuest o estudio

/ara llevar a cabo nuestra investigacin se <an utili,ado diferentes for as de recogida de la infor acin >triangulacin de ;todos? para alcan,ar una a)or veracidad.

Euestro estudio e prico no se <a li itado slo a la observacin o descripcin de lo 6ue ocurre sino 6ue se <an anali,ado ) se <a actuado en funcin de los datos recogidos i ple entando cada paso del ciclo. /or ello+ los cualitativos >entrevistas+ observaciones+ ;todos utili,ados <an sido tanto autoevaluaciones? co o

cuestionarios+

cuantitativos >resultados de las pruebas orales de los candidatos?. 9os

;todos de to a

de datos se <an seleccionado atendiendo a los objetivos 6ue se pretendan conseguir ) al tipo de infor acin 6ue se pretenda obtener de cada uno de ellos. *unda ental ente <e os e pleado los docu entos existentes sobre las pruebas de certificacin ) criterios de evaluacin para exa inarlos ) odificarlos a partir de las actuaciones de los

candidatos observadas en clase+ de sus necesidades+ del contexto de intervencin ) de sus i presiones recogidas ediante cuestionarios+ debates ) autoevaluaciones. -de 8s+

<e os reali,ado autoevaluaciones ) reflexiones introspectivas de los alu nos sobre su propia produccin oral+ )a 6ue ediante ellas el evaluador podr8 entender por 6u; el

aprendi, <a alcan,ado el resultado correcto o <a co etido un error. 2gual ente+ el alu no tendr8 conciencia de lo 6ue puede ) no puede <acer+ )+ en este Blti o caso+ ver clara ente en 6u; parte del proceso se encuentra el fallo >Aordn+ 200!a: 000?. -

89

continuacin se5ala os los

;todos utili,ados en funcin del objetivo 6ue se pretenda

conseguir con la utili,acin de estos:

a? /ara co probar ) anali,ar la valide, ) fiabilidad de las pruebas ) de los criterios de evaluacin utili,ados <asta el C o ento en las pruebas de certificacin:

-n8lisis de docu entos: escalas de criterios de evaluacin ) descriptores de los cursos 200'D200.+ 200.D00 ) 2010D2011= pruebas de expresin oral de los cursos 200'D0. ) 200.D2000.

Entrevistas con los profesores de la EO2 3anta #ru, de 4enerife ) con los profesores de espa5ol de otras EO2.

b? /ara la reali,acin de unas pruebas ) criterios de evaluacin ) objetivos. C C Observacin en clase.

8s v8lidos+ fiables

#uaderno del profesor ) fic<a del alu no: donde se recogieron los datos relativos a debates ) reflexiones de los alu nos respecto a su capacidad ling&stica+ funda ental ente en lo referido a la expresin oral ) apreciaciones de estos sobre los nuevos criterios de evaluacin ) las nuevas pruebas.

#uestionarios relacionados con las i presiones de los alu nos de los resultados obtenidos.

-utoevaluacin de los alu nos sobre su propia actuacin en cuanto a las producciones orales.

Entrevistas con los profesores de espa5ol de otras EO2 de #anarias.

c? /ara la recogida de las C C C

uestras de lengua de los alu nos:

Orabaciones de audio de las actuaciones de estos. /ruebas de ex8 enes de progreso+ do inio ) certificacin. #riterios de evaluacin de ex8 enes de certificacin ) ex8 enes de progreso ) do inio elaborados estos Blti os co o resultado de nuestra investigacin.

-ctividades co unicativas de clase.

d? /ara co probar la valide, ) fiabilidad de las pruebas de expresin oral ) los criterios de evaluacin elaborados: C
90

Orabaciones de audio de la actuacin de los participantes en las pruebas.

-n8lisis de las tareas de las pruebas

ediante fic<as 6ue contenan las

caractersticas de estas siguiendo a Aac< an ) /al er >100$:10.?22. C /ruebas ) criterios de evaluacin de los ex8 enes de progreso ) do inio ) co paracin de sus resultados+ as co o los de do inio de final de curso ) certificacin de la escala. C C -ctividades co unicativas de clase. -utoevaluacin por parte de los alu nos despu;s de las pruebas de certificacin: en este caso se les pregunt 6u; les <aba parecido la prueba+ si estaban de acuerdo con su nota o si crean 6ue su nota era adecuada a su produccin oral real. C Observacin en clase. ediante el c8lculo de coeficientes de correlacin de acuerdo al orden

..2... Desa ollo del estudio e(!" ico* ! ocesos !a a la evaluacin de la e)! esin o al atendiendo a las va iables.
4eniendo en consideracin las anteriores variables+ se desarroll nuestra investigacin+ una ve, detectado el proble a+ en cuatro ciclos: 4.2.4.1. Ciclo 1. a? #o probacin de las pruebas de expresin oral de certificacin de las EO2 de #anarias. 3e exa inaron las pruebas de expresin oral de nivel avan,ado de la Blti a certificacin anterior a la de nuestro estudio2" ) se co prob 6ue cu plan algunas caractersticas 6ue avalaban su efectividad+ aun6ue algunas de ellas no parecan claras para los estudiantes+ la u)

a)ora s lo era. Estas pruebas siguen criterios co o

la autenticidad en la tarea ) el rigor en las instrucciones >Aordn+ 200$?. -utenticidad por6ue la tarea de exa en corresponde a un uso de la lengua real+ entendido esto co o situacin de uso real de la lengua+ no en contextos preparados o artificiales sino 6ue se recrean situaciones de la vida real en donde el candidato debe de ostrar sus conoci ientos ) <abilidades en el anejo de la lengua <ablada

6ue le confir e al evaluador 6ue podr8 desenvolverse correcta ente en una accin futura. Es verdad 6ue el contexto en el 6ue se produce la actuacin es de exa en
22

3e puede ver una

uestra en el anexo $.

/ara ver un eje plo de estas pruebas de certificacin orales de nivel avan,ado correspondientes al curso 200.D2000+ ver anexo 1.

2"

91

pero se pretende 6ue la tarea del exa en responda a un uso de lengua en situacin de no exa en >Aordn+ 200$:1$'?. -de 8s ta bi;n se observ rigor en las instrucciones )a 6ue son claras+ concretas ) concisas >ib%dem: 1'0?. -parte de explicitarnos el contexto en el 6ue se dar8 la actuacin+ explica lo 6ue se pretende 6ue debe expresar el candidato sin dar excesiva infor acin sobre la gra 8tica o el vocabulario 6ue debe usar. 3e pretende proporcionar cierta a)uda al candidato+ ade 8s de 6ue se percate de algunas funciones co unicativas o exponentes 6ue debe utili,ar. -s+ por eje plo+ si se le pide 6ue debe dar un consejo al co pa5ero sobre algo+ el candidato deber8+ o por lo enos podr8 interpretar 6ue debe usar las for as de dar consejo con sus respectivos tie pos verbales= sin e bargo+ no se le <a dic<o 6u; verbos debe utili,ar+ 6u; vocabulario o 6u; registro+ por eje plo. 2gual ente pudi os constatar 6ue las pruebas contenan diversos tipos de actividades co unicativas 6ue iban desde las onologadas+ las cuales constituan

una parte de la prueba+ ) 6ue consistan en dar una opinin+ defender o argu entar una idea deter inada+ <asta las dialogadas+ 6ue suponan la segunda parte de la prueba+ ) 6ue se basaban funda ental ente en conversaciones con el co pa5ero donde se deba dar una infor acin+ llegar a un acuerdo o actuar segBn un rol deter inado. En las escasas tareas en las 6ue los alu nos de la certificacin anterior a la de esta investigacin tuvieron proble as+ pudi os constatar 6ue las instrucciones no estaban u) bien elaboradas+ 6ue el contexto era u) i probable 6ue se diera en la

realidad o 6ue+en el caso de las

onologadas+ el discurso u opinin 6ue tena 6ue

producir era de un te a poco actual ) desconocido para el alu no. #o probacin de los criterios de evaluacin de las pruebas de expresin oral de certificacin de espa5ol. %urante nuestra experiencia ) concreta ente en este estudio <e os observado 6ue existen algunos proble as en relacin con la fiabilidad de la correccin. 9a expresin oral+ debido a su naturale,a de in ediate, ) espontaneidad exige para su evaluacin tareas de produccin abierta+ lo cual supone+ a su ve,+ disponer de evaluadores 6ue califi6uen las actuaciones de los candidatos+ lo 6ue puede llevar consigo el riesgo de subjetividad. -de 8s+ en los criterios de evaluacin+ algunos

92

rasgos co o la fluide,+ la adecuacin o el tono 6ue deberan tener igual i portancia+ no sie pre se especifican de la 3e pudo co probar is a for a.

ediante entrevistas con otros profesores no slo de espa5ol

sino ta bi;n de otros idio as de la EO2 3anta #ru, de 4enerife+ )a 6ue los criterios de evaluacin de certificacin son los discrepaban en la calificacin de un indicaciones del descriptor ) lo is os para todos los idio as+ 6ue estos

is o candidato )a 6ue o bien no seguan las

odificaban segBn sus necesidades o bien cada uno

<aca diferentes interpretaciones del descriptor. Esto nos llev a suponer 6ue los criterios de evaluacin ) la for ulacin de los descriptores no estaban bien definidos+ )a 6ue los resultados basados en estos criterios variaba de un evaluador a otro. 4a bi;n cabe destacar 6ue los profesoresCevaluadores de EO2 no <an sido for ados en este tipo de evaluacin+ slo disponen de unas directrices dadas por la #onsejera de Educacin ) publicadas en el Aoletn Oficial de #anarias+ 6ue en algunos apartados+ es u) poco clara al respecto. Aordn >200$: 2('C2(.? )a adverta 6ue

el evaluador de ex8 enes de alto i pacto+ 6ue tiene 6ue evaluar actuaciones de personas 6ue no conoce >alu nos libres de EO2? no podr8 llevar a cabo con rigor ) <onrade, su labor+ si no <a sido entrenado para <acerlo. 3in e bargo+ ) aun6ue lo idneo sera disponer de profesionales for ados ) 6ue <ubiese la aplicacin de un cdigo deontolgico para el ejercicio de la profesin de evaluador >3tansfield+ 100"?+ si se pudiera disponer de buenos criterios de evaluacin 6ue proporcionen descripciones claras ) operativas de niveles de actuacin ) 6ue asignen puntuaciones+ 6ue podran ser co putados a los distintos niveles especificados+ ) si ade 8s pudi;ra os conseguir 6ue 6uienes va)an a evaluar <a)an experi entado los criterios previa ente >Aordn+ 200$: 1'2?+ cree os 6ue la subjetividad podra dis inuirse )+ por lo tanto+ se puede conseguir una a)or objetivacin de los

criterios de evaluacin para obtener la fiabilidad de la prueba+ as co o de su correccin ) calificacin 8s acorde con la produccin oral del alu no. Esto es lo

6ue pretende os de ostrar en este trabajo. %e esta for a+ se exa inaron con deteni iento los criterios de evaluacin de las pruebas de expresin oral de certificacin de los cursos 200'D0.+ 200.D2000 )

93

2010D20112!. #abe destacar 6ue las pruebas de expresin oral del curso 200'D0. pertenecen a las antiguas ense5an,as de EO2+ por lo 6ue los criterios de evaluacin de ese curso pertenecen al #iclo superior de espa5ol 6ue en las ense5an,as actuales correspondera con un nivel un poco superior al nivel avan,ado actual >podra os decir un A2]D#1?. Eo obstante+ se 6uiso ta bi;n co probar los criterios ) descriptores de evaluacin de ese curso por6ue eran diferentes a los de los cursos posteriores. /or otra parte+ <a) 6ue encionar 6ue los criterios de evaluacin est8n

en relacin con las pruebas de exa en ) con el constructo 6ue se pretende evaluar 6ue en el caso de estos tres cursos escolares+ sie pre <a sido el is o: el de evaluar

la co petencia co unicativa del candidato observando c o <a asi ilado los conoci ientos para aplicarlos en la pr8ctica ><abilidad?. 3in e bargo+ existen algunas diferencias entre los ex8 enes de ciclo superior ) los de nivel avan,ado actuales en cuanto a 6u; evaluar+ a las subco petencias a evaluar o a las puntuaciones. 9as diferencias ) se ejan,as observadas en el an8lisis de las tablas utili,adas para llevar a cabo los criterios de evaluacin ) para puntuarlos de estos tres cursos escolares se pueden observar en el siguiente cuadro:

0ara $er los criterios de e$aluacin en su totalidad B las escalas de e$aluacin de estos tres cursos escolares, consultar anexo 2 B 3A

24

94

#uadro 1$: #o parativa de los criterios de evaluacin de las pruebas orales de certificacin de las EO2 de #anarias. CUR$O Eivel #onstructo GSu; evalBaH 2""/H2""3 #iclo 3uperior >A2C#1? 1er anexo 2a 2""3H2""5 -van,ado >A2? 3e expone en general. 3e re ite al 7#EF 2"1"H2"11

G3e especifican los criterios de evaluacinH #o petencias 6ue inclu)e Enunciacin de los descriptores /artes de la prueba G:a) una puntuacin por tareaH %uracin de las tareas

3+ para cada destre,a. 1er anexo 2b

-van,ado >A2? 3e expone en general para el nivel. :ace alusin al currculo de nivel avan,ado aun6ue todava no existe en #anarias. 3e re ite al 7#EF 3+ pero son iguales para todas las destre,as. 9o especifica por co petencias

/rag 8tica+ ling&stica ) socioling&stica 3e usan palabras co o a plia ente+ adecuada o suficiente 6ue llevan a confusin+ )a 6ue no todos los profesores creen lo is o sobre lo 6ue es adecuado+ a plio o suficiente. /resentacin+ onlogo e interaccin. 7onlogo e interaccin Eo+ la puntuacin es total 3 3 7onlogo: ! puntos 7onlogo: !0 puntos 2nteraccin: $ puntos 2nteraccin: $0 puntos /resentacin: 1C" inutos Eo especifica por partes+ en total 2( 7onlogo: ( inutos 7onlogo: "C( inutos inutos. 2nteraccin: $ N ' in. pareja 2nteraccin: $ N 10 in. pareja . N 0 in. tros . N 12 in. tros 7onlogo: 20 inutos Eo especifica 7onlogo: ( inutos 2nteraccin: 2C" inutos 2nteraccin: " inutos 3 2( puntos 10 puntos 100 puntos

G4ie po de preparacinH /untuacin parcial por destre,a /untuacin total

95

:a) 6ue destacar 6ue en relacin con las co petencias ) subco petencias 6ue se evalBan en la expresin oral+ en las pruebas del curso 200'D200. se inclu)e la subco petencia for ato+ entendida co o la tipologa de texto utili,ado en el discurso+ dentro de la co petencia prag 8tica )+ sin e bargo+ en los cursos siguientes se eli ina. -de 8s+ en el curso 200.D2000 no se inclu)e la co petencia socioling&stica en el onlogo.

/or otra parte+ relacionado con la puntuacin+ en el curso 200.D2000 se observa 6ue se le da enos i portancia en la interaccin a la co petencia socioling&stica aun6ue las enos puntuadas >de 0+. a 0 en la

subco petencias de la co petencia ling&stica est8n

interaccin? 6ue las de las otras co petencias >de 1+2 a 0 en la interaccin?2( . Esto se <a <ec<o para 6ue la puntuacin total de la co petencia ling&stica sea la la co petencia prag 8tica >2+! puntos?. -s se le da is a 6ue la de

8s puntuacin a la consigna o el

registro+ por eje plo+ subco petencias 6ue los candidatos superan nor al ente sin dificultad+ 6ue al l;xico+ pronunciacin ) fluide,+ ) gra 8tica+ de En el onlogo+ en ca bio+ se le da la a)or co plejidad.

is a puntuacin a cada subco petencia >de

0+. a 0? para obtener en total ! puntos en esta tarea. En los criterios de las pruebas de expresin oral de certificacin del pasado curso 2010D2011 se antienen en general las is as co petencias ) subco petencias 6ue las

del a5o 200.D2000+ aun6ue antes la pronunciacin ) la fluide, se puntuaba a la ve, ) a<ora se evalBa cada una por separado con sus propios descriptores. -de 8s+ en las dos tareas se evalBan las tres co petencias se5aladas >prag 8tica+ ling&stica ) socioling&stica? ) se le da 8s i portancia a la interaccin 6ue al onlogo+ igual 6ue

las del a5o 200.D2000. -de 8s+ la puntuacin seguidas >de a)or a

a)or se le da al l;xico ) a la gra 8tica

enor puntuacin? de la consigna+ organi,acin ) co<esin+ is o ocurre en el onlogo. 3e indica+ ta bi;n+

pronunciacin+ fluide, ) registro. 9o

6ue la puntuacin total se divide por 10 ) se redondea al valor entero correspondiente. #onclusiones de las co probaciones 3e pudo constatar 6ue los criterios de evaluacin no correspondan con el constructo a evaluar+ ) 6ue+ incluso+
2(

uc<as de ellas no lo tenan especificado+ de ostrando la poca

onlogo aun6ue son diferentes por6ue se

9o is o ocurre con las puntuaciones del calculan sobre ! puntos.

96

fiabilidad de la prueba. En general todas las pruebas ) criterios de evaluacin siguen las directrices del 7#EF+ cu)o plantea iento de la lengua se basa en el enfo6ue co unicativo de la lengua+ )+ por lo tanto+ en la integracin de las co petencias prag 8tica+ ling&stica ) socioling&stica en cada co petencia co unicativa+ en este caso: la expresin oral. 3in e bargo+ al proporcionar en la puntuacin a)or

i portancia a la gra 8tica ) al l;xico+ por eje plo+ co o ocurre en las pruebas de los Blti os a5os+ se sigue teniendo una concepcin for al de la lengua donde lo i portante es lo ling&stico ) no tanto lo prag 8tico o socioling&stico co o apuntaba el estructuralis o. %e este odo+ aun6ue se tiene en cuenta en la puntuacin las enor edida+ sobre

co petencias prag 8tica ) socioling&stica+ estas se valoran en

todo la socioling&stica+ <aci;ndose palpable una preferencia <acia lo ling&stico. -s cuando un alu no aprueba aun6ue no utilice correcta ente del todo el subjuntivo+ aBn se escuc<an co entarios entre los profesoresCevaluadores aso br8ndose de c o pudo aprobar sin do inar perfecta ente este a< 6ue odo verbal+ desde5ando los otros aspectos. %e

uc<as correcciones observadas de a5os anteriores sean listas de errores

gra aticales sin ninguna otra aclaracin. #o o se puede apreciar+ no se tiene en cuenta la co petencia estrat;gica en ninguna de las certificaciones 6ue+ aun6ue co o adverta #anale ) 3@ain >10.0? no se diferencia de anera independiente+ s est8 presente en todas las co petencias for ando parte de edirla en las actuaciones

la <abilidad ling&stica co unicativa. /ero entonces Gc o

de los candidatosH+ Gc o puntuarlaH+ Gno debera for ar parte de las escalas ) criterios de evaluacin de la expresin oralH. El 7#EF >2002: $'? nos sirve de gua recogiendo dentro de la co petencia estrat;gica los siguientes aspectos: planificacin+ co pensacin+ control ) correccin 6ue se traducen en los descriptores generales para el nivel -van,ado 2 >A2? 6ue #uadro 1'.
/lanificacin #o pensacin #ontrol ) correccin /lanifica lo 6ue <a) 6ue decir ) los edios para decirlo considerando el efecto 6ue puede producir en el o)ente. Jtili,a circunlo6uios ) par8frasis para suplir carencias de vocabulario ) de estructura. #orrige deslices ) errores si se da cuenta de ellos+ o si dan lugar a alentendidos. 4o a nota de los errores 8s frecuentes ) controla consciente ente el discurso en esas ocasiones.

ostra os a continuacin:

En la expresin oral la co petencia estrat;gica se puede ver en las <abilidades 6ue tiene el alu no+ por eje plo en interaccin+ para to ar la palabra >turnos de <abla?+ cooperar

97

o pedir aclaraciones con el fin de

antener la fluide, en la co unicacin para 6ue ;sta

no se ro pa. -s tene os los descriptores del 7#EF para el nivel A2 en actividades de interaccin >2002: .!C.(? 6ue nos lo indica: #uadro 1..
4urnos de <abla 2nterviene adecuada ente en la discusin+ utili,ando el repertorio ling&stico apropiado para <acerlo. 2nicia+ antiene ) ter ina el discurso adecuada ente+ <aciendo un uso efica, de los turnos de palabra. 2nicia el discurso+ to a la palabra adecuada ente+ ) ter ina la conversacin cuando es necesario+ aun6ue puede 6ue no lo <aga sie pre con elegancia. Jtili,a frases tpicas >por eje plo+ XEs una pregunta de difcil respuestaY? para ganar tie po ) antener su turno ientras for ula lo 6ue va a decir. /uede reaccionar adecuada ente ) seguir las aportaciones e inferencias+ de anera 6ue contribu)a al desarrollo de la discusin. #ontribu)e a la arc<a de la discusin sobre te as cotidianos+ confir ando la co prensin+ invitando a otras personas a 6ue intervengan+ etc. Es capa, de plantear preguntas para co probar 6ue <a co prendido lo 6ue el interlocutor <a 6uerido decir ) consigue aclaracin de los aspectos a biguos.

#ooperar

/edir aclaraciones

/or otra parte+ en relacin con la puntuacin total+ en las especificaciones de todas las pruebas de certificacin se per ite el redondeo no ad iti;ndose los deci ales. 3e considera 6ue a partir de 0+( se redondea al valor superior+ ) si es inferior a 0+( el redondeo es a la baja. Esto <ace 6ue+ por eje plo+ un alu no 6ue est; suspendido con un !+( por6ue el ni o es (+ real ente est8 aprobado )a 6ue se redondea a la al,a

dando lugar a un (+ co par8ndose la co petencia ling&stica de este candidato de anera igualitaria con el 6ue obtiene un (+ cuando <a) una diferencia de edio punto.

/or Blti o+ las distintas partes de la prueba > onlogo e interaccin? tienen puntuaciones diferentes. - excepcin del curso 200'D0. 6ue no tiene escalas diferenciadas para cada parte de la prueba+ en el resto se le da 8s i portancia a la

parte de interaccin. #ree os 6ue es por la consideracin de 6ue la conversacin se considera la for a 8s aut;ntica de la expresin oral >18,6ue,+ 2000+ Aordn 200$+ onologadas ta bi;n se producen a enudo en

7#EF+ 2002?. 3in e bargo+ las tareas

la vida real cuando por eje plo+ se tiene 6ue defender una postura u opinin ante varias personas )+ por otra parte+ ta bi;n son interactivas >e isorCaudiencia?+ por lo 6ue cree os 6ue no se le debera dar una puntuacin diferenciada. - esto <e os de agregar 6ue ta poco pode os escudarnos en 6ue la interaccin es una actividad 8s co pleja+

por6ue <ablar sobre un te a con escaso tie po de preparacin+ co o ocurre en las

98

tareas

onologadas de nivel avan,ado+ no es una labor nada f8cil= incluso es difcil para

los propios nativos. /or ello+ se <ace necesaria la ejora o reelaboracin de los criterios de evaluacin+

descriptores ) puntuaciones consultadas para luego experi entarlos con el grupoCclase ) ver <asta 6u; punto se au enta la fiabilidad en la correccin ) la de los descriptores por parte de los profesores. -ctividad de introspeccin con el alu nado ) an8lisis de sus necesidades: %espu;s de co probar las pruebas ) los criterios de evaluacin+ se pretendi recoger datos del alu nado ediante un debate en clase ) actividades de co prensin ) ejor co prensin

expresin oral para ver 6u; i presin tenan de su expresin oral en espa5ol+ 6u; proble as observaban en el desarrollo de esta capacidad ling&stica+ as co o el an8lisis de sus necesidades. 9a a)ora asegur no tener de asiados proble as con la

expresin oral+ )a tenan cierto nivel+ se entendan con <ablantes nativos e incluso+ uc<os de ellos+ vivan <aca tie po en las 2slas #anarias+ por lo 6ue sie pre estaban practicando el idio a espa5ol. 3in e bargo+ co o )a <e os se5alado con anterioridad las dificultades planteadas se basaban 8s en criterios personales o afectivos > iedo a

e6uivocarse+ nerviosis o+ frustracin? 6ue ling&sticos+ prag 8ticos o culturales. -lgunos ta bi;n advirtieron lo absurdo de uc<as situaciones planteadas en los anera natural en una onologadas u)

ex8 enes ) lo artificial ) for,ado 6ue resultaba interactuar de

situacin planteada de repente= otros consideraban 6ue algunas tareas

versaban no tanto sobre te as de actualidad sino sobre te as especficos o t;cnicos de los 6ue apenas tenan infor acin.

/ara el an8lisis de necesidades se reali, una actividad con vdeo en el 6ue distintos estudiantes co o ellos decan por 6u; 6ueran estudiar espa5ol+ ) posterior ente tenan 6ue expresar su opinin. 9os datos obtenidos nos sirvieron para plantear actividades orales co unicativas para luego experi entarlas en clase ) validarlas con el fin de elaborarlas ) aplicarlas en las pruebas de certificacin de junio2$.

2$

:a) 6ue recordar 6ue durante este curso escolar la #onsejera de Educacin de #anarias enco end la reali,acin de las pruebas de certificacin de espa5ol a las EO2 de #anarias+ por lo 6ue nos reparti os la elaboracin de estas por destre,as. - la EO2 3anta #ru, de 4enerife le correspondieron las pruebas de expresin oral. Eo se pudieron e plear los criterios elaborados )a 6ue estos )a estaban i puestos por dic<o organis o.

99

4.2.4.2. Ciclo 2 Elaboracin de actividades co unicativas ) pruebas orales. - la vista de las consideraciones de los alu nos sobre las actividades de expresin oral ) segBn sus intereses se co en,aron a elaborar actividades de expresin oral para practicar en el aula+ as co o las pruebas de expresin oral del exa en de do inio de enero. 9os resultados ) observaciones surgidos en el aula nos serviran posterior ente para la reali,acin de las pruebas de expresin oral de certificacin 6ue tena os 6ue elaborar ) 6ue se fueron perfilando desde este o ento.

%e esta for a+ para la elaboracin de las actividades para el aula intenta os seguir la is a estructura observada en los ex8 enes de certificacin de onlogo e interaccin

con el fin de experi entarlas con los alu nos para los futuros ex8 enes. #o o de todas aneras era una actividad de aula+ se tuvieron en cuenta algunas caractersticas

6ue se pasan por alto en los ex8 enes debido a 6ue en estos Blti os el tie po es li itado. Estas actividades ta bi;n servan a los alu nos co o instruccin para la prueba de do inio de enero ) para los ex8 enes de certificacin ) al final de la actividad se incluan otras actividades para practicar los contenidos gra aticales o la integracin de otras destre,as. 3e siguieron las siguientes fases en clase segBn /inilla >200!: .00?: C /reactividad: para introducir la actividad+ conoci ientos previos de estos. C Exposicin del objeto de la actividad ) los pasos 6ue deben seguir para llevarla a cabo con ;xito. C C C %esarrollo de la actividad. Evaluacin de ;sta. /ostactividad: deduccin de reglas gra aticales+ integracin de destre,as+ etc. otivar al alu nado o conocer los

-de 8s+ se fueron reali,ando las pruebas de los ex8 enes de do inio de enero )+ a su ve,+ siguiendo el is o es6ue a de dos tareas > onlogo e interaccin?+ las pruebas de

expresin oral de certificacin. -s+ siguiendo las fases 6ue propone 4eresa Aordn >200$: $'? para la elaboracin de un exa en de 92+ se fueron elaborando para las pruebas de certificacin 20 tareas odelos distintos de exa en de expresin oral >die, para

onologadas ) 10 para interaccin?= siguiendo el 7#EF en donde las actividades

relativas a la lengua oral 6ue debe reali,ar el candidato son: expresin oral+ en las 6ue el

100

candidato produce un texto oral >lla adas por nosotros

onologadas siguiendo a

#alsa iglia ) 4usn+ 1000? ) de interaccin oral en la 6ue el candidato debe actuar con uno o 8s interlocutores para construir una conversacin >discurso dialgico?. En la

fase previa decidi os 6ue el constructo a evaluar de lengua oral era el 6ue co binaba los conoci ientos con la <abilidad ling&stica tal co o lo concibe el 7#EF+ co o )a se especific en el epgrafe 2.1.1. En la fase de dise5o+ se decidi 6ue seguira os la is a estructura 6ue los a5os anteriores de dos partes: una parte para onlogo ) otra

para interaccin+ aun6ue ta bi;n se observ la necesidad de rescatar la presentacin inicial con el candidato co o tarea introductoria 6ue s apareca en las pruebas del 200'D200.+ aun6ue ;sta no se evaluara+ sola ente se utili,ara para intentar relajar al candidato ) liberarlo de la tensin 6ue produce <acer un exa en+ lo cual contribu)e a la aceptabilidad de la prueba ) a su fiabilidad. /or otra parte+ para saber 6u; dificultad tendran 6ue tener las actividades ) 6u; contenidos son los 6ue deberan incluir se consult+ ade 8s del 7#EF >2002? el /#2# >200'? para constatar con a)or seguridad2'los contenidos del nivel avan,ado. /osterior ente+ ) una ve, establecidos los criterios de evaluacin relacionados con las pruebas+ se pas a la fase de experi entacin ad inistrando las pruebas a los candidatos en el interpretaron los resultados. 7odificacin de los criterios de evaluacin ) de su puntuacin. 9os niveles de lengua 6ue nos propone el 7#EF son funda entales para redactar los criterios de evaluacin. 3in e bargo+ <e os observado 6ue existe cierta confusin con los niveles 6ue propone el 7arco ) los 6ue se i parten en las EO2. -s+ al pasar del es6ue a tradicional de las ense5an,as de idio as >niveles de pri ero a 6uinto? al es6ue a de los niveles del 7#EF 2. se <a producido cierto desconcierto entre el profesorado+ las editoriales ) las propias instituciones docentes. /ara las EO2 el nivel A2 es un nivel -van,ado pero se tiene en ente el antiguo (P 6ue se i parta co o un es de enero ) se

nivel superior >#1? cuando real ente+ segBn el 7#EF el nivel avan,ado es un inter edioCalto. Esto <ace 6ue algunos profesores al evaluar est;n calificando un

En #anarias todava no <a sido publicado el currculo de nivel -van,ado por lo 6ue los contenidos para este nivel 6ue se recogen en la progra acin del %eparta ento de espa5ol se <an deter inado siguiendo el 7#EF >2002? ) el /#2# >200'?. 2. -1 platafor aC-2 acceso >nivel principiante?+ A1 u bralCA2 avan,ado >nivel inter edio?+ #1 do inioC#2 aestra >nivel avan,ado?. 101

2'

exa en 6ue no corresponde al nivel real a evaluar sino al 6ue ellos tienen en

ente

segBn las antiguas ense5an,as. -s+ confunden la no enclatura del 7#EF >A8sico+ 2nter edio o J bral+ -van,ado+ 3uperior? con las de los cursos de la EO2 >A8sico+ 2nter edio ) -van,ado? ) as+ si el 7#EF dice 6ue el A2 es un inter edio alto+ algunos profesores lo identifican con un A1.2 6ue es el inter edio alto en la EO2 ) el A2 con un #1 6ue era el antiguo superior. Esto lleva a evaluaciones errneas ) de a< 6ue se <a)a generado a partir de la -sociacin de /rofesores de EO2 un ovi iento de protesta para

6ue se recono,ca el nivel avan,ado de EO2 co o un #1 ) no co o un A2. :e os de a5adir 6ue se considera 6ue el 7#EF se5ala seis niveles ) seis son los cursos de un idio a en la EO2+ por lo 6ue se podra corresponder cada curso con un nivel+ a 6ue se subdivida un is o nivel en dos cursos. 7uc<os profesores de EO2 solicitan este

ca bio ) creen 6ue+ en tal caso+ se podran <acer subdivisiones teniendo en cuenta las caractersticas del alu nado co o+ por eje plo+ si poseen una lengua aterna u)

alejada de la lengua de estudio+ co o )a ocurre con los espa5oles 6ue estudian 8rabe ) c<ino 6ue para conseguir un nivel b8sico o inter edio deben pasar tres cursos. 9o 6ue 6uere os decir es 6ue algunos profesoresCevaluadores tienden a ense5ar ) exa inar en sus aulas por enci a del nivel 6ue corresponde+ sobre todo en el nivel avan,ado por esa confusin existente+ ) otros siguen los contenidos 6ue establece el 7#EF ) el /#2#. Esto afecta grave ente a la evaluacin ) de a< 6ue se <aga necesario en los ex8 enes unos criterios de evaluacin claros en este sentido+ as co o 6ue los profesores tengan claro el constructo ) los contenidos ) <abilidades 6ue lo integran. /or otra parte+ esta confusin a la <ora de evaluar se antiene por6ue los criterios de is os para

evaluacin de la expresin oral en las pruebas de certificacin son los

todos los niveles e idio as sin tener en cuenta las tareas con las 6ue se van a utili,ar dic<os criterios= son criterios u) generales ) nada especficos+ lo 6ue contribu)e aBn

8s a la confusin ) subjetividad. Jn alu no de nivel b8sico no puede <ablar igual 6ue uno de nivel avan,ado o inter edio ) criterios co o cu ple con las pausas adecuadas para el nivel o tiene la fluide, adecuada o suficiente llevan a error+ sobre todo si no se tienen claros los contenidos o si no se tiene experiencia en este tipo de ense5an,as ) en la evaluacin de estas pruebas de do inio del idio a+ aBn i pacto. /or todo ello+ odifica os en principio la puntuacin de las escalas <aci;ndolas 8s 8s si son de alto

<o og;neas+ d8ndoles igual i portancia a todas siguiendo a -lderson et al. >100.: 1!$?+ )a 6ue la ponderacin diferenciada rara ente ejora la fiabilidad o la valide,+ )
102

teniendo en cuenta el constructo donde la co petencia co unicativa del alu no est8 integrada por distintas subco petencias co o apuntaban :) es >10'1? o Aac< an ) /al er >100$? ) co o recoge el 7#EF >2002?. /osterior ente+ segBn las observaciones recogidas sobre las actividades de expresin oral desarrolladas en clase ) con la puntuacin ca biada ponderando todas las subco petencias 6ue las integran por igual+ se su inistraron las pruebas elaboradas en clase en la prueba de do inio de enero ) se utili,aron para evaluarlas los criterios de evaluacin odificados en su puntuacin20. 3e 6uiso slo odificar la puntuacin para

co probar si el desfase experi entado en a5os anteriores ) observado a principio de clase entre la puntuacin resultante de la actuacin del candidato ) la capacidad ling&stica observada por el profesor en clase era resultado de la puntuacin ponderada de los descriptores o no. Es decir+ en ocasiones los estudiantes obtenan co o calificacin de final de curso para la expresin oral+ por eje plo+ un nueve >sobresaliente?+ ) cuando se presentaban a la prueba de certificacin su actuacin era calificada con un cinco o al contrario > enor nota en exa en final de curso ) a)or

nota en certificacin?+ por lo 6ue exista un proble a en la evaluacin. 3e podra pensar 6ue el profesor 6ue lo evaluara en clase fuera enos exigente 6ue el de certificacin o

viceversa+ pero si eso era as ta bi;n podra ser 6ue existiera de asiada subjetividad en la nota de los exa inadores= por lo tanto+ en a bos casos no existira fiabilidad. /or todo ello+ ereca la pena investigarlo.

Fesultados de las pruebas de do inio de expresin oral de enero #on las nuevas pruebas elaboradas ) con los criterios de evaluacin odificados en su puntuacin se ad inistraron las pruebas de expresin oral de enero ) los resultados fueron los siguientes: de los 10 alu nos todos correcta para el nivel+ pero ostraron una co petencia ling&stica uc<os era e6uiparable con su

ientras 6ue el resultado de

capacidad observada en clase+ otros obtuvieron una puntuacin por enci a de su capacidad ling&stica a juicio de la profesora 6ue les i parta clase+ ) al igual 6ue <aba os detectado sin la puntuacin ca biada. 2ncluso se busc la opinin de una
3e odific la puntuacin en las subco petencias <aciendo 6ue cada una tuviera la is a puntuacin sin discri inacin entre ellas+ siendo fieles al constructo a evaluar 6ue da igual i portancia a todas las subco petencias integradas en cada una de sus co petencias >prag 8tica+ ling&stica o socioling&stica? ) 6ue confor an la co petencia co unicativa del candidato.
20

103

segunda profesora+ concreta ente la 6ue les dio clase el curso pasado 6ue conoca bastante bien la produccin de estos alu nos ) coincidi con las i presiones de la pri era profesora. /or a<ora estas conclusiones ) apreciaciones se basaron en la experiencia ) en las observaciones en clase con estos alu nos+ as co o en las co paraciones entre las actuaciones en clase ) esta prueba de do inio. - continuacin se uestran las puntuaciones obtenidas divididas por tareas para luego poder ar,o ) las de do inio finales de

co pararlas con las de las pruebas de progreso de junio: #uadro 10.

#o o se puede ver+ la puntuacin

uestra una actuacin de los alu nos

u) buena:

cuatro alu nos obtienen un 10+ dos alu nos un 0+ otros dos un . ) dos destacar 6ue de los alu nos 6ue obtienen un 10 slo dos de ellos se

8s un $. #abe erecan tal

puntuacin ) los otros la obtuvieron por6ue los evaluadores tuvieron 6ue ser fieles a los descriptores sin odificarlos. %e esta for a+ por eje plo+ uno de estos alu nos de u) buena en su discurso pero no us apenas

falso 10 tuvo una organi,acin

conectores+ por lo 6ue la puntuacin de la organi,acin ) co<esin no debera ser ni u) alta ni u) baja sino un t;r ino edio= sin e bargo+ el descriptor de puntuacin

8s alto establece: produce un

onlogo bien organi,ado ) estructurado+ ) utili,a con arcadores del discurso. 9a pri era

correccin una gran variedad de conectores )

parte s la cu ple el candidato pero la segunda no+ por lo 6ue este descriptor no lo pode os utili,ar para evaluar al candidato: tene os 6ue encontrar otro 6ue se ajuste al resultado de la prueba. 3in e bargo+ para encontrar un descriptor 6ue inclu)a una

104

ausencia de conectores nos encontra os con lo siguiente: produce un desorgani,ado ) al estructurado+ ) <ace un uso

onlogo

u) li itado de los conectores )

arcadores del discurso pero esto ta poco obedece a la actuacin del candidato. -l final el profesorCevaluador no sabe c o evaluar este aspecto+ gui8ndose+ al final+ por su propia i presin e inclu)endo un alto grado de subjetividad en la evaluacin. #onclusiones del ciclo 2 Estos resultados <acen ver 6ue aun6ue las notas de los estudiantes sean positivas+ no reflejan en algunos de ellos su verdadera capacidad+ no tanto por6ue la puntuacin de la escala fuera errnea debido a 6ue la ponderacin no se ajustaba al constructo+ sino por6ue los descriptores no cubren todos los posibles casos 6ue puedan darse en las uestras de lengua de los alu nos+ co o pudi os ver en el caso de la edicin de la

co<erencia ) de la co<esin. Este aspecto de la co petencia prag 8tica aparece puntuado de anera conjunta en la escala+ pero <e os observado 6ue para 6ue se pueda 8s fiable posible es necesario separarlo ) desarrollar descriptores

edir de la for a

para cada parte+ esto son descriptores de organi,acin ) descriptores de co<esin. -de 8s+ en la co petencia socioling&stica slo se inclu)e el registro <aciendo referencia a los arcadores de uso social. #onsidera os 6ue dic<a co petencia se

debera a pliar con descriptores referidos a las expresiones idio 8ticas o de la sabidura popular propias de este nivel+ co o se recoge en el /#2#. /or otra parte+ palabras co o a plia ente+ adecuado o suficiente+ descriptores co o el di8logo se reali,a con fluide, ) soltura+ ) las pausas apropiadas o el di8logo se reali,a con la fluide, ) pausas apropiadas llevan a confusin )+ cuanto difciles de enos+ son

edir+ )a 6ue G6ui;n deter ina lo 6ue es fluide, ) soltura ) lo 6ue slo es

fluide,H En este caso los profesoresCevaluadores pueden tener distintas opiniones+ por lo 6ue este tipo de descriptores ) palabras 6ue invitan a la subjetividad deben evitarse+ a no ser 6ue se deje claro o 6ue tengan claro los evaluadores lo 6ue es adecuado+ suficiente o a plio en el nivel 6ue se evalBa. Ia el 7#EF >2002: 10.? indicaba la necesaria precisin en la redaccin de los descriptores de evaluacin ) Aordn >200$: '1? nos adverta 6ue no slo deben estar los criterios de evaluacin bien descritos+ sino 6ue ade 8s sie pre tiene 6ue <aber una experi entacin para garanti,ar la objetividad de la calificacin )a 6ue no todos los evaluadores
van a entender de igual anera apreciaciones co o vocabulario adecuado a la situacin+ o errores frecuentes 6ue interrumpen la co unicacin. El alcance de

105

adecuado+ frecuente o interrumpe, puede variar de un evaluador a otro+ en funcin de diversos factores NsubjetivosC co o+ por eje plo+ su fa iliaridad o desconoci iento de la interlengua del candidato+ su propio nivel de exigencia en cuanto al vocabulario+ o+ incluso+ su estado de 8ni o.

-de 8s+ ta bi;n <e os observado 6ue los alu nos utili,an llevar a cabo la co unicacin 6ue son indicadoras de su ling&stica co unicativa. -l no estar recogido este aspecto de

uc<as estrategias para a)or o enor <abilidad

anera especfica en las

escalas utili,adas es conveniente introducir+ ade 8s de las tres co petencias >prag 8tica+ ling&stica ) socioling&stica? la co petencia estrat;gica+ ta bi;n se5alada por el 7#EF dentro del uso de la lengua. %e esta for a+ se tendran en cuenta aspectos co o las <abilidades 6ue tienen los estudiantes para to ar la palabra >turnos de palabra?+ si respeta el de los otros o no+ las negociaciones 6ue <ace con su interlocutores >cooperacin?+ o las estrategias 6ue usa para solicitar aclaraciones o <acer circunlo6uios en el caso 6ue no recuerde alguna palabra especfica+ por eje plo. #ree os 6ue este aspecto ta bi;n debe tenerse en cuenta en las escalas de evaluacin de la expresin oral. 4a bi;n+ en relacin con la pronunciacin+ los profesoresCevaluadores tienen dificultades para decidir si considerar negativo o no la influencia de la lengua aterna

del candidato en la pronunciacin+ esto es debido a 6ue algunos alu nos tienen una pronunciacin excelente sin acento extranjero ) otros+ en ca bio+ se expresan bastante bien aun6ue con algunos sonidos de su lengua aterna. /or ello+ se considera

6ue en estos descriptores se debe dejar claro lo 6ue debe <acer el alu no relacionado con el nivel ) siguiendo el /#2#. /or Blti o+ en relacin con las pruebas elaboradas+ los alu nos observaron+ ediante

un cuestionario 6ue se les ad inistr para recoger tal infor acin+ 6ue en algunos te as no saban lo 6ue decir+ bien por6ue no tenan conoci ientos sobre ellos o bien por6ue re6ueran creatividad por parte de los candidatos. En relacin con la pri era dificultad+ los te as 6ue se tratan en las pruebas son a6uellos 6ue )a se <an abordado previa ente en clase ) sobre los 6ue se supone 6ue el alu no debe tener ciertos conoci ientos+ aun6ue ta bi;n es verdad 6ue en los ex8 enes de certificacin <a) alu nos libres 6ue no asisten a clase ) 6ue no <an estudiado estos te as. /or ello+ en los te as de las pruebas+ funda ental ente en las onologadas+ se deben seguir+ a falta

de un currculo de nivel avan,ado de espa5ol en #anarias+ los actuales docu entos 6ue nos pueden servir de gua co o los del 7#EF ) 8s especfica ente para espa5ol los

106

del 2nstituto #ervantes >/#2#?. Estos te as son los 6ue se corresponden con el nivel= los alu nos libres ta bi;n deberan saberlos aun6ue no <a)an recibido clases en la EO2. El segundo proble a de las actividades 6ue re6uieren creatividad se podra subsanar d8ndoles a los candidatos unas directrices a seguir+ unos puntos a tratar para 6ue puedan guiarse en su produccin+ directrices con infor acin 6ue ellos luego deben desarrollar. /or otra parte+ <e os observado en relacin con las tareas de exa en 6ue algunos aspectos de la valide, se cu plen ) otros no. -s+ la valide, interna se puede considerar 6ue s se cu ple+ puesto 6ue los contenidos de las tareas est8n relacionados con lo 6ue se pretende evaluar ) el efecto de estas en cuanto a las respuestas de los candidatos es positivo. 3in e bargo+ la valide, externa no se da debido a 6ue la actuacin de los alu nos en clase no se corresponde con el resultado de la prueba por la a big&edad de los descriptores+ lo 6ue conlleva falta de fiabilidad. #ree os+ as+ 6ue odificando los

descriptores ) los criterios de evaluacin+ ade 8s de la puntuacin+ se podran conseguir unos resultados de las prueba uestras de lengua de los candidatos generadas en la

8s adecuados ) ajustados a su capacidad ling&stica co unicativa real.

En su a+ despu;s de esta fase de experi entacin ) de interpretacin de los resultados de las pruebas de do inio orales de enero+ se <ace necesario evaluacin+ inclu)endo junto a las co petencias odificar los criterios de ling&stica )

prag 8tica+

socioling&stica+ la estrat;gica= a pliar los prescriptores de la co petencia socioling&stica no slo li it8ndonos al registro sino ta bi;n a las expresiones idio 8ticas ) a las relaciones sociales+ separar la organi,acin ) la co<esin en descriptores diferentes+ precisar los descriptores referentes a la pronunciacin )+ en el caso de la te 8tica de las tareas+ ajustarlas a lo especificado en el 7#EF ) el /#2#. 4.2.4.&. Ciclo & 2 ple entacin del ciclo 2 en relacin a las pruebas ) a los criterios de evaluacin. - partir de las conclusiones observadas en el ciclo 2+ se procede a odificar las pruebas

) los criterios de evaluacin 6ue se utili,ar8n nueva ente co o experi entacin en clase ) 6ue luego servir8n co o odelos para ir elaborando ) odificando las pruebas de expresin oral de certificacin "0 . -s+ co o )a <e os visto+ en las tareas
"0

:a) 6ue tener en cuenta 6ue los criterios de evaluacin est8n odificados de acuerdo con el tipo de alu nado con el 6ue se experi entan >alu nos adultos de A2 de distinta nacionalidad 107

onologadas se li itan los te as sobre los 6ue los candidatos tienen 6ue producir uestras de lengua a los 6ue se se5alan co o propios del nivel A2 en el /#2# >200': !!$? ) se intenta 6ue se relacionen con te as de actualidad. -de 8s+ al ser ta bi;n la produccin de un onlogo una tarea difcil de desarrollar pues+ en general+ los

candidatos deben producir un discurso oral en donde se argu ente su opinin+ se le facilitan una serie de puntos o ideas 6ue pueden utili,ar en su produccin+ ade 8s de ofrecerles pistas para 6ue utilicen deter inados contenidos pero sin ser de asiado explcitos en dic<os puntos+ de este odo se evita 6ue los candidatos se 6ueden en

blanco ante actividades 6ue exigen cierta creatividad. Esto ta bi;n se <ace en las tareas de interaccin 6ue constitu)en la segunda parte de la prueba. En cuanto a los criterios de evaluacin ) sus escalas+ se i ple entan ta bi;n segBn lo especificado en las conclusiones del ciclo 2: se le da la is a puntuacin a las distintas
"1

subco petencias+ inclusin de la co petencia estrat;gica

+ a pliacin de las

subco petencias de la co petencia socioling&stica"2+ separacin en la evaluacin de la organi,acin ) la co<esin del discurso ) redaccin de descriptores relacin con las <abilidades ) contenidos del nivel A2"". Feali,acin de pruebas de expresin oral de progreso durante el resultados. 3iguiendo la un is a estructura planteada para las pruebas de certificacin ) utili,ando es de ar,o ) 8s claros en

odelo de pruebas si ilares a estas )a elaboradas segBn lo especificado en los es de ar,o

anteriores ciclos+ se procedi a reali,ar una prueba de progreso durante el

para de ostrar la valide, ) fiabilidad de estas. -s+ los resultados de esta prueba nos serviran para co pararlos con los de enero ) posterior ente con los de junio.
en in ersin ling&stica? ) segBn lo observado en las actuaciones de estos en clase siguiendo lo 6ue 9uo a >2000: .!? lla a uestras de dese pe5o+ en donde a partir de la escala existente se escogieron las uestras de los alu nos del nivel 6ue se consideraban 8s correctas+ se co pararon con la redaccin de las escalas+ se observaron las discrepancias ) acuerdos ) se odificaron. 3e siguen+ ta bi;n+ las directrices del 7#EF >2002? ) de -94E >100(+ updated [ul) 200(?. "1 3e inclu)eron en ellas las <abilidades 8s frecuentes observadas en la actuacin de los alu nos en clase ) se diferenciaron segBn el tipo de tarea > onlogo o interaccin?. "2 3e a5adieron descriptores relativos a las expresiones idio 8ticas debido a 6ue for an parte del currculo de A2 >/#2#? ) se utili,an frecuente ente en las conversaciones ) opiniones. -de 8s+ los ele entos fraseologicos ) pare iolgicos se trabajaron durante todo el curso en clase. "" /ara ver los nuevos criterios de evaluacin odificados ) las escalas aplicados a estos+ consultar anexo !. 108

4a bi;n cabe destacar 6ue durante toda la investigacin ) con el fin de garanti,ar la calidad de las tareas de expresin oral+ se utili, un cuadro de an8lisis de tareas siguiendo a Aac< an ) /al er >100$+ !0C(0 ) 10.? 6ue facilit la co probacin de estas+ anali,ando los ele entos 6ue se utili,aban en la tarea teniendo en cuenta cinco caractersticas: a biente >condiciones fsicas ) tie po de reali,acin?+ for ato >organi,acin e instrucciones generales?+ caractersticas del input de las tareas >instrucciones+ for ato+ lengua ) naturale,a de las instrucciones usadas en las actividades?+ caractersticas de la respuesta esperada >for ato+ lengua ) naturale,a de la respuesta esperada? ) las relaciones entre las instrucciones de la prueba ) la respuesta dada "! . 9os resultados de estas pruebas de expresin oral de progreso reali,adas en ar,o aplicando los criterios de evaluacin odificados fueron los siguientes: un

alu no obtuvo un nueve+ tres alu nos un oc<o+ dos alu nos un siete+ tres alu nos un seis ) un alu no un cinco. En el siguiente gr8fico se pueden observar resultados divididos por tareas: ejor los

#uadro 20.
RESULTADOS PRUEBAS DE EO DE PROGRESO DE MARZO

10 9 8 7 6 Punt uacin 5 4 3 2 1 0 Monlogo Int eraccin Tot al A1 3 5 8 A2 4 5 9 A3 2 4 6 A4 2 4 6 A5 4 4 8 A6 4 4 8 A7 4 3 7 A8 2 4 6 A9 A1 0 3 2 4 7 3 5

#on los nuevos descriptores los resultados se

uestran

8s fiables en relacin con la

capacidad de los candidatos observada en clase+ ade 8s de 6ue <a) 6ue tener en cuenta 6ue los alu nos <abr8n aprendido 8s durante el tie po transcurrido ) 6ue si se <an

aplicado en sus estudios o+ si ple ente+ por estudiar el idio a en in ersin ling&stica
"!

/ara ver el cuadro de an8lisis de tareas utili,ado con un eje plo de dic<o an8lisis aplicado a una prueba+ consultar anexo $. El cuadro <a sido traducido al espa5ol.

109

deberan <aber

ejorado. 3in e bargo+ la

a)ora de los alu nos respecto a las notas

obtenidas en enero <an obtenido una calificacin inferior= recorde os 6ue los criterios utili,ados anterior ente no eran v8lidos ni fiables )+ en ca bio+ a<ora pode os considerar 6ue s lo son si co para os los resultados respecto a las pruebas ) tareas <ec<as en clase ) evaluadas ta bi;n con estos nuevos criterios. #o paracin de los resultados obtenidos en enero ) los resultados de #uadro 21.

ar,o

10 9 8 7 6 5 4 3 2 1 0

Monlogo enero Interaccin enero Total enero Monlogo marzo Interaccin marzo Total marzo

A1 5 5 10 3 5 8

A2 5 5 10 4 5 9

A3 5 5 10 2 4 6

A4 5 5 10 2 4 6

A5 3 6 9 4 4 8

A6 3 6 9 4 4 8

A7 4 4 8 4 3 7

A8 3 5 8 2 4 6

A9 3 3 6 3 4 7

A10 2 4 6 2 3 5

/ara poder co probar la escase, de valide, ) fiabilidad de los resultados obtenidos en enero ) sospec<ados desde un principio por la diferencia existente entre el resultado evaluado ) la capacidad de expresarse oral ente de los alu nos+ se establecieron correlaciones por orden de escala entre las pruebas de enero ) ar,o. %e esta for a+ se

podra constatar la diferencia de puntuacin existente entre ellas )+ por lo tanto+ la falta de fiabilidad de los resultados de enero. 9as correlaciones 6ue se <icieron fueron sobre las puntuaciones totales tal co o ostra os a continuacin"(:

"(

En el an8lisis de estas correlaciones los alu nos est8n ordenados sie pre de for a id;ntica+ de tal anera 6ue -1 sie pre corresponder8 con ese alu no+ -2 con el siguiente ) as sucesiva ente. 3e sigue la fr ula para calcular la correlacin de acuerdo al orden de la escala 6ue aparece en -lderson et al. >100.: 2$"C2$!?

110

#uadro 22. C!((elacin ent(e las 0(uebas de ene(! - )a(;! 0!( !(den de escala -lu no -1 -2 -" -! -( -$ -' -. -0 -10 Fesultados Fesultados Escala enero ar,o enero 10 . 2+( 10 10 10 0 0 . . $ $ 0 $ $ . . ' $ ' ( 2+( 2+( 2+( (.( (.( '.( '+' 0+( 0+( Escala ar,o " 1 . . " " (+( . (+( 10 0+( 1+( (+( (.( 2.( 2.( 2 0+( ! 0+( d d2 0+2( 2+2( "0+2( "0+2( $+2( $+2( ! 0+2( 1$ 0+2(

d^ diferencia= d2^ diferencia al cuadrado #on estos datos ) observando las diferencias de puntuacin+ pode os observar 6ue la correlacin entre las dos pruebas es de ]0+!. Es decir+ existe cierta si ilitud entre las notas )a 6ue se evalBan aspectos del is o rasgo >co petencia de la expresin oral? uc<a distancia entre la

pero no <a) coincidencia total ) con algunos estudiantes <a) puntuacin de enero ) la de

ar,o >-1+ -"+ -!+ -.?+ lo 6ue nos <ace suponer 6ue la ar,o tiene a)or fiabilidad por6ue

puntuacin de enero no es fiable ) 6ue la de

coincide con la de la actuacin de los candidatos observada en clase por la profesora. /or lo tanto+ existe una correlacin baja entre las dos pruebas. Esto se puede apreciar ejor en el siguiente gr8fico de dispersin:

#uadro 2".

111

 Evaluacin por parte de los alu nos de las pruebas ad inistradas ) de los resultados obtenidos en ar,o segBn los nuevos criterios de evaluacin ar,o se debati con los anifestaron 6ue 8s claras+ En las clases siguientes a la ad inistracin de las pruebas de

alu nos sobre dic<as pruebas ) resultados. El 0(\ de los alu nos

estaban de acuerdo con estas ) 6ue las instrucciones para su desarrollo eran

ade 8s de reducir+ gracias a los puntos incluidos en ellas+ la falta de creatividad ) la incertidu bre sobre 6u; decir ante deter inados te as. En cuanto a los resultados+ los 6ue <aban obtenido enero se enor puntuacin en ar,o 6ue en

anifestaron descontentos ) pusieron en duda los criterios de evaluacin

aplicados aBn cuando se les explic c o se <aban utili,ado ) los criterios 6ue se <aban incluido. -de 8s+ consideraban 6ue <aba pasado estudios ) 6ue+ por lo tanto+ deberan <ablar 8s tie po durante sus

ejor ) 6ue eso se debera <aber reflejado

en el resultado de la prueba. 3in e bargo+ despu;s de reflexionar sobre su propia actuacin en el exa en reproduci;ndosela en clase gracias a las grabaciones efectuadas de cada prueba+ observando sus dificultades ) tras reali,ar una reflexin sobre su expresin oral actual a partir de un cuestionario+ co prendieron 6ue la nota actual estaba 8s acorde con su co petencia ling&stica en lugar 6ue la de enero.

/or lo tanto+ se esti 6ue las pruebas ) criterios de evaluacin actuales desarrollados segBn lo expuesto+ al enos+ eran 8s v8lidos ) fiables 6ue los de enero.

Fesultados de las pruebas de expresin oral de do inio de junio 3iguiendo el alu nos se is o for ato ) los is os criterios de evaluacin de ar,o+ )a 6ue los ostraban bastante receptivos ante estos ) 6ue se cu pla la valide, interna

>aparente+ constructo+ contenido ) respuesta?+ se procedi a ad inistrar las pruebas de fin de curso de expresin oral en junio+ con la finalidad+ ade 8s+ de de ostrar su valide, externa ediante la co paracin de estos resultados de junio con los de ar,o

) teniendo en cuenta variables co o el tie po transcurrido )+ por consiguiente+ el a)or aprendi,aje de los alu nos. #o o los resultados de las pruebas de diferan de los de enero+ obteniendo los de pensar 6ue la puntuacin de ar,o una puntuacin ar,o

8s baja+ se podra

ar,o 6ui,8 estaba influida por la subjetividad del

profesorCevaluador o por su exigencia o flexibilidad al puntuar las pruebas"$ . -s+ si se

"$

-un6ue esto resultaba i probable )a 6ue los descriptores estaban elaborados para evitar esa subjetividad ) los resultados obtenidos en ar,o eran 8s acordes con la actuacin ling&stica de los alu nos observada en clase 6ue los de enero >valide, concurrente?+ se precisa constatar 112

constataba 6ue los resultados de evaluados con los

ar,o guardaban correlacin con los de junio

is os descriptores es 6ue la fiabilidad ) valide, de estas se cu pla

) 6ue no estaban influidos por estos aspectos. 9os resultados de la prueba de expresin oral de junio se gr8fico: #uadro 2!. uestran en el siguiente

10 9 8 7 6 5 4 3 2 1 0 A 1 3 8 4 5 A 2 4 5 9 5 5 A 3 2 4 6 4 4 A 4 2 4 6 3 3 7 A 5 4 4 8 4 5 9 A 6 4 4 8 4 5 9 A 7 4 3 7 4 4 8 A 8 2 4 6 3 4 7 A A 9 10 3 2 4 7 3 5 8 3 5 2 4 6

Monlogo marzo Total marzo Monlogo junio Interaccin junio Total junio

Interaccin marzo 5

9 10 8

3e

uestra as+ la valide, de la prueba )a 6ue tanto lo referido a su relacin con el

contenido ) respuesta de los alu nos co o a los resultados de dic<a prueba ) las edidas de la capacidad de expresin oral de estos obtenidas fuera de esta prueba >en clase o prueba de ar,o? coinciden.

-Bn as para de ostrar la valide, concurrente ) la fiabilidad interna tanto de las tareas de las pruebas co o de sus criterios de evaluacin ostra os a continuacin la

correlacin por orden de escala entre estas dos pruebas > ar,o ) junio?:

una ve, 8s la fiabilidad en la puntuacin estableciendo una correlacin entre las pruebas de ar,o ) junio.

113

#uadro 2(.

C!((elacin ent(e las 0(uebas de )a(;! - uni! 0!( !(den de escala -lu no -1 -2 -" -! -( -$ -' -. -0 -10 Fesultados Fesultados Escala ar,o junio ar,o . 0 " 0 $ $ . . ' $ ' ( 10 . ' 0 0 . ' . $ 1 . . " " (+( . (+( 10 Escala junio " 1 $ .+( " " $ .+( $ 10 0 0 2 0+( 0 0 0+( 0+( 0+( 0 d 0 0 ! 0+2( 0 0 0+2( 0+2( 0+2( 0 d2

d^ diferencia= d2^ diferencia al cuadrado 9a correlacin entre estas dos pruebas es de ]0+0$. Es bastante alta por lo 6ue la fiabilidad ) la valide, se cu plen. Esto 6uiere decir 6ue con los nuevos criterios de evaluacin ) escalas odificados no existe tanta diferencia entre las notas )+ por lo

tanto+ se logra dis inuir la subjetividad del profesorCevaluador+ lo cual se de uestra en la estabilidad de los resultados entre estas dos pruebas frente a los resultados de enero. El diagra a de dispersin en relacin con las correlaciones de estas pruebas es el siguiente:

#uadro 2$.

114

#o o se puede co probar+ los puntos tienden a progresar desde abajo a la i,6uierda <acia arriba a la derec<a+ ) aun6ue no es posible unir todos los puntos con una lnea recta debido a los resultados del alu no -" con una diferencia entre las notas de dos puntos >.C$?+ la coincidencia es i portante entre los dos grupos de notas. #onclusiones del ciclo " - la vista de los resultados+ los nuevos criterios de evaluacin son 8s v8lidos ) fiables 6ue los propuestos para las pruebas de certificacin"'. 9a entable ente+ durante estos tres ciclos de investigacin no se <a podido co probar la fiabilidad de los correctores debido a la escase, de recursos <u anos ) a la falta de tie po de otros profesores para 6ue se i plicaran en nuestra investigacin co o evaluadores con el fin de <acer una doble correccin de las pruebas. 3in e bargo+ cree os 6ue esta fiabilidad se puede de ostrar a trav;s de las correlaciones <ec<as entre las pruebas vistas anterior ente en donde se verifica 6ue dic<a fiabilidad s existe. %e todas for as+ esto s se pudo <acer en el siguiente ciclo donde <aban dos evaluadores para calificar las pruebas de expresin oral de certificacin aun6ue con los criterios de la #onsejera de Educacin. /or otra parte+ en cuanto a la fiabilidad ) valide, de las tareas dise5adas para las pruebas orales+ tanto de clase ) pruebas de progreso ) do inio co o de certificacin+ se fue co probando ientras estas se iban elaborando a partir de unas preguntas 6ue se planteaban antes o despu;s de dise5ar la prueba".. -s+ para co probar la fiabilidad de estas se tuvo en cuenta si se ca biaban las caractersticas del lugar en el 6ue se reali,aban las pruebas segBn los diferentes das en los 6ue se efectuaban+ si <aban diferentes for atos de pruebas o todas guardaban una cierta relacin+ en 6u; ca biaba el input de una tarea a otra+ en 6u; edida se

edida ca biaban las caractersticas de la odificaba la relacin entre

respuesta esperada de una tarea a otra o <asta 6u; punto se

el input ) la respuesta de una for a injustificada segBn las distintas pruebas. En la experi entacin de estas pruebas si ilares a las de certificacin se contestaron todas
:a) 6ue recordar 6ue los criterios de evaluacin ) escalas de las pruebas de certificacin los proporciona la #onsejera de Educacin sin posibilidad de ca biarlos por los nuestros+ ) 6ue con esos criterios se evaluaron las pruebas de enero aun6ue odificando slo la puntuacin de los descriptores+ con el fin de co probar si era esta la 6ue influa en la fiabilidad de la nota o el descriptor. Estos descriptores de la #onsejera de Educacin son uno de los otivos por los 6ue se plantea el proble a observado en la pr8ctica docente ) 6ue genera esta investigacin. ". - partir de las caractersticas propuestas por Aac< an ) /al er >100$? para elaborar pruebas de calidad+ se co prob la fiabilidad ) valide, de las pruebas siguiendo algunos de los pasos propuestos por 7artne, >200.b: "$"C"'1?. 115
"'

estas preguntas de

anera positiva+ no observ8ndose ningBn proble a en el desarrollo

de estas. -de 8s+ para la valide, de contenido ) de constructo se co prob la relacin de estas con el constructo a evaluar+ planteado al principio de este trabajo ) en 6u; edida tanto estas co o el siste a de correccin >escalas? reflejaba la definicin del constructo+ dise58ndose cada tarea teniendo en cuenta unas <abilidades concretas 6ue debera provocar+ o 6u; ele entos del input+ de la respuesta esperada o de la relacin de a bos podan <acer variar la actuacin de los candidatos+ en relacin a este Blti o posible ente la experiencia personal de los candidatos+ podra variar la respuesta+ pero en este caso el evaluador tendra 6ue intervenir para conseguir el constructo definido. En cuanto al an8lisis de la valide, aparente o lla ada por Aac< an ) /al er >100$? autenticidad+ la cual a su ve, est8 relacionada con la valide, de constructo+ de contenido ) de respuesta"0+ se <a considerado en 6u; grado la descripcin de las tareas en uso en contextos reales inclu)e infor acin sobre el contexto+ el tipo de input utili,ado+ la respuesta esperada o las relaciones de estas Blti as. -si is o para anali,ar la interactividad >Aac< an ) /al er+ 100$? de la prueba en su conjunto se <a considerado al candidato ) sus caractersticas para la reali,acin de la prueba as co o el grado en 6ue debe utili,ar el conoci iento ling&stico para desarrollar las tareas teniendo en cuenta el nivel >-van,ado+ A2? o cu8nto tie po se les otorgar8 para la planificacin de estas. -de 8s+ de una prueba atendiendo a anera ra,onable se anali, el i pacto de la

las de andas de los estudiantes ) a las sugerencias de los

candidatos en el dise5o de las tareas+ se les ofreci al final de las tareas una retroali entacin clara 6ue les sirviera co o ejora de su actuacin+ en donde todos

los candidatos fueron infor ados del siste a utili,ado en la evaluacin+ se <icieron tareas si ilares a las 6ue se evalBan en certificacin ) se asegur 6ue los criterios ) los procedi ientos se aplicaran igual ente a todos los candidatos+ 6ue las decisiones to adas a partir de estas pruebas eran las adecuadas para cada tipo de exa en o tarea >clase+ progreso+ do inio+ certificacin? ) se esti la repercusin de este tipo de pruebas en la actualidad ) 6u; consecuencias tendra una falta de fiabilidad ) valide, de estas. /or Blti o+ se estudi la viabilidad en el dise5o ) desarrollo de estas+ para lo 6ue se tuvo 6ue calcular aproxi ada ente 6u; ateriales se necesitaban ) cu8les eran los

"0

Estos conceptos )a <an sido explicados en los epgrafes 2.1.(. ) 2.2. 116

recursos disponibles. %e este Blti o aspecto <ablare os en las conclusiones de nuestra investigacin. %espu;s de todos estos an8lisis a lo largo de estos tres ciclos+ se evidenci 6ue ciertas actividades se <aban for ulado ejor 6ue otras+ por lo 6ue se procedi a la

odificacin de estas. En general estaban bien elaboradas )a 6ue cu plan las caractersticas de fiabilidad+ valide,+ viabilidad+ autenticidad+ interactividad e i pacto 6ue se5alaban Aac< an ) /al er >100$? ) estaban reali,adas siguiendo el enfo6ue co unicativo de la lengua. 4a bi;n se advirti 6ue los criterios de evaluacin anali,ados en un principio >los de la #onsejera de Educacin? no cu plan estas caractersticas por lo 6ue <e os explicado con anterioridad. -s+ a partir de estas observaciones se ter inaron de elaborar las pruebas de ex8 enes orales de certificacin junto a sus criterios de evaluacin+ en un principio. 4.2.4.4 Ciclo 4 -d inistracin de las pruebas de expresin oral de certificacin de espa5ol de nivel A2 ) evaluacin de estas - principio de junio se ad inistraron las pruebas de certificacin en las EO2 de #anarias. #o o )a <e os dic<o+ las EO2 se encargaron de la elaboracin de las pruebas reparti;ndose entre ellas las distintas partes de las 6ue consta bien por destre,as+ bien por niveles. El departa ento de espa5ol de esta EO2 se encarg de la reali,acin de las pruebas de expresin oral de certificacin de todos los niveles. 9a entable ente+ repeti os una ve, 8s+ no pudi os aplicar los criterios de evaluacin elaborados 6ue odificados ) ejorados respecto a los anali,ados

co o resultado de nuestra investigacin )a <aba os experi entado ) co probado en clase con los alu nos oficiales+ sino 6ue por directrices de la #onsejera de Educacin tuvi os 6ue utili,ar las escalas establecidas por ellos. En cuanto a las tareas de expresin oral+ se ad inistraron al igual 6ue co o <aba os <ec<o en clase siguiendo su is o odelo ) secuenciacin. 9a te 8tica de las pruebas

fueron las recogidas en el /#2# ) el 7#EF para el nivel A2 6ue se li itaron a las nuevas tecnologas+ la juventud+ el alco<ol+ la fa ilia ) las relaciones personales+ los tpicos+ el arte+ la cultura+ la salud+ la piratera usical+ la <istoria+ el cine+ los deportes+

117

los recuerdos de la infancia ) las asociaciones sin 8ni o de lucro >OEO?. !0 El procedi iento a seguir en la ad inistracin de las pruebas fue el siguiente: 9os alu nos pasaban a la clase donde iban a ser evaluados por parejas o tros >dependiendo del nB ero total de candidatos? ) el exa inador para superar la tensin del pri er antenan una breve presentacin con o ento. /osterior ente se les daba a

cada uno una fic<a 6ue contena la pri era tarea del exa en ) 6ue se corresponda con la produccin de un onlogo. 3e consider 6ue era conveniente e pe,ar por tareas

6ue slo re6ueran expresin oral+ sin interaccin ) con un breve tie po de planificacin para ordenar sus ideas. %e este odo se pretende rebajar la tensin ) la

ansiedad 6ue suele crear este tipo de pruebas >Aordn+ 200$: 21"?. 3e les adverta 6ue posean un tie po de preparacin de unos cinco inutos en donde podan incluso to ar

notas para ordenar sus ideas aun6ue luego no podan leerlas sino utili,arlas co o guin. %espu;s de esos cinco inutos los candidatos deban producir un discurso oral

onologado en relacin con el te a 6ue le <aba tocado en su fic<a+ pri ero actuaba un candidato ) luego otro. - continuacin se les ad inistraba la segunda tarea de la prueba 6ue se corresponda con una interaccin entre los candidatos co o si estuvieran en una situacin real+ )a 6ue segBn la a)ora de los investigadores >Aac< an ) /al er

>100$?+ 18,6ue, >2000?+ *igueras >200!?+ /arrondo >200!?+ 7#EF >2002?+ Aordn >200$?+ /#2# >200'?+ Iag&e >2010??+ la ateriali,acin 8s aut;ntica de la

expresin oral es la 6ue reviste la for a de una conversacin >Aordn+ 200$: 20!?. /ara ello se les dejaba tres inutos escasos de preparacin+ )a 6ue en el desarrollo del

discurso podan llegar al acuerdo 6ue general ente les peda la tarea. %espu;s de esos tres inutos de planificacin co en,aba la interaccin 6ue duraba unos $ o ' inutos

para las parejas o unos . o 0

inutos para los tros. -l finali,ar la prueba se les

recordaba c o se iba a proceder para co unicarles sus resultados ) abandonaban el aula. El tribunal de evaluacin estaba for ado por dos profesores+ uno de ellos <aca de interlocutor con los candidatos ) grababa las intervenciones!1+ ) el otro actuaba co o exa inador >siguiendo a -lderson et al.+ 100.? pudi;ndose centrar slo en el an8lisis de la actuacin de estos. 3in e bargo+ a bos profesores evaluaban independiente ente a los alu nos para luego poner sus resultados en co Bn ) co probar la fiabilidad de
!0

/ara ver un

odelo de estas tareas+ consultar el anexo (.

!1

3lo en audio a trav;s de un ordenador.

118

estos. 3i existan

uc<as diferencias entre los resultados establecidos por cada profesorC

evaluador se <aca una nueva correccin gracias a la grabacin de las actuaciones. El is o proceso se repeta con cada pareja o tro de candidatos. En cuanto a la agrupacin de los participantes en las pruebas+ a los alu nos oficiales se les per iti 6ue se agruparan libre ente segBn las afinidades entre ellos+ )a 6ue se conocan+ ) a los alu nos libres+ co o no se conocan ni los conocan los profesoresC evaluadores+ se agruparon para for ar parejas o tros de anera alfab;tica segBn la

pri era letra de su apellido. Esto 6ui,8 pudo <acer 6ue los alu nos oficiales tuvieran cierta ventaja sobre los libres )a 6ue pudieron sentirse personas conocidas. /or Blti o+ cabe destacar 6ue no fue posible 6ue la profesora 6ue les i parta clase no los evaluara+ por6ue el departa ento de espa5ol de la EO2 3anta #ru, de 4enerife slo est8 for ado por dos profesores ) el tribunal evaluador tena 6ue estar co puesto+ ta bi;n co o ni o+ por dos profesores+ por lo 6ue la escase, de recursos <u anos 8s c odos al actuar con

<i,o 6ue se produjera tal situacin. 3in e bargo+ a partir de los resultados obtenidos ) co par8ndolos con los de junio podre os deter inar si la subjetividad influ) en los resultados debido+ en a)or parte+ a la i precisin de los descriptores ) en la poca

relacin del constructo con la puntuacin de la prueba+ )a 6ue los criterios de evaluacin aplicados a las pruebas de certificacin no fueron los 6ue <aba os elaborado ) 6ue resultaban 8s adecuados en relacin con el constructo ) la capacidad

a evaluar sino los i puestos por la #onsejera. Esto nos sirvi para co parar los resultados obtenidos en expresin oral en las pruebas de certificacin de los alu nos oficiales ediante los criterios de evaluacin de la #onsejera ) los obtenidos con los

nuevos criterios de evaluacin de nuestro estudio. Fesultados de las pruebas de expresin oral de certificacin de los alu nos oficiales ) co paracin con las pruebas de do inio de junio.

9os resultados obtenidos de los alu nos oficiales de nivel A2 en las pruebas de expresin oral de certificacin aplicando los criterios de evaluacin de la #onsejera de Educacin ) co parados con los obtenidos en junio en las pruebas de do inio se pueden apreciar en el siguiente gr8fico:

119

#uadro 2'.

10 9 8 7 6 5 4 3 2 1 0 Monlogo junio Interaccin junio Total junio Monlogo certificacin Interaccin certificacin Total certificacin A1 4 5 9 4 6 10 A2 5 5 10 4 5 9 A3 4 4 8 3 5 8 A4 3 3 7 4 6 10 A5 4 5 9 3 4 7 A6 4 5 9 3 3 6 A7 4 4 8 3 4 7 A8 3 4 7 2 3 5 A9 3 5 8 3 3 6 A10 2 4 6 2 4 6

- trav;s del gr8fico se pueden co probar 6ue algunas notas de las pruebas de certificacin son superiores o inferiores a las obtenidas por los alu nos en las pruebas de junio <ec<as das antes a las de certificacin+ por lo 6ue se co prueba de nuevo 6ue los descriptores ) las escalas 6ue se utili,an para la puntuacin de las uestras de

lengua no son v8lidos+ )a 6ue contienen i precisiones 6ue llevan a puntuaciones poco acertadas. Esto se puede ver de una for a 8s clara evidenciando las correlaciones 6ue

existen entre los resultados de las dos pruebas:

#uadro 2.: C!((elacin ent(e las 0(uebas de uni! - ce(tificacin Fc(ite(i!s de la C!nse e(*aI 0!( !(den de escala -lu no -1 -2 -" -! -( -$ Fesultados Fesultados Escala junio certificacin junio 0 10 " 10 . ' 0 0 0 . 10 ' $ 1 $ .+( " " Escala certificacin d 1+( 1+( " ! 1+( (+( . 1 2 ' 2+( ( d2 2+2( 1 ! !0 $+2( 2(

120

-' -. -0 -10

. ' . $

' ( $ $

$ .+( $ 10

(+( 10 . .

0+( 1+( 2 2

0+2( 2+2( ! !

d^ diferencia= d2^ diferencia al cuadrado #uadro 20.

9a correlacin entre las dos pruebas es de ]0+!. Existe cierta relacin pero ;sta es

u)

baja+ por lo 6ue los resultados de certificacin obtenidos por los candidatos no corresponden exacta ente con su capacidad para expresarse oral ente evaluada ) co probada en clase. #o o pode os observar en el gr8fico de dispersin los puntos aparecen dise inados por toda el 8rea del gr8fico lo 6ue indica una correlacin bastante escasa. %oble correccin de los resultados de las pruebas de certificacin con los resultados de las evaluacin. %ebido a la escasa correlacin con los resultados de las pruebas de certificacin ) las de clase+ se volvieron a corregir las is as pruebas de certificacin pero a<ora con los is as pruebas evaluadas con los nuevos criterios de

criterios de evaluacin elaborados a partir de este trabajo+ gracias a las grabaciones de audio efectuadas ientras se exa inaban los candidatos ) para co probar ta bi;n las

correlaciones entre estas >certificacin >nuevos criterios?Dcertificacin >criterios de la #onsejera?? ) las de junio >junioDcertificacin>nuevos criterios??. 9os resultados totales se uestran a continuacin:
121

#uadro "0:

122

ERROR: syntaxerror OFFENDING COMMAND: --nostringval-STACK: -mark/sfnts