Академический Документы
Профессиональный Документы
Культура Документы
RESUMEN
La comunicacin se enmarca dentro del anlisis de la efectividad de una herramienta
de evaluacin integral o 360 grados. Se plantea un sistema de evaluacin integral para
la competencia trabajo en equipo de la materia Anlisis del Mercado Turstico. El
documento detalla las distintas fases de aplicacin del sistema de evaluacin integral
as como los resultados ms relevantes de su aplicacin a distintos grupos de
estudiantes. En ltimo lugar se presentan las conclusiones de la investigacin, las
cuales permiten plantear un proceso de evaluacin renovado en el que se mejoren y
complementen los mtodos de valoracin de competencias as como los mecanismos
formativos adscritos a los mismos.
TEXTO DE LA COMUNICACIN
Introduccin
La implantacin de un Espacio Europeo de Educacin Superior (EEES) ha supuesto
un cambio de paradigma en el sistema educativo de los pases de la Unin Europea.
El modelo de aprendizaje ha sido transformado en un sistema donde el alumno tiene
que asumir una serie de competencias. En este sentido, sera importante que
existiesen procedimientos de evaluacin de estas competencias adquiridas por los
estudiantes para retroalimentar desde un punto de vista constructivo el aprendizaje.
Una de las tcnicas que mayor implantacin ha tenido a la hora de evaluar las
competencias de personas ha sido el feedback 360 o evaluacin 360 grados (LevyLeboyer, 2000). Se trata de un mtodo que empez a implantarse en los aos 80 para
evaluar las competencias de los ejecutivos (Bizquerra, Martnez, Obiols y Perez,
2006). Sin embargo, no empieza a tener popularidad dentro de los entornos
empresariales y educativos hasta la segunda mitad de los aos 90 (Lepsinger y Luca,
1997; Tornow y London, 1998).
En este sentido, la evaluacin de 360 grados ha sido entendida como una tcnica de
evaluacin realizada normalmente por personas annimas sobre las competencias de
otra persona que acta como participante (Bizquerra et al., 2006; Capelli, 2008).
Asimismo, dentro de los entornos puramente empresariales, se ha tomado como una
tcnica que permite un feedback positivo entre superiores, compaeros y clientes, y
cuyo objetivo principal ha sido desarrollar las habilidades o puntos fuertes y las
posibilidades de mejora de los aspectos dbiles (Olabairreta y Da Silva, 1998).
Adems, permite que varias personas, annimas en muchos casos, muestres su
percepcin sobre las habilidades de un participante, y al mismo tiempo tengan un
impacto en su comportamiento (Waldman y Atwater, 1998). Por tanto, la evaluacin de
360 grados facilita un proceso de interaccin entre los miembros de una organizacin
y analiza las competencias de los recursos humanos a partir de la percepcin del resto
de compaeros.
Dentro de los contextos educativos son cada vez ms frecuentes los docentes que
tratan de evaluar las competencias de sus alumnos por medio de tcnicas donde haya
una participacin activa de los evaluadores con los evaluados. Snchez, Alonso,
Calles y Masegosa (2009) aplicaron la evaluacin 360 en una muestra de 91 alumnos
de la Universidad Politcnica de Madrid. Por su parte, Bizquerra, Martnez, Obiols y
Perez (2006) han tratado de evaluar la educacin emocional por medio de esta tcnica
de evaluacin utilizando al menos siete personas para evaluar a un participante, tres
profesores, tres alumnos y la autoevaluacin de las competencias que el participante
hace de si mismo. Los autores concluyeron que la evaluacin de 360 grados es una
tcnica til y apropiada para evaluar aspectos relativos a la educacin emocional.
Cuantas mayores valoraciones subjetivas mayor posibilidad de obtener lo que
Bizquerra et al. 2006 denominan objetividad intersubjetiva. Para lograr este objetivo
conviene que los autores sean cuidadosos con la implantacin de la tcnica, por
ejemplo, que describan los roles que los estudiantes asumirn en el proceso,
participante o evaluado o evaluador (salvaguardando su anonimato) para que de esta
forma la suma de las percepciones sea ms enriquecedora y sincera (Snchea et al.,
2009).
En definitiva, con la implantacin del Espacio Europeo de Educacin Superior y su
metodologa de asuncin de competencias parece una buena eleccin el uso de la
evaluacin de 360 grados para conocer la percepcin que tienen de la adquisicin de
dichas competencias en las asignaturas que curan durante su carrera universitaria. Es
por esta razn, y por las ventajas expuestas previamente por lo que se decidi utilizar
est tcnica en el contexto acadmico que a continuacin se presenta.
Objetivos
El objetivo fundamental de la comunicacin es el de exponer los resultados de la
implantacin de un sistema de evaluacin integral o evaluacin 360 en el marco de la
valoracin de algunos tems relacionados con la competencia de trabajo en equipo.
Los objetivos especficos son:
-
Metodologa
La aplicacin del sistema de evaluacin objeto de esta comunicacin se ha llevado a
cabo en el marco de la asignatura Anlisis del Mercado Turstico para los grupos de
turno de maana y tarde del segundo curso del Grado en Turismo de la Universidad
Rey Juan Carlos de Madrid (primer semestre, curso acadmico 2010-2011).
La evaluacin se realiz con 154 alumnos de los grupos de maana y tarde.
Finalmente surgieron 36 grupos de trabajo de los cuales cinco fueron equipos
formados por alumnos internacionales o erasmus y tres fueron grupos forzosos. El
resto de los alumnos formaron equipos de carcter voluntario por alumnos de
nacionalidad espaola.
El instrumento de evaluacin fue un cuestionario que fue suministrado a los alumnos
tras la realizacin y presentacin del trabajo final con el objeto de que los estudiantes
actuasen como evaluadores de sus compaeros. Las variables de anlisis que
incorpor el cuestionario hacan referencia a los tems relacionados con la
competencia trabajo en equipo (ver figura 2) para las que se asign una escala de 1 a
5 (siendo 1 la evaluacin ms baja y 5 la ms alta). Adems, como complemento al
cuestionario, se ofreca al alumno la posibilidad de incorporar comentarios al respecto
de cada uno de sus compaeros y en referencia a los distintos tems de evaluacin.
Resultados
La presente comunicacin muestra los resultados de la evaluacin desarrollada como
alternativa piloto para la valoracin del estudiante, la evaluacin integral o 360 grados.
Para poder construir un proceso de evaluacin coherente con el plan formativo, el
trabajo ha sido llevado a cabo siguiendo cuatro etapas (figura 1).
Figura 1. Proceso de Construccin del Sistema de Evaluacin Integral o 360 Grados
Etapa 1
Etapa 2
Etapa 3
3.1. Metodologa de
la investigacin
Etapa 4
3.2. Resultados
obtenidos
Sistema de
Evaluacin
Competencias
Formativas
Razonamiento crtico
Tradicional
Aprendizaje autnomo
Capacidad de anlisis
Auto-evaluacin
Capacidad de sntesis
Comunicacin oral
Comunicacin escrita
Etapa 3.
Toma de decisiones
Trabajo en equipo
Capacidad organizativa y de
planificacin
Participacin activa
Creatividad
Comunicacin oral y
escrita
Toma de decisiones
Planificacin
Capacidad de
organizacin
Actitud para el trabajo
en equipo
Capacidad crtica
+
Integral / 360
Sistema de
Evaluacin integral
Inicial (SEII)
Participacin
Creatividad
Comunicacin
Toma de Decisiones
Planificacin
Organizacin
Actitud
Capacidad de Crtica
Media (M)
3,98
3,78
3,88
3,71
3,68
3,77
3,92
3,74
dt
1,05
1,06
0,97
1,16
1,12
1,19
1,12
1,2
El tem de evaluacin que mejor valorado ha resultado por los estudiantes respecto de
sus compaeros ha sido el de participacin en el trabajo en equipo (M=3,98; dt=1,05).
En este punto los alumnos entienden, en la mayor parte de los casos, que los
diferentes miembros del grupo han tomado parte del proyecto realizando las diferentes
partes que les fueron asignadas. Sin embargo, otros opinan que ha existido
demasiada individualidad, que cada uno ha realizado su parte y no se ha preocupado
por el resto, por lo que la participacin en el conjunto del documento ha sido relativa.
Esto est directamente relacionado con los tem de planificacin y organizacin. De
este modo, a pesar de que no existen diferencias sustanciales entre las evaluaciones
realizadas en cada uno de los tems, el peor valorado es el de planificacin (M=3,68;
dt=1,12). En este sentido, aunque algunos asumen que ha existido una importante
coordinacin entre ellos, segn los comentarios realizados, la mayor dificultad
encontrada en este punto se debe a que el comienzo de la preparacin del trabajo se
hizo demasiado tarde y no se utiliz frecuentemente el sistema de tutoras grupales
organizado por el profesor. Del mismo modo, la realizacin de manera individual de
cada una de las fases del proyecto tuvo como resultado cierta incoherencia global. La
desviacin tpica en este tem, como en el resto, es algo elevada. As, algunos
estudiantes opinan todo se planific de manera consensuada, coordinada y con
antelacin y otros que se procedi al envo del trabajo asignado y en el ltimo
momento se uni en un nico documento.
Para el tem de creatividad (M=3,78; dt=1,06) la mayor parte de los alumnos valoraron
positivamente las aportaciones innovadoras del grupo, sin embargo, existen ciertos
comentarios en los que se vislumbra cierto temor al riesgo y algunos fracasos por
pretender llevar a cabo ideas demasiado originales. La comunicacin oral y escrita
(M=3,88; dt=0,97) ha sido evaluada en funcin de la capacidad de expresin del
alumno en la presentacin as como las fortalezas de los diferentes miembros en el
proceso de redaccin del trabajo. Como ser comentado con posterioridad, el dato
ms llamativo proviene de los estudiantes cuya lengua materna no es el espaol, los
cuales, han considerado la capacidad de comunicacin de sus compaeros (tampoco
nativos) con evaluaciones significativamente altas. El proceso de toma de decisiones
(M=3,71; dt=1,16) es una competencia necesaria para el conjunto de los estudiantes,
sin embargo, la mayor parte de ellos entiende que es de las ms complicadas de llevar
a cabo. En la mayor parte de las ocasiones la dificultad se manifiesta por el esfuerzo
que requiere as como por la necesidad de llegar a un acuerdo. Algunos alumnos
opinan que es importante que exista un lder, sin embrago, otros asumen que la
existencia de dicho rol hace que el resto se deje llevar y, por tanto, su opinin no
quede reflejada.
La capacidad de organizacin (M= 3,77; dt=1,19) ha sido un tem muy controvertido en
las evaluaciones de los alumnos. Al igual que suceda en el caso de la competencia
relacionada con la planificacin, la mayor parte de los estudiantes no han hecho uso
de las tutoras grupales por lo que manifiestan graves problemas organizativos
derivados del desconocimiento inicial del desarrollo del proyecto. Asimismo, justifican
su debilidad en este punto con la imposibilidad de cerrar reuniones grupales. A pesar
de ello, reflejan de manera muy positiva aquellos alumnos que desde el comienzo
estructuran y organizan el trabajo al resto. Respecto de la actitud con la que se
enfrentan al proyecto (M=3,92; dt=1,12), la mayor parte de los estudiantes entienden
que sus compaeros han mantenido una actitud positiva, han escuchado diferentes
propuestas y han sabido negociarlas. Valoran adems quienes han estado
involucrados desde el comienzo y critican a los que han permanecido al margen del
mismo. La atmsfera de trabajo y la capacidad de los alumnos para crearla es uno de
los puntos que ms positivamente se valoran por los estudiantes. Finalmente, la
capacidad de crtica (M=3,74; dt=1,2) refleja cierta discrepancia entre los estudiantes.
Este tem no siempre se considera positivo en el resto de compaeros. Algunos
alumnos entienden que la sinceridad y la capacidad de manifestar la opinin de
manera directa aporta valor aadido al proyecto, sin embrago, otros entienden que una
excesiva crtica puede desmotivar al grupo. En cualquier caso, para el conjunto de los
alumnos la iniciativa, la motivacin por la mejora continuada del trabajo y el inters por
la opinin del grupo son tres variables determinantes para evaluar de manera positiva
a sus compaeros.
Resultados de la evaluacin 360 por sexo y grupo
El conjunto de estudiantes que realizaron el trabajo de grupo en el marco de la
asignatura, ha sido dividido, a efectos del anlisis de los resultados, en cuatro grupos:
los alumnos de nacionalidad espaola que voluntariamente formaron los grupos de
trabajo (nacional), los estudiantes procedentes del programa erasmus (erasmus), los
alumnos nacionales que formaron equipos de manera forzosa (forzoso) y los
estudiantes internacionales no erasmus, en su mayora de procedencia china
(internacional). Los resultados obtenidos, para cada uno de los grupos, se presentan
en la tabla 2. Asimismo, los resultados se han desagregado por sexo para observar la
influencia de esta variable en la evaluacin 360.
Participacin
Creatividad
Comunicacin
Toma de
decisiones
Planificacin
Organizacin
Actitud
Capacidad de
crtica
Mujer
Hombre
Total
Mujer
Hombre
Total
Mujer
Hombre
Total
Mujer
Hombre
Total
Mujer
Hombre
Total
Mujer
Hombre
Total
Mujer
Hombre
Total
Mujer
Hombre
Total
Nacional
4,273
3,769
Erasmus
3,735
3,167
Media
Forzoso
3,824
4,556
Internacional
4,273
4
4,051
3,65
4,077
4,188
4,076
3,615
3,559
3,333
3,588
3,667
4,182
3,8
3,873
3,525
3,615
4,063
4,03
3,654
3,706
4,333
3,824
4,111
4,091
4,2
3,864
3,8
3,923
4,125
3,924
3,538
3,353
3,5
3,647
3,778
4,455
4
3,754
3,375
3,692
4,313
4
3,519
3,324
2,833
3,588
3,778
4,091
3,8
3,788
3,25
3,654
4,167
3,596
3,147
2,5
3,706
4,333
4,545
3,8
3,915
3,05
3,523
4,113
4,273
3,788
3,559
2,667
3,824
4,222
4,182
3,8
4,059
3,425
3,962
4,063
4,106
3,5
3,206
3,167
3,706
4,333
4,273
3,6
3,839
3,2
3,923
4,063
Mujer (media)
Hombre (media)
Total Media
Total dt
Nacionales
6,638
5,639
6,328
1,982
Erasmus
Forzoso
8,364
6,2
6,875
5
7,737
5,857
1,284
1,464
Internacionales
4,833
4,5
4,7
2,83
TOTAL
6,37
2,04
Los resultados finales de la evaluacin del profesor (M=6,37; dt=2,04) manifiestan una
desviacin tpica alta, fundamentalmente por las dispersin existente entre los
alumnos erasmus y los internacionales as como entre algunas mujeres y los hombres.
Una de las limitaciones del SEII es que el alumno desconoca los criterios por los que
habra de evaluar cada uno de los tems de valoracin de la competencia trabajo en
quipo. Los estudiantes precisan conocer los indicadores que habran de utilizar as
como las actividades objetivas que habran de someterse a la citada valoracin. As,
para que el sistema de evaluacin 360 tuviese la eficiencia necesaria, sera
conveniente destacar al principio de la materia cules son las capacidades a potenciar
y, fundamentalmente, cul debe ser el proceso por el que el alumno va a fortalecer las
mismas. Esto es, el estudiante debe conocer los tems a evaluar y los mecanismos
para mejorar los mismos. Del mismo modo, el alumno ha de fomentar en el resto de
compaeros estas cualidades tratando, en todo momento, de hacer que estas mejoren
y as entienda que el resultado global obtendr una calificacin ms elevada. Adems,
para que el sistema de evaluacin integral pueda incorporarse como mecanismo de
calificacin final ha de valorar los mismos tems, respecto de la competencia trabajo en
equipo, que la evaluacin tradicional del profesor. Esta coherencia es imprescindible si
se quiere fomentar desde el inicio el fortalecimiento de los citados tems a travs de
actividades evaluables. Por otro lado, existe un cierto sesgo positivo en los resultados
por el vnculo existente entre el evaluador y los evaluados. Esto se hace evidente en el
grupo nacional e internacional y, en mucha menos medida, en los estudiantes que no
se conocen entre s, los ersmus y los pertenecientes al grupo forzoso.
De este modo, dados los resultados obtenidos en la implantacin del sistema de
evaluacin integral o 360 as como las debilidades y fortalezas del SEII, la
conceptualizacin de un Sistema de Evaluacin Integral Mejorado (SEIM) servir de
apoyo al plan formativo por competencias y a la gua docente de cursos acadmicos
sucesivos. En este sentido, la estructura formativa y de evaluacin prevista es la que
muestra la figura 3.
Watman, A.D. y Atwater, L.D. (1998). The power of 360 feedback. Houston.
Gulf publishing Co.
CUESTIONES Y/O CONSIDERACIONES PARA EL DEBATE
-