UNIVERSIDAD DE COSTA RICA SISTEMA DE ESTUDIOS DE POSGRADO UNIDAD DE GESTIN, EVALUACIN Y SEGUIMIENTO

Resultados de la prueba del Cuestionario de Evaluacin del Desempeo Docente

MARZO 2007

PRUEBA DEL CUESTIONARIO EVALUACIN DEL DESEMPEO DOCENTE SEP Lorena Kikut V.

Durante el segundo semestre del 2006 se realiz la prueba del cuestionario de "Evaluacin del Desempeo Docente" del Sistema de Estudios de Posgrado de la Universidad de Costa Rica. Este cuestionario est formado por 28 preguntas, de las cuales 7 se relacionan con las caractersticas del estudiantado, 18 con la evaluacin del desempeo docente y 3 con las caractersticas que debe tener un buen docente de posgrado, sugerencias para la administracin del posgrado y otras sugerencias generales. Durante la prueba se evaluaron 28 docentes y se recolectaron 341 cuestionarios de evaluacin docente debidamente respondidos, para un promedio de 12.2 cuestionarios por docente. El grupo con un menor nmero de cuestionarios fue de 3 y el mayor fue de 27. La descripcin de los grupos encuestados se encuentra en el anexo.

RESULTADOS 1. OBSERVACIONES AL FORMATO Y CONTENIDO DEL CUESTIONARIO Con la digitacin y anlisis de las preguntas cerradas del cuestionario se pueden hacer las siguientes recomendaciones al cuestionario utilizado:
Pregunta Nombre del Posgrado 2 5 7 Observacin No hay claridad al responder si el doctorado, maestra acadmica, maestra profesional o especialidad. Las posibilidades deberan ser ms claras. El estado civil se puede agrupar en dos grandes categoras de personas en unin y no en unin. Se podran mejorar las opciones para la situacin con respecto a la beca. Adems, parece haber dificultad en saber si la pregunta se refiere a beca es de la UCR o tambin de otros entes. Debe quedar claro que la pregunta se relaciona con universidad, pues varios respondieron un ao y no una universidad tal como se solicitaba. Por otra parte hay confusin respecto a si el bachillerato es el de secundaria o el universitario y no hay claridad con que la carrera debe ser concluida, pues muchas personas hicieron la acotacin de que son egresados de una licenciatura pero no graduados. Adems, la codificacin de la pregunta podra facilitarse si se le pide a la persona que responda si la universidad es la UCR, otra estatal, una privada de Costa Rica o una extranjera. Agregar la opcin "No aplica"

8 a 21

Pregunta 22 24 25 27

Observacin Agregar charlas con expertos, visitas y tutoras. Aclarar que se puede marcar ms de una opcin. De la categora "Total medida" a "Poca medida" parece haber ms espacio que de esta ltima a "Ninguna medida", por lo que se debe corregir la escala. Agregar la instruccin "Marque solamente una casilla" Aclarar qu se entiende por "administracin del posgrado"

Utilizando estas observaciones se plantea un cuestionario modificado que se incluye en el anexo.

2. DESCRIPCIN DE ESTUDIANTES CONSULTADOS (Preguntas 1 a 7) De las 341 personas consultadas el 58.4% eran mujeres y el 41.6% hombres. Seis de cada 10 personas no tienen pareja (soltero/a, divorciado/a, separado/a o viudo/a) y la edad oscila entre los 21 y los 63 aos, con una media de 33.39 aos y una desviacin estndar de 8.78 aos. Alrededor de 3 de cada 4 personas consultadas trabajan 40 horas semanales o ms y solamente el 6.2% no trabaja. El 43.9% tiene beca parcial, el 9.1% beca total y el 46.9% no posee beca. Poco ms de la mitad de las personas (52.1%) ingresaron al posgrado en el 2006, mientras que tres personas indicaron que no estn inscritas en el posgrado. Por ltimo, en la siguiente tabla se muestra el porcentaje de estudiantes de acuerdo a la universidad en la que obtuvieron el ttulo de bachillerato y/o licenciatura.
Universidad donde obtuvo el ttulo Estudiantes que responden Universidad de Costa Rica Otra universidad estatal de Costa Rica Universidad privada de Costa Rica Universidad en el extranjero Bachillerato 255 54.5 20.4 18.8 6.3 Licenciatura 236 56.8 10.2 27.1 5.9

3. RESULTADOS DE ESCALA DE EVALUACIN DOCENTE (Preguntas 8 a 21) Las preguntas 8 a 21 conforman lo que podra considerarse el ncleo central de la evaluacin docente. Se trata de una serie de afirmaciones que deben valorarse en una escala de frecuencia de 5 puntos con los extremos "Siempre" y "Nunca". Las afirmaciones son: P8 Demuestra que domina la temtica que cubre este curso P9 Comunica en forma clara sus ideas y reflexiones P10 Genera en el estudiantado inters por realizar su propio aprendizaje P11 Demuestra respeto por las ideas de otras personas P12 Cumple con el horario de clase establecido P13 Est disponible para evaluar dudas o consultas fuera de clase P14 Mantiene buenas relaciones humanas con el grupo de estudiantes P15 Utiliza resultados de sus investigaciones para nutrir el curso P16 Evidencia conocimientos actualizados de investigacin de punta P17 Utiliza el espacio del curso para que estudiantado realice investigacin P18 Utiliza bibliografa actualizada P19 Utiliza bibliografa accesible P20 Requiere del uso de bibliografa en idioma extranjero P21 Utiliza bibliografa producida por el o ella misma Para estas preguntas se realizaron diferentes procedimientos para evaluar su comportamiento, su validacin y su confiabilidad. Estos se detallan a continuacin.

3.1 CORRELACIONES Con el fin de conocer como se relacionan las preguntas entre ellas se obtiene la matriz de correlaciones de Pearson que se muestra a continuacin. Todas las correlaciones obtenidas son significativamente diferentes de 0 al 1% y de los valores de la tabla se puede deducir que las variables muestran correlaciones positivas entre ellas que varan principalmente entre 0.30 y 0.50. Las correlaciones ms altas (r=0.71) se presentan entre las variables 9 con 10 y 11 con 14. Con esto se podra valorar si estas preguntas estn midiendo lo mismo y por lo tanto, una pregunta de cada pareja podra ser eliminada sin que se afecte la medicin de la evaluacin docente. Sin embargo, la correlacin no es lo suficientemente alta como afirmar esto.

Las correlaciones ms bajas (entre r=0.02 y r=0.27) se dan entre la pregunta 20 y todas las dems preguntas. Esto indicara que la pregunta 20 mide un aspecto totalmente diferente a lo que estn midiendo las otras preguntas.
P8 P8 P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21 -.62 .54 .34 .51 .37 .39 .40 .59 .39 .56 .40 .02 .36 -.71 .41 .46 .51 .52 .53 .56 .50 .46 .40 .12 .45 -.58 .39 .54 .59 .48 .50 .58 .50 .38 .19 .38 -.29 .50 .71 .28 .35 .38 .33 .30 .25 .16 -.42 .32 .35 .47 .27 .39 .44 .07 .26 -.56 .40 .44 .47 .47 .42 .25 .27 -.38 .38 .42 .37 .33 .24 .22 -.62 .39 .50 .40 .11 .43 -.42 .66 .46 .07 .39 -.58 .46 .27 .32 -.61 .22 .33 -.15 .26 -.27 -P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21

3.2 ANLISIS FACTORIAL El anlisis factorial pretende conocer las dimensiones que subyacen a una serie de preguntas. En este caso, al realizar este anlisis se encontr que las 14 preguntas de la escala de evaluacin docente se agrupan en tres dimensiones, las cuales logran explicar un 63.4% de la variancia total de la escala. Las dimensiones resultantes son: Dimensin I: P8 Demuestra que domina la temtica que cubre este curso P9 Comunica en forma clara sus ideas y reflexiones P12 Cumple con el horario de clase establecido P15 Utiliza resultados de sus investigaciones para nutrir el curso P16 Evidencia conocimientos actualizados de investigacin de punta P17 Utiliza el espacio del curso para que estudiantado realice investigacin P18 Utiliza bibliografa actualizada P19 Utiliza bibliografa accesible P21 Utiliza bibliografa producida por el o ella misma

Dimensin II: P10 Genera en el estudiantado inters por realizar su propio aprendizaje P11 Demuestra respeto por las ideas de otras personas P13 Est disponible para evaluar dudas o consultas fuera de clase P14 Mantiene buenas relaciones humanas con el grupo de estudiantes Dimensin III: P20 Requiere del uso de bibliografa en idioma extranjero La Dimensin I abarca diversas preguntas relacionadas con el dominio del tema, la bibliografa, la investigacin y el cumplimiento del horario; de esta manera, esta dimensin podra denominarse dominio y aplicacin de la materia. Por su parte la Dimensin II parece referirse a respeto hacia el estudiantado y la Dimensin III, que comprende una sola pregunta evidentemente debera denominarse uso de bibliografa en idioma extranjero1.

3.3 ANLISIS DE CONFIABILIDAD Se puede valorar la confiabilidad de las dos escalas que se obtienen a partir de los resultados del anlisis factorial. Esto se puede hacer mediante el clculo del Alpha de Cronbach, que mide la consistencia interna de las escalas, con valores que van de 0 a 1, donde entre ms cercano a 1 sea el valor del Alpha, mayor ser la confiabilidad. Para la escala de la Dimensin I el valor del Alpha es de 0.85 y para la de la Dimensin II es tambin de de 0.85. Estos valores se consideran aceptables. Con esto se podra decir que es posible resumir las preguntas que conforman estas dos escalas en dos valores que provengan de la suma de los resultados de las preguntas2. Por otra parte, si bien el anlisis factorial indic la existencia de tres dimensiones subyacentes a las preguntas 8 a 21, tal como fue creada, se supone que todas esas preguntas apuntan a la evaluacin docente, y por lo tanto conforman una nica escala. El Alpha de Cronbach para estas 14 preguntas es de 0.88, lo cual se considera aceptable3.

Si se exige al anlisis factorial a dar como resultado dos dimensiones, la pregunta 20 queda ubicada en la Dimensin II. 2 Si se calcula el valor del Alpha de Cronbach suponiendo que la Pregunta 20 forma parte de la Dimensin II, el resultado es 0.73, lo que indicara que la inclusin de esa pregunta le resta confiabilidad a la escala. 3 El valor de Alpha para las 14 preguntas es mayor que el de las escalas individuales por considerar ms preguntas.

3.4 CORRELACIN CON UNA MEDICIN EXTERNA Si se considera la pregunta 25 (nota que le dara al desempeo del o la profesora en una escala de 1 a 10) como una medicin resumen de la evaluacin docente, entonces podra calcularse la correlacin entre esta pregunta y las preguntas 8 a 21. Los resultados son:
Pregunta N8 Demuestra que domina la temtica que cubre este curso N9 Comunica en forma clara sus ideas y reflexiones N10 Genera en el estudiantado inters por realizar su propio aprendizaje N11 Demuestra respeto por las ideas de otras personas N12 Cumple con el horario de clase establecido N13 Est disponible para evaluar dudas o consultas fuera de clase N14 Mantiene buenas relaciones humanas con el grupo de estudiantes N15 Utiliza resultados de sus investigaciones para nutrir el curso N16 Evidencia conocimientos actualizados de investigacin de punta N17 Utiliza el espacio del curso para que estudiantado realice investigacin N18 Utiliza bibliografa actualizada N19 Utiliza bibliografa accesible N20 Requiere del uso de bibliografa en idioma extranjero N21 Utiliza bibliografa producida por el o ella misma Total (sumatoria de preguntas 8 a 21) Correlacin con P25 -0.60 -0.73 -0.80 -0.60 -0.49 -0.61 -0.66 -0.49 -0.55 -0.55 -0.51 -0.43 -0.18 -0.40 -0.80

Las correlaciones son negativas pues la escala de la pregunta 8 a 21 vara de 1 a 5, donde el valor 1 es el positivo, mientras que la escala de la pregunta 25 vara de 1 a 10, donde el valor 10 es el positivo.

Como puede verse en la tabla anterior, las mayores correlaciones de la pregunta resumen se presentan con la preguntas 10 (r=-0.80) y la pregunta 9 (r=-0.73), con lo cual se podra suponer que cuando el estudiantado le da una nota al o la docente, tiene mayormente en cuenta la generacin del inters por realizar su propio aprendizaje y la comunicacin clara de las ideas y reflexiones. La menor correlacin se presenta con la pregunta 20 (r=-0.18), lo que indicara que el estudiantado valora poco el uso de bibliografa en idioma extranjero al darle una nota resumen a la labor docente. Suponiendo que las preguntas 8 a 21 conforman una nica escala sumativa, se puede obtener el valor o nota promedio que le da el estudiantado su profesor o profesora. Este valor debera ser similar al que le da en la pregunta 25. Y de hecho, la correlacin entre ambas mediciones es de 0.80, lo que implica que mediante dos mediciones distintas se obtiene una nota similar, lo que validara las mediciones.

3.5 DISCRIMINACIN DE LAS PREGUNTAS Una prueba adicional que se puede hacer a las preguntas p8 a p21 es su discriminacin. Esta consiste en determinar hay diferencia de respuesta entre las personas que calificaron mejor y peor al personal docente. En este caso se tom la variable resultante de la suma de las 14 preguntas de la p8 a la p21y se determinaron sus cuartiles. Luego se hizo una prueba de hiptesis para cada pregunta donde la hiptesis nula era si las personas que conforman el cuartil inferior (el 25% de los estudiantes que calificaron con menores notas a los docentes) tiene un promedio de respuesta igual a las personas que conforman el cuartil superior (el 25% de los estudiantes que calificaron con mayores notas a los docentes). Todas las pruebas de hiptesis resultaron significativas al 1%, lo que indicara que todas las preguntas tienen poder discriminatorio.

4. TCNICAS Y ACTIVIDADES DE APRENDIZAJE (Pregunta 22) Los resultados de esta pregunta parecen mostrar que no hay una clara comprensin por parte de los y las estudiantes de cada una de las tcnicas y actividades que se listaron o bien, que no se dio una lectura total de las mismas por parte del estudiantado. Para dar un ejemplo de lo anterior, el porcentaje de personas que respondi que el docente utilizaba "Trabajos prcticos" para cada uno de los grupos fue el siguiente:
Sobre % Sobre % 1 71 15 17 2 38 16 72 3 0 17 13 4 62 18 85 5 77 19 75 6 86 20 44 7 0 21 50 8 68 22 29 9 54 23 29 10 82 24 88 11 53 25 73 12 10 26 50 13 29 27 100 14 13 28 30

Si bien esta pregunta no es de opinin (que vara de persona a persona) sino de hecho (el docente utiliz o no utiliz la tcnica), el estudiantado parece no tener claro si realmente se us o no. Esto se evidencia al observar los anteriores porcentajes, los cuales deberan ser ceros (o muy cercano) o cienes (o muy cercano), pero se da el caso an de porcentajes cercanos o iguales a 50, lo que indicara que la mitad de los estudiantes dice que s se utilizaron los trabajos prcticos y la otra mitad dice que no. Las temes que parecen ser ms consistentes son la exposicin del o la profesora y la exposicin de estudiantes.

CONCLUSIONES 1. Durante la prueba del cuestionario de Evaluacin Docente del SEP se consult a 341 personas que cursaban 28 diferentes cursos de Posgrado. La edad promedio de esas personas es de 33.4 aos y aproximadamente 3 de cada 5 de ellas son mujeres. 2. Podra decirse que las preguntas 8 a 21 del cuestionario conforman el ncleo de la evaluacin docente que se pretende. La correlacin obtenida entre estas preguntas es menor de 0.71, lo que indicara que si bien hay preguntas relacionadas entre s, no hay preguntas que estn midiendo exactamente lo mismo. La pregunta 20, relacionada con el uso de bibliografa en idioma extranjero, presenta correlaciones bastantes bajas con las restantes preguntas lo que podra indicar que esta pregunta mide un aspecto totalmente diferente del resto de las preguntas. 3. El anlisis factorial indica que hay tres dimensiones subyacentes a estas 14 preguntas (de la p8 a la p21). La primera dimensin est formada por 9 preguntas relacionadas con el dominio del tema, la bibliografa, la investigacin y el cumplimiento del horario. La segunda dimensin est formada por 4 preguntas referidas a respeto hacia el estudiantado. La tercera dimensin est formada solamente por la pregunta acerca del uso de bibliografa en idioma extranjero. 4. Mediante el Alpha de Cronbach se puede medir la confiabilidad de las escalas formadas por las preguntas de la primera y la segunda dimensin. El valor del alpha para las dos escalas es de 0.85, lo cual se considera satisfactorio. Si se supone que todas las 14 preguntas conforman una nica escala el valor del Alpha de Cronbach es de 0.884. 5. Si se utilizan las preguntas 8 a 21 para obtener un solo valor proveniente de la suma de sus resultados, se encuentra que la correlacin de ese valor con la pregunta resumen (nota de 1 a 10 para el docente) es de 0.80, lo que indicara que existe relacin entre las preguntas de la escala y la pregunta resumen. Si se consideran las preguntas en forma individual, se encuentra que la pregunta 10 y la pregunta 9 son las que presentan una mayor correlacin con la pregunta resumen, con lo cual se podra suponer que cuando el estudiantado le da una nota al o la docente, tiene mayormente en cuenta la generacin del inters por realizar su propio aprendizaje y la comunicacin clara de las ideas y reflexiones. La menor correlacin se presenta con la pregunta 20, lo que indicara que el estudiantado valora poco el uso de bibliografa en idioma extranjero al darle una nota resumen a la labor docente. 6. Las preguntas 8 a 21 presentan diferencias significativas entre los estudiantes que valoran con notas bajas al docente y lo que lo valoran con notas alas. Esto significara que las preguntas sirven para discriminar entre quienes dan notas bajas y altas al personal docente. 7. Parece no haber claridad en cuanto al uso o no uso de las diferentes tcnicas y actividades de aprendizaje en el curso.
4

El valor de Alpha para las 14 preguntas es mayor que el de las escalas individuales por considerar ms preguntas.

8. Finalmente, podra decirse que el cuestionario, aunque presenta buenas mediciones, tales como poder de discriminacin y valores de Alpha de Cronbach relativamente altos, es susceptible a mejoras. Para ello es necesario utilizar los resultados que aqu se exponen y el anlisis de las preguntas abiertas del cuestionario que se puso a prueba.

PROPUESTA DE NUEVO CUESTIONARIO

UNIVERSIDAD DE COSTA RICA SISTEMA DE ESTUDIOS DE POSGRADO

EVALUACIN DEL DESEMPEO DOCENTE

Estimado/Estimada estudiante: Con el fin de mejorar aspectos relacionados con la calidad integral de los estudios de posgrado de la Universidad de Costa Rica, se solicita su colaboracin para evaluar el desempeo del o la docente en este curso. La informacin que usted brinde es muy importante y ser utilizada en forma confidencial y annima.
Nombre del o la docente a evaluar: ___________________________________________ Nombre del curso: _____________________________________ Sigla: _____________ El posgrado es el que usted se encuentra es:
1. 2. 3. 4.
@ @ @ @

Doctorado Maestra acadmica Maestra profesional Especialidad

Nombre del Posgrado:________________________________

I. INFORMACIN ACERCA DEL O LA ESTUDIANTE

1. Sexo
2. @ Hombre 1. @ Mujer ......

2. Estado civil
2. @ Casado(a), unin de hecho 1. @ Soltero(a), divorciado(a), separado(a), viudo(a) .......

3. Edad

4. Cul es su condicin laboral actual?

1. @ No trabaja 2. @ Trabaja menos de 20 horas semanales 3. @ Trabaja de 20 a menos de 40 horas semanales 4. @ Trabaja 40 horas semanales o ms 5. En cul universidad concluy usted sus estudios de bachillerato universitario? Puede marcar varias alternativas si posee ms de un bachillerato (Considere solamente aquellos estudios de bachillerato para los que posee ttulo) 1. 2. 3. 4.
@ @ @ @

No tiene ttulo de bachillerato universitario Universidad de Costa Rica Otra universidad estatal de Costa Rica (UNA, ITCR, UNED) Universidad privada en Costa rica

5. @ Universidad pblica o privada fuera de Costa Rica 6. En cul universidad concluy usted sus estudios de licenciatura? Puede marcar varias alternativas si posee ms de una licenciatura (Considere solamente aquellos estudios de licenciatura para los que posee ttulo) 1. @ No tiene ttulo de licenciatura 2. @ Universidad de Costa Rica 3. @ Otra universidad estatal de Costa Rica (UNA, ITCR, UNED) 4. @ Universidad privada en Costa Rica 5. @ Universidad pblica o privada fuera de Costa Rica 7. Para estudiar este posgrado Posee beca? (Considere las becas otorgadas o no por la Universidad de

Costa Rica)
1. @ No tiene beca 2. @ Tiene beca parcial 3. @ Tiene beca total

8. Desde qu ao est usted inscrito en este posgrado?

@ No Est inscrito 8888. _____________________________________________

en

este

posgrado

Explique:

II EVALUACIN DEL DESEMPEO DOCENTE

Para cada uno de los siguientes aspectos, por favor indique la frecuencia con la que el/la docente que imparte este curso los cumple. Utilice la casilla "No aplica" cuando la situacin no se aplique o su curso o cuando usted no tiene suficiente informacin para responder. El o la docente de este curso
9. Demuestra que domina la temtica que cubre en este curso
No aplica
@

Nunca

Casi nunca
@

A veces

Casi Siempre siempre

@ @

10. Comunica en forma clara sus ideas y reflexiones 11. Genera en el estudiantado inters por realizar su propio aprendizaje 12. Demuestra respeto por las ideas de otras personas 13. Cumple con el horario de clase establecido 14. Est disponible para evacuar dudas o consultas de sus estudiantes en horas fuera de clase 15. Mantiene buenas relaciones humanas con el grupo de estudiantes 16. Utiliza resultados de sus propias investigaciones para nutrir el curso que imparte

17. Evidencia conocimientos actualizados de investigacin de punta en su rea 18. Utiliza el espacio del curso para que el estudiantado realice investigacin de acuerdo con sus propios intereses 19. Utiliza bibliografa actualizada 20. Utiliza bibliografa accesible (la bibliografa se puede conseguir con facilidad) 21. Requiere el uso de bibliografa que se encuentra en algn idioma extranjero 22. Utiliza bibliografa producida por el mismo profesor o profesora del curso

23. De las siguientes tcnicas y actividades de aprendizaje, Cules utiliza el o la docente en este curso? (Puede marcar varias)
@ @ @ @ @ @ @

Exposicin del profesor (a) Mesa redonda Conferencias Estudio de campo Sociodramas Mapas conceptuales Charlas con expertos

@ @ @ @ @ @ @

Estudio de casos Exposicin de estudiantes Trabajos prcticos Entrevistas Lecturas comentadas Uso de Campus Virtual Visitas

@ @ @ @ @ @ @

Foro de discusin Lluvia de ideas Diseos Debates Investigaciones Pelculas Tutoras

@ Otros. Especifique: ______________________________________________________________________ 24. Utilizando una escala se 1 a 10, donde 1 es la nota ms baja y 10 la ms alta, en general qu nota le pondra al desempeo de este profesor o profesora en el curso? (marque solo una casilla)

10

25. En general Cules son las tres principales caractersticas que usted considera que debe poseer un profesor o profesora de nivel de posgrado? 1. _________________________________________________________________________________ 2. _________________________________________________________________________________ 3. _________________________________________________________________________________

III. EVALUACIN DEL CURSO

26. En lo relativo a este curso Qu tan tiles son los contenidos o temas para su formacin? 1. @ Nada tiles 2. @ Poco tiles 3. @ Ms o menos tiles 4. @ tiles 5. @ Muy tiles 27. Tomando en cuenta que este es un curso de posgrado, Qu tan exigente es este curso? 1. 2. 3. 4. 5.
@ @ @ @ @

Nada exigente Poco exigente Ms o menos exigente Exigente Muy exigente

28. Cmo considera la evaluacin de los aprendizajes (exmenes, quices, tareas, proyectos, otros) en este curso? 1. 2. 3. 4. 5. 6. @ @ @ @ @ @ Muy inadecuada Inadecuada Ms o menos adecuada Adecuada Muy adecuada No se han realizado evaluaciones

Cualquiera que haya sido su respuesta indique por qu piensa de esa manera: _________________________ ________________________________________________________________________________________ 29. Qu sugerencias le dara a la administracin de este posgrado para mejorarlo?

30. Utilice el siguiente espacio para indicar cualquier asunto que usted considere importante y no haya sido abordado en este cuestionario.

MUCHAS GRACIAS!