Asignatura: Mtodos de investigacin Educativa en Ed.

Especial Trabajo realizado por: Cristina Alonso Erika Gmez Natalia Gmez Noelia Moyano Esmeralda Olmo Elena Ramos

INDICE
La Investigacin Evaluativa:

1. Teora de la evaluacin 2. El proceso de investigacin evaluativa 3. Modelos de evaluacin: Modelo de Tyler, basado en objetivos Modelo de Scriven, sin metas Modelo de Stufflebean, CIPP Modelo de Stake, respondiente 4. El informe de evaluacin 5. Controversias ticas de la evaluacin 6. Parte prctica

INVESTIGACIN EVALUATIVA
Teora de la evaluacin.
En primer lugar debemos conocer qu es la evaluacin, para ello diremos que la evaluacin se define como un proceso de recogida de informacin orientado a la emisin de juicios de mrito o de valor respecto de algn sujeto, objeto o intervencin (Mateo, 2000: 21). Otra definicin sera la evaluacin es el proceso de identificar, obtener y proporcionar informacin til y descriptiva acerca del valor y el mrito de las metas, la planificacin, la realizacin y el impacto de un objeto determinado con el fin de servir de gua para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensin de los fenmenos implicados (Stufflebeam y Schiklield, 1987: 183). La investigacin evaluativa es un tipo de evaluacin caracterizada por su rigurosidad y sistematicidad, de esta forma podra quedar definida como la recoleccin sistemtica de informacin acerca de actividades, caractersticas y resultados de programas, para realizar juicios acerca del programa, mejorar su efectividad, o informar la toma futura de decisiones (Patton, 1996: 13). La evaluacin debe ir estrechamente ligada a la toma de decisiones, con el objetivo de mejora del sujeto, objeto o intervencin evaluada. La evaluacin va principalmente dirigida a programas educativos, sin embargo tambin puede darse la evaluacin de alumnos, profesores, centros, etc. Evaluar es participar en la construccin del conocimiento axiolgico, interpretando la informacin, estableciendo visiones no simplificadas de la realidad y facilitando la generacin de una verdadera cultura evaluativa (Rul, 1993:23). De este modo, evaluar implica necesariamente establecer comparaciones a las que se otorga algn valor en funcin de algn criterio.

Funciones de la evaluacin
Hasta 1967 todas las evaluaciones eran sumativas, ya que solamente se centraban en los resultados de los procesos educativos. A partir de esta fecha, Scriven hace distincin entre evaluacin sumativa y evaluacin formativa, centrada en el proceso educativo de inicio a fin para incidir en su mejora. Adems se identific otro tipo de evaluacin, la diagnstica, que tiene como objetivo diagnosticar de forma previa aspectos que permiten tomar decisiones incluso antes del inicio de los procesos educativos. Por lo tanto, decimos que existen tres tipos de evaluacin segn su funcin. stos son: - DIAGNSTICA: Se centra en un diagnstico previo al proceso educativo, con el objetivo de adaptar el programa a los niveles iniciales o a las expectativas del alumnado. - SUMATIVA: Se realiza al finalizar el proceso educativo comprobando los resultados del mismo, de forma que comprueba si se han alcanzado los objetivos marcados. - FORMATIVA: Se lleva a cabo durante todo el proceso educativo, lo que permite adecuar el proceso que se evala a travs de la obtencin de datos que nos aporten suficiente informacin de cara a una

toma de decisiones inmediata, lo que asegura dicho proceso. Por lo tanto, la evaluacin se desarrolla junto con la actividad. Actualmente se est optando por este tipo de evaluacin, puesto que se centra en el proceso de mejora. Esta mejora es an ms significativa con los alumnos que poseen dificultades de aprendizaje.

Tipos de juicios evaluativos

Los tipos de juicios se clasifican en funcin del criterio comparativo que adopten, de esta forma aparecen los siguientes juicios: - PERSONALIZADOS (o que hacen referencia a uno mismo): La informacin que obtenemos tras la evaluacin se compara con la que se obtuvo previamente del sujeto, objeto o intervencin. Tiende a ser de corte ideogrfico. El enfoque ideogrfico se interesa por el desarrollo de los casos particulares en donde la casustica es la esencia de la disciplina. Esta evaluacin personalizada facilita los siguientes tipos de comparacin: a) La evolucin respecto a s mismo. b) Las diferencias entre varias capacidades, habilidades u otras variables en un mismo sujeto o intervencin (puntos fuertes y dbiles) La evaluacin personalizada es de gran utilidad para hacer nfasis en el carcter formativo de los diagnsticos y de la orientacin psicoeducativa. - NORMATIVOS: La informacin se compara con la de otros sujetos, objetos o intervenciones similares al que se est evaluando. Tiene carcter nomottico. El enfoque nomottico se preocupa por los hallazgos de leyes generales y para las cuales el ejemplo es trivial. Los juicios normativos no aportan ideas para la mejora, tan slo realiza comparaciones entre objetos o individuos. Es por esto que se utilizan para determinar la posicin ordinal de un sujeto respecto a otros. - CRITERIALES: La informacin se compara con unos criterios de excelencia preestablecidos tericamente. Tiene carcter nomottico. Este tipo de juicios ofrecen orientaciones para establecer estrategias de mejora individual, curricular o institucional, puesto que se identifican de forma clara los grados de dominio en cada contenido evaluado. Los juicios criteriales suelen utilizarse para conocer la eficacia de las actividades y su grado de xito en relacin con los objetivos que persigue, es por esto por lo que es necesario establecer unos objetivos y criterios claros y previos a la evaluacin de la actividad.

A continuacin se muestra un cuadro a modo resumen: Con qu se comparan los resultados?

Tipos:

Qu aportan? -Muestran la evolucin. -Muestran las diferencias entre las habilidades de un mismo sujeto. -Muestran comparaciones con otros.

Cundo se utiliza?

PERSONALIZADO

Con los resultados obtenidos antes de la intervencin.

Diagnsticos y orientacin psicoeducativa, con carcter formativo.

NORMATIVO

Con los resultados de otros sujetos, objetos o intervenciones similares. Con unos criterios preestablecidos.

Para determinar posiciones ordinales de un sujeto respecto a otros. Para conocer la eficacia de las actividades respecto a sus objetivos marcados.

CRITERIAL

-Ofrecen orientaciones para la mejora.

Tipos de evaluacin en funcin del agente evaluador Segn el agente evaluador aparecen tres tipos de evaluaciones:
HETEROEVALUACIN:

La evaluacin la realiza un agente diferenciado del objeto al que se evala. Es el tipo de evaluacin ms tradicional en educacin, donde el maestro es el que adems de transmitir el conocimiento era el encargado de evaluar a los alumnos. AGENTE EVALUADOR
AUTOEVALUACIN:

EVALA

OBJETO EVALUADO

El objeto evaluado forma parte del mismo agente evaluador. Este tipo de evaluacin, en relacin con la educacin, se corresponde con el aprender a aprender, a reflexionar y a emanciparse, donde en centro de la educacin se sita ms en el propio individuo o institucin que aprende (Boud, 1995)

EVAL A

OBJETO EVALUADO Y AGENTE EVALUADOR

EVALUACIN DE PROGRAMAS: EVALUACIN EXTERNA: Aporta valores aadidos como mayor objetividad, credibilidad, y conocimiento sobre la evaluacin al tiempo que soporta menos presin poltica (Payne, 1994) EVALUACIN INTERNA: Supone un menor coste econmico y posee la capacidad de devolver el poder de decisin y de accin a los propios interesados (Cabrera, 2001)

mbitos de evaluacin Los principales mbitos de aplicacin de la evaluacin educativa se centran en:
El cambio realizado en el colectivo beneficiario de un servicio o programa. En este caso podra tratarse de evaluar el aprendizaje del alumnado. La accin profesional del personal responsable de un servicio o programa. Ejemplo de ello sera una evaluacin a la docencia del profesorado. El programa o servicio en s mismo. Podra evaluarse el propio programa. La institucin donde se lleva a cabo el programa o servicio. Dentro de este mbito se encontrara la evaluacin al centro educativo. El sistema nacional que orienta las concreciones de un programa o servicio. Este ltimo mbito estara evaluando ms a nivel legislativo.

Todos estos mbitos han ido surgiendo a lo largo del tiempo, segn apareca el inters por evaluar en cada uno de ellos.

Objetivos, indicadores y criterios de evaluacin Segn Amezcua y Jimnez Lara (1996) los conceptos de objetivo, indicador y criterio de evaluacin, quedaran definidos del siguiente modo:
OBJETIVO:

Resultado especfico y mensurable que se espera lograr con una determinada actividad. Un ejemplo de objetivo en un programa educativo podra ser reducir el ndice de fracaso escolar en nuestro centro. Para poder evaluar de una forma correcta estos objetivos, deben ir redactados con verbos que expresen resultados. Adems cuanto ms especfico sea un objetivo, ms til ser para su posterior evaluacin

INDICADOR:

Parte cuantificable del objetivo a conseguir. En el caso anterior sera nmero que personas que consiguen aprobar.
CRITERIO O ESTNDAR:

Nivel deseable que se ha de alcanzar con relacin al indicador para considerar que el objetivo se ha conseguido. Por ejemplo el 70% de alumnos del centro aprueban las asignaturas.

Proceso de investigacin evaluativa.

Es un proceso complejo que incluye las siguientes actividades:

Establecer el propsito de la evaluacin. Definir el objeto de evaluacin Especificar las audiencias que habr que atender. Especificar el tipo de juicios a emitir. Determinar los indicadores y las fuentes de informacin. Elegir, y adaptar si es necesario el modelo de evaluacin. Establecer los agentes que efectuaran la evaluacin Establecer un calendario de todo el proceso evaluativo. Elegir o construir las tcnicas de obtencin de informacin Analizar la informacin Formular juicios Elaborar los primeros informes. Negociar con las audiencias. Tomar decisiones Difundir los resultados. Realizar un seguimiento. Evaluar el proceso de evaluacin.

Modelos de evaluacin.
El amplio desarrollo de la investigacin evaluativa ha permitido diferenciar diversos modelos de investigacin segn el enfoque, los principios o las fases que orientan su prctica.

A continuacin, se exponen cuatro de los modelos clsicos de evaluacin ms aplicados en el mbito educativo:

Modelo basado en objetivos (Tyler)

Se puede enmarcar en el paradigma emprico-analtico, dado el nfasis que pone en objetivar tanto las metas a conseguir como los resultados obtenidos y el papel de experto externo que tiene el agente evaluador. Las decisiones a tomar en la evaluacin, se deben fundamentar en la coincidencia o comparacin entre los objetivos del programa y sus resultados. Las fases principales son:

1. Identificar los objetivos operativos del programa. 2. Seleccionar o elaborar instrumentos para medir el logro de los objetivos. 3. Aplicar estos instrumentos al finalizar el programa. 4. Comparar los objetivos del programa y los logros realmente conseguidos. Otros puntos aadidos que podemos utilizar para completar estas fases son: Analizar los resultados para determinar las fortalezas y necesidades del currculo y para identificar posibles explicaciones acerca de las razones para ese particular patrn de fortalezas y necesidades. Usar los resultados para hacer las modificaciones necesarias al currculo.

Tyler no diferenciaba entre metas y objetivos. Pero de sus trabajos puede deducirse que para l, las metas de un programa eran ideales por los que haba que luchar, mientras que los objetivos eran sub-metas que podan ser expresadas como entidades mesurables.

Modelo sin metas (Scriven)

Se enmarca en el paradigma interpretativo. Su preocupacin se centra en la valoracin de los efectos y en las necesidades, prescindiendo de los objetivos del programa. Asimismo, se preocupa por la funcin formativa, y no slo sumativa. Distingue entre evaluacin intrnseca del programa- el merito- fijndose en su diseo y evaluacin final del programa- el valor-, centrndose en los efectos del programa. De acuerdo con este modelo sin metas, las etapas que se deben aplicar en la evaluacin, aunque no necesariamente con una secuencia concreta, son las siguientes: Descripcin Cliente Antecedentes y contexto Recursos Funcin Funcionamiento Consumidor Necesidades y valores de los consumidores Normas preexistentes que deban aplicarse acerca del merito o valor Proceso Resultados Generalizacin Costes Comparaciones Significado Recomendaciones Informe Metaevaluacin

Modelo CIPP (Stufflebeam)

El modelo de Stufflebeam hace referencia a aspectos habituales dentro de los sistemas de evaluacin en relacin con la naturaleza del objeto a evaluar, su fundamentacin, contexto, puesta en funcionamiento, los recursos puestos a disposicin y los resultados o productos logrados. Es un modelo integral que combina la perspectiva por fases y reas con la perspectiva global y que aporta como novedad a modelos evaluativos anteriores su propuesta de evaluar el proceso, lo cual permite observar como las instituciones llegan a alcanzar sus objetivos, aunque tiende a fijarse en aspectos de tipo psicosocial. Stufflebeam firma que el propsito de la evaluacin es el perfeccionamiento de los programas y propone este modelo, que tiene en cuenta cuatro mbitos: Contexto, Input (entrada o diseo), Proceso, Producto: La evaluacin del contexto consiste en definir el contexto institucional, identificar la poblacin objeto de estudio y valorar sus necesidades, identificar las oportunidades de satisfacer las necesidades, diagnosticar los problemas que subyacen en las necesidades y juzgar si los objetivos propuestos son los suficientemente coherentes con las necesidades valoradas. Para ello se recurre a mtodos como la revisin de documentos, entrevistas, test diagnsticos y la tcnicas Delphi. Las decisiones que se toman con respecto al contexto se deciden en referente al marco que debe ser abarcado, las metas relacionadas con la satisfaccin de las necesidades o la utilizacin de las oportunidades y los objetivos relacionados con la solucin de los problemas, por ejemplo, la planificacin de los cambios necesarios. Y proporcionar una base para juzgar los resultados. Responde a la pregunta; qu necesitamos hacer? La evaluacin del input o diseo pretende identificar y valorar la capacidad del sistema en su conjunto, las estrategias alternativas del programa, la planificacin y los presupuestos del programa antes de ponerlo en prctica. La metodologa ms apropiada consiste en inventariar y analizar los recursos humanos disponibles, as como la aplicabilidad y economa de las estrategias previstas en el programa; tambin se recurre a bibliografa especializada, visitas a lugares dnde se han aplicado programas ejemplares, grupos de asesores y ensayos piloto. Las decisiones de mejora se aplican bsicamente al diseo del programa (recursos, estrategias, planificacin, estructura, etc.) Responde a la pregunta: podemos hacerlo? La evaluacin del proceso se lleva a cabo para identificar y corregir los defectos de planificacin mientras se est aplicando el programa. Se debe obtener continuamente informacin especfica del proceso real, contactando con los agentes implicados y observando sus actividades. Las decisiones ayudan a perfeccionar la planificacin y los procesos del programa y a interpretar los resultados obtenidos

La evaluacin del producto consiste en recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y la informacin proporcionada por el contexto, por la entrada de datos y por el proceso e interpretar su valor y su mrito.

Ventajas Facilita informacin para la toma de decisiones Es muy comprehensivo Es un sistema cclico Se pone mucho nfasis en la utilidad -

Inconvenientes No queda claro como realizar los juicios (bajo qu criterios) El papel del evaluador se convierte en tcnico No se especifica como tomas las decisiones Si se aplica por completo el modelo resulta complejo y caro

Diagrama del desarrollo de un programa y la evaluacin CIPP (adaptado por Sanz (1996) de Rodgers (1979:223)

Modelo Respondiente (STAKE)

El propsito principal del modelo es responder a los problemas que se conforman en el aula, describindolo y ofreciendo un retrato completo y holstico del proceso de enseanza aprendizaje. Stake propuso un modelo ms comprehensivo de evaluacin para tener en cuenta a todos los agentes implicados en el programa que se estuviera evaluando. La evaluacin respondiente tiene en cuenta aspectos como antecedentes, procesos o actividades del programa, efectos, datos para los juicios valorativos, informe holstico y asesoramiento a los educadores. Se basa en la informacin obtenida sobre tres conceptos primordiales: Antecedentes: Condiciones existentes antes de la aplicacin del programa Procesos: Actividades realizadas en el programa. Efectos o resultados: Lo que se consigue a travs del programa (competencias, logros, actitudes, etc.) tanto de forma evidente como confusa, buscado o no buscado, a largo o corto alcance.

Este modelo tiene en cuenta que la informacin sobre estos conceptos se debe diferenciar en funcin de su carcter descriptivo o de juicio.

Ventajas Ayuda a encontrar ideas, respuestas y soluciones a los propios implicados. Tiene una orientacin utilitaria Tiene un impacto real Adaptable a programas poco estructurados -

Inconvenientes Ausencia de procedimientos metodolgicos Es difcil establecer la fiabilidades de los resultados

EL INFORME DE EVALUACION
La evaluacin, al igual que los proyectos de investigacin, comporta la redaccin de un informe donde se reflejan y difunden los aspectos necesarios para comprender los resultados obtenidos, as como el mtodo seguido en todo el proceso ( Cols y Rebollo, 1993; Payne, 1994). Para la elaboracin de este informe conviene tener en cuente aspectos como los siguientes: El primer criterio que debe orientar todo el proceso de elaboracin del informe es asegurar la comunicacin entre el equipo evaluador y las audiencias para las que est pensado el informe. El uso de ilustraciones, ejemplos grficos y tablas de doble entrada facilitan enormemente la comunicacin. Los informes han de estar adaptados a las audiencias especficas que recibirn el documento elaborado. En este sentido, es fcil que se requiera un esfuerzo para eliminar tecnicismos en el redactado, ya que estos no hacen ms que dificultar la comunicacin. Un informe debera ser simple y detallado aunque la brevedad tambin se agradece. Es importante que se expliquen claramente todos los argumentos que han llevado a las conclusiones. El esquema del informe de evaluacin se estructura, con todas las adaptaciones pertinentes, en apartados como: Resumen. Descripcin de lo que est siendo evaluado. Descripcin del proceso de evaluacin. Datos: actividades, costes ( humanos, materiales y econmicos), resultados-efectos, opiniones implicadas, indicaciones- criterios utilizados, consideraciones sobre la calidad de la evaluacin (meta- evaluacin) Conclusiones. Propuestas. Puntos fuertes y dbiles.

CONTROVERSIAS TICAS DE LA EVALUACIN

En el momento de iniciar un proceso de evaluacin es fcil que la gran cantidad de tareas a ejecutar hagan olvidar las necesidades de reflexionar detenidamente sobre algunos aspectos ticos que interesan a los agentes implicados. A continuacin se comentan algunos de ellos: En la priorizacin de las necesidades a cubrir por parte de la evaluacin se debera insistir en generar una lista donde los valores de todos los reflejados estuvieran reflejados. En la medida de lo posible estas necesidades se deberan consensuar para que resultaran verdaderamente compartidas. De no ser as, hay que ser consciente de que la evaluacin servir a los intereses de un determinado colectivo al que se le facilitar un mayor poder sobre el resto de los colectivos implicados. La evaluacin por si misma suele generar expectativas e incertidumbres en ciertos colectivos que les empujan, consciente o inconscientemente, a manipular los contextos evaluados, para conseguir resultados que les sean beneficiosos. Un buen evaluador debera de estar atento a estos intentos de distorsin de la realidad. Hay que respetar completamente las garantas de anonimato o confidencialidad de la informacin obtenida en la evaluacin. El anonimato significa que es imposible identificar quien ha dado una determinada informacin, mientras que la confidencialidad significa que al menos la persona encargada de la evaluacin puede saber quin ha dado cierta informacin pero se garantiza que la fuente no se divulgara pblicamente por ningn medio. La invasin de la privacidad de las personas es otro aspecto que hay que tratar con sumo cuidado. Para conseguir los fines de la evaluacin no todos los medios son vlidos y menos an si no se cuenta con el consentimiento de las personas implicadas. Otro aspecto ticamente controvertido surge cuando se debe seleccionar, entre todo un colectivo, un grupo de sujetos para evaluar un programa o un servicio. Los sujetos no seleccionados pueden sentirse discriminados si no queda claro el sistema de seleccin. Por otra parte, cuando se compara un grupo experimental (recibe el programa que se est evaluando) con el grupo control (que no recibe el programa), tambin se debe cuestionar hasta qu punto el grupo control ha de ofrecer su consentimiento para participar en la evaluacin. La evaluacin en contextos diversos o multiculturales debe preocuparse en cado de utilizar instrumentos ya estandarizados, ya que podra resultar que algn colectivo implicado en la evaluacin no estuviera bien representado en los estudios estandarizados. Adems, en contextos multiculturales an es ms fcil que existan diversidad de valores e intereses, con lo cual se debe poner ms atencin para que todos ellos queden representados.

PRCTICA INVESTIGACIN EVALUATIVA. 1. Con que tipo de juicio evaluativo corresponden las siguientes definiciones? Rellena cada crculo con el nmero que le corresponda a cada definicin. Tipos: PERSONALIZADO Con qu se comparan los resultados? Con unos criterios preestablecidos. Qu aportan? Muestran comparaciones con otros. Cundo se utiliza?

Diagnsticos y orientacin psicoeducativa, con carcter formativo.

1 NORMATIVO Con los resultados de otros sujetos, objetos o intervenciones similares. -Muestran la evolucin. -Muestran las diferencias entre las habilidades de un mismo sujeto. Para conocer la eficacia de las actividades respecto a sus objetivos marcados.

2 CRITERIAL Con los resultados obtenidos antes de la intervencin. -Ofrecen orientaciones para la mejora.

Para determinar posiciones ordinales de un sujeto respecto a otros.

2. Rellena los siguientes esquemas sobre estos dos tipos de evaluacin en funcin del agente evaluador apoyndote en las definiciones.

Heteroevaluacin: La evaluacin la realiza un agente diferenciado del objeto al que se evala. Es el tipo de evaluacin ms tradicional en educacin, donde el maestro es el que adems de transmitir el conocimiento era el encargado de evaluar a los alumnos.

Autoevaluacin: El objeto evaluado forma parte del mismo agente evaluador. Este tipo de evaluacin, en relacin con la educacin, se corresponde con el aprender a aprender,

a reflexionar y a emanciparse, donde en centro de la educacin se sita ms en el propio individuo o institucin que aprende.

3. Di si son verdaderas o falsas las siguientes afirmaciones. El modelo sin metas de Scriven se enmarca en el paradigma emprico-analtico, dado el nfasis que pone en objetivar tanto las metas a conseguir como los resultados obtenidos y el papel de experto externo que tiene el agente evaluador. V/F El modelo basado en objetivos de Tayler afirma que las decisiones a tomar en la evaluacin, se deben fundamentar en la coincidencia o comparacin entre los objetivos del programa y sus resultados. V/F El modelo CIPP de Stufflebeam hace referencia a aspectos habituales dentro de los sistemas de evaluacin en relacin con la naturaleza del objeto a evaluar, su fundamentacin, contexto, puesta en funcionamiento, los recursos puestos a disposicin y los resultados o productos logrados. V/F Una de las ventajas del modelo respondiente de Stake es la ausencia de procedimientos metodolgicos. V/F

Bibliografa:
Bisquerra Alzina, R. (2009). Metodologa de la Investigacin educativa. Madrid: Muralla Bausela Herreras, E. (2003). Metodologa de Investigacin evaluativa: Modelo CIPP. Revista Complutense de Educacin, 14 (2) 361-376
Patton, M.Q. 1996. Utilization-focused evaluation (3erd. Ed) Thousand Oaks: Sage. p.13 Stufflebeam D.L. y Schiklield A. 1987. Evaluacin Sistemtica. Gua terica y prctica. Madrid: Paids/MEC. p . 183