TEMA 4 ESTNDARES, CRITERIOS E INDICADORES PARA LA EVALUACIN 1

Asignatura: Evaluacin de programas de intervencin Curso y Titulacin: 2 de Psicopedagoga Objetivo bsico del tema: Con el desarrollo del presente tema se pretende conseguir que el alumno pueda introducirse en la evaluacin de diferentes programas de intervencin psicopedaggica, utilizando determinados estndares, criterios e indicadores de evaluacin. Otros objetivos del tema son: Comprender el significado y la utilidad de algunos de los estndares, criterios e indicadores que regulan la evaluacin de programas. Elaborar criterios e indicadores de la evaluacin de programas. Aplicar criterios, estndares e indicadores en la evaluacin de al menos un programa de intervencin psicopedaggica. Contenidos: 1. Criterios, estndares e indicadores. (pg, 3) 2. Algunas propuestas de criterios de evaluacin (pg. 5) 3. Formalizacin de indicadores de evaluacin (pg. 6) 4. Algunas propuestas de indicadores de evaluacin (pg. 11) 5. Utilidad de los indicadores en la evaluacin de programas (pg. 18)

Desarrollo del tema: Se apoya en la explicacin de los conceptos ya indicados y en la presentacin de un caso prctico que requiera la elaboracin de criterios e indicadores para la evaluacin de programas y su aplicacin a un programa concreto. Materiales: Documento de desarrollo de los contenidos del tema, incluyendo ejemplos de criterios e indicadores. 2. Programas de intervencin psicopedaggica. 3. Bibliografa (ver pg. 19). Autoevaluacin: Una vez finalizado el tema, se tratar de determinar si el alumno domina el objetivo bsico del mdulo. Para ello, se utilizar una prueba escrita, con varias preguntas de respuesta breve. Adems el alumno completar una prctica sobre la elaboracin y aplicacin de criterios e indicadores para la evaluacin de programas (ver pg. 20). criterios, estndares e indicadores Aunque se ha comentado con anterioridad, conviene recordar de nuevo que la evaluacin de programas requiere valorar la informacin obtenida sobre los componentes de un programa comparndola con algn referente interno o externo de calidad, es decir, con un criterio. En alguna propuesta se ha planteado la posibilidad de abordar la evaluacin de programas sin contar con criterios previamente establecidos (Cronbach, 1981). La idea de una evaluacin sin criterios no supone, contra lo que la propia expresin parece sugerir, que se establezcan valoraciones sobre un programa sin establecer elementos de comparacin; por el contrario, plantea la posibilidad de criterios emergentes al proceso mismo de evaluacin. Comencemos, no obstante, definiendo los trminos claves de este tema; criterio, estndar, indicador, descriptor... Un criterio es un objetivo de calidad respecto del que

puede ser valorado un programa de intervencin psicopedaggica. Ese criterio puede establecerse en forma de normas o estndares y en forma de criterios no estndares. Las normas (estndares) son unidades de medicin (Dewey,1934). Las que se manejan en el sistema educativo proceden, segn Noriega y Muoz (1996), de dos fuentes principales: Legislativa: las disposiciones legales establecen multitud de declaraciones de expectacin obligatorias en cuanto a su cumplimiento. Reciben el nombre especfico de normas legales. Cuando situamos como estndar de calidad de un proyecto curricular o de un programa especial (p.e. adaptacin curricular) la adaptacin a las caractersticas del entorno y los alumnos, simplemente nos estamos haciendo eco de una norma legal que establece la necesidad de que el PCC u otros programas se elaboren teniendo en cuenta las caractersticas del entorno y los alumnos. Epistemolgica: los especialistas y profesionales en un determinado rea de las Ciencias de la Educacin han llegado a una serie de conclusiones que sirven para elaborar las directrices con las que guiar los procesos educativos. Fijar normas o estndares de evaluacin requiere de un importante nivel de consenso social, para que sean reconocidas tienen que ser aceptadas colectivamente. As, respecto del contenido del programa un criterio estndar de calidad es la coherencia entre el programa y las bases socio-psico-pedaggicas (la teora) en que dice ampararse. Este criterio permitira, valorar la medida en que el programa se apoya en unos fundamentos tericos slidos. En relacin con el desarrollo del programa, un criterio que cuenta con el suficiente respaldo entre los evaluadores es el de la conformidad con la planificacin: la constatacin de un nivel aceptable de conformidad entre planificacin y desarrollo es un trmino que permite establecer la calidad de la aplicacin de un programa. Los estndares admiten diferentes gradaciones, desde un mnimo exigible hasta un ptimo deseable. Esta caracterstica permite conducir el proceso de evaluacin a travs de estndares que matizan la frecuencia o el grado de aproximacin de la realidad evaluada. La cualificacin mtrica del estndar puede ser: Por presencia/ausencia

Por frecuencia de aparicin del mismo, como se representara en una escala del tipo Nunca....Siempre. Por valoracin cualitativa, en escalas del tipo: Deficiente.... Excelente (Noriega y Muoz, 1996: 10). Los criterios no estndares adoptan la forma de argumentaciones o razones en las que se fundamentan las valoraciones sobre los componentes de un programa. En relacin con el Proyecto Curricular de Centro, ejemplos de criterios de evaluacin seran: Atender las necesidades de los alumnos mediante la orientacin y regulacin de los procesos de enseanza y aprendizaje; Difundir los criterios y procedimientos de evaluacin para democratizar su aplicacin; Establecer medidas de atencin a la diversidad para regular el esfuerzo educativo de los alumnos, etc. Por supuesto, que establecer criterios no estandarizados requiere previamente de un acuerdo intersubjetivo. La valoracin de la ratio de egresados matriculados o el nmero de alumnos por aula pueden considerarse como criterios con referencia a normas standar cuando se utilizan en relacin con la media global, mientras que el tipo de metodologa docente o el sistema utilizado en la evaluacin de los alumnos constituyen criterios cuyas normas no son estndar y por tanto reclaman previamente un consenso intersubjetivo para que cada observador pueda leer el mismo valor a partir de los datos que ofrece un instrumento o indicador. De lo contrario, lo que para unas personas son criterios de calidad para otras simplemente son datos(De Miguel, 1991:xxxii). Aplicar este tipo de criterios exige familiaridad con lo que representan los juicios y valoraciones, habilidad para proveerse de razones que justifiquen esos juicios y, por supuesto, entender porqu unos criterios y no otros resultan relevantes para juzgar el programa que se evala. Entonces, como seala Eisner (1993), aplicar criterios no estandarizados es una empresa intelectualmente mucho ms compleja que aplicar una norma. Normas y criterios no estndares, para ser aplicados en un proceso de evaluacin, tienen que concretarse bajo la forma de un conjunto de variables empricamente observables y que proporcionen informacin -cuantitativa o cualitativa- pertinente sobre el programa objeto de evaluacin, es decir, mediante indicadores. Cuando el indicador tiene una expresin numrica se le conoce con el nombre de ndice. La ratio, la tasa, la frecuencia, etc. son ejemplos tpicos de ndices numricos

utilizados en la evaluacin de programas. Cuando el indicador no traduce una expresin numrica sino que se define en forma escalar o aparece como valoracin o argumentacin se le denomina descriptor. Un descriptor puede, por tanto, indicarnos la presencia/ausencia de un elemento a evaluar, el grado de consecucin del mismo o un juicio de valor/una argumentacin sobre el elemento objeto de evaluacin. 2. ALGUNAS PROPUESTAS DE CRITERIOS de evaluacin En el modelo de evaluacin de programas desarrollado por Prez Juste (1995) encontramos referencias a los criterios de evaluacin recomendables en cada uno de los momentos en que dicho modelo secuencia el proceso evaluativo: el programa en s mismo, el programa en su desarrollo y el programa en sus resultados. EL PROGRAMA EN S MISMO Calidad intrnseca del programa 1. Contenido del programa: Coherencia entre el programa y las bases socio-psico-pedaggicas en que dice ampararse. 2. Calidad tcnica del programa: Especificacin precisa y clara de las metas. Congruencia externa entre metas y teora. Coherencia interna entre las partes del plan. Adecuacin de los sujetos, evitndose tanto la falta de motivacin cuanto la inexistencia de desafo o el exceso de exigencia (falta de realismo). 3. Evaluabilidad del programa: Claridad y precisin del lenguaje utilizado. Claridad en relacin con los criterios y referencias de evaluacin.

Previsin de las decisiones a tomar. Definicin inequvoca de las variables. Explicitacin de los componentes fundamentales del programa. Adecuacin al contexto 1. Necesidades y programas: Existencia y calidad tcnica del diagnstico de necesidades. Coherencia entre las necesidades detectadas y priorizadas y el programa formulado. 2. Establecimiento de prioridades: Atendiendo a elementos de carcter tcnico/experto (relevancia/ transcendencia/ gravedad, rentabilidad, inmediatez, eficacia y responsabilidad. Atendiendo a elementos eminentemente subjetivos (inters/motivacin expresos, expectativas personales/grupales). Adecuacin a la situacin de partida Viabilidad: Realismo en las metas del programa fruto de la adecuacin a medios y recursos. Aprovechamiento de medios y recursos mediante su adecuada dinamizacin, plan y orden. EL PROGRAMA EN SU DESARROLLO Conformidad con la planificacin. Lo que supone revisar la existencia de desfases/desajustes, resultados parciales y efectos no programados. Incardinacin con el proyecto educativo, en el que el programa evaluado puede coexistir con otros programas.

Satisfaccin del personal

EL PROGRAMA EN SUS RESULTADOS 1. Valoracin: Cumplimiento de los niveles de logro preespecificados en trminos Criteriales: a partir de las metas y niveles previamente especificados tcnicamente por los responsables Normativos: si existiera y en casos de competencia entre programas De naturaleza idiosincrtica: los niveles del programa son valorados tomados en consideracin el conjunto de circunstancias o sus resultados en situaciones precedentes 2. Continuidad: Control interno del plan Grado de participacin de los implicados Sistema de revisin establecido sobre las decisiones tomadas 3. FORMALIZACIN DE INDICADORES DE EVALUACIN Como ya hemos sealado un indicador supone una forma de concretar un criterio de evaluacin. Lgicamente, lo que buscamos no son manifestaciones accidentales sino esenciales de aquello que pretendemos evaluar. Por tanto, un indicador debe acercarnos a las manifestaciones significativas de la realidad, debe guiarnos en los detalles bsicos que nos llevan al conocimiento ms fidedigno y profundo de las cosas. La realidad que evaluamos puede aparecer bajo formas externas controlables y observales o bajo otras que estn implcitas en un modo de actuar cotidiano. Pues bien, el indicador debe hacer referencia tanto a lo externo como a lo interno; as, indicar es dar a entender o significar, a travs de indicios o seales, el conocimiento de lo oculto, o al menos, de lo desconocido. Pero, adems, el indicador no slo

informa del presente sino que -como seala Lzaro, 1992:480- puede convertirse en el vestigio o huella de algo que ha sucedido; el indicador localiza situaciones del presente con referencia a lo que ocurre en este momento como si son restos del pasado. Pero, sobre todo, el indicador debe definir el objeto al que se refiere. Lo que implica una relacin de dependencia del indicador respecto al objeto referido (el indicador adscribe propiedades a aquellos objetos que indica), relacin que supone objetividad. Esa objetividad no implica totalidad sino complementariedad, dado que el indicador se refiere tan slo a una parte de lo que podra estudiarse y desde luego esa referencia est asociada a un espacio y un tiempo determinados. 3.1. CARACTERSTICAS Y REQUISITOS EN LA FORMULACIN DE INDICADORES Un punto de partida en el tratamiento de este tema es el que establece Lzaro (1992), que identifica tres grandes dimensiones en torno a las que se agrupan las caractersticas y requisitos a tener en cuenta en la elaboracin de indicadores: las caractersticas del constructo, las condiciones de medida y las condiciones formales. 3.1.1. Las caractersticas del constructo Las caractersticas del constructo aluden a la relacin entre el indicador y el objeto al que se refiere, es decir, estudian hasta qu punto el indicador es una gua o seal adecuada hacia un referente. Desde este punto de vista, el contenido del indicador debe responder a las siguientes condiciones: Significatividad de la relacin entre el indicador y las propiedades del objeto que seala. En esencia, el indicador debe recoger alguna propiedad del objeto evaluado. Por ejemplo: si el referente a evaluar dentro de un programa son los procesos de enseanza, un indicador como tiempo dedicado a la coordinacin y revisin de la enseanza debera tener que ver con algn aspecto de los procesos de enseanza; efectivamente, en este ejemplo de indicador ese aspecto es la coordinacin de la enseanza. Relevancia del indicador. La propiedad recogida por el indicador puede ser esencial o accidental, siendo el indicador ms relevante cuanto mejor represente (lo dice es ms atribuible) al objeto con el que se relaciona. Por ejemplo: con el referente anterior, un indicador como ratio de asistencia a las clases puede ser menos relevante que otro

como nmero de horas dedicadas a la docencia en el curso en relacin con las previstas. Teleologicidad del indicador. La congruencia descriptiva del indicador debe estar en funcin de los objetivos y fines pretendidos, siquiera para un momento o poca determinada en el que se desarrolla un programa. Un indicador puede ser vlido para valorar la eficacia de un programa pero no para valorar las posibilidades de mejora que introduce. As, el indicador tiempo dedicado a la coordinacin y revisin de la enseanza podra ser adecuado para evaluar la eficacia de los procesos de enseanza en el desarrollo de un programa, mientras que un indicador como la descripcin de los sistemas establecidos para efectuar el seguimiento de la docencia y la revisin de las enseanzas parece ms adecuado para evaluar las posibilidades de mejora de un programa en lo que respecta a los procesos de enseanza. Utilidad del indicador. Cualquier indicador ha de reclamar una informacin que contribuya a la definicin del objeto de evaluacin, describa sus situaciones, defina las problemas que le ataen y permita establecer predicciones. Un indicador como tasa de egresados en relacin con los matriculados permite definir el objeto de evaluacin -los resultados de un programa- y establece una relacin que puede permitir conocer aspectos claves relacionados con las exigencias acadmicas, la dedicacin de los estudiantes, la calidad de la docencia, etc. Complementariedad-totalidad. Cada indicador no puede ser interpretado aisladamente, sino que se le debe relacionar con el sistema de indicadores al que pertenezca. A partir de esa relacin puede determinarse la potencia relativa que posee cada indicador, es decir, el sentido de progreso en el conocimiento de las cosas que se alcanza gracias a la organizacin y normalizacin de un sistema de indicadores. 3.1.2. CONDICIONANTES DE MEDIDA Seala Lzaro (1992) que en todo indicador existe un componente de inferencia predictiva, de modo que la informacin que obtenemos a travs del indicador (la parte observable de aquello que evaluamos) presupone la existencia del objeto al que se refiere el indicador. Cuando utilizamos un indicador como calificaciones obtenidas por el alumno a lo largo del curso, al menos estamos aludiendo a la posibilidad de que en el programa evaluado los resultados que obtienen sus usuarios se establecen a partir de un sistema de calificaciones.

La posibilidad de establecer inferencias a partir de los indicadores permite conocer si un indicador es significativo -lo describe adecuadamente- respecto a lo medido (significatividad o representatividad) y si ese indicador describe ms y mejor que otros indicadores aquello que mide (relevancia). Por otra parte, un indicador puede depender de otros indicadores bien porque sea un anlisis detallado de un indicador ms amplio (nmero de alumnos que utilizan los Servicios de apoyo a la docencia y nmero de Servicios de apoyo a la docencia) o porque secuencial y temporalmente no se puede producir sin la existencia de otros anteriores (tasa de costo por graduado y presupuesto por alumno). En su calidad de medida, junto a los elementos ya indicados, todo indicador ha de cumplir las siguientes condiciones: Observable. El indicador tiene que hacer referencia a caractersticas, manifestaciones o elementos del objeto evaluado que puedan ser analizadas y constatadas. Ha de ser una realidad que permita replicacin y verificacin, por tanto no debe hacer referencia a hechos ocasionales o meramente circunstanciales. Por ejemplo, un indicador como visitas programas a los museos de Sevilla es un elemento menos observabl e que nmero de actividades extraescolares organizadas en el centro, dado que el lugar o el itinerario de las visitas puede modificarse en cualquier momento. Aplicabilidad. Los medios y recursos que se utilicen para realizar la observacin y recoger la informacin han de ser posibles y coherentes con los fenmenos observados. Por ejemplo, un indicador como coherencia entre el programa y las bases tericas en que se fundamenta puede apoyarse en el anlisis crtico de los documentos que recogen la teora en que dice basarse el programa y su contraste con la instrumentacin (diseo, materiales, etc.) propia del programa. Una lista de control podra ayudar a anotar las coincidencias o carencias entre lo establecido en la teora y lo plasmado en el programa. Las fuentes deben ser accesibles a los objetivos de la evaluacin. Si se utilizan fuentes inadecuadas, pero ms accesibles, pueden desvirtuarse los datos y la significatividad de los mismos para el objeto de evaluacin. En este sentido, es necesario seleccionar los indicadores que ms se ajusten al tipo de fuentes a las que se tiene acceso, si bien procurando no limitar la definicin del objeto de evaluacin a la existencia de determinadas fuentes relativamente accesibles al evaluador. Por ejemplo, un indicador adecuado para conocer el impacto de un programa puede ser determinar el tiempo entre la finalizacin de un programa y el desempeo de la actividad profesional asociada al mismo; pues bien puede no estar accesible la informacin que

necesitamos (no hay registro en la entidad organizadora del programa sobre los niveles de empleo de los egresados o bien no se cuentan con direcciones de contacto fiables de stos), pero tambin puede ocurrir que dicho indicador no se incluya en el sistema de indicadores porque no exista el registro del nivel de empleo de los egresados y el evaluador estime demasiado costoso sondear a los propios implicados a pesar de contar con sus direcciones actualizadas. Establecimiento de un sistema de codificacin. Es preciso que el sistema de indicadores cuente con un esquema paralelo que permita anotar, valorar y reflejar las manifestaciones observadas. En ese sistema de codificacin, la informacin proporcionada por los indicadores puede convertirse en ndices (valores nmericos que reflejan tasa, ratio o frecuencia) o en descriptores (que reflejen la presencia/ausencia de un elemento o el grado de consecucin del mismo). La consideracin de los indicadores en forma de ndices no debe hacernos olvidar que el tratamiento de tales valores numricos debe respetar algunas reglas: No deben sumarse indicadores cuando uno es causa de otro (ms de tres suspensosrepeticin de curso). No deben sumarse indicadores cuando uno forma parte del otro, el peso dado al genrico se debe distribuir entre los que lo componen (calificaciones obtenidas por el alumnado a lo largo de los cursos - calificaciones en matemticas en primer curso). Si los objetivos o finalidades de cada indicador son diferentes, no parece adecuado establecer ningn tipo de combinacin matemtica. Por ejemplo, cuando los indicadores estn integrados en sistemas y objetivos diferentes, o si se realizan anlisis utilizando ndices distintos (presupuesto por alumno - ratio de asistencia a las clases). 3.3.3. CONDICIONES FORMALES Tienen que ver con el modo en que se redactan y concretan los indicadores de modo que puedan ser utilizados de la manera ms operativa posible. Algunas de estas condiciones apuntadas por Lzaro (1992) seran: Cada indicador tendr un referente determinado, claro y definido, esto es, cada indicador ha de estar en conexin con un fenmeno especfico a estudiar, en coherencia con una determinada variable y factor de un objeto.

En relacin con el punto anterior, cada indicador ha de solicitar informacin de una sola manifestacin. Tendr definida la situacin a observar determinada en un contexto preciso, incluyendo un espacio y un tiempo determinado. La formulacin ha de ser breve y concisa, de forma que se exprese con claridad y sin ambigedades. El enunciado del texto tender a ser directo y descriptivo. Si existe una cadena de indicadores, se han de sealar y sistematizar en niveles de cuasalidad y/o de dependencia. Un indicador podr desglosarse en tems, es decir, concretar la peticin en forma de tem o cuestin. Este formato puede constituirse por s mismo en el instrumento de recogida de la informacin. 3.3.4. PROCEDIMIentos para el anlisis de indicadores Las tres dimensiones consideradas para formular indicadores, relativas al constructo, la medida y los aspectos formales, pueden traducirse en un instrumento que permita valorar la presencia o ausencia de los elementos que definen esas dimensiones. De ese modo, resulta posible conocer si los indicadores construidos para evaluar un programa o algn aspecto del mismo responden a los rasgos definitorios de un indicador. El Cuestionario-Gua sobre requisitos de los indicadores desarrollado por Lzaro (1991) es un buen ejemplo de este tipo de instrumentos para valorar la formulacin de indicadores. Cuestionario-Gua sobre requisitos de los indicadores (Provisional, A. Lzaro, 1991) REQUISITOS de CONSTRUCTO SI NO 1.El indicador recoge y hace referencia a alguna propiedad del objeto. * *

(Significatividad)

2.-

La propiedad referida es de tipo esencial.

**

(Relevancia) 3.- Los datos recogidos en el indicador estn en congruencia con los fines y objetivos de la evaluacin pretendida. * * (Teleologicidad) 4.- Los datos recogidos por el indicador tienden a ser permanentes. * * (Caducidad) 5.- Con los datos recogidos por el indicador se pueden realizar influencias y predicciones. ** (Utilidad) 6.El indicador ofrece datos integrables en un sistema de indicadores. * *

(Coherencia) REQUISITOS de MEDIDA SI NO 7.- Los datos que reclama el indicador son observables. * * (Observacin) 8.- Los datos que reclama el indicador pueden ser observados por diferentes evaluadores simultneamente o en situaciones distintas. (Replicacin) 9.- Los medios que se utilizan para recoger los datos que reclama el indicador son adecuados * * (Aplicabilidad) **

10.- Las fuentes que facilitan la informacin solicitada por el indicador son accesibles. ** (Accesibilidad) 1 1.- Los indicadores poseen una forma de anotar y valorar la informacin recogida. * * (Codificacin) 12.* Los indicadores tienen un peso especfico dentro de un sistema de indicadores. *

(Ponderacin) 13.* Los datos obtenidos por los indicadores pueden interpretarse numricamente. *

(Expresin cuantitativa) 14.con Los datos obtenidos por los indicadores pueden relacionarse numricamente

los de otros indicadores. * * (Obtencin de ndices) REQUISITOS FORMALES SI NO 15.- Cada indicador solicita informacin de una sola cosa. (Universidad) 16.- La inforrracin solicitada se puede recoger en una situacin definida. * * (Manifestacin de precisin) 17.- El indicador est expresado con claridad semntica sin ambigedad. * * **

(Brevedad expresiva) 18.La informacin reclamada se recoge en un mismo tipo de manifestacin. * *

(Concrecin) 19.El enunciado ser directo y descriptivo. **

(Claridad) 20.El indicador se relaciona causalmente con otros. * *

(Dependencia) 21.Se puede desglosar y especificar en items. * *

(Formalizacin) 4. ALGUNAS PROPUESTAS DE INDICADORES DE EVALUACIN A continuacin vamos a presentar tres propuestas de indicadores que difieren, adems de en el contenido de las dimensiones a evaluar, en la forma de presentacin de tales indicadores. En la primera, realizada por Noriega y Muoz (1996: 28-31) se recogen dimensiones, estndares e indicadores -formulados estos de un modo declarativopara la evaluacin de los centros docentes. De su propuesta de indicadores slo hemos seleccionado la dimensin Funcin dado que su contenido es el que es la ms similitudes guarda con el proceso de evaluacin de programas. DIMENSIN ESTNDARES INDICADORES

FUNCIN 1.-El proyecto ha 1.1.- Se han formulado correctamente los objetivos. sido cuidadosamen- 1.2.- Se han tenido en cuenta las polticas o directrices emanadas te planeado. de la superioridad.

1.3.- Se han sopesado las ligaduras o restricciones del proyecto (costos, etc.).

1.4.- Se han analizado las estrategias de actuacin. 1.5.- Se ha elegido la estrategia ms eficiente. 1.6.- Se ha aludido a la formacin/preparaci6n/reciclaje de los elementos humanos intervinientes. 1.7.- Se han realizado estudios/sondeos sobre la demanda del proyecto.

1.8.- Se han elaborado guas o instrucciones para el desarrollo del programa. 1.9.- Se han diseado canales/medios de informacin. 1.10.- (Si el programa lo requiere), se han desarrollado mecanismos que aseguren una certificacin objetiva y eficaz de los participantes. 2.- La programacin es correcta teriales. 2.4.- Se ha efectuado la previsin econmica pertinente (presupuestos, etc.). 2.5.- Se ha efectuado la previsin de personal adecuada. 2.6.- Se ha cuidado de la provisin de los medios materiales, econmicos y personales. 2,7.- Se ha procedido a la sistematizacin y movilizacin/integracin de los medios de acuerdo con el desarrollo del programa (anlisis de procedimiento). 2.1.- Las actividades definidas son coherentes con los objetivos.

2.2.- La red de actividades, en su caso, es correcta. 2.3.- Se ha efectuado la previsin de los medios rna-

2.8.- Se han adjudicado las responsabilidades a cada uno de los participantes en el programa con atencin a la coordinacin de actuaciones (fonnacin de equipos de trabajo). 2.9.- Se han diseado/seleccionado documentos/soporte ad boc. 3. La operacin se 3.1. Se han diseado estrategias metodolgicas (nordesarrolla satis- mas de operacin). factoriamente 3.2.- La actuacin de los elementos del programa es

correcta y adecuada a los objetivos previstos. 3.3.- El desarrollo de las actividades se adecua a la temporalizacin prevista en la red. 4.- El control de 4.1. - Se establecen criterios y mtodos/medios de calidad del evaluacin. programa 4.2.- Se disean estndares de cantidad, calidad y oportunidad. 4.3.- Se fijan procedimientos e instrumentos de eva-

adecuado a sus caractersticas luacin.

4.4.- El control afecta a todos los elementos del programa.

4.5.- Se chequean todos los tems o, al menos, segn un muestreo suficiente. 4.6.- El agente del control es el adecuado para garantizar su objetividad. 4.7.- Los muestreos se toman a intervalos temporales signdicativos. 4.8.- Los resultados del control se reflejan en informes, grficos, etc. DIMENSION ESTANDARES INDICADORES 4.9. Los resultados del control se someten a anlisis de acuerdo con los objetivos previstos y las actividades realizadas. 4.10.-Se mantiene un registro de contabilidad sistematizado. 5.- La accin colec- 5.1.- Se efectan "inspecciones en la fuente" para una tiva del control correccin "automtica" de las desviaciones (evaluacin es eficiente. continua). 5.2.-Los resultados del anlisis del control tienen valor diagnstico determinante para la accin correctiva. 5.3.- La accin colectiva se aplica a todos los elementos del proyecto donde se detectan desviaciones signfficativas: - En el planeamiento - En la programacin

- En la operacin - En el control - En la accin correctivo - En la retroalimentacin. 5.4.- La accin correctivo se aplica, en su caso, a los elementos personales de la organizacin 6.- El out-put 6.1. - El producto (out-put) cumple las nomias de calidad establecidas. o producto. 6.2.- El costo-estndar del producto es safisfactodo. 6.3.- La calidad del producto es la esperada. 6.4.- El anlisis de satisfaccin es positivo. 7.- Se establece feedMemoria. back o retroalimentacin del sistema (cuando proceda). Una segunda propuesta de indicadores es la que plantea Prez Juste (1995: 163-167) para la evaluacin interna de programas educativos. En este caso los indicadores se presentan en forma interrogativa. I. MOMENTO INICIAL: EVALUACIN DEL PROGRAMA EN SI MISMO 1. CALIDAD INTRNSECA DEL PROGRAMA 7. 1.- Los resultados de la evaluacin se recogen en una

7.2.- Las conclusiones de la Memoria se recogen en el planeamiento-programacin del ciclo siguiente.

1. 1. CONTENIDO DEL PROGRAMA: 1. Se han explicitado las bases cientficas y socio-psicolgicas del programa?. temas o teoras, es

2. El tratamiento dado a los acontecimientos, adecuado/distorsionado/desequilibrado? 3. Estn actualizados o desfasados los contenidos?

Los contenidos incluidos se consideran relevantes desde perspectivas cientficas, sociales, psicolgicas y pedaggicas (valor formativo)? 1.2. CALIDAD TCNICA DEL PROGRAMA:

5. Se incluyen en el programa objetivos, actividades, medios -entre ellos, la metodologa- y sistema de evaluacin? 6. La formulacin de los elementos anteriores es adecuada para orientar tanto la enseanza como el aprendizaje? 7. Se puede considerar que los objetivos son congruentes con los planteamientos cientfico-curriculares, con las demandas sociales y con las caractersticas evolutivas de los destinatarios? 8. Se da coherencia interna entre los diversos elementos del programa y de ellos en relacin con los objetivos? 9. Se da adecuacin del programa a las caractersticas diferenciales -motivacin, intereses, capacidad- del alumnado? 1.3. EVALUABILIDAD:

10. La informacin contenida en el programa de cara a su posterior evaluacin, se considera suficiente, relevante y adecuada?

11. Se dispone de informacin clara y precisa sobre aspectos metodolgicos y de contenido del programa? 2. ADECUACIN AL CONTEXTO

12. Se da un funcionamiento democrtico, participativo e implicativo del centro, as como corresponsabilidad en las tareas? 13. Los profesores responsables del programa, funcionan en autntico equipo?

14. Se da cooperacin con las familias cuando es necesaria para el desarrollo del programa? 15. Se dan reuniones con profesores de cursos anteriores de cara a la planificacin del nuevo programa? 16. Existen datos (registros, informes, actas ... ) en el centro sobre las necesidades y carencias de los alumnos? 17. Se cuenta con sistemas de deteccin de necesidades y carencias del alumnado, tales como pruebas de carcter diagnstico, entrevistas ... ? Se ha previsto un sistema de ajuste inicial a las carencias y dificultades detectadas, tales como clases de recuperacin, sistemas de monitores...? 3. 19. ADECUACIN AL PUNTO DE PARTIDA Responde el Programa a demandas de los interesados?

20. Estn previstos los espacios, momentos en el horario, recursos y personal, necesarios para su desarrollo? 21. Existen en el centro los medios necesarios para un correcto desarrollo de] Programa? 22. Se encuentran capacitados los responsables para el desarrollo del programa?

23. 24.

Est prevista la temporalizacin del programa? Se realizan reuniones del equipo de profesores responsables del programa'?

25. Se da entre el equipo de profesores, y en el centro en general, un trabajo de tipo cooperativo? 26. Ha sido aprobado el programa por el equipo?

27. Apoyan el programa el claustro de profesores, los padres y dems personal implicado/afectado? II. SEGUNDO MOMENTO: PROCESO APLICACIN DEL PROGRAMA

1. PUESTA EN MARCHA DEL PROGRAMA 28. La metodologa utilizada, resulta adecuada para el desarrollo de los objetivos del programa? 29. 30. Muestran los alumnos inters/motivacin hacia las actividades del programa? Se aprecia correccin en la secuencia de las actividades programadas?.

31. Se detectan desfases significativos en la ternporalizacin prevista? 32. Se respeta la planificacin en lo referente a espacios, tiempos, apoyos y recursos? 33. Los niveles parciales de logro se consideran alejados de, o acomodados a, los propuestos? 34. 2. Se da rigidez/flexibilidad en la aplicacin del programa? MARCO DE APLICACIN DEL PROGRAMA

35. Se aprecian conflictos y tensiones entre el personal del centro que puedan repercutir en el desarrollo del programa?

36. Las relaciones con el alumnado se puede calificar de cordiales o de problemticas? 37. Se detecta algn conflicto entre los objetivos y/o planteamientos del programa con los del proyecto educativo o con los de otros profesores del equipo o del centro? 38. Se da concordancia entre la organizacin y disciplina del aula en que se desarrolla el programa y el sistema organizativo y disciplinar del centro? Se da un clima de confianza en el xito por parte de alumnos y profesores? III. TERCER MOMENTO: EVALUACIN FINAL DEL PROGRAMA 1. MEDIDA Y LOGROS

40. Se han tornado precauciones para asegurar la calidad tcnica de las pruebas con que se apreciarn los niveles de logro del progrania7 41. Se planificaron las pruebas, y dems instrumentos elaborados para la recogida de datos, en el momento de disear el programa, a fin de asegurar la mxima coherencia con los objetivos? 42. Se recurre a tcnicas variadas de recogida de datos, acordes con la diversidad de objetivos? 43. Se especificaron los criterios de calificacin y de los niveles de logro del programa? 2. VALORACIN

44. Se especificaron, de modo claro y preciso, los criterios y las referencias para valorar los resultados? 45. Se aplican los criterios y las referencias de conformidad con las previsiones y con las exigencias tcnicas? 46. Se dispone de informacin, rica y matizada, sobre los momentos inicial y procesual del programa, como base para valorar los resultados?

3.

CONTINUIDAD

47. El estilo imperante entre los responsables del programa es participativo y colaborativo, o directivo y autoritario? 48. Existe un proceso institucionalizado de evaluacin, de forma que los resultados se plasmen en nuevos procesos programadores? 49. Se asignan tareas concretas a los diferentes responsables de los cambios a introducir? La tercera propuesta fue realizada por la Consejera de Educacin y Ciencia de la Junta de Andaluca dentro del Plan Andaluz de Evaluacin de Centros Docentes (1998). En esa propuesta las dimensiones del proceso de evaluacin se concretan en indicadores (sic) y stos a su vez en descriptores, que pueden ser tanto cuantitativos (v.g. correspondera a ndices en la terminologa al uso en la literatura) o cualitativos (v.g. los verdaderos descriptores segn la literatura). Veamos, a continuacin, un ejemplo de descriptores que tratan de evaluar la adecuacin del Proyecto Curricular de Centro. DESCRIPTORES En su caso, en la elaboracin del PCC se ha tenido en cuenta el anlisis de los resultados de la evaluacin del centro reflejado en los cursos anteriores. 01234 5

El PCC es fruto de la discusin, puesta en comn y consenso entre los componentes del Claustro. 012345 Los objetivos generales del PCC estn en consonancia con las Finalidades Educativas del centro. 012345

2.4. En el PCC los objetivos de etapa y rea/materia se ordenan por ciclos/cursos manteniendo una continuidad progresiva. 012345 2.5. La organizacin y secuenciacin de los contenidos se realizan en relacin directa con los objetivos propuestos. En Educacin Secundaria se incluyen adems criterios para determinar la oferta de materias optativas y para organizar los itinerarios de los Bachilleratos. 012345 2.6. El PCC recoge contenidos conceptuales, procedimentales y actitudinales.

012345 2.7. El PCC contiene orientaciones para incorporar los contenidos de carcter transversal del curriculum. 012345 2.8. El PCC incluye decisiones de carcter general sobre metodologas didcticas. Adems, incluye criterios para: agrupamientos, actividades y recursos (Primaria) / elaborar programaciones de Departamentos y Mdulos (Secundaria). 012345 2.9. Se explicitan estrategias didcticas concretas y adecuadas para atender a la diversidad del alumnado. 012345 2.10. Estn definidos y compartidos los criterios de evaluacin para todas y cada una de las reas y ciclos. ( en E. Primaria) / reas, materias, ciclos y cursos (en E. Secundaria). 012345

2.11. Se organizan los distintos elementos del proceso de evaluacin del aprendizaje (fases, recursos, procedimientos, instrumentos, registros, etc.). 012345 2.12. Se han establecido los procedimientos e instrumentos para la evaluacin de los aprendizajes de las distintas reas. 012345 2.13. Se han establecido los criterios de promocin del alumnado. 012345 2.14. Existe un Plan de Formacin que recoge, claramente definidas, las necesidades de formacin del profesorado (de carcter didctico, pedaggico ... ) en funcin de las necesidades del centro: 012345 2.15. El PCC promueve la investigacin educativa y la realizacin de actividades de perfeccionamiento que repercutan en la prctica docente. 012345 2.16. El Plan de Orientacin y Accin Tutorial incluye objetivos, actividades y tiempos adecuados a realizar con el alumnado, el profesorado, padres y madres. 012345 2.17. Se ha establecido un Plan de Evaluacin del PCC coherente con los objetivos planteados y concretado criterios, estrategias e instrumentos para su aplicacin. 012345 2.18. Estn establecidos criterios, estrategias e instrumentos para la evaluacin de la prctica docente. 012345

2.19. El PCC responde a una propuesta original y adecuada al centro que contiene todos los apartados exigidos por la normativa, est ordenado, sistematizado, justifica las propuestas, ha sido aprobado por el claustro, etc. 012345 2.20. El PCC es un instrumento pedaggico-didctico til y prctico que se concreta y aplica en otros niveles de planificacin (ciclos y programaciones de aula). 012345 5. UTILIDAD DE LOS INDICADORES EN LA EVALUACIN DE PROGRAMAS Existe una curiosa paradoja en relacin con el uso de indicadores en la evaluacin de programas educativos. Mientra se concede cada vez ms importancia a la formulacin de indicadores como elemento clave en la evaluacin educativa stos no terminan por incorporarse a los procesos reales de evaluacin. El desconocimiento sobre el modo en que deben utilizarse los indicadores en un proceso de evaluacin y la propia formulacin a posteriori (una vez desarrollado el programa) y no a priori (al tiempo que se redactan los objetivos del programa) de los indicadores puede explicar esta paradoja (De Miguel1, 1995: 181). Una primera consecuencia que podra extraerse de lo dicho es que la eficacia e idoneidad de los indicadores dentro de un proceso de evaluacin est en buena medida condicionada por el modo -ver apartado 3 de este tema- y por el momento en que se formulen. As, para que los indicadores sean tiles deberan definirse a priori, en funcin de cada uno de los objetivos que pretenden lograrse con el programa. Hecha estas salvedades, hagamos referencia a algunas de las recomendaciones que pueden realizarse para utilizar de un modo ms apropiado los indicadores en un proceso de evaluacin: A partir de un marco terico, desarrollar un sistema de indicadores basado en medidas mltiples con el fin de que posibilite obtener y contrastar la informacin sobre un aspecto por diversas vas. Avanzar en la construccin de indicadores com uestos y de ndices que nos aporten informacin ms compleja y decisiva para las decisiones.

Complementar la informacin que aportan los indicadores con la que nos pueden facilitar otras fuentes (especialmente los expertos). Construir y utilizar indicadores sobre todas la fases del proceso de la evaluacin Y no slo sobre los resultados o productos. Evitar los juicios de valor durante la fase de elaboracin de los indicadores a fin de no condicionar las etapas siguientes del proceso. Buscar el mayor grado de consenso entre la audiencia respecto a los indicadores a utilizar y dar la mxima publicidad a la informacin obtenida. (De Miguel, 1995: 182183). 5.1. VENTAJAS QUE OFRECE EL USO DE INDICADORES La recomendacin del uso de indicadores en la evaluacin educativa en general y en la evaluacin de programas en particular est justificada porque ofrece al evaluador las siguientes ventajas: Aportan informacin vlida, verificable y relativamente neutral. Posibilitan establecer comparaciones en funcin de diversos criterios. Permiten que los juicios de valor -valoraciones- se apoyen sobre datos bastante objetivos. Facilitan el consenso entre la audiencia implicada. Otorgan credibilidad a la toma de decisiones. Aaden transparencia a todo el proceso evaluador (De Miguel, 1995: 181-182). 5.2. PRINCIPALES DIFICULTADES EN EL USO DE INDICADORES Cuando utiliza indicadores el evaluador se enfrenta igualmente a una serie de dificultades e inconvenientes, entre los que cabra citar los siguientes:

Con frecuencia se elaboran a partir de modelos tericos muy sencillos por lo que el indicador ofrece una informacin muy simple y limitada. En algunos casos, muchos indicadores se utilizan por razones polticas y con un determinado sentido,introduciendo sesgos en la evaluacin. Habitualmente existen problemas en la recogida y anlisis de los datos, especialmente los referidos al nivel de agregacin, lo que cuestiona la objetividad y viabilidad del indicador. La falta de homogeneidad en los criterios -dado que en cada contexto se entienden de forma diferente- impide obtener medidas comparables. Problemas derivados de sus costos y mbito de aplicacin frecuentemente determinan que muchos indicadores se utilicen de forma distorsionada. Finalmente cabe sealar que pueden orientar toda la ejecucin de los programas con el fin de alcanzar los indicadores y alterar, tambin, la toma de decisiones (De Miguel, 1995:182). BIBLIOGRAFA 1. Eisner, E. W. (1993). Why standards may not improve schools. Educational Leadership, 50(5), 22-23. 2. Lzaro, A. (1992). La formalizacin de indicadores de evaluacin. Bordn, 43(4), 477494. 3. Miguel de, M. (1991). Indicadores de calidad en la docencia universitaria. I Congreso Internacional sobre calidad de la enseanza universitaria (p. XXV-LI). Cdiz: ICE de la Universidad. 4. Miguel de, M. (1995). Indicadores de rendimiento y evaluacin de programas. en R. Prez Juste, J. L. Garca Llamas, & C. Martnez Mediano (Coords.), Evaluacin de programas y centros educativos (pp. 169-192). Madrid: UNED. 5. Newman, D. L., & Brown, R. D. (1992). Violations of evaluation standards. Evaluation Review, 16(3), 219-234.

6. Noriega, J., & Muoz, A. (1996). Indicadores de evaluacin del centro docente. Madrid: Editorial Escuela Espaola. 7. Prez Juste, R. (1995). Evaluacin interna de programas educativos. en R. Prez Juste, J. L. Garca Llamas, & C. Martnez Mediano (Coords.), Evaluacin de programas y centros educativos (pp. 131-168). Madrid: UNED. 8. Salzer, M. S. e. al. (1997). Validiting quality indicators. Evaluation Review, 21(3), 292309. 9. Simmons, W., & Resnick, L. Assessment as the catalyst of school reform. Educational Leadership, 50(5), 11-15. Otras referencias: Consejera de Educacin y Ciencia (1998). Evaluacin de centros docentes. Plan de evaluacin de centros docentes en la Comunidad Autnoma Andaluza. Junta de Andaluca. Dewey, J. (1934). Art as experience. New York: Minton Balch and Company. Guba, E.G. y Lincoln, Y. (1981). Effective evaluation. California: Sage Publications. AUTOEVALUACIN