J. F. Lukas K. Santiago Evaluacion educativa Alianza EditorialRexcrvadostodis ls derechos [contenido cna a etl proeido parla Ley, que eatatece po se rision yo muss adams de las sorrespontentes indemaizecianes por dahon perce. pura uienesreprodujeren plaaren,disnibayerenocorunicarespsicament, er odo nem park, tuna obra hierar, arisiewo cent fied, osu tansfimacibn, imerpretzcin vejecucémartisticefijp= ‘aver cunlquertipe desoferte a sonuinicads a waves de cualquier mado st la peeeepivaauteriza- © José Francisco Lukas Mujika y Karlos Santiago Etxebarria, 2004 © Alianzs Péitorial, S. A, Madcid, 2004 Juan Ignacio Luca de Tena, 15; 28027 Madrid tele 91 393 88 88 wwwaalianzaeditoria.es 1S.B.N. 84-206-4741-1 Depésito legal: M. 32,971-2004 ‘Compuesto eimpreso en Fernindez Ciudad, S. L. Catalina Sadtez, 19, 28007 Madrid, Printedin Spain3. Concepto, componentes y fases de la evaluaci6n 1, Concepto Si nos atenemos a la raiz etimolégica del término «evaluacién», podemos comprobar que éste procede del latin valere, que significa la aceién de tsar, valorar, justipreciar, es decir, en definitiva el atribuir cierto valor a una cosa. Enel castellano actual, este vocablo ha evolucionado hacia los terminos «eva- luacidn» y «valoracién que hoy en dia soa considerados como sinonimos (Perales Montolio, 2002b). No obstante, si nos atenemos al uso téenico de los, términos, podemos observar que su origea es anglosajén, El eoncepto de evaluacién edueativa ha estaco ligado a las circunstancias histérieas que ha sufrido la propia educacién, E's por ello porlo que a lo largo, de Los tltimos afios el concepio de evaluacioa educativa ha variado en funcién, de las distintas posiciones filosoticas, epistemologicas y metodoldgicas que han ido predominando (Tejada, 1999), Este mismo autor clasifica la variedad de definiciones de evaluacién que nos podemos encontrar en cuatra catego- rigs, Nosotros hemos mantenido esa misma clesificacién, aunque hemos aila- dido una quinta categoria (definiciones que resaltan la importancia de }a me- todologia) y hemos cambiado algunas definiciones de categoria: 1. Definiciones que contienen especificaciones sobre las logros de los alumnos después de un proceso de instruccion listas definieiones se corresponden con la conceptualizacin de Tyler sobre laevaluaciéa educativa, es decir, una evaluacion sumativa, basada en los ob-3. Definiciones de evaluacién que se basan en la informacion para la toma de decisiones Estanueva conceptualizacién de la evaluacién educativa surge en 1963 a par- tir de las ideas de Cronbach. Sin embargo, sus origenes podemos buscarlos en el mundo de la empresa norteamericana utilizado con fines comerciales (Lépez Mojarro, 1999). Epistemolbgicamente, el fundamento de la evalua- cidn con fines empresariales y comerciales ere claro. A saber, cuanto mejor se conozcan las circunstancias que rodean la fabricacion de un producto, asi como sus caracteristicas, mis eficaces seran las medidas que se puedan adop- tar para mejorar le calidad y el costo de produccién. Este mismo autor sefiala que se dieron dos avances importantes en este sentido: a) El conocimiento es fundamental para tomar las decisiones de mejora b) Fl conocimiento debe basarse en una recogida y andlisis cientifico de Ja informacién. Estas mismas ideas fueron trasladadas a la evaluacién educativa, primera- mente a Esiados Unidos pasando mas tarde a Europa a través de Inglaterra. En Espafia, el término aparece por vez. primera de un modo generalizado con la promulgacién de la Ley General de Fducacién de 1970 (Monedero Moya, 1998). A partir de ahi, en las definiciones de evaluacién educativa pueden aprectarse las siguientes caracteristicas (Tejada, 1999): Se incluyen miltiples objetos de evaluacién, — Incorporan nuevas funciones y momentos evaluativos (evaluacion iagnostica, formativa y sumativa) — Laevaluacién es utilizada para mejorar la practica, — Se ineluyen aspectos relatives al agente evaluador (evaluacién inter- na-externa). He aqui algunas definiciones que siguen esta linca: — Cronbach (1963, p.672): «Proceso de recopilacién y utilizacion de la informacion para tomar decisiones». — Tenbrinck (1984, p. 19): «Proceso de obtener informacién y usarla para formar juicios que a su vez se utilizaran en la toma de decisio- ne, — Stufflebeam y Shinkfield (1987, p. 183): «Proceso de identificar, ob- tenery proporcionar informacion itil y descriptiva acerca del valor y cl mérito de las metas, la planificacién, la realizacién y el impacto de un abjetn determinada, can el fin de servir de guia para la toma de de- cisiones, solucionar los problemas de responsabilidad y promover la comprensiOn de los fenémenos implicados.Ev cién educativa — De Miguel (2000a, p.290): «Proceso sistemtico de biisqueda de evi- dencias para formular juicios de valor que orienten la toma de deci- siones», 4. Definiciones que subrayan la importancia de la metodologia — Berk (1981, p. 4): «Es la aplicacién del método cientifico para reco- ger la informacién fiable y valida necesaria para tomar decisiones so- bre un programa educativon. —— Ruttman (1984): «Ls la utilizacién del método cientifico con la inten- cién de tomar decisiones sobre la implementacién de un programa y medir sus resultados». — Garcia Llamas (1995, p. 46): «Proceso de identificacion, recoleccién y tratamiento de datos para obtener una informacién que justifique una determinada decision». 5. Definiciones que intentan sintetizar y aglutinar los aspectos anteriores Estas tiltimas definiciones, mas completas que las anteriores, intentan reco- ger la mayoria de los aspectos tratados en las secciones precedentes, — Pérez Juste (1986, p. 31; 1995b, p. 23): «Acto de valorar una realidad, formando parte de un proceco euyor momentox previos von lov de fi Jjacién de las caracteristicas de la realidad a valorar, y de recogida de informacion sobre las mismas, y cuyas etapas posteriores son la in- formacién y la toma de decisiones en funcién del juicio de valor emi- tidoy, — Casanova (1995a, p. 55): «Recogida de informacién rigurosa y siste- matica para obtener datos validos y fiables acerca de una situacion con objeto de formar y emitir un juicio de valor con respecto a ella, Estas valoraciones permitirdn tomar las decisiones consecuentes en orden a corregir o mejorar la situacién evaluada». — Pérez Juste (1995a, p. 82; 2000, p. 269: 2002, p. 61): «La valoracién, apartir de criterios y referencias preespecificados, de la informacion técnicamente disefiada y sistematicamente recogida y organizada, so- bre cuantos factores relevantes integran los procesos educativos para facilitarla toma de decisiones de mejora» — Jiménez Jiménez (1999b, p. 21): «Proceso ordenado continuo y siste- mitico de recogida de informacién cuantitativa y cualitativa, que res- ponde a ciertas exigencias (valida, creible, dependiente, fiable, itil.) obtenida a través de ciertas técnicas ¢ instrumentos, que tras ser cote- jada o comparada con criterios establecidos nos permite emitir juicios dc valur fundamcntadus que favilitan ta toma de decisiones que afce- lan al objeto evaluado».Bordas Alsina (1999, p.238): «Detectar c6mo es una realidad educa tiva —alumno, grupo clase. centro formativo o educativo, planifica- cién curricular, sistema educativo, etc.— sea desde una perspectiva cualitativa, cuantitativa 0 mixta, con el fin de tomar decisiones», Como se ha podido comprobar en las definiciones precedentes, la evalua- cién es un término polisémico de tal manera que a lo largo de la historia (e in- cluso actualmente) se ha definido (0 se define) de maneras tan diferentes coma mediciin de Ingros realizada mediante pruchas estandarizadas, como auditorias, como aplicacién de pruebas objetivas, como anilisis de procesos, como investigacién en la aecién, ete. (Santos Guerra, 1993). Desde un punto de vista metodolégico hemos visto que aparecen aspectos propios de la cons- truccién de instrumentos de medida, demedicion y recogida de informacién, de investigacién y de ani Ja evaluaci6n traspasa todas y cada una de esas actividades ya que constituye an universy ensi sua. s de datos, pero tal y como sefiala Mateo (20002) En términos precios, debe entenderse que evaluarcon intencién formativa no és igual a medirnia calificar, ni tan siquicra a corregir: Evoluar tampoco ¢s clasificar ni esexaminar ti aplicar tests. Paradojicamente, la evaluacién tiene cue ver con actividades decalificar, edit, corregir, lasificar, certificar, examinar, pasar tests, pero no se confunde ton ellas. Comparten un campo semidntico, pero se diferencian por los recursos que utiizan y los, Lusos y fines a los que sirven. Son actividades que desempeaian un papel funcional € ins- trumental, De estas actividadesartificiales no se aprende, Respecto a ellas, la evaluacior lastrasciende, Justo donde el empieza la evaluacién educativa. (Alvarez Méndez, 2001, pip. 11-12.) sno aleanzan, Otro aspecto relevante en la evolucién del concepto de evaluacién es la relativa a la toma de decisiones ya que ésta no pertenece formalmente a la propia evaluacidn (Pérez Juste, 1995a), Sin embargo, hioy en dia prictieanen- te todos los autores aceptan como necesario este aspecto para que Ia evalua- cién tenga una funcién pedagSgic2, es decir, tenga une funcién de mejora del objeto evaluado. Tal y como sefiala Mateo (2000a) lo que substantiva la eva- luacién (asignacién de valor). no es lo que la legitima (mejora del objeto eva- luado). De tal forma que una evaluacién deberd asignar valoraciones del abje- to evalnado (asi asegura la validez de la evaluaciém) y también dehera derivar aceiones para mejorarel objeto evaluado (asi asegura In credibilidad). En el cuadro 3.1 podemos observar cudles eran las caracteristicas de la evaluacién en sus primeras conceptualizaciones y cuiles son las que se le asignan y se le exigen en laactualidad. A partir de la revision realizada, podrfamos proponer nuestra propia defi- niciéa de evaluacién educativa, basada en las definiciones precedentes: Lacvaluscifines l proceso de identificaciin, recogida y andlisis de informacién relevante -que podri ser cuantitativa o cualitativa—, de manera sistemvética, rigurosa, planificada, a3Cuadro 3.1. Caracteristicas de las conceptualizaciones tradicional y actual de la evaluacién Caracteristicas de las Caracte as conceptualizaciones _Criterios de diferenciacin dela conceptualizacién anteriores actual Cenirada enelalumno ——_Objeto Holistica Control Funcién Perfeccionamiento, mejora yaprendizaje Puntual Momento ‘A lo largo det proceso Cuantitativa Metodologia ‘Mattiple: cuantitativa yeualitativa Informal Sistematicidad Formal y sistematica Monolitica Concepcin Pluralista Estitica Concepcién Dinimica Aséptica Utilizaciondelos valores Valorativa Aislada Relaciénconelproceso _Integrada Certificar Objetivo Instrumento de mejora Trabajo técnico Tipode responsabilidad Responsabilidad social y politica Evaluacién profesional _-Responsabilidad Evaluacidn participativa Direccién/administraciin Poder Participantes dirigida, objetiva, creible fiable y valida para emitir juicios de valor hasados en criterias y referencias preestablecidos para determinar el valor y el mérito del objeto educativo en ‘cuestién a fin de tomar deeisiones que ayuden a optimizar el meneionado objeto. Vayamos por partes: ‘Cuando se sefiala que es un proceso de identificacién, recogida y andlisis de informacién, se hace referencia a la propia metodologia de la investigacién educativa, es decir, se alude a la necesidad de utilizar los procedimientos pro- pios del método cicntifico. En este sentido, la informacién ha de ser relevante (no toda informacién susceptible de ser recogida y analizada es necesaria y pertinente; ello dependera de los objetivos y del disefio de la propia evalua- Lidn). La alusidn al ofjete educativa propone la posibitidad de poder evaluat cualquier hecho educative, Cuando sefialamos que la informacién debe ser recogida y analizada de manera sistemdtica, rigurosa, planificada y dirigida hacemos referencia ¢ que se trata de un proceso no improvisado, ni espontaneo; bien al contrario sera organizado, en donde se han temporalizado sus fases, se han previsto los recursos necesarios y se han construido o seleccionado los instrumentos. Se trata, pues, de analizar de una manera consciente, organizada y con una inten- cionalidad un aspecto de la realidad (Aguilar y Ander-Egg, 1994)ealude a una informaciét recogida y analizada de forma objeti- va (es decir, evitando subjetividades que sesguen la informacién o su posterior analisis) y que sea creible (sobre todo en el caso de informacion de tipo cuali- tativo) ademas de fiable y vélida. Hay que tener en cuenta que la calidad de la evaluacion nunca podta superar la calidad de los datos recogidos y analizados, Al seitalar especificamente que podrd ser cuantitativa o cualitauiva se hace referencia a la complementariedad de los métodos tanto para la recogi¢a como para el andlisisde los datos. «Emitir un juicio de valor» supone valorar la informacién recogida y ana- lizada explicando su mérito y/o valor (bondad). Para ello, dispondremos de eriterios establecidos de antemano que podran ser idiograficos, normativos 0 criteriales. Por tltimo, al afiadir a fin dle tomar decisiones que ayuden a optimizar el objeto evaluado, se subraya el caracter instrumental y no final de la evalua- cién, es decir, de utilidad para tomar decisiones que ayuden a promover pro- cesos de cambio y mejora del objeto evaluado, De esta manera, se cierra el cireulo que legitima la evaluacién educativa, 2. Componentes En la evaluacin educativa se pueden distinguir una serie de componentes, di mensiones o aspectos en los que el evaluador deber fijar su atencién. Los més importantes son los siguientes: 2.1. La finalidad Las funciones que se le asignan a la evaluacién son diversas. En este sentido Ketele y Roegiers (1995) hablan de diferentes funciones de la evaluacién en na distintos criterias, De esta manera emplean funciones tales como de regulacién, predictiva, descriptiva, formativa, etc., como funciones relati- vas a las personas; preventiva, prospectiva, etc., como funciones relativas un sistema; y, de desarrollo, de verificacién, etc., como funciones relativas al conocimiento. Sin embargo, aunque hacer diferenciaciones sutiles entre las distinta fanciones es posible, aqui nos vamos a centrar cn las dos funciones mis im portantes de la evaluacién educativa. Hace ya algunos afios, Seriven (1967) acuiié los términos de evaluacién formativa y evaluacién sumativa? para refe- ritse a las dos funciones que puede desempefar la evaluacién educativa La funcién formativa de la evaluacién se refiere a la utilizacién de ésia como medio para mejorar el objeto que esta siendo evaluado. Esto significa uc la cvaluavidn debe Hevarse a cabo de mancra paratela a ia actividad que se esté evaluando. Tal y como se ha visto en el punto anterior, ésta es la fun- 85n por exeeleneia de la evaluacidn educativa. Hoy en dia es practicamente inconcebible hablar de evaluaci6n educativa sin tener presente que la funcién de Ja misma es optimizar lo que se esté evaluando. Por el contrario, la funcién sumativa tiene un caricter de control, de certi- FivaviOu sobre tus iesultadus v lus productos obtcnidus, Uejauduse la accion de mejora para posteriores intervenciones. Resulta pues adecuada para valo- rar productos o procesos que han finalizado, determinandbo el valor positive 0 negativo de los mismos. Cuando Scriven planted las dos funciones de la evaluacién, consiguid ampliar conceptualmente el sentido y significado de la evaluacién ya que, previamente, nicamente la funcién sumativa de la evaluacién era tomada en consideracién. Hoy en dia, sin embargo, hay autores que plantean estos dos tipos de evaluacién como enfrentados cuando en realidad la evaluac accién tinica que dependiendo del momento o de la necesidad puede tener distintas funciones (Mateo, 2000a). Este mismo autor sefiala que lo que le confiere calidad no es el calificativo sino: nesuna — La oportunidad del momento de aplicacién, — Laadecuacién con respecto al objetivo, — Lacapacidad de utilizarlas complementariamente, Aunque la evaluaci6n formativa debe ser la dominante en toda accién eva- luativa de cardcter educativo, hay que tener en cuenta que desde un punto de vista holistica son las dos caras de la misma moneda (Casanova, |99Sa; Mateo, 2000a). Adcmas, cs un error no tomar en consideracién el valor formative que puede tener la evaluacién sumativa o la aporiacién de la evaluacién formativa en la evaluacién sumativa, Es por ello por lo que seré dificil encontrar acciones evaluativas puramente formativas o puramente sumativas. En el cuadro 3,2 apa- recen resumidas las caracteristicas de la evaluacién formativa y sumativa, Cuadro 3.2. Caracteristicas de la evaluacién formativa y sumativa. (Tomado de Casanova, 1995a, p. 66) Evaluacion Formativa Evaluacion Sumativa Esaplicablea la evaluacién de procesos. Es aplicable a la evaluacin de productos terminados ‘Se debe incorporar al mismo proceso de Se sitia puntualmente al final de un proce- funcionamiemto como un clement inte- so, cuandoésie se considera acaba. grante del mismo, Su finalidad es la mejora del proceso eva- Su finalidad es determinar el grado en que Iuado. se han aleanzado los objetives previstos y valorar positiva 0 negativamente el produc tocvaluado, ‘Permite tomar medidas de diato. 86Conicepita, componente 2 la evaluacion 2.2, Elobjeto Cualquiet componente del sistema educativo es susceptible de ser evaluado, aunque habra que contextualizar y operativizar el sistema, identificando sus aspectos més relevantes (Mateo, 2000a). Tradicionalmente los objetos evalua- tivosson el alumnado, el profesorado, los programas, el centro cducativo y el sistema educativo, En este sentido, el cuadro 3.3 pretende estructurar la reali- dad 2 evaluar en tornoa diferentes unidades de anilisis. Cuadro 3.3. Unidades de analisis de los procesos de evaluaci6n educativa. (Adaptado de Jornet, 2001, p.64) Categori Unidades evaluadas Actores de la Educae ‘Atumnado Prafinsarade Organizaciones Dentro del Sistema Tnstituciones educativas Educativo (Educacién + Centros de Infantil, Formal) Primaria y Secundaria + Universidades Fuera del Sistema Educativo (Educacion no Formal) Elementos jormales Disefios curriculares y proyectos educativos de materializacivn de fa Programas Programas Fducatives interveneién educativa 2 s Programas de Edueaeién parael trabajo Programas Socioeducativos Materiales educativos Logicamente ésta es una primera aproximacidn que deberia seguir opera- andose en funci6n de los objetivos de la evaluacién. Es decir, cuando ha- blamos de la evaluaci6n del alumnado, por ejemplo, deberemos especificar qué es lo que vamos a evaluar, {su rendimiento?, {su satisfaccion?, etc. Si cle- gimos el rendimiento todavia deberemos especificar mas: su rendimiento ge- neral, en alguna asignatura en conereto, qué tipos de contenidos interesan (conceptuales, actitudinales 0 procedimentales), etc. 2.3. La informacion La informacién es la base de Ia evaluacién y tal y como senala Pérez Juste (2000 y 2002), nunea éeta serd mejor que aquélla, Por ello, Ia recogida de la informacién debera ser técnicamente disciiada y sisteméticamente recogida y organizada,valuacion edu En este punto debemos distinguir entre las fuentes de informaciéa, la ins- trumentalizacién y el tratamiento de la informacion. Las fuentes de informacién serin las personas, documentos o eatidades {que van a proporcionar los datos necesarios para llevar a cabo la aecién eva- luativa. La instrumentalizacién se refiere a las estrategias, técnicas y/o instru mentos que serdn necesarios para recoger la informacion necesaria. Debidoa la amplitud de este tema y ala gran cantidad de instrumentos, técnicas y es- trategias, en el capitulo 7 («Procedimientos para la recogida de informacién») se ttala cu profuudidad. Por tiltimo, el tratamiento de la informacion hace referencia al andlisis de la informacion recogida que es tratado en el capitulo 8 («Procedimientos para elaniilisis de la informacion»). 2.4, Elagente El agente evaluador se refiere a la persona o personas que van a llevar a cabo Ja evaluacién. En este aspecto la confusion terminolégica es resefiable. ‘Casanova (1995Sa) cuando habla de la evaluacién del alumnado distingue tres tipos de evaluacidn en funcién del agente evaluador: heteroevaluacién, autoevaluacién y coevaluacién, La hoteroovaluacién se da cuando una persona evahia el trabajo realizado por otra persona. Es la situacién tipica que se da en todos los niveles educati- vos desde la educacion infantil hasta la universidad cuando es el profesor el que evalita a sualumnado. La autoevaluacién ocurre cuando el evaluador y el objeto evaluado son coincidentes, Cuando el propio alumno, por ejemplo, evalia el trabajo reali- zado por él mismo. Vor ultimo, la coevaluacion consiste en Ja evaluacion mutua de un trabajo realizado entre varios. Por ejemplo, el profesor y los alumnos evaltian una unidad didactica de forma conjunta. Sin embargo, al referirnos a la evaluaci6n de programas o de centros sucle utilizarse otra terminologia que a veces no es coincidente. Suelen distinguirse Ja evaluacion externa, interna, autoevaluacién y mixta, aunque no todos los autores los definen de la misma manera. La evaluacién externa se da cuando el agente o agentes evaluadores son externas al programa o centro evaluado. Enesta definicién coinciden la tota~ Jidad de los autores, aunque no sucede lo mismo con la evaluacién interna. Para la mayoria seria sindnimo de autoevaluacién y la definen diciendo que consiste en que son los propios evaluados los que realizan la evaluacién. Es decir, coincide el agente evaluador con el objeto de evaluacién. Sin embargo, algunius autres, slic tudu en ct dunbity de la evaluavién de programas s0- ciales, distinguen entre la evaluacion interna y la autoevaluacion. La autoe-on omponentes y fases de fa evaluacion valuacién la definen tal y como hemos sefialado. pero la evaluacién interna seria cuando agentes de la propia entidad, pero no directamente involuera- dos en el programa en cuestién, son los encargados de llevar a cabo la eva- luacién. Por tiltimo, la evaluaciéa mixta se refiere a una evaluacién en la que participan de forma conjunta tanto agentes internos como agentes externos, Hoy en dia, es la evaluacién que se propone por parte de una gran mayoria te Ine autores En el cuadro 3.4 se presentan las ventajas e inconvenientes de la evalua- cién interna y la evaluaciénexterns (Lukas, ef a/., 2000b, p. 44). 2.5. ELmomento El periodo o periodos en los que se llevari a cabo la accién evaluativa viene condicionado por el objeto evaluado y el propdsito de la evaluacién (Mateo, 2000a). Suelen distinguirse tres momentos: inicial, procesual y final. Cuadro3.4, Ventajas e inconvenientes de la evaluacién interna yexterna Ventajas Inconvenientes Evaluactin interna * Legitimidad conferids alproceso, + Falta de tiempo. + Mejor comunicacidn. + La falta de distancia emo- + Mayor cupacidad de dinamizar —_cional y el compromiso de la vida del centro, Jos agentes puede hacer que + Relacion més estrecha con las el proceso evaluadorse con- decisiones de mejoraque se pue- —_vierta en una autojustifica- dan adoptar. cian, + Mayor conocimiento y com- + Menor abjetividad y credi- pronsién del objeto que se eva- _bilidad. lia. + Falta de contraste externo, + Mayor conocimiento del contexto. + Menor amenaza para los que vyana ser evaluades y por lo tan- to mayor aceptacion Evaluacidn externa + Mayortiempo de dedicaciéna la + Dificultades para entrar en ‘evaluacion la vida del centro. * Mayor rigurosidad debida a la + Mayorrechuzo por parte de ‘mayor especializacion técnica, lacomunidad escolar. + Mayor credibilidad de los resul- + Sesgo informativo, tados obtenidos, Imparcialidad de las opiniones. + Establecer una referencia exter- men las valoraciones. + Mayor independenciaEvaluacion educativ La evaluacién inicial es la que se aplica antes del comienzo de una accién evaluativa, En el caso de hablar del rendimiento de los alumaos y de los pro- cesos de ensenanza-aprendizaje consistiria en detectar Ja situacion inicial de los alumnos para poder proseguir en coasecuencia con el proceso de ensefian- za-aprendizaje. Por otra parte, cuando nos referimos a evaluacién de programas, la evalua cién inicial o ex ante? (también denominada de predecisién, de factibilidad o de pertinencia) se realiza antes de tomar la decisién de poner en marcha un programa, es decir, se hace en la fase de disefio del programa (Nirenberg, Bra- werman y Ruiz, 2000), Esta evaluacién comporta tres aspectos (Aguilar y An- der-Egg, 1994, p.28): 1. Pertinencia del programa con la realidad: trata de establecer la cohe- rencia entre las soluciones que se proponen y Ia realidad que se pre- tende modificar. Cohorencia y congrucacic interns: 09. una anilisis que ationde funda mentalmente a los aspectos formales. Interesa bisicamente evaluar la organizacién/unidad del programa, Para ello hay que examinar la via~ bilidad y coherencia de las relaciones entre: b + Medios, recursos y objetivos. + Objetivos generales, objetivos especificos y metas. + Dingndetion y prapaci 3. Rentabilidad econémica de las diferentes acciones para alcanzar los objetivos propuestos. Cuando se hace referencia a los procesos de ensefianza-aprendizaje, la evaluacién procesual se concibe como la valoraci6n continua del aprendizaje del alumno y Ia ensefianza del profesor mientras se est dando ese proceso, Necesariamente es de cardcter formativo debido a que los datos que se van re- cogiendo durante el proceso sirven para tomar decisiones sobre la propia marcha. Al hablar de evaluacién de programas, este tipo de evaluacién ad- quiere distintas denominaciones tales como evaluacién durante la ejecucion del programa, de progreso o proceso, de gestién, concurrente, concomitante, intermedia, de operacidn, ete. (Aguilar y Ander-Egg, 1994; Nirenberg, Bra- werman y Ruiz, 2000). En [a evaluacidn procesual el objetivo es detectar en qué medida se va cumpliendo el programa en funcion de la propuesta inicial. La informacion que se va recogiendo de forma periddica sobre los procesos, las actividades y los productos es comparada con las metas preestablecidas de tal manera que se van obteniendo los puntos fuer‘es y débiles del programa lo que va.a con tribuir a tomar las decisiones pertinentes en aras a reforzar, reorientar, corre~ giro subsanar el propio proceso, mcrementando de esta manera las posibili- dades de éxito.Por iiltimo, la evaluacién final es aquella que se realiza al finalizar un proceso, bien de ensefianza-aprendizaje, o bienal finalizar con un programa. En este caso, se pretende establecer la congruencia entre los objetivos plan- teados y los logros alcanzados, sunque también deben tenerse en cuenta los efectos secundarios 0 los resultados no esperados. También se debera tratar de sefialar la relacidn cnire los resultados obtcnidos y la influcneia det pro~ grama en la consecucién de dichos resultados. En este tipo de evaluacion se subrayan por lo tanto las cuestiones relati- vasa la efivacia, eficiencia y efectividad del programa. Es decir, se quiere le- gar a conclusiones para decidir la continuacién o no del programa y en caso afirmativo sefialar los aspectos que pueden ser optimizadosen futuras imple- mentaciones, La evaluacién final también suele denominarse como evaluacion ex post, de fin de proyecto, a posteriori y terminal. La mayoria de los autores coincide en que este tipo de evaluacion debe realizarse inmediatamente después de fi- nalizar el programa y utilizan otto tipo de denominacién para sefialar la eva- luacidn que se realiza al cabo de un tiempo (quizds meses 0 incluso aftos) curanda el programa ha aleanzada sn pleno desarrollo. Fnestos casas se habla de evaluacién del impacto 0 evaluacién post decision 2.6. Lavaloracién La valoracién de la informacién recogida supone la emisién de un juicio de valor, pero para ello necesitamos de algiin referente con el que comparar. Este referente es conocido como criterio de evaluacion. Carrion Carranza (2001 p. 138) define criterio de evaluacién como «la expresién de algun atributo que debe tener el objeto de andlisis para ser considerado de calidad, ya sea un Programa o curriculum, un proyecto institucional o la institucion escolar misma, los subsistemas 0 las formas de relacion de la comunidad escolar». Por su parte, Husen y Postlhewaite (1985, p. 1735) definen criterio como «un aspec- to 0 dimensién de la calidad a ser evaluada, que es ponderada con un estindar arbitrario o nivel de esta calidad, como una base para evaluarla». Por lo tanto se requieren al menos tres componentes (Mayor Ruiz, 1998; Cabrera, 2000a): 1. Laseleccién de criterios. Estos criterios serin la base en la que nos apo- yaremos para decidir el éxito o no del programa, Légicamente, los crite- rios seleccionados variardn en funcion de los objetivos de la evaluacion. 2. Bl desarrollo de los indicadores. Los indicadores son realizaciones observables de los criterios, muestran pues los aspecios especificos de larealidad sobre los que habr que recoger informacién. 3. Elestablecimiento de estindares. Los estindares servirin como tér- minos de comparacién que delimitardn la consecucion o no del éxito y el grado de consecucidn en su caso. 94Evaluacion educat Sin el establecimiento de criterios y referencias o estindares de evalua- cidn, ésta no se produce. Es decir, el mero hecho de recoger informacién no ¢s suficicnte para que haya una cvaluacién. Podremos conocer, describir 0 indagar una situacién, pero no evaluarla, Para que se dé la evaluacion se de- ben emitir juicios de valor sobre el objeto evaluado. Para ello, ta informacién recogida sobre los criterios preestablecidos serd valorada teniendo en cuenta los referentes seftalados como indicadores de éxito, De todos es conocido que ésta es una tarea ardua*, sin embargo nunea debe ser obviada 2.6.1. Los criterios Autores como Le Boterf (1985), Pain (1992, 1993) y Bramley (1996) han presentado listados de criterios aplicables a situaciones de evaluacién de pro- gramas de formacién, Basados en esos listados, Cabrera (2000a, pp. 31-32) publicé su propia propuesta también aplicada al campo de la formaci6n. Esia propuesta puede ser vilida con alguna modificacién para la evaluacin edu- cativa en general. He aqui pues el listado de criterios especificos mas o menos aceptados en el campo de la evaluacién educativa: La idoneidad o suficiencia Alude a la potencialidad que tiene un programa, o mas especificamente sus conipoueutes, part onuibuis a alvauzat Io» Ubjetivun y wictas progratuadus. Deesta manera, se hace referencia por ejemplo ala idoneidad de los materia- Ies.utilizados, la suficiencia de los recursos humanos, etc. 2. Lapertinencia o propiedad Alude a la adecuacién y capacidad de un programa, o alguno de sus compo- nentes, para respander a las necesidades y demandas a para resolver la «1 cién. Dicho de otra forma, son criterios que valoran la relevancia y uti del programa para responder a las necesidades que lo originaron. 3. Lacficiencia o rendimiento Alude a larelacién entre los productos o resultados esperados de un programa y los costos, esfuerzos o insumos empleados. Se establece hasta qué punto los ‘gastos son justificables con los resultados obtenidos. idad Los dos criterios so refierena la capacidad de un programa para aleanzarlos re- sultados esperados, es decir, objetivos programados. Hay autores que no hacen distinciones entre los dos términos, sin embargo, es cada vez mis acepiada la no utilizavion de ambos coro sindnimos y establever una clara diferencia cue ellos. De esta manera, Pineault y Daveluy (1987) bablan de eficacia potencial y 4. Laeficacia y la efectc acién eficacia real o efectividad como dos conceptos diferenciados. Eficacia poten- cial serfa la capacidad de un programa para lograr los objetivos y metas plantea- dos en condiciones ideales, Por otro lado, la eficacia real o efectividad seria la comparacién de los resultados obtenidos con los resultados esperados, es decir, alude a las circunstancias reales de aplicacién del programa, 5. La coherencia 0 congruencia Alude a la coherencia de los propios elementas internos del programa que se esta evaluando (adecuacién de los objetivos, coherencia de los métodos utili- zados para alcanzar dichos objetivos, adecuacién de las actividades progra- madas para alcanzar los objetivos, etc.) y elementos externos de la organiza- cién (recursos disponibles, etc.). 6. La conformidad o legalidad En este campo los criterios se usan para determinar hasta qué punto se ha cum- plido la normativa vigente, tanto externa (normativa legal, por ejemplo) como. interna (reglamento de régimen interior o acuerdos establecidos, por ejemplo) 7. La vigencia o actualidad Los criterios relativos a esta area aluden a la actualidad cientifica o humanisti- ca, es decir, a la presencia de los conocimientos, procesos instrumentales 0 tec- nologia vigentes en los contenidos y los procesos de ensefianza-aprendizaje. 8. La oportunidad o sincronia Los criterios relatives a la oportunidad hacen referencia a la adecuacién de las acciones emprendidas a lo largo del tiempo. Es decir, el criterio de calidad hard alusién a que las acciones no se han ejecutado ni prematura, ni tardia~ mente y ademis se han llevado a cabo con el ritmo adecuado. 9. La aceptacién o satisfaceién Estos criterios hacen referencia al nivel de agrado, aceptacion y/o satisfac- cién por parte de los usuarios tanto directos (por ejemplo el alumnado) como indirectos (por ejemplo las familias) del programa o institucidn en cuestion. 10. Elimpacto Los eriterios relativos al impacto aluden a los resultados que produce el pro- grama.a largo plazo. 2.6.2. Los indicadores Mateo (2000a, p. 169) define los indicadores como «datos (cuantitativos © cualitativos) recogidos de manera sistemdtica, que informan respecto a los te- 92cursos impartidos, los procesos realizados o Jas metas conseguidas, en rela cién con los objetivos de calidad que se habia propuesto...». Lézaro sefiala las condiciones exigibles « un indicador en el cuadro 3.5. Cuadro 3.5. Condiciones exigibles a un indicador (Lazaro, 1991) Requisitos del CONSTRUCTO . El indicador recogey hace referencia a alguna propiedad del objeto (signifieatividad). . Lapropisdad referida es de tipo eseneial (relevancia). 3. Los datos recogiilos en el indicador estin en congruencia con los fines y objetivas de la evaluacién pretendida (teleologicidad) 4. Los datos recogidos por el indicadortienden a ser permanentes (caducidd). 5. Con los datos recogichs por el indicador se pueden realizar in luencias y prediceiones (utilidad), 6. El indicador ofrece datos integrables en un sistema de indicadores (coherencia), Requisitos de MEDIDA 7. Los datos que reclamael indicador son observables (observacién). 8. Los datos que reclama el indicador pueden ser observados por diferentes evaluadores simultineamente o en situaciones distintas (replicacion), 9. Los medios que se utilizan para recoger los datos que reclama el indicador son adecua- ‘00s (apticamitisaa), 10, Las fuentes que facilitan la informacion solicitada por el indicador son accesibtes (az- cesibilidad. 11. Los indicadores poseen una forms de anotar y valorarla informacion recogida (codifi- cacién). 12, Los indiendores tienen un peso especifico dentro de un sistema de indicadores (ponds racién). 13. Los datog obtenides por los indicadores parden intempretarse numérieamente (expyre— sién cuantitativa), 14, Los datos obtenidos por los indicadores pueden relacionarse numéricamente con los de otros indicadores (obtencién de indices). Requisiios FORMALES 15. Cada indicador solicita informacion de una sola cosa (universidad). 16. Lainformacién solicitada se puede recoger en una situacion definida (manifestacién Ue precision), 17. El indicador esti expresado con claridad semintica sin ambigtiedad (brevedad expre- siva), Lainformacién rectamada se recoge en un mismo tipo de manifestacién (concrecién). El emunciado seri directo y descriptivo (claridad). . Elindiesdor se relaciona causalmente con otros (dependencia). Se pusde desglosat y espeeificar en items (formalizaci6n),3. Concept 2.6.3. Los estandares Una vez establecidos los criterios, son necesarios los estindares para diseri- minar las realizaciones aceptables de las no aceptables. Los referentes, nor- mas, estndares 0 normotipos son términos utilizados por diferentes autores como sinénimos. Tradicionalmente se han sefialado tres tipos de estindares en funcién de los cuales se sucle hablar de tres tipos de evaluacién, aunque como en ocasio- nes anteriores, los distintos autores no se ponen de acuerdo con la terminolo- gia utilizada. De esta forma, Casanova (1995a)al referirse a la evaluacién de los alumnos sefiala que dependiendo de si el normotipo es interno 0 externo al sujeto evaluado podemos distinguir dos tipos de evaluacion: 1. Evaluacién nomotética, si el referente es externo al propio sujeto. Ahora bien. este normotipo externo puede ser definido de dos formas diferentes: a) Teniendo en cuenta la realizacién de la poblacién 0 grupo al que pertenece el sujeto, En este caso, Casanova (1995a) habla de eva~ Iuacién nomotética normativa. De tal manera que teniendo en cuenta este estindar, un sujeto serd evaluado positiva o negativa- mente en funcion de 1a posicion relativa que ocupa dentro de su grupo de referencia. b) Teniendo en cuenta la realizacién absoluta del sujeto, es decir, se es- tablecen de antemano cuales son los estindares que debe alcanzar el sujeto. En este caso, habla de evaluacién nomotética criterial. 2. Kvaluacién idiogréfica, si el referente es interno, es decir. se toma al propio sujeto como referencia. Sus anteriores logros son los referen- tes que se tomarin en cuenta a la hora de evaluar los logros actuales. Algunos autores la denominan evaluacién personalizada. Al generalizar esta situaciGn a cualquier objeto susceptible de ser evalua- do, nos volvemos a encontrar con los mismos tres referentes, aunque con dis- tintos nombres segiin los diferentes autores. A saber: 1. Evaluacién relativa (Cabrera, 2000a) 0 evaluacién normativa, en la que establecemos la posicién telativa del objeto evaluado en funcién desu grupo de referencia. 2, Evaluacién criterial, también denominada evaluacién absoluta (Ca brere, 2000a) o evaluaciéa basada en la autoridad (Jiménez Jiménez, 1999b), en la que el objeto evaluado se compara con los estindares de excelencia previamente establecidos.Evaluacion 3. Evaluacidn personalizada, también denominada evaluacién idiogrifica 0 idiosinerdsica (Casanova, 1995 y Pérez, luste, 2000 y 2002, respectiva- miele) o evaluacion Ue progtesy (Cabrera, 20004), cx la que fa compar racidn se establece con el propio objeto evaluado. Es decir, se compara la situacién inicial del objeto con la situaci6n actual del mismo, Ena figura 3.1 se presenta un resumen de los tipos de evaluacién segan elreferente Figura 3.1. Tipos de evaluacién segin referentes (Cabrera, 20003, p. 34) Evaluacién absolute ‘Evaluacion relativa Ev ion de progreso ‘Objetivos |- Niveles Otjetivos | Nivetes Nivel inicial]—* Nivel oe sera derjor preteadca o akan ata sitacion akanar porn gro aateor eteenca ' OFietnos | [Rawiciis] compaacin Resor esd I | Gonos lar Tomutaciony apace | ['Simiarercancersiow ene] [Mad pry programa feacén delos objets Tov grupos den eeleine sou isos Fedagicsprofsienates | | tyuadaden is conticiones | | aspera the 6 eperansleanvat de otensigndentomacion |_|+Condicons de recopga do = ttle nels de oros incon sates sonideradon coe don uments Spats 2.7. El informe Elinforme es un componente relevante de la evaluacién educativa puesto que i se quiere que las conchusiones obtenidas sean utilizadas, éstas deben ser co- municadas de forma adecuada. Su propésito es describir los resultados favo- rables y desfavorables del objeto evaluado en aras a que éste pueda ser mejo- rado. Para cllo es necesario que se establezca una buena comunicacién entre los evaluadores y los interesados en la evaluacién de manera que se asegure su impacto (Mateo, 2000). Esto exige tener en cuenta las diferentes audien- cias a las que habra que presentar los informes de evaluacion. Tal y como se- fala Santos Guerra (1990, p. 137) que «un mal informe invatida un buen pro- ceso de evaluaciom.fe la avaluacion tesy fai El objetivo de un informe proviene de la funcién que pretende cumplir. cate sentido, Rebollo Cataldn (1993) sitando a Brinkerhof", et al (1983) sefiala nueve propésitos: demostrar rentabilidad, convencer, educar, explo- rar e investigar, documentar, implicar, prestar apoyo, promover la compren- sién y promover relaciones ptiblicas. Sin embargo, y aunque la finalidad pueda ser diferente, la misma autora aprecia que «el propésito central, por exceleneia, que guia la elaboracién de un informe evaluativo es comunicar a Jas audiencias los hallazgos y conclusiones que resultan de la recogida, ani- lisis e interpretacién de los datos de la evaluacion» (Rebollo Catalan, 1993, p.173). Diversos autores han planteado a lo largo de los tltimos afios una serie de recomendaciones o prescripciones para la redaccién de informes evaluativos. A partirde estas recomendaciones y consejosse ha elaborado una guiaparala redaccién de informes de evaluacién: 1. Realizar un informe completo que incluya: a) Todos los elementos implicados en el proceso. b) Una relacion exhaustiva de todos los resultados obtenidos. 2. Contextualizar Ia informacién que se da sobre los resultados (deseri- biry explicar). 3. Facilitar la comprensién utilizando un lenguaje seneillo, claro y con- ciso y evitando cl uso de vocabulacio cientifico muy especifico. 4, Aporter recomendaciones aconsejando las posibles alternatives de decisisn y estableciendo pautas para su cleccién y estrategias de so- guimiento y posterior evaluacién de la opciin escogida. 5. Aportar una sintesis de la informacién obtenida. 6. Elaborar informes especificos para cada urra de las audicuciay inapli- cadas. 7. Responder a las necesidades e interrogantes que se plantearon al inicio. 8, Formular claramente los juicios valorativos respecto a los contenidos evaluados. 9. Redactar un informe equilibrado en los juicios, sefiakindose los as- pectos de mala calidad y las virtudes que deben mantenerse. 10. Enttegar los informes en el tiempo acordado, en e! momento adecua- do y de la forma convenida, antes de que los resultados de la evalua- cidn pierdan interés. 11, Ascgurar la independencia del evaluador en la redaccién del infor me. 12. Negociar con las audiencias implicadas antes de entregar el informe final/definitive 13. Utilizar ejemplos, anéedotas ¢ ilustraciones para exponer las ideas y conceptas.Evaluacion educativ 14, Empezar el informe en general y cada apartado con la informacién més relevante e importante que se quiere comunicar. Ahora bien, para maximizar el potencial uso de los informes de evalua- cién deberiamos responder las siguientes cuatro cuestiones (De Miguel, 2000a, p. 302): 1. {Qué clases o tipos de usos pueden tener los informes? + Siel propésito de la evaluacién es la busqueda de observaciones y explicaciones generalizables mediante la utilizacién de procedi- mientos cientificos el informe sera similar al de una investigacién * Siel propésito de la evaluacién es ofrecer informacién para mejorar los procesos de toma de decisién, nos encontramos con que cada evaluaci6n es singular y habra que adecuar el informe a las deman- das y neos mis freenentes que signienda a De Mignel (2000a) san: para tomar decisiones, identificar problemas, inducir acciones y justificar decisiones 2. ZQuiénes son los usuarios potenciales de los informes? + En la evaluacién de cualquier objeto educativo nos encontraremos con diferemes grupos de personas implicadas, Sin cinbargo, eb grado de implicacién de los distintos grupos no seri el mismo (al- gunos serdn meros receptores del programa, por ejemplo, mien- tras que otros seran los encargados de tomar decisiones, otros ten- drain incluso una implicacion indirecta, etc. Para asegurar que las recomendaciones de la evaluacion (mas todo el trabajo realizado) Heguen a todos los grupos, deberemos en primer lugar identificar las distintas audiencias y, en segundo lugar asegurarnos de que cada una de ellas recibe el informe adecuado, de esta manera in- crementaremos las posibilidades de que la evaluacién tenga con- secuenci 3. Qué papel puede jugar el informe para los usuarios? + Se deberd clarificar el uso que tendré el informe en el proceso de toma de decisiones. En la fase de negociacién de la evaluacion de- beria quedar claro cual va a ser el uso que se le va a dar al informe. De Miguel (2000a) citando a Shadish, Cook y Leviton (1991 ) sefia- la tres usos del informe en este proceso: a) Uso insirumenial, cuando los resultados obtenidos se utilizan di- rectamente para tomar decisiones. ogy fases de la evatuacion Uso conceptual, cuando las valoraciones no son utilizadas como base para decidir cambios, pero indirectamente influyen sobre cémo valoran y perciben las personas las intervenciones sociales. ) Uso persuasive, cuando son utilizadas para convencer a las au- diencias que poseen estimaciones aprioristicas sobre los progra- mas de que la evaluacién es el proceso correcto para valorar cualquier estrategia de interveneidn. 4, Cuales son los factores politicos y contextuales que pueden dificultar lautilizacin de los resultados? + Esta es una problemitica sobre todo de orden politico en donde ca- ben los dos extremos. Es decir, cuando los que encargan la evalua- cin se aduefian del informe y solo lo divulgan en la medida en que responde a sus intereses, seria un extremo. El opuesto ocurre cuan- do independientemente del nivel de las audiencias todos los infor- mes deben ser difiundidos para que todos tengan acceso al proceso de toma de decisiones. Teniendo en cuenta todo lo dicho hasta ahora, en el cuadto 3.6 se ofrece una posibilidad de indice para un informe de evaluacién estindar. Obviamen- teeste indice es general y habra que modificarlo y adecuarlo ala situacién del objeto evaluado. Es decir, en funcion de la finalidad de la evaluacién, del di: sei utilizado y del objeto evaluado, este esquema seri alterado, bien cam- biando el orden de los apartados o bien suprimiendo algunos de ellos por no tener sentido en esa situacién. 3. Fases del proceso evaluativo Laevaluacién se lleva a cabo a través de un plan previamente establecido en el que pueden identificarse una serie de fases. No se puede hablar de un tnico proceso, mas bien deberiamos sefialar que se trata de un conjunto de proce- 50s interrelacionados entre sf. Lejos queda la concepcién tradicional en la que la evaluacién se asociaba al control de las resultados esperados de los alum- 15 y se realizaba siempre al final del proceso. Hoy en dia, las distintas fases del proceso cvaluativy son de naturaleza multidimensional. En cada fasc del proceso existen diferentes alternativas entre las que el evaluador tendré que seleccionar. Es decir, podemos identificar multiples propdsitos de la evalua cién (no sélo el control como ocurria antaito), variados objetos (no sélo el rendimiento de los alumnos), instrumentos de recogida de informacién diver- 805 (no sélo los tests estandarizados), distintos momentos evaluativos (no s6io al final), etc, Esta diversidad ha complicado el proceso evaluativo en si mismo, pero como contrapartida ha convertido a la evaluacién en un instru- mento de gran potencial educativo. 99Evaluacién educativa Cuadro 3.6. indice para un informe estandar de evaluacion 1. Introduceiin LLL. Origen, motivosy finalidad de lacvaluacién. 1.2. Audiencias y utilidad de la evaluacion. 13. Contexto y limitaciones de la evaluacién, 1.4, Estructura del informe. 2. Objeto y finalidad de la evaluacién . Definicion y descripeiin del objeto de evaluacion, Criterios, parimetros y estandares, 3. Diseno del modelo evaluative 3.1. Proceso de evaluacién seguido. 3.2. Descripcién del modelo evaluativo, 3.3. Presentacién de los instrumentos, técnicas ¥ estratepias utilizadas para la recogida de informacion 3.4, Informacién recogida. 4. Resultados 4.1. Resultados obrenidos. 4.2. Interpretacién de los resultados obtenidos. 5. Conelusiones 5.1. Respuesta a las preguniasde la evaluacion. 5.2, Virtudes del objeto evaluado. 5.2, Puntos débites, 6. Recomendaciones 6.1. Consejos y sugerencias para mejorar el objeto evaluado, 7. Anexos |. asi como de las 7.1, Resumen (sintesis de los resultados y conclusiones de la evaluacié acciones aemprender para utilizar éstos) 7.2. Instramentosde recogida de informacion utilizados. 7.3. Muestras de abservaciones, 7.4. Listados de datos brutos, 75. Otros. La proliferacion de los trabajos evaluativos en las iltimas décadas ha con- tribuido a que los distintos autores propongan diferentes fases en el proceso de evaluacion. Fernandez-Ballesteros (1995), basandose en diferentes trabajos, plantea el proceso de evaluacién en seis fases. A saber: 1003. Concepto, coniponentes y fases de FASE 1: Planteamiento de la evaluacién. FASE 2: Selecci6n de las operaciones a observar. FASE 3: Seleccién del disefio de evaluacién, FASE 4: Recogida de informacién. FASE 5: Analisis de datos. FASE 6: Informe. Para cada una de las fases, I autora plantea una serie de preguntas que el evaluador deberd ir contestando, De la misma manera, Mateo sintetiza en la figura 3.2 las cuatro fases identificadas por él. Figura 3.2. Fases caracteristicas de un proceso de evaluacién (Mateo, 2000a, p. 37) Planificacion _|+—+[Establecer propésito, finalidad, funcién, juicios 4 emitir, decisiones potenciales, audiencias, objeto de evaluacién, fuentes de informacién, procedimientos, agentes y temporaltzacion Desarrollo |-—+| — Recogida, codificacién, registro, anilisis, | leteétera, es decir, tratamiento de la informacidn Contrastacién }+—+[ Analisis de resultados, formulacién de juicios (inter pretacion, chasificacién y comparacién), toma de decisiones, divulgacién de resultados, negociacién con las audiencias y seguimiento ‘Metaevaluacion |-—+| Evaluacion de la evaluacion Como se puede apreciar al comparar las propuestas de Fernindez-Balles- teros y Mateo comprobamos que las tres primeras fases de esta segunda pro- puesta abarcan las seis fases planteadas por Ferndndez-Ballesteros. Sin em- bargo, la propuesta de Mateo aftade una fase ms, la metaevaluacion. La propuesta de Nirenberg, Brawerman y Ruiz (2000) también recoge la fase de metaevaluacién Fn el planteamiento de estas autoras aparecen timica- mente tres fases, sunque en cada una de ellas distinguen una serie de subfases (pp. 48-49): 101Evatuacién educativa FASE 1: PRoGRAMACION DE A EVALUACION — Definicidn del snjeta-abjete de evaluacién — Establecimiento de la finalidad. — Identificacién de las audiencias. — Determinacién del nivel de andi Clasificacién de las dimensiones de anilisis. — Detfinicién de las variables. — Seleceidn de los indicadares: — Determinacién de las ienicas e instrumentos para la recoleccién de informacién. — Determinacién de la secuencia de actividades. — Identificacion de responsables yactores participanies. — Establecimiento de la duracién, frecuencia y periodicidad. — Estimacién de los recursos necesarios ¢humanos v materiales). — Presupuestacién FASE 2: EJECUCION DE LA EVALUACION — Recogida de informacion mediante el desarrollo de las actividades y Ia aplicacion de las técnicase instrumentos. — Sistematizacién, procesamiento y anélisis de la informacién. — Flaboracién de informes (incluyendo canclusiones y recomendacio- nes) — Devolucién a los actores y diseminacién de conclusiones. FASE 3: EVAL uaciON DE LA FVALUACION (METARVALUACION) — Aniilisis de la wtilidad de los hallazgos. — Apreciacién sobre la viabilidad del proceso evaluativo y del uso de sus resultados, — Inicio acerca de la pertinencia metodologica y ética. Anilisis de la confiabilidad de los procesos y hallazgos. Por diltimo, Cabrera (2000a) plantea también cuatro fases como en la propuesta de Mateo, pero no incluye la metaevaluacién, Para cada una de Jas fases plantea los objetivos a conseguir y las preguntas a las que hay que coniestar. La propuesta que planteamos (en los cuadros 3.7 a 3.11) esta ba- sada inicialmente en las fases sefialadas por Cabrera (2000a, pp. 40-55), aunque se ha intentado completar teniendo en cuenta las otras propuestas analizadas 102ponentes y fases de la evaluacié: Cuadro 3.7. Fase de delimitacién dela finalidad y el aleance dela evatuaciin FASE 1: Delimitar la finalidad y elalcance de nevaluacion Objetivos Aspectos a resolver o aclarar 1. Clerificar el origen y la necesidad + Necesidadde la evaluacién del eialnanion. + Uso que se hara de los resultados. + Identificacion de las audiencias. * Quignes utilizarin los resultados, + Quién debe ser informado. + [dentificacién de las personas que han en= cargado laevaluacion. 2, Valorar la viabilidad delaevaluacién. + Identifieacion de la metodologia y de las técnicas evaluativas susceptibles de ser utilizadas, + Calidad del programa en cuanto a poder ser evaluado. + Obsticulos que pueden producirse duran- tela evaluacion, + Estimacion de los recursos: necesarios (materiales y humanoa) para llevar a cabs Ia evaluacin, + Delimitacidn del presupuesto, 3. Formar el equipo de evaluacién. + Partes interesadas que estardn integradas enel equipo de evaluacién, * Credibilidad del equipo evaluador. 4, Deierminar ia finalidad yel objeto * Proposito de la evaluacion. de evaluecion. + Definicién del objeto de evalua 5. Decidir la naturaleza de la evaluacién. + Eyaluacién formativao sumativa, + Eyaluacidncualitativa, cuantitativa o mixta + Seleccion del modelode evaluacion. + Disefiode la evaluacion. So aoEvaluaci6n educativa Cuadro 3.8. Fase de planificaci6n de la evaluacién ___ FASE2:Planificaciindelaevaluaciin Objetives Aspectos a resolver oaclarar 1. Especificar los criterios de evalua- + Seleccién de las preguntas que debe responder cién y las cuestionesespecifieasalas la evaluacién. que lacvaluacin debe responder. + Seleceidn de las personas que participarin en la claboraciénde las preguntas de evaluacién, + Seleccién de los eriterios y referentes que se ‘iilizaran para responder les pregumtas de 1a evaluacién. + Decisiones poteneiales. 2. Planificar la recogida de lainforms- + Identificacidn de la informacién necesaria, cidn. + Eleceién del diseio de la evaluacion. + Eleccién de los procedimientos que se utiliza rin y la persona que los aplicara, + iqentiricacion ae tas ruentes ae inrormacion, + [dontificar los potenciales sesgos que puedan producirse durante a recogida de informacion. + Temporalizacin de las tareas evaluativas. (Cuadro 3.9, Fase de watamiento de la Informacion “Tratamiento de tainformacton FAs Objetivos Aspectos a resolver oaclarar 1, Seleccionar o en su caso elaborar + Seleccién de los instruments necesarios los instrumentos de recogida de da-_ + Elaboracién de los instrumentos necesarios. tos. * Seleccién dela muestra. + Fiabilidad y validez de los instrumentos. + Aplicacién de losinstrumentos. 2. Analizar la informacién cuantitati- + Identificacién de las formas de almacenamien- vay cualitativa. to de la informacién. * Identificar los criterios que guiardn los andli- * Identificacidn de las técnicasestadisticas + Anilisis de la informacién cualitativa 3. Interpretarla informacion. + Identificacién de les patrones con los que se comparardn los resultados, * Identificacion de los niveles que deben presen- tarlos resultados para emit un juicio positivo. + Formulacidn de juicios (interpretacién, clasifi- cacién y comparacién). 104. Cancepte, con Je la evaluacian Cuadro 3.10. Fase de elaboracién del informe y difusion de los resultados FASE 4: Elaboracin del informe y difusién de los resultados Objetivos “Aspectos a resolver oaclarar 1. Devolver y contrastar la informa- + Identificar las personas con las que se neg cion, rin las interpretaciones. + Contrastacién de las interpretaciones. 2. Blaborarel informe. + Contenido del (de los) informe(s). + Informacion a las audiencias. 3. Difundir los resultados. + Exposicién/divalgacién de los resultados + Publicacién del informe. * Toma de decisiones, + Seguimiento. Cuadro 3.11. Fase de metaevaluacién: evaluar la calidad de la evaluacién efectuada evaluacion efectuada® FASE 5: Metaevaluacion: Evaluar la calidad de Objetivos ‘Aspectos a resolver oaclarar 1. La wiilidad de la evaluacién, es de- © Mentificucién de la audienciao de los interesa- cir, evaluar si se satisfacenlasnece- dos. sidades practicas de informacion de ~ 1a confianza/eredibilidad del evaluador. las audienci * Laselecoion y aleance de la informacion + La interpretacién valorativa eidentificacién de valores. La claridad, difusion y oportunidad del infor- me. a trascendencia e impacto de la evaluacién, 2. La factibitidd o viubitidiud de te > Lospnocedin evaluacién, es decir, evaluar si le. La yiabilidad poli evaluacion realizada ha sido realist prudente, diplomitica y econdmica wus prdetivus. + La relacién coste/producto ajustada 0 eficacia de cosios. 105FASE 5: Metaevaluaci Objetivos Aspectos a resolver @ aclarar 3, Lu legitimidad o éiica dew evalua- + La obligacion fone cion,esdecir,asegurar que la evalua- . £} conflictode intereses, cion se ha realizado de forma legal, con la ética y el respeto necesarios, porel bienestardelos partiipantes * Elderecko a lainformacion publica. + Laexposicin total y franca, en la evaluaciéa. asi como de los * Los derechos del suicto. afectados porlos resultados + Las interseciones entre persons + Revela informe. + La responsabilidad fiseal y econémica, 1 de los resultados y equilibrie det 4, La precisidn 9 rigurosidad de la * La identificaciondel objeto, evaluacién. es decir. aseauraraue Ia + Ft onlicie del nantovtn cevaluacién ha proparcionado infor- ‘macidn adecuada sobre las caracte- risticas del objeto de estudio para determinar el mérito 0 cl valor del * Las mediciones valida. + Los propisitos y procedimientas descritos. + Las fuentes de informacién eonfisbles. mismo. + Las madiciones fiables. + El control sistemitieo de los datos. ~ Blanilisia de la informacién cuantitative. + El andlisis de la informacién cualitativa + Lasconclusiones fundamentales. + Elinforme objetivo + Metaevaluacién. Conviene no olvidar una serie de aspectos relacionados con estas fases evaluativas de tal manera que su forma de presentacién y secuenciacin no Meve a extraer conelusiones erréneas. Cabrera (2000a) hace hineapié en los siguientes aspectos: — Tradicionalmente, la evaluacién se ha centrado excesivamente y casi exclusivamente en la tercera fase. Ahora, se concibe como ura fuse dependiente de las dos anteriores, aungue se siga reconociendo ¢ in- sistiendo en la rigurosidad de la recogida y andlisis de la informacién, es planteadas no deben ser consideradas como una secuencia li- neal rigida c inflexible. Pucde haber fases previas que podrian ser larifi- cadas al avanzar la evaluacidn a fases posteriores. De la misma manera, aunque la metaevaluacion la hemos incluido en Ja quinta fase, se supone que ésta esta presente a lo largo de todo el proceso deevaluacion.e ta evatuacte — Concepciones tales como proceso ahierto, flexible, emergente son las que deben caracterizar a la evaluacion. Este cardcter, sin embargo, no es exchayente con el establecimiento de un plan de accidn sistematico, — En la actualidad, se intenta favorecer la participacién de las distintas personas relacionadas con Ia evaluacién en el propio proceso de eva- luacién. Légicamente esta participacién variard de una fase a otra y dependeri del modelo de evaluacion adoptado. 4. Laevaluaci6n educativa y otras disciplinas Para terminar con el capitulo dedicado a la aproximacién conceptual a la eva- luacién educativa vamos a intentar disipar las diferencias y similitudes que tiene ésta con algunas disciplinas con las que esti relacionada y con las que a veces se funde o se confunde. Estas no son otras que la medicion, el assess menty el diagndstico. 4.1. Medicién y evaluacion Estos dos conceptos tuvieron un origen comin en la historia de la educacién, y han compartido durante tiempo incluso la detinicién, puesto que a princi- pios del siglo xx eran tomados como sindnimos y no es hasta la Negadla de Tyler en los afos treinta del pasado siglo y su nueva conceptualizacién de ka evaluacién que diferencia ésta de la medicién. La definicion de medicién en el ambito de las Ciencias Sociales en gene~ ral y en el educativo en particular no plantea los problemas ya sefialados a la hora de definir la evaluacion. Existe un acuerdo més 6 menos undnime basa- doen la ya clasica definicién de Stevens (1951) de proponer que la medicién «es el acto de asignar numerales a objetos o hechos empiricos de acuerdo con, ciertas reglas». Los numerales“ pueden o no ser ntimeros y las reglas” serin ‘mas o menos rigurosas. En funcidn de esta rigurosidad la precisidn de los ni- meros variara (Pérez Juste, 1995b). De esta manera, en las siguientes definiciones podemos comprobar que el concepio de mediciin en educacidn es univoco y por lo tantono conduce a errores: Lord y Novick (1968, p. 17) definen la medida como wun procedimiento para la asignacion de mimeros (puntuaciones, medidas) a propiedades especi- ficadas de unidades experimentales, de modo que las caractericen y preser- ven las relaciones especificadas en el dominio comportamental. Por su parte Santisteban (1990, p. 19) seftala que «medir es asignar nime- rosa las caracteristicas de las nbjetas o de los individuns mediante un proce- dimiento sistemético que nos dé una representacién de las propiedades con- cernientes a esos objeios 0 a esas caracteristicas 0 rasgox,Evaluation educ: Por itltimo, Nunnally y Bernstein (1995. p. 1) apuntan que «la medicién consiste en reglas para asignar simbolos a objetos de manera que 1) represen- ten numéricamente cantidades de atributos (escala de medicion) 02) definan si los objetos caen en las mismas categorias o en diferentes con respecto aun atributo determinado (clasificacién)». En este sentido, Serrano, Téjar, Galante y Elésegui (1995, p. 130) aducen que «todavia estamos lejos de tener instrumentacion tecnoldgica para medir en educacion. EI metro 0 el litro no se ha inventado en educacién. Se mide con distintos tests y cuestionarios y se tienen los mismos inconvenientes que ‘cuando se media a palmos. Eran medidas groseras y no universales, Asi, en cada caso, se mide de una forma y con una unidad distinta». Las palabras de Batanaz describen cual es la situacién actual: La practica de la medicién en aspectos relacionados con la educacion ha dado origen aun cuerpo disciplinar que, con la denominacién de Medicién en Educacién, tendria como ob- jetivo el estuclo sistemitico de las diferentes aproximaciones cientificas sobre la medida aplicada a Ia educacisn, Conceptos tan ususles como valider, fiabitidad, andlisis de items, por citar s6lo algunos, proceden de este campo, y aunque su aplicacién rigurosa corres: onde a quienes se ocupan de elaborar los conocidos come instrumentos de medida, deben ser, asi mismo, familiares a quienes aplican los resultados de estos instrumentos a proce- s08 de evaluaciono diagnéstico. (Batanaz, 1996,p. 69.) Sin embargo, este acto de precisar «el grado en que un individuo pose un determinado atributo, no valora la calidad o el mérito de dicho medida» (Pop- ham, 1988, p. 9). Es decir, no hemos Hegado mis que a establecer una relacién comparativa entre dos variables, una de las cuales es tomada como referente y se expres el resultado en un niimero (Wolf, 1990; Ratanaz, 1996) Esie nie mero noes capaz por si mismo de ser interpretado. Y he aqui lo que diferencia la medicién de la evaluacién. Para que se dé esta tiltima es necesario que se emita un juicio de valor sobre el objeto medido. Es decir, a través de la evalua- cidn se determinard el grado en que ese objeto posee un valor (Livas, 1980). Dicho de otra forma, la medicién oftece cierto tipo de informacién cuantitati- va, mientras que la evaluacién implica valorar esa informacion con el propési- to de emitir un juicio sobre el objeto evaluado (Aguilary Ander-Egg, 1994). Ademis, mientras que la medida tiene como finalidad fa descripeién y comparacién de individuos, la evaluacién no comporta la necesidad de la comparacién, ni de la medida (Ratanaz, 1996). Fs decir, nos vamos a encon- trar con tres situaciones diferentes: a) Utilizacién de la medida sin énimo de evaluar: Hay situaciones, en cierto tipo de investigacién educativa por ejemplo, en el que la medida jucga un pape! importante, sin cmbargo, ca estos casos nv coté unida a la evaluacion.de La eveluacte b) Evaluar sin necesidad de la medida, Si la recogida y andlisis de ta in- jormacion se reduce a tecnicas y procedimientos cualitativos, se po- drd hacer evaluaci6n (emitir juicios de valor y tomar decisiones) sin necesidad de medir. ©) Utilizacién de la medicién como parte de la evaluacién. En este senti- do la medicién adquiere cardcter instrumental, es una parte de la eva- luacion que proporciona la forma de recabar informacién valiosa y métricamente bien construida, Esta tercera situacién es la que ha contribuido a que en diversas ocasio- hes, ambos términos se confundan, no obstante las diferencias entre ellos son claras: — Elresultado de la medicién es una medida, es decir, un mimero (0 nu- moral para dor més prociaoe), miontras que ol recultade de la avalua cidn es un juicio de valor. — La medicién (en esta tercera situacién) es parte de la evaluacién que es un proceso mucho mas amplio. — Siguiendo con el razonamiento anterior, la medicién se convierte en uninstrumento de la evaluacion. — La medicién tiene siempre caracter objetivo, mientras que la evalua- clon necesita de juicios de valor. — Lamedicion tiene caracter pretérito, mientras que la evaluaci6n, ade- mas de tener caricter pretérito, tiene cardcter prospectivo (toma de decisiones y mejora) 4.2. Assessment y evaluacién Como ya se apunté en el apartado dedicado a la historia de la evaluacién edu- cativa, la mayoria de los primeros avances se dieron en el mundo anglosajén. Enél fueron creandose o, mejor dicho, adoptandose una serie de vocablos para Tepresentar distintos conceptos relacionados con la evaluacion. En nuestro contexto, hemos tenido que ir traduciendo en algunos casos y adoptandoneo- logismos en otras para seguir el tren de los avances en este eampo Estas trae ducciones y adopciones han sido acertadas en muchos casos y hoy funcionan como términos usuales entre nosotros. Sin embargo, en otros, las traduccio- nes han creado problemas todavia no resueltos. Este es el caso de los términos ingleses assessment y evaluation. Ellos, como veremos mis adelante, aunque admiten que son términos sindnimos los distinguen entre si. Sin embargo, en el mundo hispano los des términos sajones han sido traducidos por el mismo ininy espaiiol. evaluacidn, Esto ha supuesto que uusutus ulilivcns inndin= tintamente el término evaluaci6n como traduccién de ambos con la confusion que ello crea en muchas ocasiones.Evaluacién educativa Enesta linea, Mateo (1986, p. 48) sefiala que «quedando claro, por tanto, que evaluation y assessment implican conceptos diferentes y que si bien lite- ralmente son sinénimos, no pueden ser utilizados en el vocabulario especiali- zado de forma intercambiable ya que implican abjetos diferentes y no son se~ manticamente idénticos», ‘Veamos primeramente como distinguen estos términos para, posterior- mente, sefalar algunas contribuciones que han intentado resolver el pro- blema. Doval (1995) sostiene que el assessment definide como valoracién, tasa- cidn, medida 0 estimacidn (o incluso comprobacién o apreciacién para Bata- naz, 1996) nacié vineulado al asesoramniento (0 counseling) ala toma de de- cisiones clinicas de asesoramiento y tutoria a conductas humanas. La mayoria de los autores selalan que el término assessment debe utiti- zarse para uplicarlo a personas (alumnos, profesores, etc.) que puede incluir el uso de pracedimientos de tests, examenes, certificacién o actividades de clasiticacton con algun enterio especiticado para postctonarle dentro de una cescala, El término assessment abarca desde el resting y meastrement hasta el diagnésticoy la evaluacién continua, Wolf(1990c) y Batanaz (1996) sefialan que el assessment forma también parte de las practicas habituales de los profesores para adaptar el proceso de ensefianza-aprendizaje a las caracteristicas coyunturales que presentan los alumnos. Choppin (1990) apunta estas caracteristicas del assessment: 1. Es.un término reservado para aplicarlo a sujetos considerados indivi- dualmente. 2. Su realizacién debe Mevarse a cabo por medio de procesos formales (tests, examenes, etc.) e informales (observacién espontinea, entrevis- tainformal, ete.). 3. Sus efectos se traducen en algin tipo de expresidn calificativa del sujeto con el fin de posicionarlo en un determinado lugar de una es- cala El mismo autor sefiala las situaciones en las que se puede utilizar el as- sessment: — Cuando se analiza el rendimiento académico de un alumno. — Cuando se describen lzs aptitudes de una persona para una determi- nada actividad laboral, — Cuando se describe la competencie de un profesional para el desem- pefio de sutarca, Léizaro (1990, p. 8) mantiene las diferencias apuntadas por los autores previamente citados. De esta manera, define assessment como los «ptocedi mientos y procesos utilizados para recoger medidas sobre Ia conducta»,mientras que sefiala que la evaluacién se da «cuando se comparan los datos ‘obtenidos respecto a otras variables relevantes, formandose en torno a ellos una opinién, un juicio adecuado, adoptandose un juicio valorativo sobre las variables medidas». Por otra parte, Doval (1995) alude a que para los anglosajones el término evaluacién se utiliza para los programas, el curriculum y las situaciones or- ganizativas y/o politicas. Es decir, cuando se aplica a entidades abstractas (Chopin, 1990; Lazaro, 1990), Ta evaluacién pues, aes una actividad mas vinculada a procedimientns de investigacién aplicados can rigor cientifieo, para la que se necesita una deter- minada pericia y orientada a la mejora de sistemas complejos» (Batanaz, 1996, p. 70). Ante esta disyuntiva, hace ya més de 15 afios, algunos autores intentaron resolver esta situacién presentando nuevas propuestas para designar ambas actividades (véase cuadro 3.12). En este sentido, Fernandez-Ballesteros (965) propuse utilizar cl enminy cvaluacion com Uaduecion Ue assess ment y valoracién como equivalente a evaluation. Lejos de que esta propues: tacristalizara, un alto después Mateo (1986) expresd su desacuerdo sefia do queen vez de aclarar, la propuesta de Ferndndez-Ballesteros complicaba atin més la situaciGn (téngase en cuenta que en su propuesta se utiliza valora- cidn para evaluation y evaluacién para assessment, dindose una traduccion fonéticamente cruzada). Mateo (1986) propone utilizar el término evalua- cién para assessment y para evaluation propone utilizar investigacion eva- Iuativa. Tampoco parece que esta propuesta haya calado. Todavia es usual en laactualidad utilizar el término evaluacién como traduccidn tanto de evalua- tion como de assessment (tal y como propuso por ejemplo Silva, 1989). Massons (1997) por su parte, sugiere la util acién de evaluacion para la tra- duccién de evaluation y anilisis o diagnéstico par la traduccién de assess- mont Ahora hien, hay algunos autores que utilizan la palabra inglesa assess ‘ment sin traduccion y evaluacién para evaluation (Lukas, ei al., 20003; Santiago, et al., 2001). Cuadro 3.12. Propuestas de traduccién de evaluation y assessment ~ Rernindez- _ Vocablo. Ballesteros. Mateo Silva Masssons Inglés (4985) (4986) (1989) (1997) Alternativa assesswevr Evaluacion — Evaluacién Evaluaciin Diagnésticn _Assesoment oanalisis Pruaron Valuucion tvenigackin Evalmeiin EvauaiGe Evaluation evaluativa iiiEvaluacién edu: 4.3. Diagnéstico y evaluacién Un debate todavia quizas no superado es el relativo a la(s) diferencias(s) y si- militud(es) entre el diagndstico educativo y la evaluacién educativa. Estos dos campos, cuyo origen es diferente, estini abocados en la actualidad a en- tenderse, a complementarsee incluso a unirse. Como ya se ha visto previamente, en sus origenes la evaluacién educativa estaba centrada en el alumno, se Hevaba a cabo al final del proceso de ense- fianza-aprendizaje y tenia una funcién sancionadora. Con el paso del tiempo esta concepcién fue evolucionando hacia posiciones en las que se admitian miltiples odjetos para ser evaluados, la evaluacién debia llevarse a cabo a lo argo del proceso y su funcién era claramente formativa. Por st parte, el diagnéstico proviene originariamente del campo de la me- dicina en la que es definida como un «onjunto designos aue sirven para fijar el cardcter de una enfermedad» (Padilla Carmona, 2002, p. 19). Posterior- mente, Rorschach utilizé a comienzos de la década de 1920 «el término psi- codiagnéstico para referirse al campo especifico de kas enfermedades menta- les» (Padilla Carmona, 2002, p. 19). Mis tarde surge el diagndstico educativo, siguiendo la tradicion médica y psicolégica, como una concepeién euyo objetivo or detectar lac diefuncio nes o anomalias que se dan entre los alumnos en el proceso escolar. El proce- so seguido esti reflejado en la figura 3 gua 3.3, Evolucion del concepto de diagndstico Biagabatiee médica: Diegaiatios paaligien le 7 Bisqueda de anomalias | —* Busqueda — Bisqueda de | fisicas 0 de salud deeniermedades enfermedades scolanes Este enfaque tradicional y ya superado del diagnéstico educativo tenia las siguientes caracteristicas (Padilla Carmona, 2002, p. 19). Es una actividad independiente y no relacionada con la interveneién eduvativa, — Es utilizada con aquellos alumnos que presentan dificultades 0 pro- blemas de aprendizaje. — No esti contextualizada en el proceso de aprendizaje en donde se pro- ducen las dificultades. — Es una actividad clinica, Desde esta perspectiva del diagnostico, las diferencias entre éste y la eva- luacién son claras (Padilla Carmona, 2002): a) Eldiagnéstico estaria muy cerca del término inglés assessment que se utiliza para indicar el eardeter descriptivo y aplicado siempre a suje- 112