Universidad Nacional Abierta Direccin de Investigaciones y Postgrado

CAPTULO 10 EL MTODO EVALUATIVO DE SCRIVEN ORIENTADO HACIA EL CONSUMIDOR

Stufflebeam, D. y Schinkfield, A. (1985). Evaluacin Sistemtica. Gua terica y prctica. Coleccin Temas de Educacin. Barcelona: Paidos. (Compilacin con fines instruccionales)

El mtodo evaluativo de Scriven

341

10

EL METODO EVALUATIVO DE SCRIVEN ORIENTADO HACIA EL CONSUMIDOR

El verdadero papel del evaluador, segn Michael Scriven, es el de un sustituto informado del consumidor. Provisto de tcnicas para obtener una informacin pertinente y exacta, y con un punto de vista profundamente razonado acerca de la tica y el bien comn, el evaluador debe ayudar a los profesionales a proporcionar productos y servicios de alta calidad y gran utilidad para los consumidores. Y lo que es an ms importante, el evaluador debe ayudar a los consumidores a identificar y valorar los bienes y servicios alternativos. Scriven ha sido muy crtico con las ideologas evaluativas que se centran en alcanzar los objetivos de los participantes en lugar de satisfacer las necesidades de los consumidores. Por ello ha propuesto ciertos conceptos y mtodos destinados a desplazar a la evaluacin desde los objetivos hasta las necesidades. La evaluacin sumativa puede servir para que los administradores decidan si el currculo completo, terminado, pulido por la utilizacin del proceso evaluativo en su primera forma (formativa), representa un avance lo suficientemente significativo sobre las alternativas disponibles, como para justificar las necesidades. La evaluacin sumativa puede servir para que los administradores decidan si el currculo completo, terminado, pulido por la utilizacin del proceso evaluativo en su primera forma (formativa), representa un avance lo suficientemente significativo sobre las alternativas disponibles, como para justificar los gastos de su adopcin por parte de un sistema escolar.

Michael Scriven es un filsofo cientfico que ha contribuido ampliamente al desarrollo de la profesin evaluativa. Ha criticado duramente tanto las clsicas como las ms recientes conceptualizaciones de la evaluacin. Desarroll su concepcin de la evaluacin sobre una postura filosfica bsica y ha desarrollado conceptos y mtodos para ayudar a articular y aplicar sus conceptos. Tambin ha sido uno de los pioneros en el esfuerzo de profesionalizar el trabajo evaluativo. Naci y creci en Victoria (Australia). Se licenci en matemticas aplicadas

342 Evaluacin sistemtica

y lgico simblica en la Universidad de Melbourne y complet su doctorado en Filosofa de la Ciencia en la Universidad de Oxford. Desempe funciones profesionales en la Universidad de Minnesota desde 1952 a 1956, en el Swarthamore College de 1956 a 1960, en la Universidad de Indiana desde 1960 a 1965, en la Universidad de California en Berkeley de 1965 a 1975 y en la Universidad de San Francisco desde 1975 a 1982. En el momento de escribir estas pginas es profesor titular en la Universidad de Western Australia, en Perth. Hemos decidido designar el mtodo del doctor Scriven como evaluacin orientada hacia el consumidor con el fin de caracterizar su mtodo filosfico bsico. Ha definido la evaluacin como la valoracin sistemtica del valor o el mrito de las cosas, y ha subrayado que los evaluadores deben ser capaces de llegar a juicios de valor justificables ms que de medir cosas o determinar si las metas han sido alcanzadas. En lugar de aceptar las metas propuestas, un evaluador, segn Scriven, debe juzgar si el hecho de alcanzar las metas puede contribuir al bienestar de los consumidores. Independientemente de las metas, el evaluador debe identificar los resultados reales y calcular su valor desde el punto de vista de las necesidades del consumidor. Para Scriven, la funcin profesional del evaluador es la de un sustituto informado del consumidor, y la piedra angular de la tica profesional en el trabajo evaluativo es funcionar como una conciencia social informada. Su mtodo evaluativo prctico, por lo general, consiste en identificar y ordenar los programas y productos opcionales disponibles para los consumidores, basndose en su coste relativo y en la consideracin de las necesidades de los consumidores. A menudo ha declarado que la revista Consumer Reports es un ejemplo de lo que debe hacer la evaluacin profesional. En esta unidad, resumimos y comentamos las contribuciones tericas, metodolgicas y profesionales del doctor Scriven. Su valoracin crtica de los mtodos alternativos tambin se define y comenta. Hablamos de su conceptualizacin formativa-sumativa y definimos sus principales conceptos de trabajo. Su ataque de 1983 a las ideologas evaluativas establecidas y algunas de sus sugerencias metodolgicas tambin son comentados aqu. Concluimos el captulo mencionado sus logros mediante la fundacin de la Evaluation Network y de Evaluation News. Ahora researemos los objetivos de la unidad. Por favor, revselos, lea el texto correspondiente, y realice el test de conocimientos y los ejercicios prcticos que aparecen al final de la unidad. Valore sus respuestas comparndolas con las correctas y, si alguna de ellas es incorrecta, revise las secciones pertinentes de la unidad. Quiz desee investigar por su cuenta realizando las Preguntas sin respuesta (o discutindolas con sus estudiantes o colegas) y consultando las fuentes de informacin acerca del trabajo del doctor Scriven que proporcionamos al final de la unidad.

El mtodo evaluativo de Scriven

343

Objetivos Esta unidad pretende ayudarle a alcanzar los siguientes objetivos: 1. Identificar y explicar la definicin de evaluacin de Scriven. 2. Identificar y valorar sus crticas sobre los conceptos evaluativos de Tyler y Cronbach. 3. Explicar su postura acerca del papel del juicio en la evaluacin. 4. Explicar la funcin de la valoracin de las necesidades en su mtodo. 5. Explicar sus diferenciaciones entre evaluacin y estimacin del logro de las metas, la meta y las funciones de la evaluacin, la evaluacin formativa y la sumativa, la evaluacin intrnseca y la decisiva, la evaluacin basada en las metas y la evaluacin sin metas, y la evaluacin y la meta-evaluacin. 6. Comentar la lista de control de los indicadores de la evaluacin identificando la base lgica que le sirve de gua, enumerando y definiendo sus etapas, y explicando cmo se relaciona la concepcin formativa- sumativa con la lista de control de los indicadores de la evaluacin. 7. Explicar sus valoraciones de las ideologas valorativas denominadas separatismo, positivismo, administracin y relativismo. 8. Definir su papel y sus principales contribuciones en la profesionalizacin de la evaluacin. Pueden alcanzarse estos objetivos con la simple lectura del material de esta unidad. Para enriquecer su comprensin de las ideas de Scriven, sin embargo, estudie sus escritos originales, especialmente los que mencionamos al final de esta unidad. Buena parte del material que publicamos aqu no est disponible en la literatura publicada y refleja la relacin laboral que el autor mantuvo con el doctor Scriven durante ms de diez aos. La definicin de evaluacin A lo largo de los aos, el doctor Scriven ha ido desarrollando su definicin de evaluacin, pero su mensaje bsico sigue siendo el mismo. En un artculo ya clsico (1967), defina la evaluacin como una actividad metodolgica que consiste simplemente en la recopilacin y combinacin de datos de trabajo mediante la definicin de unas metas que proporcionen escalas comparativas o numricas, con el fin de justificar 1) los instrumentos de recopilacin de datos, 2) las valoraciones y 3) la seleccin de las metas. Al discutir la evolucin de su definicin de evaluacin, le hemos odo decir a menudo que la evaluacin, esencialmente, es la determinacin sistemtica y objetiva del valor o

344 Evaluacin sistemtica

el mrito de algn objeto, y que las evaluaciones se realizarn mejor contratando a un evaluador independiente para que emita un juicio sobre algn objeto basndose en pruebas acumuladas procedentes de su comparacin con otros objetos distintos a la hora de satisfacer las necesidades del consumidor. Segn este punto de vista, la evaluacin es preferentemente comparativa: de ah que atienda tanto a los costes comparativos como a los beneficios, se preocupe de cmo satisfacer mejor las necesidades de los consumidores, sea en el mejor de los casos una actividad profesional que incluye procedimientos sistemticos, deba ser realizada tan objetivamente como sea posible y deba culminar en juicios y recomendaciones. Crtica de otras tendencias Teniendo en cuenta la definicin precedente, Scriven ha criticado duramente otros conceptos de evaluacin y ha utilizado su anlisis crtico para ampliar su propia postura. Ha afirmado que la tradicin tyleriana que considera que la evaluacin debe determinar si los objetivos han sido alcanzados es fundamentalmente imperfecta, porque esencialmente no tiene valor. Cree que las evaluaciones basadas en este mtodo son potencialmente intiles, puesto que las metas propuestas pueden ser inmorales, poco realistas, no representativas de las necesidades de los consumidores o demasiado limitadas como para prever efectos secundarios posiblemente cruciales. En lugar de utilizar las metas para guiar y juzgar los efectos, Scriven afirma que los evaluadores deben juzgar las metas y no dejarse limitar por ellas en su bsqueda de resultados. Si el programa est guiado por metas meritorias, segn l, los evaluadores deben juzgar las metas y no dejarse limitar por ellas en su bsqueda de resultados. Si el programa est guiado por metas meritorias, segn l, los evaluadores deben identificar todos los resultados de un programa, valorar las necesidades de los consumidores y utilizar series de valoraciones para llegar a conclusiones acerca del mrito y el valor de los programas. Scriven tambin se enfrenta al plan ofrecido por CRONBACH (1963). Cronbach critic la prctica predominante de la evaluacin de programas utilizando tests tipificados para comparar el trabajo de los grupos de control y experimentales, y aconsej el uso de un mtodo ms orientado hacia el desarrollo. Cronbach adverta en contra de la utilizacin exclusiva de las planificaciones experimentales comparativas y sugera que deban utilizarse distintas valoraciones para estudiar un programa concreto en profundidad mientras se iba desarrollando, y que los resultados deban ser utilizados como gua para el desarrollo . Scriven dice que este plan de Cronbach olvida la importante distincin entre la meta y las funciones de la evaluacin, y, de hecho, identifica la evaluacin con una sola de sus funciones, lo que Scriven denomina evaluacin formativa. Apoyndose en su crtica, SCRIVEN ampli el concepto de

El mtodo evaluativo de Scriven

345

evaluacin en otro de sus artculos clsicos, The Methology of Evaluation (1967). Evaluacin formativa y sumativa En este sentido, Scriven afirma que la principal responsabilidad de evaluador es emitir juicios bien informados. Insiste en que la meta de la evaluacin es siempre la misma: juzgar el valor. Pero, contina, las funciones de la evaluacin son enormemente variadas. Puedes formar parte de la actividad de la enseanza, del proceso de elaboracin de currculos, de algn experimento relacionado con el perfeccionamiento de la teora del aprendizaje, de una investigacin preliminar a la decisin acerca de la compra o rechazo de los materiales..., etc. Dice que el fracaso de distinguir entre la meta de la evaluacin (juzgar el valor de algo) y sus funciones (utilizaciones constructivas de los datos evaluativos) ha conducido a la adulteracin de lo que se ha dado en llamar evaluacin, para que ya no vuelva a alcanzar la meta de calcular el valor. En otras palabras, dice que, demasiado a menudo, los evaluadores, al intentar ayudar a los educadores a mejorar sus programas. Para Scriven, una valoracin objetiva del valor es la condicin sine qua on de la evaluacin. Concluye que existen dos funciones principales: la formativa, que ayuda a desarrollar programas y otros objetos; y la sumativa, que calcula el valor del objeto una vez que ha sido desarrollado y puesto en el mercado. La evaluacin formativa es una parte integrante del proceso de desarrollo. Proporciona informacin continua para ayudar a planificar y luego producir algn objeto. En la elaboracin de currculos soluciona ciertos problemas acerca de la validez del contenido, el nivel del vocabulario, la utilidad, la propiedad de los medios, la durabilidad de los materiales, la eficiencia, la eleccin del personal y otras cuestiones. En general, la evaluacin formativa se realiza para ayudar al personal a perfeccionar cualquier cosa que est operando o desarrollando. En su funcin sumativa, la evaluacin puede servir para ayudar a los administradores a decidir si todo el currculo ya finalizado, pulido mediante la utilizacin del proceso evaluativo en su primera forma (formativa), representa un avance sobre las otras alternativas disponibles lo suficientemente significativo como para justificar los gastos de su adopcin por parte de un sistema escolar. La evaluacin sumativa, por lo general, debe ser realizada por un evaluador externo para que aumente la objetividad, y los resultados deben hacerse pblicos. Este tipo de evaluacin investiga todos los efectos de los objetos y los examina comparndolos con las necesidades de los consumidores.

346 Evaluacin sistemtica

Compara los costes y efectos del objeto con los de aquellos que Scriven ha llamado competidores crticos, especialmente las alternativas ms econmicas. En caso de que la audiencia est predispuesta a juzgar slo los resultados comparndolos con las metas propuestas, la evaluacin sumativa proporciona juicios acerca de hasta qu punto las metas reflejan, de una manera vlida, las necesidades valoradas. En conjunto, la evaluacin sumativa sirve a los consumidores proporcionndoles valoraciones independientes que comparan los costes, los mritos y los valores de los distintos programas o productos. Evaluacin amateur contra evaluacin profesional En las primeras etapas de la elaboracin de un currculo, Scriven prefiere la evaluacin amateur (autoevaluacin) a la evaluacin profesional. Quienes han desarrollado un programa, cuando actan como sus propios evaluadores, pueden ser un poco sistemticos y subjetivos, pero tambin son solventes, tranquilizantes, dedicados a la consecucin del xito y tolerantes con los objetivos vagos y los procedimientos de desarrollo investigativo. Los evaluadores profesionales, si intervienen demasiado pronto, pueden ahogar los fuegos creativos de un grupo productivo, retardar el proceso de desarrollo urgiendo a la clarificacin de los objetivos o perder su punto de vista objetivo alinendolo demasiado con el esfuerzo productivo, entre otras cosas. Los evaluadores profesionales son necesarios, sin embargo, para llevar a cabo las evaluaciones formativa y sumativa durante las ltimas etapas del desarrollo. Ambos tipos de evaluacin requieren un alto nivel de habilidad tcnica y una objetividad que raramente posee el personal que interviene en el desarrollo, pues no est especialmente preparado en la teora y metodologa evaluativas. Scriven recomienda que un evaluador profesional sea incluido en el personal que interviene en el desarrollo para llevar a cabo la evaluacin formativa, y aconseja muy a menudo que los evaluadores profesionales externos sean los encargados de realizar y presentar las evaluaciones sumativas. Evaluacin intrnseca y evaluacin final Scriven tambin distingue entre evaluacin intrnseca y evaluacin final. La evaluacin intrnseca valora las cualidades de una mediacin, sin tener en cuenta los efectos sobre los clientes, juzgando ciertas caractersticas como las metas, la estructura, la metodologa, las calificaciones y las actitudes del personal, las facilidades, la credibilidad pblica y los informes previos. La evaluacin final no se preocupa de la naturaleza del programa, de los libros de texto, de la teora o de cualquier otro objeto, sino ms bien de sus efectos sobre los clientes. Estos efectos pueden incluir escalas de tests, rendimiento

El mtodo evaluativo de Scriven

347

en el trabajo o el estado de salud. Scriven reconoce la importancia de la evaluacin intrnseca, pero destaca que tambin deben determinarse y juzgarse los resultados, puesto que las relaciones causales entre las variables del proceso y las de los resultados es rara, o ninguna, la vez en que se conocen a ciencia cierta. Explica que ambos tipos pueden contribuir tanto a la evaluacin formativa como a la sumativa. Es particularmente crtico con las juntas acreditadas, a causa de su preocupacin por los criterios intrnsecos, como el nmero de libros de una biblioteca, y su fracaso al valorar el trabajo de los graduados. La evaluacin sin metas Dando un paso ms en su amplia preocupacin por la evaluacin basada en las metas, Scriven presenta una propuesta contraria bajo la denominacin de evaluacin sin metas. Segn este mtodo, el evaluador permanece a propsito ignorante de las metas fijadas para el programa e investiga todos los efectos secundarios que examinar, puesto que los datos acerca de todos los efectos, cualquiera que sea el propsito del programa, son igualmente admisibles. Si un programa se realiza como se supone que debe realizarse, la evaluacin debe confirmar esto, pero el evaluador, a la vez, podr descubrir los efectos inesperados que los evaluadores que se basan en las metas pueden olvidar a causa de su preocupacin por las metas prefijadas. En cualquier caso, Scriven dice que la evaluacin sin metas es reversible y complementaria: se puede empezar sin metas, con el fin de investigar todos los efectos, y luego cambiar el mtodo basado en las metas es reversible y complementaria: se puede empezar sin metas, con el fin de investigar todos los efectos, y luego cambiar el mtodo basado en las metas para asegurar que la evaluacin determinar si las metas han sido alcanzadas. O incluso pueden realizarse simultneamente ambos tipos de evaluacin por diferentes evaluadores. Las ventajas de la evaluacin sin metas, segn Scriven, consisten en que es menos instructiva que la evaluacin basada en metas; ms adaptable a los cambios de metas repentinos; ms solvente a la hora de encontrar efectos secundarios; menos propensa a la tendenciosidad social, perceptiva o cognitiva; ms estimulante profesionalmente; y ms equitativa a la hora de tener en cuenta una amplia gama de valores. En general, nosotros creemos que la evaluacin sin metas es una tcnica renovadora no un modelo que puede ayudar a llevar a cabo el mtodo evaluativo orientativo hacia el consumidor. Valoracin de las necesidades Una de las dificultades de utilizar la evaluacin sin metas se refiere a cmo asignar un significado valorativo a los resultados. Si los objetivos se identifican

348 Evaluacin sistemtica

sin hacer caso de lo que se est tratando de lograr, cmo se pueden separar las consecuencias deseadas de las indeseadas? La respuesta se Scriven es que deben compararse los resultados observados con las necesidades valoradas de los consumidores. Pero si una necesidad es una discrepancia entre algo real y algo ideal, y si un ideal es una meta, no estn las valoraciones de las necesidades basadas en metas, y, por lo tanto, no estn tambin las evaluaciones sin metas basadas en metas? Scriven dice que no. Para empezar, las metas no deben coincidir necesariamente con cualquier grupo de ideales como los incluidos en una democracia. En cualquier caso, afirma que la concepcin clsica de la necesidad, como discrepancia entre algo real y algo ideal, es errnea, puesto que los ideales a menudo son ilusorios. Dado que las necesidades de los consumidores son un concepto fundamental en este mtodo, sus estudiantes y l conceptualizaron ampliamente e investigaron este concepto. Para Scriven, una necesidad es cualquier cosa que sea esencial para un modo satisfactorio de existencia, cualquier cosa sin la cual este modo de existencia o nivel de trabajo no puede alcanzar un grupo satisfactorio. Los ejemplos que utiliza, por lo general, son la vitamina C y la alfabetizacin. Cuando no dispone de esto, una persona puede estar fsicamente enferma o social e intelectualmente debilitada; de ah que la persona lo necesite. Para Scriven, la valoracin de las necesidades es un proceso para descubrir hechos acerca de si no proporcionar o arrebatar ciertas cosas puede tener funestas consecuencias, todo ello basado en normas razonables sobre lo que es bueno y lo que es malo. Dados los resultados de una valoracin de necesidades, pueden juzgarse los resultados de un programa concreto como buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las necesidades identificadas. Segn nuestra experiencia, este argumento es, actualmente, ms convincente en el terreno filosfico que en el prctico. Se necesita un alto grado de desarrollo en el nivel tcnico antes de que la valoracin de las necesidades pueda producir significados factibles y apropiados para juzgar los resultados. La lista de control de indicadores de la evaluacin La lista de control de indicadores sintetiza las primeras ideas de Scriven. Refleja su concepto de que la evaluacin supone mltiples dimensiones, debe emplear mltiples perspectivas, introducir mltiples niveles de valoracin y utilizar mltiples mtodos. De ah que se haya referido a veces a la lista de control de indicadores como el multimodelo de evaluacin. Sus dieciocho puntos son los siguientes:

El mtodo evaluativo de Scriven

349

1. Descripcin. Qu hay que evaluar? El evaluado, descrito tan objetivamente como sea posible. Cules son sus componentes? Cules son sus relaciones? 2. El cliente. Quin ha encargado la evaluacin? El cliente evaluativo, que puede o no ser el iniciador de la investigacin evaluativa, puede o no ser el instigador del evaluando por ejemplo, su fabricante, o la agencia subvencionadora, o su padrino legislativo y puede o no ser su inventor por ejemplo, el planificador de un producto o programa. 3. Antecedentes y contexto de a) el evaluando y b) la evaluacin. Incluye la identificacin de los mantenedores (incluyendo los no-clientes enumerados en el punto 2, el patrocinador, los representantes de la comunidad, etc); la presunta naturaleza del evaluando; las expectativas acerca de la evaluacin; el tipo deseado de evaluacin (formativa o sumativa; esquemas organizativos; esfuerzos prioritarios, etc.). 4. Recursos (sistemas de ayudas o valoracin de los efectivos) a) disponibles para la utilizacin del evaluando, b) disponibles para la utilizacin de los evaluadores. No se trata de lo que se utiliza, por ejemplo, en las compras o el mantenimiento, sino de lo que puede utilizarse. Incluye el dinero, la habilidad, la experiencia previa, la tecnologa y las consideraciones sobre la flexibilidad. Esto es lo que define el nivel de viabilidad. 5. Funcin. Qu hace el evaluando? Distinguir entre lo que se supone que hace funcin o papel propuesta o declarada- y lo que de hecho hace (funcin real, tanto para el evaluador como para el consumidor); ambas cosas pueden incluirse en la descripcin, pero, por lo general, es mejor tratarlas aparte. Existen dimensiones, aspectos o componentes obvios de estas funciones? 6. Sistemas de distribucin. Cmo llega al mercado el evaluando? Cmo se mantiene (en servicio)? Cmo se perfecciona (se pone al da)? Cmo son sus usuarios? Cmo se lleva a cabo su realizacin, control y perfeccionamiento? Quin hace todo esto? 7. El consumidor. Quin utiliza o recibe (los efectos de) el evaluando? Distinguir las poblaciones o consumidores escogidos- mercado deseado de las poblaciones de consumidores directamente afectadas de una manera real o potencial el verdadero mercado- o consumidores o receptores (o clientes del evaluando, a menudo llamados clientela); esto debe distinguirse de la poblacin receptora total directa o indirectamente afectada, que constituyen los verdaderos consumidores. Advierte que el instigador y otras figuras de los puntos 2 y 3 tambin resultan afectados, por ejemplo, por tener un trabajo, pero eso nos les convierte en consumidores en el sentido estricto. Sin embargo, debemos considerarlos a la hora de investigar los efectos totales y podemos describirlos como parte de los afectados, impactados o implicados.

350 Evaluacin sistemtica

8. Las necesidades y valores de los afectados y potencialmente, impactados. Esto incluye tanto los deseos como las necesidades, y tambin los valores como las normas sobre el mrito y los ideales juzgados o supuestos (vase punto 9); las metas definidas del programa, cuando se lleve a cabo una evaluacin basada en metas; y las necesidades, y otras cosas, del instigador, el controlador, el inventor, etc., puesto que estn indirectamente afectados. La importancia relativa de estas consideraciones, a menudo opuestas, depende de las consideraciones ticas y funcionales. 9. Normas. Existen normas preexistentes y objetivamente valoradas, acerca del mrito o el valor, que deban aplicarse? Procede alguna de ellas del cliente y el consumidor, de la funcin y de las necesidades/valores? (Esto incluye los ideales asignados; vanse los ideales del punto 8.) Si se tienen en cuenta las metas, y si pueden ser valoradas como apropiadas (por ejemplo, por una valoracin de las necesidades), legales/ ticas y todo lo dems, debe comprobarse si han aparecido en el nmero 8 para ser aceptadas, como una norma relevante, aqu en el punto 9. 10. El proceso. Qu limitaciones /costes /beneficios se aplican a la operacin normal del evaluando (no a sus efectos o resultados del punto 11)? En particular: legales/tico- morales /polticas/administrativas/estticas / hednicas /cientficas. Un proceso administrativo tiene limitaciones especialmente significativas en lo que se refiere al grado de realizacin, esto es, hasta qu punto la operacin real cumple las estipulaciones del programa o las suposiciones del patrocinador acerca de su operacin. Un proceso cientfico debe utilizar indicadores de los resultados finales cientficamente reconocidos; tambin material cientficamente (o histricamente...) solvente de un libro de texto o curso. Puede constituir un problema tico la relativa importancia concedida a la satisfaccin de las necesidades de la poblacin escogida y las necesidades de carrera o condicin de otra gente afectada, como por ejemplo del programa. 11. Resultados. Qu efectos ha producido el evaluando (deseados o indeseados)? Resulta til una matriz de efectos: poblacin afectada X tipo de efecto (cognitivo / afectivo /psicomotor / sanitario / social / ambiental) X por la puntuacin de las Z de tiempo de reaccin (inmediata /al final del tratamiento / ms tarde) X duracin X cada componente o dimensin (si se requiere la evaluacin analtica). Para algunos propsitos, los deseados (por ejemplo, control del programa, responsabilidad legal), para otros, no debe hacerse distincin (la evaluacin del producto orientada hacia el consumidor): 12. Posibilidad de generalizacin a otras personas / lugares /tiempos / versiones. Personas significa tanto el personal como los receptores. Esto tambin puede denominarse posibilidad de distribucin, posibilidad de venta / exportacin / duracin / modificacin.

El mtodo evaluativo de Scriven

351

13. Costes. En dlares psicolgico de personal; inicial repeticiones (incluyendo preparacin, mantenimiento y perfeccionamiento); directo / indirecto- inmediato /retardado / rebajado; si conviene, por componentes. 14. Comparaciones con opciones alternativas, incluyendo las opciones reconocidas y las no reconocidas, las disponibles y las que se pueden crear. Los principales contendientes en este campo son los competidores crticos y se identifican en trminos de coste ms efectividad. Normalmente incluyen a aquellos que producen efectos similares o mejores por un precio menor, y mejores efectos por un coste extra razonable (recursos). 15. Significado. Una sntesis de todo lo anterior. La validacin del procedimiento sinttico es, a menudo, una de las tareas evaluativas ms dificultosas. Normalmente, no puede dejarse al cliente que, por lo general, est mal equipado en experiencia y objetividad; y las frmulas por ejemplo, los clculos de costebeneficio- rara vez resultan adecuadas. Lo ms til es una flexible suma ponderada. 16. Recomendaciones. Esto puede o no ser requerido, y puede o no desprenderse de la evaluacin; aunque sean requeridas, puede que no sea posible proporcionar ninguna puesto que los nicos tipos que pueden resultar apropiados no disponen de pruebas cientficas especficas en el campo de la investigacin. (Los recursos disponibles para la evaluacin resultan cruciales aqu). 17. El informe. El vocabulario, la extensin, el diseo, el medio, la localizacin y el personal para su presentacin necesitan un cuidadoso examen, igual que la proteccin /privacidad / publicidad y la investigacin previa o la circulacin de los borradores finales o preliminares. 18. la metaevaluacin. La evaluacin debe ser evaluada preferiblemente antes de a) su realizacin, b) la difusin final del informe. La evaluacin externa es deseable, pero primero del evaluador principal debe aplicar la lista de control de indicadores a la propia evaluacin. Los resultados de la metaevaluacin deben ser utilizados formativamente pero tambin pueden ser incorporados al informe o trasmitidos (resumidamente) al cliente y otras audiencias adecuadas. (Las audiencias aparecen en el metapunto 7, puesto que son el mercado y los consumidores de la evaluacin.) Estas etapas no estn concebidas para ser aplicadas en una secuencia concreta, pero deben ser planteadas antes de que se lleve a cabo la lista de control de indicadores. Igualmente, un evaluador puede recorrer la lista de control muchas veces durante la evaluacin de un programa. Los primeros recorridos constituyen la evaluacin formativa; los ltimos son lo que Scriven llama evaluacin sumativa. La base lgica de la lista de control de indicadores es que la evaluacin es esencialmente un proceso de reduccin de datos en el que se obtienen grandes

352 Evaluacin sistemtica

cantidades de datos para luego valorarlos y sintetizarlos en un juicio de valor global. Al describir este proceso de reduccin de datos, Scriven sugiere que las primeras etapas ayuden a caracterizar un programa o producto, mientras que las ltimas pueden ayudar a valorara su validez. La metaevaluacin El punto final de la lista de control de indicadores pide la evaluacin de la evaluacin. Scriven introdujo este concepto en 1968, cuando public un artculo respondiendo a las preguntas de cmo se evaluaban los instrumentos de la evaluacin. Dice que sta es una de las muchas preocupaciones de la evaluacin y destaca que los evaluadores tienen la obligacin profesional de que las evaluaciones propuestas o finalizadas estn sujetas a una evaluacin competente. Su base racional es que la evaluacin es un tema particularmente autorreferente puesto que se aplica a todos los esfuerzos humanos serios y, en consecuencia, a la propia evaluacin. Advierte que la metaevaluacin puede ser formativa, si ayuda al evaluador a planificar y realizar una evaluacin solvente, o sumativa, si proporciona al cliente pruebas independientes acerca de la competencia tcnica del evaluador principal y de la solvencia de sus informes. Las sugerencias metodolgicas de Scriven para la realizacin de metaevaluaciones incluyen la utilizacin de su lista de control de indicadores de la evaluacin, para valorar una evaluacin como producto, de otras listas de control o de otras normas evaluativas profesionales. Ideologas evaluativas Como se ha visto en el material precedente, Scriven es uno de los crticos ms reflexivos y expresivos de los conceptos evaluativos predominantes. En coherencia con esta postura crtica, ha destacado que la evaluacin es un tema particularmente autorreferente, lo cual est de acuerdo con su recomendacin de la metaevaluacin. En un texto reciente, clasifica los conceptos evaluativos establecidos en cuatro grupos y critica cada uno de ellos extensamente, con la esperanza de convencer a los evaluadores de que reconozcan y renuncien a ciertas tendencias que, segn l, han debilitado el trabajo evaluativo. Luego utiliza su anlisis de las virtudes y defectos de cada mtodo para perfeccionar la base lgica de su lista de control. Describe este modelo como algo que abarca las mejores caractersticas de las dems proposiciones serias acerca de cmo hacer una evaluacin, evitando al mismo tiempo las imperfecciones que l identifica en las otras propuestas. Creemos que esto puede ayudarle a conocer ms a fondo la filosofa evaluativa de Scriven, en general, y la lista de control de indicadores de la evaluacin en particular, si examina con cuidado

El mtodo evaluativo de Scriven

353

su anlisis de las ideologas alternativas. Por lo tanto, vamos a intentar definir sus aspectos ms sobresalientes con relacin a las cuatro ideologas. Estas ideologas son la separatista, la positivista, la administrativa y la relativista.

La ideologa separatista Scriven contempla la ideologa separatista como enraizada en la negacin o el rechazo de la proposicin que asegura que la evaluacin es una actividad autorreferente. Esta ideologa est perfectamente reflejada en las propuestas evaluativas que requieren la participacin de evaluadores totalmente independientes de lo que se est evaluando. El establecimiento y mantenimiento de esta independencia del evaluador respecto al evaluando es, a menudo, esencial para asegurar que los informes evaluativos no van a ser tendenciosos. Adems, los evaluadores que practican esta ideologa, segn Scriven, no reconocen casi nunca la necesidad de evaluar su propio trabajo. Muy posiblemente, muchos de ellos, en cualquier caso, contemplan esta metaevaluacin como un asunto ajeno, puesto que los evaluadores, segn su concepcin separatista, no pueden ser objetivos al evaluar su propio trabajo. De ah que Scriven exponga la paradoja de que un evaluador puede tener derecho a evaluar el trabajo de otros, pero no interesarse por evaluar sus propios servicios, e incluso resistirse a ello. En esta especie de parasitismo profesional, Scriven ve una imperfeccin humana bsica: la valorfobia, un intenssimo miedo a ser evaluado. Se manifiesta cuando los evaluadores, que estn en estrecho contacto con las personas cuyo trabajo estn evaluando, se convierten en cooperantes, pierden su perspectiva crtica y elogian lo que quiz deberan criticar si se mantuvieran a mayor distancia del evaluando. La valorfobia puede tambin presentarse cuando los evaluadores se resisten, o por lo menos evitan, evaluar sus evaluaciones. Y tambin cuando los evaluadores, al valorar los programas, tienen cuidado de no evaluar al personal del programa. En oposicin a esta postura separatista, Scriven afirma que los profesionales, incluyendo a los evaluadores profesionales, necesitan reconocer y tratar honradamente con la naturaleza autorreferente de la evaluacin. La marca de fbrica de un profesional es someter su propio trabajo a evaluacin. El hecho de que todas las evaluaciones sean propensas a la tendenciosidad no debe desalentar a nadie en la evaluacin de su propio trabajo o de encargar a otro que haga el trabajo. En cambio, se debe responder realizando la evaluacin lo menos tendenciosamente posible y sometindola a un examen, mediante su comparacin con normas reconocidas para una evaluacin solvente. En las llamadas evaluaciones de un programa se debe examinar de un modo realista tanto el personal como otros aspectos del programa, puesto que, invariablemente, el xito y el fracaso son inseparables del trabajo del personal y porque

354 Evaluacin sistemtica

habr pocas posibilidades de perfeccionamiento a travs de la evaluacin si no se proporciona una gua para el perfeccionamiento del personal. La ideologa positivista Scriven contempla una segunda ideologa, la el positivismo lgico, como otra reaccin exagerada ante la valorfobia. En sus intentos de alejar la tendenciosidad de los trabajos cientficos, Scriven piensa que los positivistas reaccionan exageradamente hasta el punto de intentar convertir la ciencia del siglo XX, en general, y la evaluacin, en particular, en algo sin valores. Mientras los separatistas rechazan la naturaleza evaluativa de la ciencia. Scriven aporta una serie de casos contradictorios. Por ejemplo, los psicolgicos educativos que aseguran que no pueden hacerse juicios evaluativos con objetividad, producen, sin embargo, juicios evaluativos acerca del trabajo de los estudiantes. Desde luego, la respuesta de Scriven a las imperfecciones del positivismo consiste en conceder una importancia central a la prctica de asignar significados de valor a los resultados obtenidos en los estudios evaluativos. La ideologa administrativa Para Michael Scriven, la evaluacin bien administrada va mucho ms all de la que simplemente se gua por un administrador competente. Puede, en cambio, esta ltima, suponer una verdadera indulgencia hacia la valorfobia tanto por parte de los administradores del programa como de los evaluadores. Los administradores del programa pueden imponer controles rgidos sobre la evaluacin que han encargado para que as no hayan sorpresas. Pueden desear que slo se evale su programa y no el personal que participa en l ni, especialmente, el administrador. Y pueden insistir en que la evaluacin se limite a determinar si han sido alcanzadas las metas fijadas para el programa y a juzgar su trabajo basndose en los deseos de otro acerca del programa. Para el punto de vista del administrador, esta ideologa administrativa incluye claramente una tendencia a producir informes favorables. Segn Scriven, muchos evaluadores estn dispuestos a cumplir los deseos del administrador acerca de unos informes favorables y predecibles a causa de una serie paralela de razones autosatisfactorias. Necesitan futuros contratos o conservar su posicin evaluativa en la institucin, y proporcionar un informe favorable, o al menos uno que no ponga nervioso al cliente o al patrocinador, es lo mejor que pueden hacer para obtener ms trabajo. A menudo estn incluso dispuestos a evitar cualquier inters por la evaluacin del personal porque esto ayuda

El mtodo evaluativo de Scriven

355

a hacer que la evaluacin sea ms independiente de las distintas y, a menudo, opuestas posturas de valor que puedan mantener las diferentes personas implicadas en el programa. Y la peticin del administrador de limitar la valoracin a lo que se ha fijado es especialmente simptica, puesto que entonces los evaluadores no slo evitarn valorar la aplicacin de un programa y especialmente la actuacin de los miembros del personal, sino tambin tratar con valores, ya que presumen que estn incluidos en las metas del programa fijadas por el administrador. En la ideologa administrativa podemos, entonces, ver la posibilidad de una confluencia de las ideologas separatistas, positivistas y administrativas, todo ello con efectos negativos. Evitando la evaluacin del administrador y del personal (lo cual coincide con la ideologa separatista), considerando la evaluacin como un servicio tcnico desprovisto de determinaciones de valor (mtodo positivista) y ayudando a los administradores a conseguir el buen informe que necesitan sobre el logro de sus metas (ideologa administrativa), el evaluador convierte, efectivamente, la evaluacin en un perjuicio y no en una contribucin a la sociedad. Con lo esbozado hasta ahora, el estudio, segn Stake, excluye muchos de los aspectos vitales de una evaluacin solvente. Puede desalentar, ms que ayudar, a los clientes, a la hora de examinar crticamente sus metas y servicios. Concentrndose en las metas prefijadas, no puede asegurar que el servicio tenga valor para satisfacer las necesidades de los consumidores. Puede tambin ser miope y no tener en cuenta si el servicio, el programa o el producto son la mejor compra, cuando podra servir para que los clientes identificaran y compararan mejor las alternativas. Y puede tambin evitar problemas relativos a la tica y a la prudente utilizacin de los escasos recursos. Para Scriven, un amplio xito de la ideologa administrativa y sus relaciones con otras malas prcticas evaluativas supondra un engao para la sociedad y para la profesin evaluativa. Utiliza su anlisis crtico de esta postura como plataforma para recomendar una serie de reformas, incluidas en su lista de control de indicadores. Son las siguientes: 1. Realizar las valoraciones de las necesidades como base para juzgar si un programa ha producido resultados beneficiosos. 2. Evaluar sin metas para no preocuparse de las metas prefijadas y de ese modo perder resultados importantes pero inesperados, buenos o malos. 3. Comparar lo que se est evaluando con otras alternativas viables. 4. Examinar los servicios segn su coste y efectividad 5. combinar la evaluacin del personal con la del programa.

356 Evaluacin sistemtica

La ideologa relativista Otra ideologa que Scriven considera imperfecta y de influencia nociva para el trabajo evaluativo es la ideologa relativista. Scriven la contempla como una reaccin exagerada a los problemas relacionados con la ideologa positivista. Mientras los positivistas, a menudo, han empleado la concepcin de que existe una realidad objetiva que puede conocer cualquiera que pueda y quiera utilizar procedimientos valorativos no tendenciosos, los relativistas afirman que esto es totalmente simplista y slo puede conducir a valoraciones limitadas que den una importancia exclusiva e inmerecida al punto de vista de algn grupo poderoso, con la errnea concepcin de que su punto de vista y sus valoraciones son objetivos. En respuesta a los riesgos del positivismo, los relativistas afirman que todo es relativo, que no hay una verdad objetiva. Por lo tanto, abogan por perspectivas mltiples, criterios mltiples, valoraciones mltiples y respuestas mltiples. Scriven considera que buena parte de este movimiento evaluativo es una respuesta exagerada que a veces niega la posibilidad de las determinaciones objetivas del valor o incluso de descripciones objetivamente correctas de los programas. Aunque tambin rechaza la existencia de una sola descripcin correcta, nos aconseja que no abandonemos la idea de que existe una realidad objetiva. Aunque puede haber una compleja realidad ms all de nuestra capacidad presente de comprender y describir a fondo, slo nos engaaremos a nosotros mismos si creemos que no existe. Aconseja, en cambio, que relativicemos nuestras descripciones para las distintas audiencias. Pero nos advierte que no aceptemos todas las descripciones opuestas como concretas, como, segn creemos, son propensos a hacer algunos de los relativistas ms obtusos. En lugar de eso, estamos obligados, como evaluadores, a buscar lo mejor, lo perfecto, lo ideal. La profesionalizacin de la evaluacin En coherencia con su preocupacin por evaluar las ideas y trabajos de sus colegas evaluadores, Scriven ha hecho un gran esfuerzo por profesionalizar la evaluacin. Fue uno de los primeros que recomend el desarrollo y utilizacin de las Standards for Evaluations of Educational Programs (Joint Comit, 1981). Ayud a establecer y desarrollar el Evaluation Network, una organizacin profesional para evaluadores de programas educativos, sanitarios, gubernamentales y sociales. Y convirti la hoja informativa de esta organizacin es una muy respetable publicacin, Evaluation News. Este ha sido un breve resumen de algunas de las contribuciones de Michael Scriven a la evaluacin. Estas contribuciones se extienden a lo largo de dos

El mtodo evaluativo de Scriven

357

dcadas y han influido sustancialmente en la prctica evaluativa. Los estudiantes que se tomen en serio la evaluacin deben estudiar sus escritos originales y estar al corriente de sus futuras contribuciones. Test de conocimiento sobre la unidad 10 Ahora proporcionamos diecisis preguntas con muchas posibles respuestas y cinco afirmaciones para cotejar. Cada una de ellas va seguida de una explicacin de las respuestas alternativas correctas e incorrectas. Estas preguntas y explicaciones estn concebidas para ayudarle a determinar si ha alcanzado los objetivos de conocimiento de esta unidad. En cada pregunta, seleccione la respuesta que considere la mejor. Cuando haya seleccionado una respuesta, evale su eleccin comparndola con las indicaciones y el material interpretativo que siguen a cada pregunta. Cuando haya contestado a todas las preguntas, debern calificar e interpretar (y, si es necesario, perfeccionar) su trabajo. Luego deber enfrentarse a unos cuantos ejercicios prcticos. La seccin final de esta unidad propone Preguntas sin respuesta y recomienda lecturas complementarias. PREGUNTA 1. Segn Scriven, la evaluacin es a) el proceso de determinar hasta qu punto han sido alcanzadas las metas; b) el proceso de delinear, obtener y proporcionar informacin til para el cliente a la hora de juzgar opciones de decisin; c) el proceso de determinar las discrepancias entre la realizacin del trabajo y las normas establecidas; d) el clculo del valor. Respuesta correcta. Debe usted haber seleccionado la d. Segn Scriven, la evaluacin es el clculo del valor. Es coherente con la definicin formal de evaluacin que l mismo presenta en The Methologogy of Evaluation. (La evaluacin es... una actividad metodolgica que... consiste simplemente en la recopilacin y combinacin de datos de trabajo con una serie de metas que dan como resultado escalas comparativas o numricas, y en la justificacin de a) los instrumentos de recopilacin de datos; b) las valoraciones; y c) la seleccin de las metas.)

358 Evaluacin sistemtica

Respuestas incorrectas a) Es incorrecta porque Scriven cree que la evaluacin guiada por una determinada serie de metas puede olvidarse de efectos importantes, y cree que las metas tambin deben ser evaluadas. b) Es incorrecta porque destaca que el evaluador debe proporcionar informacin para la toma de decisiones pero no tomar la decisin, mientras que Scriven cree que el evaluador debe juzgar las opciones del programa y as tomar decisiones acerca del programa que se est evaluando. c) Es incorrecta porque es una variante de a. Scriven no puede aceptar como suficiente una definicin de evaluacin que determina slo las discrepancias entre las normas dadas y la realizacin del trabajo. Insiste en que las normas deben ser valoradas y no deben ser la nica base para la valoracin del trabajo. PREGUNTA 2. A lo largo de los aos, Michael Scriven y Lee Cronbach han mantenido opiniones encontradas acerca de los evaluadores. Cul de las siguientes afirmaciones representa mejor su desacuerdo esencial? a) Cronbach recomienda a los evaluadores que utilicen mltiples valoraciones en cada estudio, mientras que Scriven advierte que una prctica de este tipo es intil y recomienda, en cambio, la utilizacin de una simple valoracin sumativa. b) Cronbach destaca que la principal obligacin de los evaluadores es plantear cuestiones fundamentales relativas a la decisin acerca de si un programa o producto es la mejor compra para los consumidores, mientras que Scriven insiste en que la funcin ms importante del evaluador es ser el artesano de quien ha desarrollado el programa. c) Scriven afirma que la preferencia de Cronbach por la evaluacin formativa como opuesta a la evaluacin sumativa es fundamentalmente errnea. d) Cronbach insiste en la necesidad de las evaluaciones comparativas, mientras que Scriven afirma que esta prctica puede conducir a resultados superficiales y no proporciona el nivel necesario de informacin que puede obtenerse del estudio profundo de un caso de un solo programa. Respuesta correcta. Debe usted haber seleccionado la opcin c. Cronbach recomienda la evaluacin formativa por encima de la evaluacin sumativa, y Scriven dice que esta recomendacin oscurece el hecho de que, esencial y fundamentalmente, cada evaluacin debe producir una valoracin sumativa del valor y el mrito de un objeto.

El mtodo evaluativo de Scriven

359

Respuestas incorrectas a) Es incorrecta porque ambos autores aconsejan a los evaluadores la utilizacin de mltiples valoraciones. b) Es incorrecta porque lo opuesto est ms cerca de la verdad. d) Es incorrecta porque lo opuesto est ms cerca de la verdad. PREGUNTA 3. Con cul de las siguientes afirmaciones estara ms de acuerdo Scriven? a) Los evaluadores deben decidir si juzgar o no juzgar las prcticas evaluativas de acuerdo con la funcin que debe desempear un estudio evaluativo. b) Los evaluadores deben obviar la necesidad de un juicio subjetivo mediante el empleo de planificaciones con un alto grado de validez interna y externa y con reglas relativas a la decisin. c) Los evaluadores deben juzgar el valor de las prcticas educativas que evalan. d) Los evaluadores deben describir totalmente las prcticas educativas, pero deben evitar emitir juicios sobre esas prcticas. Repuesta correcta. Debe usted haber seleccionado la c. Scriven afirma que los evaluadores deben formular y presentar juicios acerca de cualquier cosa que evalen. Respuestas incorrectas a) Es incorrecta porque Scriven ha afirmado que los evaluadores deben emitir juicios tanto en la evaluacin formativa como en la sumativa. b) Es incorrecta porque Scriven ha advertido que el evaluador, por lo general, debe operar en situaciones ambiguas e incontroladas. Dice que los evaluadores deben esperar y no alejarse de estos trabajos. De ah que los evaluadores no puedan depender de reglas sobre las decisiones o de informacin terminal. Por lo tanto, deben generalmente llevar a cabo la ms profesional de las funciones evaluativas: formular juicios y hacerlos pblicos en presencia de una informacin inadecuada e insuficiente. Scriven ha ofrecido el consuelo de que incluso aunque los juicios de los evaluadores sean a veces errneos, sern a menudo ms acertados que los de cualquier otro grupo. d) Es incorrecta porque Scriven ha advertido que los evaluadores que fracasan al emitir juicios fracasan tambin a la hora de cumplir todas sus responsabilidades como evaluadores.

360 Evaluacin sistemtica

PREGUNTA 4. Cul de las siguientes afirmaciones no es coherente con la postura de Scriven relativa a la funcin de la valoracin de las necesidades en la evaluacin? a) Las metas proporcionan la mejor base para juzgar los resultados slo si los resultados han sido desarrollados como respuestas a las necesidades valoradas. b) No es necesario considerar las necesidades de los consumidores como una base para la valoracin de productos y servicios, puesto que, fundamentalmente, el juicio profesional del evaluador es el determinante del valor o el mrito de un objeto. c) Debidamente concebidas, las valoraciones de las necesidades determinan los huecos existentes entre los ideales y las realidades en la sociedad, y consecuentemente son indistinguibles de cualquier otro estudio evaluativo verdadero. d) Las valoraciones de las necesidades deben determinar qu cosas, si no se proporcionan o se olvidan, pueden demostrar ser perjudiciales, y proporcionar as un criterio para determinar si una contribucin concreta es vlida. Respuesta correcta. Debe usted haber seleccionado la opcin d. Scriven, que recomienda una amplia bsqueda de resultados en una evaluacin, afirma que los resultados identificados deben ser juzgados buenos o malos, dependiendo de hasta qu punto contribuyan, no a alcanzar las metas prefijadas o a rellenar los huecos entre las realidades y los ideales (que l a menudo considera prometer la luna), sino a eliminar o prevenir fuerzas que, de otro modo, pondrn al cliente en una situacin insatisfactoria. Respuestas incorrectas a) Es incorrecta porque Scriven dice que las metas pueden ser demasiado limitadas y reflejar slo la seleccin de ciertas necesidades de quien ha desarrollado el programa y pueden tambin haber perdido actualidad, puesto que al final de un proyecto las necesidades que formaban la base para elegir las metas del proyecto pueden haber cambiado sustancialmente. b) Es incorrecta porque aunque Scriven contempla al evaluador como el responsable de emitir los juicios y hacer recomendaciones, tambin destaca que estos juicios y recomendaciones deben derivarse de la comparacin de los resultados con las necesidades valoradas. c) Es incorrecta porque Scriven afirma explcitamente que no es conveniente una concepcin de las necesidades referida a los ideales, puesto que a menudo son tan poco realistas que no pueden ayudar a desarrollar recomendaciones prcticas.

El mtodo evaluativo de Scriven

361

PREGUNTA 5. Cul de las siguientes afirmaciones ejemplifica mejor la diferenciacin de Scriven entre la funcin y la meta de la evaluacin? a) La meta de la evaluacin puede variar enormemente, puesto que cualquier estudio puede plantear una amplia gama de cuestiones; la funcin de la evaluacin es siempre, sin embargo, la misma: facilitar la toma de decisiones. Insistiendo en el papel constructivo que puede desempear la evaluacin en las actividades (roles) pacificadoras desatendemos el hecho de que su meta siempre incluye la estimacin del valor. Las metas de cualquier evaluacin deben ser moderadas segn la relativa sensibilidad de las funciones que debe desempear el estudio. La meta de cualquier estudio evaluativo es sumativa, mientras que su funcin es, por lo general, formativa.

b)

c) d)

Respuesta correcta. Debe usted haber seleccionado la respuesta b. Aunque la evaluacin puede desempear muchas funciones (tanto constructivas como destructivas), su meta es siempre la misma: juzgar el valor. Este es el principal argumento de Scriven, y le permite insistir en que los evaluadores hacen juicios. Respuestas incorrectas a) Es errnea porque Scriven slo ve una meta para la evaluacin (el juicio del valor), pero muchas funciones (relaciones pblicas, informes, directrices para el desarrollo, consejos para contratar un servicio, etc.). c) Es lo opuesto a la postura de Scriven. El cree que los evaluadores eluden su responsabilidad cuando no formulan y presentan juicios acerca de los programas que evalan. d) Es errnea porque las evaluaciones formativa y sumativa son funciones que debe desempear la evaluacin. PREGUNTA 6. Cul de las siguientes informaciones ejemplifica mejor la utilizacin de la evaluacin formativa? a) Formular juicios acerca del valor global de un nuevo libro de texto b) Asignar credibilidad o negrsela a los resultados de un proyecto ya terminado. c) Valorar la realizacin de un plan de trabajo. d) Determinar los efectos finales de una inversin previa.

362 Evaluacin sistemtica

Respuesta correcta. Debe usted haber seleccionado la opcin c. La evaluacin formativa ayuda al personal del programa a llevar a cabo los esfuerzos del desarrollo. Respuestas incorrectas a) Es incorrecta porque el libro de texto ya ha sido publicado y la evaluacin formativa debe llevarse a cabo durante su desarrollo. b) Es incorrecta por una razn similar. d) Es incorrecta porque el proceso de inversin ha sido ya completado. PREGUNTA 7. La evaluacin sumativa se describe mejor como a) la valoracin de las primeras formas de un nuevo producto; b) la valoracin de un producto cuando ya est en el mercado; c) el perfeccionamiento de un producto mientras an es moldeable; d) el relleno de los huecos entre la evaluacin intrnseca y la evaluacin final. Respuesta correcta. La mejor respuesta es la b. La evaluacin sumativa supone juzgar un esfuerzo de desarrollo despus de que el trabajo de desarrollo ya ha finalizado. Respuestas incorrectas a) Es incorrecta porque se trata de un ejemplo de evaluacin formativa. c) Es incorrecta por la misma razn. d) Es incorrecta porque se refiere ms a un problema evaluativo funcional que metodolgico. El problema de conectar la evaluacin intrnseca y la evaluacin final reside en cmo relacionar causalmente las variables dependientes e independientes, y no en si la evaluacin ayuda al desarrollo o juzga los productos terminados. PRREGUNTA 8. La evaluacin intrnseca puede brevemente ser definida como una valoracin de a) El cambio en las actitudes de los estudiantes; b) La planificacin de un programa de enseanza; c) El grado y la intensidad de la motivacin del estudiante; d) Los efectos de los instrumentos didcticos en los conocimientos de los estudiantes.

El mtodo evaluativo de Scriven

363

Respuesta correcta. Debe usted haber seleccionado la b. Es la correcta porque la evaluacin intrnseca es la evaluacin de las cualidades inherentes al tratamiento y no de los resultados conseguidos por medio de la administracin de este tratamiento. Respuestas incorrectas a) Es incorrecta porque el cambio en la actitud del estudiante es un efecto producido por un programa, y no una cualidad, como la orientacin investigativa, del programa que produce el cambio. c) Es incorrecta por una razn similar. El grado e intensidad de la motivacin del estudiante es un efecto, no una caracterstica, de un programa de enseanza. d) Es incorrecta porque pone el nfasis en los efectos sobre los estudiantes. PREGUNTA 9. Segn Scriven, el mtodo evaluativo finalista puro se caracteriza por su preocupacin por a) los resultados del currculo pero no sus metas; b) las metas del currculo pero no sus resultados; c) tanto las metas como los resultados del currculo; d) ni las metas ni los resultados del currculo. Respuesta correcta. Debe usted haber seleccionado la a. Aunque determina si las metas han sido alcanzadas, su principal limitacin, segn Scriven, es que no juzga si han sido bien alcanzadas. Respuestas incorrectas b) Es errnea en ambos aspectos. La evaluacin final no valora las metas, pero s los resultados. c) Es errnea porque la evaluacin final no valora las metas. d) Es errnea porque la evaluacin final s valora los resultados.
PREGUNTA 10. Cul de las siguientes afirmaciones distingue ms correctamente entre la evaluacin sin metas y la evaluacin basada en las metas?

a) La evaluacin sin metas es una evaluacin intrnseca, mientras que la evaluacin basada en las metas en los mismo que la evaluacin final. b) La evaluacin sin metas es subjetiva, mientras que la evaluacin basada en las metas en una evaluacin basada en datos.

364 Evaluacin sistemtica

c) La evaluacin sin metas valora todos los efectos independientes de las metas prefijadas, mientras que la evaluacin basada en las metas investiga efectos pertenecientes a las metas prefijadas. d) La evaluacin sin metas valora los resultados, los efectos secundarios, los costes, la viabilidad y otros atributos de un instrumento didctico, independientemente de sus metas, mientras que la evaluacin basada en las metas valora la moralidad, la claridad y la importancia de las metas. Respuesta correcta. Debe usted haber seleccionado la c. Segn Scriven, la retrica de las metas no debe dictar y limitar la bsqueda de resultados. Respuestas incorrectas a) Es incorrecta porque la evaluacin intrnseca y la evaluacin final diferencian entre las variables relativas a las cualidades de un tratamiento y sus efectos; el conocimiento de los conceptos de ambas evaluaciones no ayuda a distinguir entre evaluacin sin metas y evaluacin basada en las metas. b) Es incorrecta porque tanto la evaluacin sin metas como la evaluacin basada en las metas estn basadas en datos y suponen el desarrollo de conclusiones subjetivas. d) Es incorrecta porque tanto la evaluacin sin metas como la evaluacin basada en las metas valoran los resultados.
PREGUNTA 11. Cul de las siguientes afirmaciones no es una parte de la base lgica de Scriven para la utilizacin de la evaluacin sin metas?

a) La evaluacin basada en las metas es incapaz de producir resultados evaluativos slidos y tiles, y debe ser reemplazada por una estrategia evaluativa ms efectiva. b) Los evaluadores sin metas pueden descubrir resultados significativos que, por lo general, no descubren los evaluadores que se basan en las metas. c) Con tal de que los evaluadores determinen los resultados positivos y negativos de un proyecto, no es necesario que valoren particularmente si las metas prefijadas han sido alcanzadas. d) Al concentrarse en comprobar si los objetivos fijados han sido alcanzados, los evaluadores pueden ser insensibles a los efectos ms significativos, que no estn relacionados con los objetivos fijados. Respuesta correcta. Debe usted haber seleccionado la a. La base lgica de las evaluaciones sin metas no consiste en reemplazar a las evaluaciones basadas en las metas. Por el contrario, Scriven cree que las evaluaciones basadas

El mtodo evaluativo de Scriven

365

en las metas deben seguir desempeando una funcin. Pero piensa que los resultados de las evaluaciones sin metas pueden aadir una informacin til y nica a la que ya producen las evaluaciones basadas en las metas. Respuestas incorrectas b) Una parte de la base lgica de Scriven para la evaluacin sin metas es que sta complementa los datos proporcionados por la evaluacin basada en las metas. c) Otra parte de la base lgica para la evaluacin sin metas es que no conocer las metas de un programa no es ningn impedimento con tal que el evaluador investigue sistemticamente todos los efectos importantes de un programa. d) Una parte ms de la base lgica de la evaluacin sin metas es que Scriven ha afirmado que conocer las metas de un programa puede ser un impedimento, puesto que este conocimiento provoca que el evaluador se concentre en los resultados relacionados con los objetivos, dejando de lado otro tipo de resultados. 12. Cul de las siguientes afirmaciones explica mejor el significado de los efectos secundarios en el contexto de la evaluacin sin metas?
PREGUNTA

a) En la evaluacin sin metas, los efectos secundarios son la principal preocupacin, porque la evaluacin basada en las metas proporcionar un profundo anlisis del efecto principal. b) Las evaluaciones sin metas no se preocupan por los efectos secundarios porque son cualidades intrnsecas del instrumento didctico y no una preocupacin propia de la evaluacin destinada a identificar y valorar los resultados. c) En la evaluacin sin metas, los efectos secundarios son los efectos producidos por la informacin evaluativa acerca del comportamiento de las audiencias para los resultados evaluativos. d) En la evaluacin sin metas, no existen efectos secundarios porque todos los efectos, y no slo los relacionados con las metas fijadas, son de primersima importancia. Respuesta correcta. Debe usted haber seleccionado la d. No existe preocupacin por valorar los efectos secundarios porque, desde el principio de la evaluacin, todas las variables de los resultados, y no slo las relacionadas con las metas fijadas, son igualmente importantes.

366 Evaluacin sistemtica

Respuestas incorrectas a) b) c) Es incorrecta porque en la evaluacin sin metas no hay distincin entre los efectos secundarios y los efectos principales. Es incorrecta porque contiene una definicin incorrecta de los efectos secundarios. Es incorrecta porque tambin est basada en una definicin impropia de los efectos secundarios.

PREGUNTA 13. Cul de las siguientes afirmaciones es ms coherente con la base lgica de Scriven para la metaevaluacin?

a)

El principal trabajo de la evaluacin debe ser conseguir una especie de inmunidad evaluativa, porque la amenaza o el hecho de evaluar un servicio influye inevitablemente en la conceptualizacin y distribucin del servicio, y porque esta influencia puede conducir inevitablemente a unos resultados evaluativos tendenciosos. Dado que la evaluacin se aplica a los procesos y productos de todo esfuerzo humano, debe aplicarse tambin a s misma. La evaluacin formal debe ser cuidadosamente planificada, y la metaevaluacin es el trmino introducido por Scriven para referirse al trabajo que supone planificar las evaluaciones. La metaevaluacin es un importante medio de incrementar las inversiones y fondos de la evaluacin y as aumentar las oportunidades evaluativas de preparacin laboral.

b) c)

d)

Respuesta correcta. Debe usted haber escogido la b. Dado que la evaluacin es una actividad concebida para ayudar a mejorar las condiciones humanas y dado que todas estas actividades, por definicin, deben ser evaluadas, la propia evaluacin tambin debe ser evaluada. Respuestas incorrectas a) Es incorrecta porque, por el contrario, las metaevaluaciones, cuando estn adecuadamente conceptualizadas y realizadas, deben, segn Scriven, conducir a una evaluacin mejor. c) Es incorrecta porque las metaevaluaciones estn concebidas para valorar todos los aspectos de la evaluacin, no slo los planes evaluativos. d) Es incorrecta porque, por el contrario, las metaevaluaciones estn concebidas para, entre otras cosas, eliminar las prcticas evaluativas demasiado costosas.

El mtodo evaluativo de Scriven

367

PREGUNTA 14. Cul de las siguientes afirmaciones es la mejor base lgica para la lista de control de indicadores de la evaluacin? a) La evaluacin es el proceso de formular y ejecutar una secuencia de experimentos crticos comparativos que conduzcan al conocimiento de ciertos fenmenos, como por ejemplo que los resultados de acciones especficas son predecibles. b) La evaluacin es un proceso de reduccin de datos que supone caracterizar un proyecto y sintetizar un juicio respecto al valor global del programa. c) La evaluacin sirve de gua para un proyecto a travs de cinco etapas de desarrollo, mediante la valoracin y presentacin de las discrepancias entre el trabajo y las normas en cada una de las etapas. d) La evaluacin supone la comparacin progresiva de los antecedentes prefijados y reales de un programa, las transacciones y los resultados. Respuesta correcta. Debe usted haber seleccionado la b. Scriven contempla la evaluacin como un proceso sistemtico que supone la caracterizacin y valoracin de un proyecto. Esencialmente, los evaluadores recopilan y analizan amplias series de datos a travs de una amplia gama de puntos, y luego sintetizan los datos para que pueda ser emitido un juicio global de valor. Respuestas incorrectas a) c) d) Es incorrecta porque se refiere a la base lgica para la experimentacin programtica y no para la lista de control de indicadores de la evaluacin. Es incorrecta porque es ms la base racional para el modelo evaluativo de Provus que para la lista de control de indicadores de la evaluacin. Es incorrecta porque se refiere al mtodo evaluativo de la figura de Stake y no proporciona una base lgica vlida para la lista de control de indicadores de la evaluacin.

PREGUNTA 15. Cul de las siguientes afirmaciones explica mejor la relacin entre la concepcin formativa-sumativa de Scriven y su lista de control de indicadores? a) Los puntos de la lista de control de indicadores de la evolucin son tanto formativos como sumativos. b) Los primeros siete punto las etapas caracterizadoras son formativos; los once ltimos corresponden a la evaluacin sumativa, puesto que se refieren a la validez.

368 Evaluacin sistemtica

c) La lista de control de indicadores es un modelo evaluativo sumativo. d) La lista de control de indicadores es un modelo evaluativo formativo, bsicamente. Respuesta correcta. Debe usted haber seleccionado la a. El ltimo ciclo de las 18 etapas corresponde a la evaluacin sumativa, mientras que los ciclos anteriores constituyen la evaluacin formativa. Respuestas incorrectas b) Es incorrecta porque Scriven no identifica la caracterizacin y validacin de las etapas con las evaluaciones formativa y sumativa. c) y (d) Son incorrectas porque la lista de control de indicadores de la evaluacin es tanto formativa como sumativa. 16. Cul de las siguientes afirmaciones explica mejor la relacin entre la concepcin de la evaluacin sin metas de Scriven y su lista de control?
PREGUNTA

a) La evaluacin sin metas y la lista de control de indicadores de la evolucin son dos estrategias evaluativas diferentes pero complementarias. b) La lista de control de indicadores de la evaluacin explica las etapas que seguirse al realizar una evaluacin sin metas. c) La lista de control de indicadores de la evaluacin es un modelo del proceso de desarrollo, mientras que la evaluacin sin metas es un modelo del proceso evaluativo. d) La evaluacin sin metas es una estrategia metodolgica apropiada para ser empleada en una amplia comprobacin de las consecuencias del programa. Respuesta correcta. Debe usted haber seleccionado la d. Esta explicacin de la relacin entre la evaluacin sin metas y la lista de control de indicadores es correcta porque la evaluacin sin metas es una estrategia metodolgica que comprueba todas las consecuencias del programa, y porque el punto 11 de la lista de control de indicadores pide una amplia comprobacin de las consecuencias. Respuestas incorrectas a) Es incorrecta porque la lista de control de indicadores es un mtodo evaluativo global que incluye estrategias como la evaluacin sin metas.

El mtodo evaluativo de Scriven

369

b) Es incorrecta porque la lista de control de indicadores no es una explicacin de la evaluacin sin metas. c) Es incorrecta porque la lista de control de indicadores modela la evaluacin y no el desarrollo, y porque la evaluacin sin metas no es un modelo evaluativo sino una particular estrategia metodolgica. PREGUNTAS 17 A 21. Para cada afirmacin de los nmeros 17-21, seleccione, de la lista que le proporcionamos, la ideologa apropiada. Base sus elecciones en su comprensin del anlisis de Scriven. Realice sus elecciones escribiendo la letra correspondiente a la ideologa seleccionada en el espacio que hay a la izquierda de cada afirmacin numerada. A. Ideologa separatista. B. Ideologa positivista C. Ideologa administrativa. D. Ideologa relativista. 17. 18. Se opone a la proposicin de que un profesor puede evaluar su propio trabajo provechosa y justificadamente. Se refiere errneamente a la dificultad de describir algo total y exactamente como base para negar su existencia en alguna forma objetivamente identificable. Limita la evaluacin a enfrentarse slo a aquellas cuestiones sancionadas por las personas que tienen autoridad sobre el programa. Rechaza la naturaleza evaluativa de la ciencia. Se inclina a favor de los informes que demuestran que se han alcanzado las metas.

19. 20. 21.

Respuestas correctas. Debe usted haber respondido como sigue, por las razones proporcionadas: A 17. La ideologa separatista rechaza la naturaleza autorreferente de la evaluacin y exige que el trabajo de los profesores sea evaluado por un agente externo. Segn Scriven, los relativistas no slo recomiendan la descripcin mltiple de un objeto desde distintos puntos de vista (lo cual tambin recomienda Scriven), sino que se equivocan al pedir una conexin causal entre su afirmacin de que no existe una realidad objetiva y la dificultad de eliminar la variabilidad en la descripcin de una sola cosa. Esto pertenece claramente a la ideologa administrativa, puesto

18.

19.

370 Evaluacin sistemtica

que dice que es el administrador de un programa quien debe decidir cmo hay que valorarlo: por lo general, slo segn las metas del administrador y no segn las necesidades del consumidor, ni refirindose al estilo y forma de trabajar del administrador. B 20. Segn Scriven, los positivistas lgicos se guan por una concepcin sin valores de las ciencias sociales, en general, y de la evaluacin, en particular. Esto, de nuevo, pertenece a la ideologa administrativa, aunque concentrase en identificar y valorar slo aquellos resultados pertenecientes a las metas del administrador es congruente con la postura positivista que los evaluadores deben evitar interponiendo valores de su eleccin en sus trabajos evaluativos.

21.

CALIFICACIN DEL TEST DE CONOCIMIENTOS. Ahora que ha completado el test de conocimientos sobre el trabajo de Scriven cuente el nmero de respuestas correctas. Si contabiliza 16 o ms, ha demostrado usted un conocimiento bsico de la filosofa y los conceptos evaluativos de Scriven. De este modo, est ya preparado para abordar los ejercicios prcticos del apartado siguiente. Si contabiliza de 11 a 15, demuestra conocer un poco las ideas de Scriven, pero probablemente le sera beneficioso revisar el material anterior. Si contabiliza menos de 11 y an no comprende por qu, antes de pasar al siguiente apartado debe estudiar de nuevo todo el material didctico de la unidad. Ejercicios prcticos Este apartado contiene dos ejercicios prcticos destinados a demostrar si ha comprendido las premisas y los conceptos bsicos del mtodo evaluativo formativosumativo de Scriven. Responda a las preguntas en hojas de papel separadas. Tras cada ejercicio hay una lista de puntos que debe usted haber incluido en su respuesta. Realice el primer ejercicio antes de empezar el segundo. Acuda, tan a menudo como sea necesario, a las lecturas recomendadas y a las claves contenidas en el test de conocimientos previo.
EJERCICIO 1. Explique lo que quiere Scriven en la siguiente cita: La evaluacin formativa es una parte necesaria de cualquier mtodo racional para la produccin de buenos resultados en la evaluacin sumativa, pero la pregunta de si deben emplearse, y cmo, evaluadores profesionales depende mucho de si va a ser el remedio que la enfermedad.

El mtodo evaluativo de Scriven

371

Las respuestas al ejercicio 1 deben presentar y desarrollar los siguientes puntos: a) El xito de los trabajos de desarrollo depende de la informacin que proporcione continuamente la evaluacin formativa. b) Las evaluaciones sumativas, al juzgar el xito de los trabajos de desarrollo ya completados, reflejan si la evaluacin formativa ha supuesto una gua para conducir los esfuerzos hacia una feliz conclusin. c) Generalmente, los evaluadores profesionales son para realizar evaluaciones formativas que sean efectivas. d) Sin embargo, los evaluadores profesionales, cuando intervienen demasiado pronto en los trabajos de desarrollo, pueden ahogar la creatividad y perder su objetividad. e) De ah que los evaluadores profesionales sean necesarios para realizar las evaluaciones formativas, pero dado que puede hacer ms mal que bien en las primeras etapas de los proyectos, es mejor hacer por uno mismo la evaluacin formativa de estas primeras etapas y emplear un evaluador profesional para desempear este papel cuando el proyecto ya haya desarrollado un mnimo de estabilidad. 2. Suponga que planea evaluar el programa de un grupo de profesores utilizando la lista de control de indicadores. Resuma las etapas que debe seguir.
EJERCICIO

Las respuestas al ejercicio 2 deben incluir aproximadamente los siguientes puntos: a) Caracterizar tan objetivamente como sea posible la naturaleza del programa que se va a evaluar. b) Clarificar las audiencias de los resultados evaluativos, incluyendo a quien haya encargado la evaluacin y a otros grupos interesados, especialmente estudiantes, administradores y profesores. c) Examinar los antecedentes de la necesidad de la evaluacin y clarificar las cuestiones que deben ser respondidas. d) Inventariar los recursos financieros y de otro tipo que estn disponibles para apoyar el desarrollo, mantenimiento y evaluacin del programa. e) Realizar un anlisis funcional del equipo de profesores tal y como operan realmente los profesores y los estudiantes mientras participan en el programa. f) Analizar lo que hace el distrito escolar para asegurar que el programa se lleva a cabo adecuadamente en lo que se refiere, por ejemplo, a la orientacin

372 Evaluacin sistemtica

y preparacin de los estudiantes, la puesta al da de los planes del programa y el control y perfeccionamiento de la realizacin. g) Examinar cuidadosamente lo que los estudiantes utilizan y aprovechan realmente de los aspectos del programa. h) Valorar las necesidades de los estudiantes y profesores que puedan ser satisfechas mediante un mtodo de equipo didctico. i) Identificar las normas que puede haber desarrollado la profesin educativa para valorar este tipo de programas; descubrir tambin otras normas de valoracin mediante el anlisis de las funciones y metas del programa; y, en general, determinar y valorar los criterios de mrito y los argumentos filosficos correspondientes al programa en cuestin. j) Examinar el proceso de realizacin para saber qu limitaciones existen en la operacin normal del programa y ayudar a discernir las partes del plan del programa que no son viables en las actuales circunstancias o posiblemente factibles slo all. k) Comprobar ampliamente todos los efectos del programa. l) Examinar la posibilidad y conveniencia de exportar el mtodo a otras situaciones escolares. m) Valorar los distintos costes financieros, psicolgicos o de otro tipo, referentes al programa en cuestin. n) Identificar y valorar los competidores crticos del equipo de profesores. o) Validar y sintetizar toda la informacin obtenida. p) Extraer conclusiones y recomendaciones respecto a la utilizacin futura del programa en su marco y en otra parte. q) Realizar una evaluacin del trabajo evaluativo y utilizar la primera evaluacin tanto para perfeccionar como para informar a las audiencias acerca de sus virtudes y defectos. Preguntas sin respuesta En el test de conocimiento, se le ha tratado casi como a un nio. En el test prctico ha debido realizar un trabajo mayor y le hemos ayudado menos en la valoracin de sus respuestas. En esta seccin deber arreglrselas totalmente solo. Este apartado presenta muchas preguntas, pero ninguna respuesta. Las preguntas son importantes. A menudo son complicadas. Incluso si recurre a las autoridades en la materia, comprobar que algunas de estas preguntas son polmicas. De ah que , a la manera de un verdadero evaluador estilo Scriven, debe usted formular sus propios juicios, esto es, desarrollar y estar preparado para justificar sus propias respuestas a las preguntas.

El mtodo evaluativo de Scriven

373

Con este espritu, le invitamos a considerar y responder las siguientes preguntas. Escriba sus respuestas por separado para poder disponer de ellas en sus discusiones con otros. 1. Toda evaluacin es comparativa? Por qu o por qu no? 2. La evaluacin formativa y la evaluacin sumativa, son conceptos distintos conceptual y operativamente? Por qu o por qu no? Justifique su respuesta con algunos ejemplos. 3. Si un evaluador juzga un programa en un momento determinado, perder su independencia y objetividad respecto a evaluaciones futuras del programa? Por qu o por qu no? Si es as, debe un evaluador dar por finalizada su relacin con un programa cuando ya ha proporcionado su juicio? Si no, cmo puede el evaluador evitar convertirse en un cooperante del personal de un programa que se somete a sus juicios y recomendaciones iniciales? 4. Describa un programa estival de preparacin para profesores de segundo grado que trabajen en escuelas con un gran nmero de nios poco aventajados. Segn la conceptualizacin de la evaluacin de Scriven, explique cmo evaluara usted el programa. 5. Ahora, evalu algn programa, proyecto o producto que le sea familiar, segn el mtodo evaluativo de Scriven. Describa lo que est evaluando. Resuma su planificacin para evaluarlo. Luego presente sus resultados evaluativos. 6. Como tarea final, evale esta unidad segn el mtodo evaluativo de Scriven. Referencias bibliogrficas CRONBACH, L. J. Course improvement through evaluation. Teachers College Record, 64, pgs. 672-683. Joint Committee on Standards for Educational Evaluation. 1981. Standars for evaluations of educational programs, projects, and materials, Nueva York, McGraw-Hill. SCRIVEN, MICHAEL. 1967. The methodology of evaluation. En Perspectives on Curriculum, Evaluation (AERA Monograph Series on Curriculum Evaluation, n. 1). Chicago, Rand McNally. 1974. Pros and cons about goal-free evaluation. Evaluation Comment, 3, pginas 1-4. 1975. Evaluation bias and its control. Occasional Paper Series, n. 4, Western Michigan University, Evaluation Center. 1983. Evaluation ideologies. En MADAUS, SCRIVEN, models, Boston, Kluwer-Nijhoff.
Y

STUFFLEBEAM, Evaluation