4

LA TEORA DE LA EVALUACIN DE PROGRAMAS Catalina Martnez Mediano Departamento de Mtodos de Investigacin y Diagnstico en Educacin. LJNED

n este trabajo sobre La teora de la evaluacin de programas comenzamos realizando una revisin de la situacin actual de la evaluacin como disciplina de conocimiento, mencionando sus elementos constitutivos, para centrarnos, a continuacin, en la evolucin que ha seguido la disciplina de la Evaluacin de programas, volcada en un primer momento en los mtodos de investigacin contribuyendo a su desarrollo adaptado a la problemtica evaluativa y, posteriormente, en el desarrollo de la teora de la evaluacin de programas, fundamental en toda disciplina cientfica, que orienta la elaboracin de los programas sociales y educativos, clarifica los procesos y las metas de la evaluacin, comprueba su realizacin prctica y resultados, asesora en la Mejora de los programas y contribuye, en definitiva, a la construccin del conocimiento.

1. LA EVALUACIN COMO DISCIPLINA DE CONOCIMIENTO

^na disciplina es un constructo intelectual organizado. La esencia de una isciplina es su trabajo y la clave para su existencia es su concepto general y su metateora. Podemos distinguir cuatro elementos en la emergencia y esarrollo de una nueva disciplina (Scriven, 1991:25). Los cuatro elementos ^on independientes.

74

EDUCACIN X X I

- El primer elemento es la consciencia y reconocimiento explcito de que algo nuevo est emergiendo y existe una definicin de ese algo nuevo. Lograr su definicin o esbozar sus lmites conlleva varios intentos parcialmente prescriptivos, siendo ste un elemento crucial porque en l descansan las normas o las pautas de desarrollo para que esa nueva disciplina crezca. Es el primer paso hacia la metateora: la conciencia de un nuevo campo y su definicin, dibujando su forma y sus lmites, y ello se da en esta nueva disciplina. - El segundo elemento consiste en identificar y desarrollar una metodologa apropiada, entendida como un grupo de procedimientos e instrumentos para generar resultados tiles en el nuevo campo. La metodologa puede ser altamente especfica, pero puede abarcar un amplio rango o niveles de mtodos generales y modelos de anlisis; as ocurre en esta nueva disciplina. - El tercer elemento requiere un desarrollo del campo consistente en una base de datos, de produccin de investigaciones, de informes, de descripciones, de ilustraciones y de principios y teoras generales. Los elementos de su generalidad deben presentarse explcita o implcitamente al menos en forma de nuevos esquemas conceptuales, con la terminologa especfica asociada. Ello est representado por los mltiples modelos evaluativos existentes, cada vez con un mayor grado de elaboracin en sus concepciones tericas y procedimentales. - El cuarto elemento est relacionado con el desarrollo de una metateora de la disciplina que proporcione un mtodo de trabajo para la prctica. La metateora es casi siempre descriptiva y prescriptiva, derivando la ltima de las aportaciones de la primera. Sin una metateora no puede identificarse la nueva rea de estudio como una nueva disciplina al no tener identificado y definido su territorio, no poder explicitar sus procedimientos, su metodologa y sus lmites. Y es lo que pretende lograr la reflexin sobre la existencia de la disciplina y sobre los elementos c o m u n e s y diferenciales que se pueden extraer de la diversidad de modelos evaluativos. Los lmites de la evaluacin como disciplina son definidos por la mayora de los tericos de la evaluacin en trminos que la consideran un rea de evaluacin aplicada, como es la evaluacin de programas. Scriven defiende que la disciplina debe considerarse desde una concepcin amplia que recibira el nombre de Evaluacin, y que estara integrada por las disciplinas de Evaluacin de programas, de productos, de personal, de rendimiento, de proyectos y de polticas, que seran las grandes seis subreas de la Evaluacin. La Evaluacin de programas utiliza mtodos y tcnicas de investigacin que proceden de las Ciencias Sociales y de otras disciplinas como el Derecho,

LA^TEORIA DE LA EVALUACIN DE PROGRAMAS

75

laLg ica, la Etica, as como del propio desarrollo de la teora para la evaluacin de programas. La Evaluacin es u n a nueva disciplina pero u n a antigua prctica. La defensa de la Evaluacin c o m o disciplina descansa en sus caractersticas cientficas en contraste con las evaluaciones subjetivas o no sistemticas. La evaluacin es considerada como ciencia por estar comprometida con la produccin de conocimiento, y no slo conocimiento prctico; la evaluacin, desde el punto de vista de la prctica, se interesa por conocer el mrito relativo de diferentes mtodos de enseanza, o de diferentes teoras de aprendizaje, o por los cambios en la salud como consecuencia de nuevas concepciones en la prctica sanitaria. Pero tambin la evaluacin es esencial para distinguir la ciencia de la pseudociencia al evaluar la calidad de la evidencia cientfica, la calidad de los diseos de investigacin, de los instrumentos de Tiedida, de sus conclusiones, la calidad de los procedimientos en ingeniera, en las matemticas, en los procesos judiciales. En el sentido de proceso intelectual, la evaluacin forma parte de todas las disciplinas, tecnologas, nianualidades y de pensamiento racional en general (Scriven, 1991:4). La evaluacin, asimismo, es considerada una transdisciplina, definiendo este trmino, creado por Scriven, como una disciplina instrumental que sirve a otras disciplinas - c o m o es el caso de la estadstica o la lgica. El proceso de la evaluacin no es simple, siendo su complejidad el principal motivo de que en ms de dos milenios haya eludido un anlisis satisfactorio sobre su naturaleza y sus lmites disciplinarios. Y es desde finales de la dcada de los 60 cuando se viene realizando un gran esfuerzo por analizar la naturaleza de la evaluacin. Scriven hace el siguiente anlisis sobre la naturaleza de la evaluacin: ^ evaluacin no es slo una mera acumulacin y sntesis de datos relevantes Pdra la toma de decisiones. Digamos que ste es uno de los componentes de la ^"^aluacin y uno de sus propsitos. ^l otro componente, y previo al anterior, es el de las premisas o criterios evaluatvos que verifican los valores relevantes y las normas elegidas para la realizacin de la evaluacin. La evaluacin como disciplina acadmica interesada en temas relativos a 'a evaluacin de programas, de personas, de productos, etc., no ha empezado ^ ser considerada como tal sino en el ltimo tercio del siglo XX. La discusin nietodolgica acaecida en los ltimos aos, desde diversos campos, ha sido fructfera para abrir a la evaluacin su propio campo. Pero el primer paso para que la evaluacin se constituya en una disciplina cientfica va ms all de la simple prctica evaluativa elaborando guas que orienten dicha prcti-

76

EDUCACIN X X I

ca. Comienza identificando normas que gobiernen, prescriban, las evaluaciones, encontrndose suficientemente desarrollado en la actualidad, en el subcampo de la Evaluacin de programas, mediante guas para realizar evaluaciones c o m o las de Brinkerhoff et al., 1983; el Joint Committee, 1981; Mertens, 1989; Patton, 1980, 1990; Rossi y Freeman 1989; Smith, 1989; Worthen y Sanders, 1987; Worthen y White 1987, y muchas ms. Para lograr el desarrollo de la disciplina debemos considerar el concepto de Evaluacin en toda su amplitud, incluyendo todos los mbitos a los que se aplica, tales como la Evaluacin de programas, productos, personas, control de calidad, polticas, etc. Adems, debemos ir ms all de la discusin metodolgica para entrar en temas sobre los lmites y contenidos de la Evaluacin, las diferencias y relaciones de la Evaluacin segn se desarrolle en mbitos cientficos, humansticos, jurdicos, artsticos, etc. Explicaciones sobre la adecuacin de una u otra metodologa segn el mbito y propsito de la evaluacin (metametodologa), el desarrollo de los procesos lgicos de las evaluaciones, as como el desarrollo de las teoras evaluativas y la metateora de la Evaluacin. La metateora es la teora sobre la naturaleza de un campo de investigacin. Est interesada por la definicin del campo que estudia, por sus lmites, por las diferencias entre el campo y los campos colaterales, por las razones por las que ciertos mtodos trabajan bien en la disciplina y las razones por las que otros son inadecuados. Debe ser capaz de desarrollar argumentos en favor de la Evaluacin como disciplina, as como sugerir y justificar lneas para la investigacin y su desarrollo. Hasta hace poco, la elaboracin de los distintos modelos sobre la evaluacin de programas es lo que formaba parte de la metateora de la evaluacin al constituir un nivel que orienta las realizaciones prcticas y discusiones metodolgicas. La metateora se va elaborando desde todos los niveles e incidiendo en ellos; por ejemplo, en el desarrollo de los instrumentos de medida, en el de los mtodos, las tcnicas y las teoras y su discusin; desde todos los mbitos donde se utiliza la evaluacin nos preguntamos, explicamos y justificamos el uso de una tcnica, de un instrumento, de un mtodo, de una teora, de un plan o proyecto en su totalidad y del paradigma que lo fundamenta. C o n t i n u a m e n t e e s t a m o s r e c u r r i e n d o a la metateora y estamos contribuyendo al desarrollo de la misma. La metateora puede estar implcita en la misma prctica y ensear mediante el ejemplo de esa prctica. Y, aunque los modelos de Evaluacin de programas han contribuido al desarrollo de la disciplina de la Evaluacin, hay que seguir trabajando para lograr esa aportacin fundamental que dote a la evaluacin de una teora general, una metodologa general, unas guas generales que orienten la prctica y u n a metateora general para llegar a la esencia de la disciplina. La Evaluacin es el nombre de una disciplina a u t n o m a con su propia clasificacin en la Biblioteca del Congreso de los Estados Unidos (Scriven,

LAJTEORA DE LA EVALUACIN DE PROGRAMAS

77

1991:141). Esta disciplina se refiere al estudio y aplicacin de procedimientos para hacer evaluaciones objetivas y sistemticas. Dentro de esta disciplina autnoma, hay reas semiautnomas como son las disciplinas de evaluacin de programas, de productos, de personal, de rendimiento, de proyectos y de polticas. Otros campos aplicados autnomos incluidos son la valoracin tecnolgica, la evaluacin mdica y psicolgica, el control de calidad. Otras aplicaciones se hacen en disciplinas tales como el curriculum, la crtica literaria, etc. Scriven hace dos manifestaciones diferentes en t o r n o a la Evaluacin como disciplina: 1. Hay una sola disciplina de evaluacin, que es una transdisciplina, consistente en un amplio rango de aplicaciones prcticas de la evaluacin en varios campos. Uno de ellos, el ms desarrollado, integrado por su propio concepto, teora y metateora es la evaluacin de programas. Una naciente disciplina central dedicada al desarrollo de una lgica vlida y distintiva, mtodos y teoras generales para la evaluacin. 2. Los distintos campos de la Evaluacin como son la Evaluacin de programas, productos, polticas, control de calidad, personal, etc., y que han desarrollado gran cantidad de modelos propios, pueden ser mejorados por el reconocimiento de sus conexiones con la disciplina central de la Evaluacin.

DEL DESARROLLO METODOLGICO A LA TEORA DE LA EVALUACIN DE PROGRAMAS

La teora proporciona un marco de referencia para ayudar a las personas ^ comprender su m u n d o y a actuar en l. La teora es crucial para la investigacin; no slo proporciona orientaciones para analizar un fenmeno, sino ^ue proporciona un esquema para comprender el significado de los resultarlos de la investigacin. Sin embargo, hasta hace poco tiempo, la literatura evaluativa apenas piencionaba la importancia de la teora de la evaluacin de programas ni la ficorporacin de dicha teora en los procesos de evaluacin. La tendencia ha consistido en que las evaluaciones estn orientadas por los mtodos, y, aun^"Jc esto ha supuesto importantes contribuciones para el desarrollo de la Valuacin de programas, de otro lado, ha ocasionado que se descuidara el esarrollo del marco conceptual que guiara la prctica evaluativa. Shadish y *^eichardt (1987) justifican tal hecho argumentando que la accin y la prctif preceden al desarrollo de la teora en cualquier disciplina, y a la evaluacin de programas le ha ocurrido lo mismo.

78

EDUCACIN X X I

Esto puede explicarse, parcialmente, p o r la preocupacin por realizar mejores investigaciones evaluativas que tuvieran en cuenta todos los elementos que inciden en la consecucin de lo pretendido por un programa, lo que llev a la necesidad de preocuparse por ampliar los enfoques y metodologas de investigacin aplicados a la evaluacin de programas. De m o d o que, en los primeros m o m e n t o s del desarrollo de la Evaluacin de program a s , los m t o d o s d e investigacin cientfica h a n j u g a d o un papel m u y importante en muchos de los trabajos de evaluacin realizados en un intento por definir y conceptualizar la evaluacin de programas. As, S u c h m a n (1967) vio la evaluacin como la utilizacin de los mtodos y tcnicas de investigacin cientfica utilizados con el propsito de evaluar. La evaluacin de programas no se vea como u n a disciplina de conocimiento, sino como u n a modalidad de investigacin aplicada dentro de la Educacin y de las Ciencias Sociales. Y la utilizacin de los mtodos cientficos ms prestigiosos, en su m o m e n t o , era crucial p a r a poder reclamar el estatus cientfico de esta nueva disciplina. As, Tyler, que conceba la evaluacin como la determinacin del grado en que los objetivos de un programa eran realmente conseguidos, estableca las metas generales y los objetivos conductuales y comparaba los resultados con las metas, utilizando la metodologa de los diseos experimentales y cuasiexperimentales, p r u e b a s e s t a n d a r i z a d a s de medida y el informe clsico de investigacin sobre la conveniencia de mantener o modificar los programas. Stufflebeam considera la evaluacin como el proceso de identificar, obtener y proporcionar informacin til y descriptiva del valor y mrito de las metas, la planificacin, la realizacin y el impacto de un programa, con el fin de servir de gua para la toma de decisiones, solucionar los problemas de responsabilidad y comprender los fenmenos implicados. Utiliza una metodologa diversa en funcin de cada tipo de evaluacin contexto, entrada, proceso o producto, y sus informes son frecuentes para proporcionar u n a gua para la toma de decisiones de mejora del programa, y la generalizacin posible es la que permita el muestreo y las metodologas utilizadas. Para Scriven la evaluacin, como ciencia de la valoracin, consiste en determinar el mrito y valor del objeto evaluado. Para l la evaluacin es la recogida y sntesis de informacin basada en criterios evaluativos que verifiquen los valores relevantes y las normas elegidas para la realizacin, con la finalidad de ser utilizada en la toma de decisiones. Sirve a las funciones formativa, proporcionando informacin para mejorar un programa durante su realizacin, y sumativa, proporcionando informacin para implantar, modificar o retirar un programa. Utiliza u n a metodologa neopositivista, relativista y de la lgica probativa, utilizando un tipo de informe descriptivo. La generalizacin de los resultados es la que permite la validez externa dificultada por la relatividad de los criterios de valor.

L A j n ; O R A DE LA EVALUACIN DE PROGRAMAS

79

Stake considera que la evaluacin sirve para descubrir el mrito y las deficiencias de un programa. En su "modelo de evaluacin respondiente", el evaluador debe asegurarse de prestar atencin a aquello por lo que le piden que haga la evaluacin, pero tambin debe prestar atencin a lo que est ocurriendo en el programa y elegir las cuestiones y criterios de valor. Utiliza metodologas cualitativas, fundamentalmente el estudio de caso. La generalizacin es la propia de las investigaciones naturalista, apoyndose en la experiencia vicaria. Es til si descubre el mrito y las deficiencias de un programa para ayudar a sus participantes a incrementar su comprensin y responder a sus necesidades. Para Guba y Lincoln, la evaluacin, en un contexto o situacin particular, es un proceso de recogida de datos, en continua e inseparable valoracin e interpretacin basada en el consenso, en donde los hechos y valores van unidos. El evaluador utiliza metodologas naturalistas, trabaja en equipo, con todo el grupo implicado en la evaluacin. Establecen crculos hermenuticos para lograr construcciones e identificar cuestiones. El informe es descriptivo, facilitando la experiencia vicaria para la generalizacin de los hallazgos. Cronbach define la evaluacin como la recogida y uso de la informacin para tomar decisiones sobre un programa educativo; es una actividad diversificada y plural, y ni un solo grupo de principios puede ser suficiente para todas las situaciones. Ve la evaluacin integrada en la investigacin poltica. Defiende el uso de metodologas cuantitativas y cualitativas. Sus informes son narrativos para facilitar la experiencia vicaria. Considera que la generalizacin, el generar conocimiento extrapolable desde las personas, situaciones, tratamientos y observaciones a otros, es lo ms importante de la investigacin evaluativa. Su finalidad debe servir para la mejora de los programas y para la formacin de la comunidad poltica. Prez Juste define la evaluacin como un proceso sistemtico de recogida de informacin rigurosa, valiosa, vlida y fiable, orientado a valorar la calidad y los logros de un programa para la toma de decisiones de mejora del programa, del personal implicado y del cuerpo social en el que se encuentra 'nrnerso. Utiliza metodologas cuantitativas y cualitativas. Su informe es descriptivo, basado en los datos y en los juicios. La generalizacin, aquella que permite el diseo, y su utilidad para la mejora del personal, del programa y de la comunidad. Como podemos ver, el "enfoque de evaluacin orientada por el mtodo" se VIO claramente apoyada por el hecho de que la mayora de las perspectivas de evaluacin han estado orientadas principalmente por el mtodo. Por ejemP'o, para Campbell y Stanley (1963) y Cook (y Campbell, 1969), defensores del paradigma experimental, una evaluacin estaba mejor realizada si segua ^ rigurosidad de los diseos experimentales. Por otro lado, los defensores ^' enfoque naturalista a r g u m e n t a n que los mtodos cualitativos servan

80

EDUCACIN XXI

mejor a la evaluacin. E incluso investigadores naturalistas como Parlett y Hamilton (1978) y Guba y Lincoln (1981) negaban cualquier mrito de los mtodos experimentales o cuasi-experimentales aplicados a la evaluacin. Cronbach, en 1982, argumentaba que el uso de los mtodos rigurosos lleva a que una evaluacin sea rgida y estrecha en su alcance. Estaba interesado en incorporar la evaluacin de programas a los procesos en los contextos y en las organizaciones para facilitar una toma de decisiones plural. Las evaluaciones orientadas por los mtodos han cobrado an ms fuerza por ese largo debate entre los mtodos de investigacin cuantitativos y cualitativos ms adaptables a la evaluacin. Estas diferentes perspectivas de la evaluacin han supuesto una contribucin muy importante al desarrollo de la Evaluacin de programas, logrndose un gran consenso entre los evaluadores en torno a la idea de que una evaluacin debe comprometerse con mltiples valores y temas. Como consecuencia, la perspectiva tradicional, experimentalista, ha constatado sus limitaciones en su alcance y ha evidenciado sus dificultades en las situaciones en las cuales acta la evaluacin y que requiere fijarse en mltiples aspectos. Sobre esto, Cook y Reichardt (1986) advierten que el uso de mltiples metodologas conlleva mayor tiempo y costo, y, por supuesto, una preparacin adecuada. Cada uno de los enfoques metodolgicos tiene sus propias concepciones, su lgica y sus procedimientos. Sin un esfuerzo hacia una fundamentacin de por qu es positiva la complementariedad metodolgica, la defensa del uso de mltiples metodologas en la evaluacin puede no ser apoyada. Sin embargo, los modelos de evaluacin de programas que defienden la complementariedad metodolgica como los de Cronbach, Prez Juste, Rossi y Freeman o Stuflebeam, aportan criterios suficientes que muestran la conveniencia de esta complementariedad metodolgica dentro de sus propios modelos. El propio Cook (1985) ha adoptado una perspectiva postexperimental, de "multiplicidad crtica", ya que defiende que la perspectiva del paradigma experimental debe transformarse en otra ms comprehensiva que se adapte mejor a los aspectos polticos y organizativos de la evaluacin de programas. Cook, junto a sus colaboradores Shadish y otros, afirma que los evaluadores deberan planificar sus evaluaciones previendo el uso de mltiples metodologas, investigar mltiples aspectos de los programas y considerar el punto de vista de mltiples participantes. Defiende las ventajas de esta nueva perspectiva sobre el paradigma experimental y considera que reduce las posibilidades de interpretacin errnea, a la vez que proporciona una informacin ms comprehensiva, global e integradora para los procesos polticos, adems de favorecer una evaluacin ms racional y consciente de sus valores. E n los primeros tiempos de su desarrollo, la Evaluacin de programas tuvo dificultades que no podan resolverse metodolgicamente, debido a que u n a evaluacin no puede realizarse sin limitaciones de tiempo y de recursos, y no puede abarcar todas las opciones, y ello supone llegar a acuerdos que requieren no slo de unas metodologas, sino de ms de un grupo de principios y de

LA TEORA DE LA EVALUACIN DE PROGRAMAS

81

teoras que guen el proceso de evaluacin de programas. Shadish y Cois. (1986) dicen que el reto ms importante que tiene planteada esa multiplicidad crtica es el desarrollo de la teora evaluativa. El uso de una metodologa u otra para la evaluacin de un programa depender de los propsitos de la evaluacin, del estado de madurez del programa, de los recursos disponibles, de los intereses y necesidades de los patrocinadores y de los evaluadores y del medio poltico y organizativo del programa. De modo que, cuando un programa est desarrollndose, el estudiar su eficacia mediante un diseo experimental carece de sentido puesto Que pasara de puntillas sobre los procesos y los contextos; y utilizar los nitodos cualitativos, en exclusividad, puede no ser lo ms adecuado para valorar la eficacia de un programa de amplio alcance, elaborado para aplicarlo a toda la poblacin de un pas. Tantas discusiones sobre los mtodos puede llevar a pensar que la solucin a estos problemas se resolvera tras conseguir una mayor sofisticacin sn los mtodos de investigacin. El desarrollo de los mtodos de investigacin para la evaluacin de programas ha sido fundamental, pero se necesita una conceptualizacin y un esfuerzo terico para sistematizar e integrar los tactores conceptuales y los mtodos de investigacin para que avance la evaluacin de programas y se consolide, an ms, como disciplina. (Chen, 1990:17). La teora de programas debe proporcionar orientaciones para identificar qu temas son los ms importantes en una evaluacin, qu mtodo o tntodos son los ms relevantes, y sugerir cmo aplicar el mtodo para alcanzar los objetivos propuestos en la evaluacin. Chen y Rossi argumentan que las evaluaciones orientadas por el mtodo tienden a maximizar un tipo de validez en perjuicio de otras. Advierten de estos problemas y sealan la importancia de la teora de programas para Jograr varios tipos de validez. Y tratan de resolverlo con su enfoque de Eva^f^aciones conducidas por la teora (1981, 1983, 1987, 1989, 1992). Para Rossi y Ereeman (1993), creadores del enfoque de Evaluacin comprehensiva, 'adaptada y conducida por la teora, toda evaluacin debe centrarse en tres tipos de actividades: 1) anlisis relacionados con la conceptualizacin y diseco de las intervenciones, 2) asesoramiento para la realizacin del programa, ^) valoracin de la utilidad del programa, sus efectos y la relacin entre cosos-eficacia. Debe recoger informacin conceptual, de las necesidades de los programas sociales para planificar, redefinir, realizar y evaluar, procesual y e irnpacto, utilizando metodologas cuantitativas y cualitativas. El informe ^orienta a la utilidad, a dar respuesta a las necesidades sociales. Y la gene^hzacin es aquella que permitan los diseos. Entre alguna de las ventajas de la realizacin de evaluaciones guiadas por ^teora de programas est la de que la teora permite comprobar si los resulQos del programa se deben a cmo se ejecuta el programa o se debe a la

82

EDUCACIN X X I

conceptualizacin propia del mismo. La teora de programas ayuda a clarificar si un programa est siendo desarrollado siguiendo los criterios explicitados en el mismo y en las condiciones adecuadas. La teora de programas puede usarse para especificar los efectos intermedios de un programa que podra llegar a evidenciar los aspectos positivos y negativos del mismo antes de que los resultados finales puedan manifestarse, lo que proporcionara posibilidades de mejora del programa antes de que se haya concluido el programa. La incorporacin de la teora de programas en una evaluacin fortalece la informacin de los evaluadores para clarificar las metas del programa, para observar los procesos y para atender las necesidades de los patrocinadores y de los participantes y beneficiarios, y para orientarles en la realizacin de las diferentes decisiones alternativas de mejora. Como disciplina, la evaluacin de programas debe desarrollar su propia teora, y los mtodos, en vez de ser tratados como un fin en s mismos, deben ser considerados como medios para favorecer el desarrollo del conocimiento. Como dice Bickman (1987) la evaluacin es, a menudo, considerada como una ciencia prctica, pero es ambas cosas, una prctica y una ciencia que requiere de su propia teora. Actualmente, cuando el debate metodolgico ha contribuido al desarrollo de los mtodos, se necesita un marco comprehensivo, general, terico, que vincule e integre las actividades de la evaluacin a un nivel ms general que el que consiguen los distintos modelos de evaluacin de programas. Porque, a medida que se han desarrollado los modelos de evaluacin de programas, se ha ido t o m a n d o conciencia de que las intervenciones de los programas sociales o educativos no trabajan, normalmente, de un modo predecible, y que los problemas a resolver no son sencillos. Los que toman decisiones tambin advierten que prefieren solucionar o reducir los problemas ms que iniciar cambios globales precipitados. Por ello, las evaluaciones que se centran slo en los resultados de los programas no son tiles, puesto que no informan para tomar decisiones al no indicar en qu direccin, en qu aspectos y de qu manera se debe incidir para conseguir mejores resultados.

LA NATURALEZA DE LA TEORA DE LA EVALUACIN DE PROGRAMAS

Un programa de intervencin educativa o un programa de intervencin social supone un esfuerzo intencionado y organizado para intervenir en un proceso social con el propsito de resolver un problema y proporcionar un servicio. La estructuracin de los esfuerzos organizados adecuadamente y dirigidos a la consecucin de las metas deseadas supone que el programa opera bajo una teora, aunque, a veces, esta teora sea implcita. La teora est siempre implcita, o explcita, en la mente de los investigadores; y de los

L A TEORA DE LA EVALUACIN DE PROGRAMAS

83

evaluadores. La teora explcita proporciona una gua general para la elaboracin del programa y explica cmo el programa organiza su funcionamiento, aunque puede verse influida por los prejuicios. La teora, en la evaluacin de programas, debe estar explcita. La evaluacin de programas es algo ms que una metodologa aplicada; la evaluacin es diversa en muchos modos y su potencialidad para la unidad intelectual, que es lo que Scriven llama la lgica de la evaluacin, podra crear puentes entre la diversidad de evaluadores con el fin de desarrollar la teora de la evaluacin de programas. Los intentos por mejorar la teora de la evaluacin de programas son antiguos. Weiss (1972) sugera que la utilizacin de los resultados de una evaluacin podra verse reforzada si se incluyeran estos elementos bsicos: 1. Un anlisis de las premisas tericas del programa. 2. Una especificacin de los procesos del programa para informar acerca de los vnculos entre los objetivos y las metas del programa. 3. Un anlisis de las realizaciones del programa y de sus resultados. 4. Un informe detallado de cules son las alternativas ms efectivas que pueden ayudar a mejorar el programa, y cmo realizarlas. Otra de las razones del movimiento para el desarrollo de la teora de la avaluacin de programas se relaciona con la necesidad de comprender cmo se realizan los tratamientos. Los estudios centrados en la realizacin de los programas y en la intervencin de los mismos proporcionan evidencias de que la realizacin es algo muy complicado dentro del mbito humano. Las dificultades que se han revelado en la puesta en marcha y desarrollo de los programas han sealado la necesidad de que los patrocinadores, los promotores de un programa, presten atencin a estos aspectos para mejorar la mplementacin del programa. Es importante, por ello, que, dentro del desarrollo del m a r c o terico, se integre el desarrollo de los p r o g r a m a s en la accin, como parte importante de la actividad evaluativa. Se tratara con ello de evitar lo que a veces ocurre cuando se evalan los programas, que quienes realizan dichas evaluaciones tienden a proceder ms segn sus puntos de V'sta y su preparacin metodolgica que en funcin de las necesidades reales de ese programa, y esto no siempre es consistente con los objetivos de quienes elaboran o disean un p r o g r a m a a d a p t a d o a u n a s necesidades p a r a resolverlas. Por otra parte, las dificultades implcitas en la puesta en prctica de los programas proporciona a los evaluadores grandes dificultades para desarro"ar sus estrategias y sus marcos conceptuales de modo que les permitieran

84

EDUCACIN XXi

hacer frente a estos problemas, y ciertamente en las Ciencias Sociales, y en Educacin, no pueden utilizarse los mtodos de una manera estricta como, por otra parte, se pueden utilizar en las Ciencias Fsicas. En Educacin, y en Ciencias Sociales, los mtodos de investigacin no se pueden aplicar si no es atendiendo a los propsitos, las circunstancias y contextos en los que se desarrollan los programas. Desde el punto de vista conceptual los evaluadores no slo deben inform a r de la realizacin de sus evaluaciones, sino que deben trabajar con los patrocinadores del programa para conocer y mejorar los modos de implementacin de la realizacin de los programas, y, posteriormente, deben colaborar para mejorar el programa y su realizacin. Deben informar sobre los cambios que se requiere hacer en el programa, qu criterios los fundamentan, qu estrategias se deben planificar para lograrlos, quines deben realizar los cambios y qu consecuencias, previsibles, y no previsibles, producirn las modificaciones para la mejora (De la Orden, 1996). Chen, para argumentar su Teora de evaluacin de programas, toma una idea de Weber. El desarrollo de la evaluacin de programas y su emergencia c o m o disciplina se ha visto beneficiada por el desarrollo de la sociedad m o d e r n a , racionalista y contable. Sin e m b a r g o , Weber adverta que es importante ver la diferencia entre dos tipos de racionalidad: la racionalidad formal y la racionalidad sustantiva, o los valores. La racionalidad formal tiene que ver con la eficiencia y la eficacia en la consecucin de una meta especfica en un tiempo dado, mientras que la racionalidad de valor o sustantiva se refiere a los propsitos sustantivos y fines a largo plazo de los individuos, de los grupos y de las sociedades. Cuando la racionalidad formal se dirige a una explicacin parcial, estrecha, de las actividades sociales, los propsitos generales y las metas a largo plazo se pierden de vista. El argumento de Weber es relevante para la conceptualizacin de la evaluacin de programas. Cuando su conceptualizacin es estrecha y simplemente mide las metas conseguidas, el nfasis se pone en la racionalidad formal, los evaluadores se interesan por la eficiencia y por la eficacia del tratamiento, descuidando algo tan esencial c o m o la cuestin sobre la adecuacin de las metas a las necesidades y las consecuencias intencionadas y no intencionadas a medio y largo plazo. Para evitar tales problemas se necesita ampliar el marco conceptual de la evaluacin de programas, implicada ms en la racionalidad sustantiva o de valor, que proporcione una informacin ms rica y real a los propsitos de los programas y a sus implicaciones en intereses sociales m s amplios. Shadish, Cook y Levitn (1991: 31) defienden la necesidad de fundamentar las teoras evaluativas en cinco componentes tericos bsicos. Son los siguientes:

LAJEORIA DE LA EVALUACIN DE PROGRAMAS

85

Programacin social. El componente relativo a la programacin social tiene que ver con la naturaleza de los programas sociales y sus funciones en la solucin de los problemas sociales. Se relaciona con la estructura interna y con el funcionamiento de los programas, con sus relaciones con las instituciones polticas y sus actividades y con los procesos a travs de los cuales los programas y sus componentes pueden cambiarse para mejorar el rendimiento de programa. La construccin del conocimiento. Este componente se interesa por la comprensin de evidencia aceptable y los mtodos para producir tal evidencia sobre el objeto que va a ser evaluado. Los valores. El componente del valor est relacionado con el papel que los valores y los procesos de valoracin juegan en la evaluacin. Est relacionado con la eleccin de los valores que deben estar representados en una evaluacin y con la construccin de juicios de valor sobre los programas sociales. La utilidad del conocimiento. El componente del uso, o utilidad, tiene que ver con el modo en que el conocimiento de las Ciencias Sociales y de la Educacin puede ser utilizada en la poltica social y en los programas. Est relacionado con los posibles modos de incrementar la utilidad de los resultados de las evaluaciones. La prctica evaluativa. El componente relacionado con la prctica evaluativa tiene que ver con las actividades que el evaluador hace en su profesin. Estudia el papel de los evaluadores en relacin con los que realizan el programa, c m o decidir las cuestiones o preguntas claves, de dnde conseguir u obtener la informacin para elaborar y responder a tales cuestiones, y qu mtodos se deben utilizar para priorizar las cuestiones ms relevantes y los temas sobre los cuales las dudas o las incertidumbres son mayores, as como conocer las posibilidades y limitaciones de tiempo, los recursos financieros, las destrezas del personal y las normas para proceder a la realizacin de la evaluacin (Cook y Shadish, 1986, Shadish y Reichardt, 1987 en Shadish, Cook y Levitn, 1991:36). En u n a teora de evaluacin de programas, los criterios seleccionados para juzgar la realizacin de u n programa claramente implican juicios de j'alor. Temas claves relacionados con cmo disear un tratamiento o cmo levarlo a cabo, tambin implican juicios de valor Podemos decir que la teoJ"ia, los valores, las propias .preferencias, e incluso los prejuicios, deben nacerse explcitos. No cabe duda de que cualquier opcin estar influida por a teora - y por los prejuicios. No hay un nico significado del trmino teora universalmente aceptado, 'formalmente connota u n cuerpo de conocimientos que organiza, describe.

86

EDUCACIN XXi

prescribe, predice, explica con el fin de ayudar a la comprensin y al control de los temas que estudia, aunque las teoras hacen esto de diferentes maneras. No obstante, el significado del trmino teora ms aceptado es el que la define como un grupo de concepciones interrelacionadas, principios o proposiciones para explicar o guiar acciones sociales. Las teoras son de dos tipos: descriptivas y prescriptivas. El propsito de las teoras llamadas descriptivas es describir y explicar un fenmeno, un hecho. La teora prescriptiva se relaciona con lo que se debe hacer o cmo algo se puede hacer mejor. Las teoras descriptivas toman un grupo de condiciones y mtodos, o procedimientos, como dados, constantes, y tratan de describir y explicar la probabilidad de los resultados, las metas, como variables de inters. En contraste, las teoras prescriptivas, y los principios prescriptivos se apoyan en unas condiciones y metas y prescriben los mejores mtodos, o procedimientos, como variables de inters, para conseguirlas. (Reigeluth, 1983:20).

Condiciones el Programa

Mtodos del Programa

1. Teoras descriptivas. 2. Teoras prescriptivas La teora de la evaluacin de programas integra las dos naturalezas de la teora: la descriptiva y la prescriptiva. Las teoras prescriptivas incluyen las siguientes caractersticas: 1. Orientacin a la accin, 2. diseo del tratamiento y su realizacin, y 3. un amplio rango de acciones para decidir sobre la eleccin de los criterios de valoracin de los logros.

LA TEORA DE LA EVALUACIN DE PROGRAMAS

87

La teora de la evaluacin de programas es definida por Chen (1990) como una especificacin de lo que se debe hacer para conseguir las metas deseadas, qu otros impactos o logros importantes pueden ser tambin anticipados, y cmo estas metas y estos impactos pueden generarse. La primera parte de esta definicin se relaciona con la teora prescriptiva, tambin llamada normativa -qu se debe h a c e r ? - y la segunda parte se relaciona con la teora descriptiva, tambin llamada causativa, en lo que subyace a los mecanismos causales que relacionan los tratamientos del programa, los procesos de realizacin, los programas de tratamiento, los procesos de implementacin y las metas. Chen prefiere utilizar la terminologa de teora normativa, en lugar de teora prescriptiva, y teora causativa, en vez de teora descriptiva. Ambas subteoras forman parte de la teora de la evaluacin de programas. El objetivo de las evaluaciones normativas es proporcionar informacin para mejorar la estructura de los programas, los tratamientos, el medio en el que se desarrollan y sus metas. Por otra parte, el principal objetivo de las evaluaciones causativas es valorar las relaciones entre los t r a t a m i e n t o s , los medios en donde se realizan y los logros. La teora normativa de la evaluacin de programas debe proporcionar guas sobre qu metas, o qu logros, deben intentar conseguirse y deben ser examinados, y cmo debe disearse el tratamiento y planificarse su realizacin. La teora causativa especifica cmo trabaja el programa mediante la identificacin de las condiciones bajo las cuales ciertos procesos emergern y cules sern las consecuencias (Chen, 1990: 43). La teora normativa procede examinando las premisas, las concepciones, los procedimientos, o el conocimiento previo. Adems, proporciona una justificacin para la estructura y actividades del programa, gua la planificacin, la formulacin y la realizacin del programa. De otro lado, la teora causativa para la evaluacin de programas se basa en la experiencia; representa el conocimiento emprico, busca las relaciones causales entre los tratamientos y los resultados. Una teora causativa especifica los mecanismos causales que vinculan, median o condicionan las relaciones de causa-efecto entre las variables de tratamiento (variables independientes) y los logros del programa (variables dependientes). Al interesarse y preocuparse por los problemas del da a da del programa, el evaluador se sensibiliza hacia las necesidades de la gente que aplica el programa y potencia la utilizacin de los resultados evaluativos al no perder el objetivo h u m a n o de las necesidades de quienes trabajan en el programa. Adems, los p a t r o c i n a d o r e s y p r o m o t o r e s de los p r o g r a m a s necesitan la informacin a tiempo para actuar y tomar decisiones eficaces.

88

EDUCACIN XXI

La evaluacin desde la teora normativa requiere de la consistencia entre la estructura terica del programa y la estructura de ancionamiento del programa para ser valorada. Esto puede realizarse en un estadio temprano del desarrollo del programa, que proporcionar informacin para diagnosticar pronto los problemas a tiempo y realizar acciones para tratar de que estos problemas se subsanen, fortaleciendo la estructura del programa y/o los procesos de realizacin. Cuando el tratamiento de u n programa es construido y ejecutado adecuadamente, la credibilidad del programa se potencia. No obstante, esto no lleva implcito que el programa sea eficaz. La evaluacin del programa, desde la teora normativa, es insuficiente, por s misma, para comprender si el programa consigue las metas para las cuales ha sido diseado o para conocer las consecuencias no intencionadas del programa. Para comprender la eficacia del programa, la teora causativa es importante y necesaria. Una evaluacin que se rige por la teora causativa proporciona informacin sobre el impacto generado por el programa y sobre cmo dichos impactos fueron generados. El valor de un programa es muy difcil de juzgar sin tener informacin sobre factores de contexto o de intervencin que ayuden a conocer por qu un programa tiene xito o fracasa. La especificacin de la teora causativa en una evaluacin es especialmente til para la mejora futura del programa. Cuando la teora causativa es proyectada en detalle, la evaluacin puede conocer las debilidades de los mecanismos causales que subyacen en el p r o g r a m a , identificar los factores contextales e intervinientes que dificultan o facilitan los procesos del programa y sus resultados, y sugerir posibles estrategias para ocuparse de mejorar sus programas e introducir los cambios necesarios para ello. Ambas teoras, normativa y causativa, son necesarias y constituyen las dos subteoras de la teora de la evaluacin de programas.

LA TEORA DE LA EVALUACIN DE PROGRAMAS

89

BIBLIOGRAFA
ALKIN, M.C. (1969)."Evaluation theory development", va/MaioM Comtnent, 2, 1. BICKMAN, L. (Ed.) (1987). Using programm theroy in evaluation. San Francisco: Jossey-Bass. CAMPBELL, D.T. y STANLEY, J.C (1963). Experimental and quasi-experimental designs for research. Chicago, ILL.: Rand-McNally (1 ed. 1963). (Traducido al castellano: Diseos experimentales y cuasi-experimentales en la investigacin social. Buenos Aires: Amorrortu. 1970. CHELINSKY, E. y SHADISH, W.R. (1997). Evaluation for the 21" Century. Thousand Oaks, CA.: Sage. CHEN, H-T.(1990). Theory-driven evaluation. Newbury Park:Sage. CHEN, H-T. y ROSSI,P.H. (1981). The multi-goal, theory-driven approach to evaluation: a model linking basic and applied social science. Social Forces, 59: 106-112. CHEN, H-T y ROSSI,RH. (1983). Evaluating with sense: The Theory-driven approach. Evaluation Review,7, 106122. CHEN, H-T y ROSSI.RH. (1989). Issues in theory-driven perspective. Evaluation and Program Planning, 12, 299306. CHEN, H-T y ROSSLPH. (Eds.) (1992). Using theory to improve program and policy evaluation. New York, London: Grenwood Press. COOK, T.D. y CAMPBELL, D.T. (1969). Quasi-experimentation: Designs and analysis issues for field settings. Chicago, ILL.: Rand-McNally. COOK, T.D. y REICHARDT, CH. S. (1986). Mtodos cualitativos y cuantitativos en investigacin educativa. Madrid: Morata. CRONBACH, L.J. (1973). "Remarks to the new society". Evaluation Research Society Newsletter, 1,1, (1-3). CRONBACH, L.J. (1982). Designing evaluations of educational and social programs. San Francisco: Jossey-Bass. CRONBACH, L.J., AMBRON, S.R., DORNBUSCH, S.M., HESS, R.D. HORNIK, R.C. PHILLIPS, D.C., WALKER, D.F. y WEINER, S.S.(1980). Toward reform of program evaluation. San Francisco, CA: Josey-Bass. CRONBACH, L.J. y SUPPES, R (Eds.) (1969). Research for tomorrow's schools: disciplined inquiry for education. New York: Macmillan. DE LA ORDEN, A. (1996). "Evaluacin, innovacin y calidad educativa". XI Congreso Nacional de Pedagoga: Innovacin pedaggica y polticas educativas. San Sebastin: Sociedad Espaola de Pedagoga y Universidad del Pas Vasco. FETTERMAN, D. M. (1992). "Theory in evaluation: we think, therefore we theorize (An etnographer's perspectiva)". En H-t Chen y P. H. Rossi: O.c. FULLAN, M. (1994). Change forces. Probing the depths of Evaluational Reform. Bristol: Palmer Press. GUBA, E.G. y LINCOLN, I.S. (1981). Efjctive evaluation. San Francisco, Washington, London: Jossey Bass. GUBA, E.G. y LINCOLN, I.S. (1989). Fourth generation evaluation. London: Sage. HOUSE, E.R. (Edit.) (1986). New directionsin educational evaluation. London: Palmer Press. LINCOLN, Y.S. (1985). Organizational theory and inquiry. London: Sage. LINCOLN, I.S. y GUBA, E.G. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage. LINCOLN, Y.S. y GUBA, E.G. (1986). "But is it rigurous? Trustworthiness and authenticity in naturalistic evaluation", (73-78), En D.D.Williams (Ed.): Naturalistic evaluation. New directions for program evaluation, 30, San Francisco: Jossey-Bass.

90
LIPSEY, M.W. y POLLARD.J.A. (1989). "Driving toward theory in program evaluation: more models to choose from". Evaluation and Program Planning. 12,317-328. MARTNEZ MEDIANO, C. (1993). Factores de eficacia de los Centros Asociados de la UNED. Madrid: ICI-AIESADUNED. MARTNEZ MEDIANO, C. (1996). "Investigacin evaluativa sobre los factores de eficacia de los Centros Asociados de la UNED". Revista Iberoamericana de Educacin superior a Distancia. AIESAD, Vol. VIII, 1.25-50. MARTNEZ MEDIANO, C. (1997). Evaluacin de programas educativos. Investigacin evaluativa. Modelos de evaluacin de programas. Madrid: UNED, CU. 159. PARLETT,M.R. y HAMILTON, D. (1978). Evaluation as illumnation: A new approach to the study ofinnovative programmes. Occasional paper, 9, Centre for Research in the Educational Sciences. University of Edinburgh. 1972. PATTON, M.Q. (1980). Qualitative evaluation and research methods. Newbury Park, CA: Sage. (ed rev.1990). PREZ JUSTE, R. (1992). Evaluacin de programas de orientacin. V Seminario Iberoamericano de Orientacin. Actas AEOEP y Departamento MIDE. (46-66). PREZ JUSTE, R., MARTNEZ MEDIANO, C. y RODRGUEZ GMEZ, G. (1994). Centros educativos de calidad. Madrid: ITE.CECE. REIGELUTH, CH. M. (1983). "Instructional Design: What is it and why is it?" (3-36). En: C.M. Reigeluth (Ed.). Instructional-Design. Theories and Models: An overview of their current status. Hillsdale. N.J. London: Lawrence E r l b a u m Associates, Publishers. 487 pp. ROSSI, P H . y FREEMAN, H.E. (1993). Evaluation: A systematic approach. (5a ed.). Newbury Park, CA: Sage. SCRIVEN, M. (1991). Evaluation thesaurus. Newbury Park, CA: Sage.

EDUCACIN X X I

SHADISH, W.R. y REICHARDT, C.S. (1987). Evaluation Sludies Review Annual. Newbury Park, CA: Sage. SHADISH, W.R. COOK, TD. y LEVITN, L.C. (1991). Foundations of program evaluation: Theories of practice. Newbury Park, CA: Sage. STAKE, R.E. (1967). The counlenance of educational evaluation. Teachers College Record. 68, (523-540). STAKE, R.E. (1975). Programm evaluation, particularly responsive evaluation. Occasional Paper Series, 5. Uni-versity of Western Michigan. Evaluation Canter. STAKE, R.E. (1980). "Program evaluation, particularly responsive evaluation". En W.B.Dickrell y D.Hamilton (Eds.), Rethinking educational research, (Jl-Kl), London: Hodder and Stoughton. STAKE, R.E. (1990). "Responsive evaluation". En H.G. Walberg y G.D. Haertel (Eds.): The Inteniational Encyclopedia of Educational Evaluation. Oxford, New York: Pergamon Press, (75-77). SUCHMAN, E.A (1967). Evaluation research: Principies and practice in public service and social action programs. New York: Russell Sage Foundation. WEISS, C H . (1972). Evaluation research: Methods for assessing program effectivemess. Englewood Cliffs,NJ: PrenticeHall. WEISS, C H . (1972). "Evaluating educational and social programms: A treefui of owls". En CH.Weiss (Ed.): Evaluating actions programs: Readings in social action and education. (3-27). Boston: Allyn and Bacon. WEISS, C H . (1975). Investigacin evaluativa: Mtodos para determinar la eficiencia de los programas en accin. Mxico: Trillas. WEISS, C H . y BUCUVALAS, M.J. (1989). "Truth tests and utility tests: Decisionmakers'frame of reference for social science research". En H.E.Freeman y M.A.Solomon (Eds.). Evaluation studies review a n n u a l , 6,(695-706). Beverly Hills, CA: Sage.

LA IEORA DE LA EVALUACIN DE PROGRAMAS

91

RESUMEN
En este trabajo sobre La teora de la evaluacin de programas comenzamos realizando una revisin de la situacin actual de la evaluacin como disciplina de conocimiento, mencionando sus elementos constitutivos, para centramos, a continuacin, en la evolucin que ha seguido la disciplina de la Evaluacin de programas, volcada en un primer momento en los mtodos de investigacin contribuyendo a su desarrollo adaptado a la problemtica evaluativa y, posteriormente, en el desarrollo de la teora de la evaluacin de programas, fundamental en toda disciplina cientfica, que orienta la elaboracin de los programas sociales y educativos, clarifica los procesos y las metas de la evaluacin, comprueba su realizacin prctica y resultados, asesora en la mejora de los programas y contribuye, en definitiva, a la construccin del conocimiento. Palabras clave: Teora de la evaluacin de programas. Evaluacin como disciplina de conocimiento. Mtodos de investigacin adaptados a la evaluacin de programas.

ABSTRACT
This paper is about Program Evaluation Theory. It shows, at the beginning, an overview on Evaluation as knowledge discipline, analyzing their constitutive elements. Then, we focus on the development of Program Evaluation, with one special interest, in the 60's, on research methods, with one important contribution to develop appropriate methods to the special evaluation questions and issues, and in the 80's involved on the development of Program Theory, one of the elements constitutive of the knowledge discipline, to guide the construction of social and educative programs, its goals, its implementation and outcomes, and to guide the decisin making, to change and improve programs, and thus, to contribute to the construction of knowledge. Key words: Program Evaluation Theory. Evaluation as knowledge discipline. Research methods appropriate to program evaluation.