DIFERENCIAS ENTRE EVALUACION E INVESTIGACION: UNA DISTINCION NECESARIA PARA LA IDENTIDAD DE LA EVALUACION DE PROGRAMAS MARA BUSTELO* Resumen1[1] Durante

los primeros aos del desarrollo de la disciplina de la evaluacin de programas2[2], en los aos 60 y 70, no se encuentran en la literatura especializada distinciones entre investigacin y evaluacin. Entonces, se conceba la evaluacin como un tipo de investigacin de carcter aplicado y que debe guiarse por los estndares de la misma. En realidad, se consideraba la evaluacin como una hermana menor de la investigacin, siendo a veces desprestigiada en la comunidad cientfica de entonces. La utilizacin de trminos como investigacin evaluativa3[3] (Rossi y Freeman, 1989; Weiss, 1975, etc.), aunque contribuan a dar una mayor "seriedad" y a obtener legitimidad para el nuevo campo, no ayudaban al esclarecimiento o diferenciacin de los dos conceptos. En este artculo se abordan las diferencias y semejanzas entre los dos tipos de actividad o indagacin. La diferenciacin se realiza sobre la base de la necesidad de clarificar la naturaleza de ambos conceptos y de afirmar la identidad de la evaluacin de programas como actividad cientfica diferenciada. I. ESTABLECIMIENTO Y DISCUSIN DE CRITERIOS PARA LA COMPARACIN Como ya se ha comentado antes, las distinciones entre investigacin y evaluacin son relativamente recientes -hasta la segunda mitad de los aos 80 no se encuentran escritos sobre las diferentes caractersticas de las dos actividades- y responden a una necesidad de otorgar un carcter propio a la evaluacin de programas. Adems, estas recientes distinciones elaboradas hasta el momento se han basado, casi exclusivamente, en las diferentes finalidades o propsitos de los dos tipos de actividad. El resto de los criterios utilizados hasta ahora para comparar investigacin y evaluacin derivan de sus diferentes finalidades -como son diferencias en el contexto en el que se realiza y respecto a los resultados que deben producir-. Por lo tanto, no se ha insistido tanto en la distinta naturaleza del tipo de indagacin, y sin embargo s se ha hecho ms hincapi en criterios de tipo metodolgico, e incluso epistemolgico, para sealar las semejanzas y diferencias de cada una de las actividades. Respecto a la naturaleza de la investigacin y de la evaluacin, es evidente que ambas son modos de indagacin sistemtica. Esto implica que, como requisito mnimo, son actividades que se hacen de forma consciente y con un sistema, es decir, siguiendo unos pasos o aplicando algn mtodo o forma sistemtica de actuacin. Adems, para Lincoln y Guba (1986: 547) se trata de tipos de

Profesora asociada del Departamento de Ciencia Poltica y de la Administracin II. Facultad de CC. Polticas y Sociologa de la Universidad Complutense de Madrid. 1[1] Deseara agradecer a Carlos Closa, Narciso Pizarro, Jacint Jordana y Carles Rami, sus valiosos comentarios sobre este trabajo. 2[2] Utilizamos aqu el trmino de evaluacin de programas en sentido amplio y gnerico, incluyendo la evaluacin de polticas, planes, programas, proyectos, servicios, medidas, instituciones y materiales. Excluimos de este trmino la evaluacin de alumnos y de personal. 3[3] Aqu se aboga por la utilizacin del trmino de investigacin evaluativa nicamente como la actividad de investigacin sobre la evaluacin: metaevaluacin, investigacin sobre la utilizacin de la evaluacin por parte de los poderes pblicos, institucionalizacin y desarrollo de la funcin de evaluacin en las instituciones, etc. Es decir, a la investigacin cuyo objeto de estudio son los procesos de evaluacin. Aunque se cree que el trmino ms adecuado sera investigacin sobre evaluacin ms que investigacin evaluativa.

-1-

indagacin disciplinadas. Por indagacin disciplinada (disciplined inquiry), estos autores entienden algo que es confirmable pblicamente y que permite explicitar la naturaleza de los datos, las fuentes y el contexto en el que fueron recogidos, as como los procesos de transformacin de los datos en informacin (interpretaciones, conclusiones, extrapolaciones, recomendaciones). A caballo entre el criterio de la naturaleza de cada actividad y el criterio de su finalidad, estara su posible carcter bsico o aplicado. Ambos tipos de actividad investigacin y evaluacin- pueden ser de carcter aplicado; pero la evaluacin es siempre de carcter aplicado, nunca bsico. La investigacin, por el contrario, puede ser tanto de carcter bsico como aplicado. Sin embargo, el hecho de que se d una investigacin aplicada (cuyo fin primario sea la solucin de un problema o la respuesta a una necesidad concreta, ms que el desarrollo de teora en abstracto) no la convierte automticamente en una actividad evaluativa. Tampoco el hecho de ser aplicada no significa que sea una investigacin de categora inferior; muy al contrario, el carcter aplicado de la investigacin dota de contenido y utilidad social a la actividad cientfica. Como sealan Lincoln y Guba es posible afirmar que muchos avances bsicos en las ciencias han sido ocasionados por esfuerzos para resolver problemas prcticos (1986: 548). Lo que s parece claro es, como se ha dicho antes, que la evaluacin es siempre de carcter aplicado ya que se hace para valorar el mrito y/o valor de un evaluando en su contexto, para resolver determinadas necesidades de informacin y con la intencin de mejorar el evaluando, rendir cuentas sobre el mismo o ilustrar sobre acciones futuras. Es ms, se puede afirmar que la evaluacin es un tipo de indagacin sistemtica especialmente aplicada. Como se discutir en mayor detalle en la seccin siguiente, el criterio de la diferente finalidad de la investigacin y la evaluacin es el que proporciona una base ms amplia para su distincin. Lgicamente, en su finalidad se encuentra la razn de ser de ambas actividades cientficas. Estos diferentes propsitos y finalidades provocan, adems, una serie de condicionantes para cada tipo de indagacin, que tambin sern discutidos ms adelante. La investigacin y la evaluacin se suelen producir en contextos distintos y que pueden ser caracterizados de forma diferente, segn se trate de una investigacin o de una evaluacin. Algunos autores como Weiss (1998), quien considera que la evaluacin se desarrolla en un escenario de accin, han utilizado este criterio para distinguir entre los dos tipos de actividad; pero, en general, hasta ahora las diferencias de contexto no han sido explotadas en todas sus posibilidades. En la siguiente seccin se discutir sobre lo crucial de este criterio para distinguir investigacin y evaluacin. De forma especial, las diferencias en el objeto de estudio han sido poco tratadas en la literatura sobre evaluacin, aunque desde nuestro punto de vista, tambin se pueden identificar algunas diferencias. Incluso suponiendo que se trata de una investigacin de tipo aplicado, y que su objeto de estudio est directamente relacionado con el objeto o problema que pretende un programa o poltica (en trminos de Cordray y Lipsey, 1987, lo que llamaramos investigacin de programas), se pueden establecer y discutir algunas distinciones segn el objeto de estudio. Como ya se ha mencionado, los criterios ms utilizados para resaltar diferencias y semejanzas entre investigacin y evaluacin, junto con los de finalidad, son los de tipo epistemolgico y metodolgico. Algunas de las primeras distinciones que se encuentran en la literatura, tendan a pensar en la investigacin en trminos positivistas, dejndole a la evaluacin mayores grados de libertad metodolgicos. Las evaluaciones suelen utilizar mtodos subjetivos y no estn tan estrechamente controladas ni sujetas a manipulacin como las investigaciones (Stufflebeam y Shinkfield, 1987: 23). Incluso se llega a identificar a cada tipo de actividad con un paradigma diferente desde el punto de vista epistemolgico. Para Cordray y Lipsey (1987: 29), la evaluacin se inscribira en una perspectiva ms constructivista (examinando diferentes hechos, vistos desde muchos puntos de vista) mientras la investigacin lo hara en una ms positivista (examinando un -2-

conjunto de hechos sobre los aspectos tangibles de una intervencin). Desde nuestro punto de vista, incluso contemplando dichas actividades desde todas las posturas epistemolgicas posibles, se pueden distinguir de forma clara estos dos tipos de indagacin. En esta lnea de inclusin de todas las perspectivas paradigmticas, distinguen investigacin y evaluacin Lincoln y Guba (1986). Estos autores proponen una definicin de investigacin que sea vlida para cualquier orientacin epistemolgica y para cualquier tipo de investigacin (bsica o aplicada): es un tipo de indagacin disciplinada que se lleva a cabo para resolver algn problema de forma que se consiga entendimiento o se facilite la accin. Sin embargo, la evaluacin es un tipo de indagacin disciplinada que se lleva a cabo para determinar el valor (mrito y/o vala) de alguna entidad -el evaluando- tal como un tratamiento, un programa, unos recursos o una actuacin, de forma que se mejore o refine el evaluando (evaluacin formativa) o se valore su impacto (evaluacin sumativa) (Lincoln y Guba, 1986: 549-550). Como se puede observar, estas definiciones vuelven a hacer hincapi en las diferentes finalidades. Una de las semejanzas que siempre se aducen al hablar de investigacin y evaluacin es la utilizacin de la misma metodologa (Weiss, 1998). Es ms, en ocasiones se ha definido la evaluacin como la utilizacin de los mtodos de la investigacin para valorar programas. Para Weiss, la utilizacin de los mtodos de las ciencias sociales tiene como fin hacer que el proceso valorativo sea ms exacto y sistemtico. De nuevo, como muchos otros autores, Weiss seala que lo que distingue la investigacin evaluativa no es el mtodo o la materia de la que se ocupa, sino la intencin o el propsito para la que se hace (Weiss, 1998: 15). Como ya se ha visto, ni siquiera Lincoln y Guba, quienes enmarcan su discusin con pautas de carcter epistemolgico, insisten en las diferencias metodolgicas, sino que se centran en las diferencias de propsito, y mencionan algunas cuestiones respecto a los destinatarios y los resultados o productos. Ms adelante, se argumenta que tambin existen diferencias de mtodo, aunque ambos tipos de actividad utilicen las mismas tcnicas de recopilacin y anlisis de informacin e incluso las mismas metodologas en ocasiones. De esta manera, hacemos eco del smil utilizado por Lincoln y Guba: el hecho de que utilicen las mismas herramientas (martillos, destornilladores, sierras y llaves) no hace iguales a carpinteros, electricistas y fontaneros (Lincoln y Guba, 1986: 537). Carol H. Weiss, adems de la utilizacin de las mismas tcnicas y mtodos, e incluso los mismos diseos de investigacin, menciona otra semejanza relacionada con el criterio metodolgico. Para Weiss, la evaluacin pretende, como cualquier otra investigacin, describir, entender relaciones entre variables y seguir la secuencia causal de una variable con otra. Sin embargo, para la autora, no siempre se pueden aplicar los mtodos con el mismo rigor que en la investigacin ya que las dependencias del tiempo, el espacio, la gente y los recursos disponibles son ms estrechas y evidentes en situaciones de evaluacin. As, "los mtodos de evaluacin a menudo representan un trmino medio entre lo ideal y lo posible" (Weiss, 1998: 18). En definitiva, lo que las diferencia, pues, no es la metodologa en s misma sino las circunstancias y condicionantes con los que se aplica. Segn nuestro punto de vista, la idea de metodologa de Weiss tiene que ver con una visin tradicional y acotada del mtodo y que se limita a la forma en la que se recopila y analiza la informacin. Esto tambin tiene que ver con la necesaria diferencia que se debe establecer entre los niveles metodolgico y tecnolgico (referido a las tcnicas para la recopilacin y anlisis de la informacin). La metodologa se refiere al razonamiento lgico que vincula la informacin que se recopila al conocimiento general. Las tcnicas son las que permiten recopilar la informacin. Como veremos ms adelante, si consideramos que la metodologa de evaluacin comprende algo ms que la recopilacin y el anlisis de la informacin, se pueden tambin encontrar diferencias de mtodo entre los dos tipos de indagacin.

-3-

Adems de los criterios mencionados, se pueden tambin sealar diferencias entre investigacin y evaluacin segn los destinatarios o usuarios de los dos tipos de actividad, ya que estos son potencialmente distintos, siendo los destinatarios de la investigacin la comunidad cientfica en trminos abstractos, y de la evaluacin, una comunidad de poltica o programa concreta. Tambin se pueden establecer diferencias segn los resultados que deben producir y que se esperan de los dos tipos de indagacin; respecto a los resultados se puede hablar, por un lado, de productos esperados (publicacin de resultados en un caso y recomendaciones e informe en el otro) y, por otro, de sus efectos (reconocimiento de la comunidad cientfica en un caso y utilizacin de los resultados en el otro). Finalmente, al ser actividades diferenciadas, el papel de los agentes (es decir, investigadores y evaluadores) tambin puede diferenciarse, incluyendo algunos requisitos y necesidades distintas para investigadores y evaluadores. Al fin y al cabo los evaluadores se mueven en un contexto determinante y de caractersticas muy distintas (con un fuerte carcter poltico) a los contextos en los que se generan las investigaciones. Esto significa que los evaluadores deben contar con una serie de destrezas, como son, por ejemplo, el conocimiento de los procesos polticos y ciertas habilidades de comunicacin, que no son tan importantes en el caso de los investigadores. A continuacin analizamos pormenorizadamente las diferencias entre los dos tipos de actividad, discutiendo las diferencias de finalidad y propsito, de contexto, de objeto, de mtodo, de destinatarios de resultados (productos y efectos esperados) y de agentes. Finalmente se elaboran unas conclusiones sobre el significado de dichas diferencias para la teora y la prctica de la evaluacin. II. LAS DIFERENCIAS DE FINALIDAD Y PROPSITO En trminos generales, la investigacin se hace con el fin ltimo de construir conocimiento. La evaluacin, sin embargo, se hace para mejorar los programas evaluados, rendir cuentas sobre los mismos y generar una informacin que permita ilustrar posibles acciones futuras. Es cierto que, de alguna manera, la evaluacin tambin construye conocimiento, pero ste es siempre de carcter ms aplicado o concreto. La realizacin de evaluaciones sistemticas en un determinado sector o de un determinado tipo de polticas (por ejemplo, de cooperacin al desarrollo) es evidente que contribuye a la acumulacin de conocimiento sobre el problema que se trata de resolver y la forma de hacerlo. Pero tambin es claro que sta no es su funcin principal. La evaluacin nunca se hace con el fin de comprobar proposiciones tericas, aunque s sea, en cierto modo, una aplicacin de la teora ya que las evaluaciones siempre tienen como teln de fondo y referencia, adems del contexto especfico del evaluando, el marco terico en torno al tipo de intervencin evaluado. Esta diferencia de propsito es la primordial a la hora de distinguir entre investigacin y evaluacin y la que hace que los dos tipos de indagacin sean distintos respecto a otras dimensiones y caractersticas. As, la investigacin es un modo de indagacin de carcter acadmico, mientras la evaluacin lo es de carcter prctico (Cordray y Lipsey, 1987). Esto quiere decir que la evaluacin de programas pone nfasis en la valoracin y el enjuiciamiento del evaluando, su significado para los destinatarios, patrocinadores y responsables, en ser relevante y sensible ante el contexto y, sobre todo, en ofrecer una informacin oportuna en el tiempo y til para la toma de decisiones relacionada con dicho evaluando. Por lo tanto la utilidad es el sentido ltimo o leit-motiv de la evaluacin de programas. La evaluacin se hace con la intencin de ser utilizada. En su forma ms simple, la evaluacin se lleva a cabo por parte de un cliente que tiene decisiones que tomar y que busca en una evaluacin una informacin en la que basar sus decisiones. Incluso cuando el uso es menos directo e inmediato, la utilidad de algn tipo es la fundamentacin de la evaluacin (Weiss, 1998: 15).

-4-

El hecho de que la utilidad sea una caracterstica central de la evaluacin conlleva una serie de condicionantes que deben darse en este tipo de actividad cientfica. La existencia de un cliente o clientes que han demandado la evaluacin y la necesidad de responder ante un contexto especfico hacen que el evaluador, adems de la lealtad hacia su campo de estudio y como cientfico social, tenga, sobre todo, obligaciones con el cliente, los formuladores de la poltica, los directivos, los profesionales y los participantes y beneficiarios del programa evaluado. Esto significa que la evaluacin debe tener mayor capacidad de respuesta que la investigacin, especialmente ante el contexto (aunque la investigacin debe tener tambin en cuenta el contexto, para la evaluacin la respuesta al mismo es crucial) y ante los responsables e implicados4[4] de los programas. En conexin con esta capacidad de respuesta y, en general, con la utilidad como sentido ltimo de la evaluacin, est la necesaria oportunidad en el tiempo que debe tener la evaluacin. Los ritmos de la investigacin pueden ser distintos, mucho ms lentos. Sin embargo, para la evaluacin, la capacidad de respuesta est claramente ligada al calendario. La utilidad de la informacin que arroja una evaluacin depende, en gran medida, de que sta llegue a tiempo para la toma de decisiones sobre las mejoras, las posibles modificaciones y el rendimiento de cuentas. La entrega tarda de un informe de evaluacin puede significar la prctica inutilidad del mismo. Eleanor Chelimsky reflexiona sobre las aportaciones que se pueden hacer a la teora de la evaluacin desde la experiencia de la prctica evaluativa5[5], y es precisamente ste uno de los puntos sobre el que llama la atencin; para ella, a la necesidad de oportunidad en el tiempo de la evaluacin no se le ha dado la suficiente importancia a nivel terico (Chelimsky, 1998). Cuanto ms inestable e incierto polticamente sea el contexto en el que se encuentra el programa o poltica a evaluar, ms acuciante es la necesidad de que la evaluacin cumpla los criterios de temporalidad. Si se tarda mucho tiempo en contestar las preguntas de evaluacin, por muy bien contestadas que estn, es posible que el debate que las gener ya no sea el mismo, que se hayan quedado obsoletas y sean irrelevantes o que los destinatarios a los que se haba dirigido la evaluacin hayan desaparecido. Chelimsky tambin seala que el incumplimiento de plazos en un proceso de evaluacin suele daar la reputacin y credibilidad de los evaluadores a largo plazo; adems del incumplimiento de compromisos, los retrasos suelen entenderse como seal de incompetencia o de que hay algo que ocultar (Chelimsky, 1998: 41). III. LAS DIFERENCIAS DE CONTEXTO La evaluacin se desarrolla en un contexto especfico que es al que dicha evaluacin debe responder y que debe orientar y enfocar el estudio de evaluacin. Adems, los procesos de evaluacin siempre se llevan a cabo en un escenario de accin, en el que lo ms importante que ocurre es el programa. Weiss insiste en que en este tipo de escenarios es probable que se den conflictos entre el programa y la evaluacin del mismo; lgicamente, cuando esto ocurre, siempre se da prioridad al programa y no a la evaluacin (Weiss, 1998: 15). Al fin y al cabo, si la evaluacin se realiza para mejorar el programa, es lgico que aquella dependa de y se subordine a ste. Por lo tanto, los procesos de evaluacin dependen ms del contexto que los de investigacin. Esto, en trminos prcticos, significa que las estrategias de seleccin, recopilacin y anlisis de la informacin tambin se deben plantear de forma diferente en los dos tipos de actividad, siendo ms cautelosos e inclusivos (ofreciendo una mayor participacin a responsables e implicados) en los procesos de evaluacin.

4[4]

El trmino utilizado en la bibliografa es el de stakeholder, de difcil traduccin al castellano y que vendra a significar aquellas personas que tienen algo que decir respecto al programa (que pueden verse afectadas o afectan al mismo). La definicin del trmino aplicada a la evaluacin se expresa como los individuos o grupos que pueden verse implicados o afectados por una evaluacin (Joint Committe, 1994: 3). Aqu se traduce como implicados. 5[5] Chelimsky trabaja durante la dcada de los 80 como directora de la Divisin de Evaluacin de Programas y Metodologa de la General Accounting Office (GAO). Como tal se encarg de encargar y dirigir ms de 300 evaluaciones dirigidas al Congreso de los EE.UU.

-5-

Esta mayor dependencia del contexto de la evaluacin est ntimamente ligada al necesario reconocimiento del carcter poltico de los procesos evaluativos. Esta es otra diferencia clara con la investigacin, ya que esta ltima se ve mucho menos afectada por el contexto poltico. Carol H. Weiss (Weiss, 1987) sostiene que la evaluacin es una tarea racional pero que se lleva a cabo en un contexto poltico en el que, adems, hay que tener en cuenta tres consideraciones: la primera, que las polticas y programas que se evalan son resultado de decisiones polticas. Segundo, la evaluacin al llevarse a cabo para alimentar el proceso de toma de decisiones entra, inevitablemente, en la arena poltica. Tercero, la evaluacin en s misma adopta una postura poltica ya que, por su misma naturaleza, expone implcitamente cuestiones tales como la naturaleza problemtica o necesidad de algunos programas, la legitimidad de las estrategias y objetivos, etc. Conocer estas resistencias y fuerzas polticas es necesario para realizar una evaluacin til. En definitiva, se reconoce el contexto poltico, incluso como determinante de una situacin evaluativa a la que vamos a tener que responder metodolgicamente de formas diversas. IV. LAS DIFERENCIAS DE OBJETO La diferencia bsica inicial estriba en que la investigacin suele tener por objeto el estudio del problema que los programas intentan abordar, es decir qu problema pblico se intenta solucionar y sus caractersticas (por ejemplo, la desigualdad de oportunidades entre mujeres y hombres) y la evaluacin, sin embargo, se dedica al estudio de las intervenciones pblicas que intentan solucionar dicho problema, es decir, cmo se aborda el problema en un contexto y momento determinado (por ejemplo, la poltica de igualdad de oportunidades entre mujeres y hombres). Afinando algo ms en el anlisis, mientras la investigacin puede dedicarse a la evolucin del problema en abstracto, la evaluacin pretende valorar las intervenciones para abordar dicho problema y sus efectos en esa evolucin, o, dicho de otra manera, cmo ha ido evolucionando el problema por efecto de la intervencin a travs de un programa. Esto, en un sentido estricto, es a lo que se llama el efecto neto de un programa o poltica, es decir, lo que ha producido un programa y que no se hubiera producido en ausencia del mismo. Esta diferenciacin es importante porque puede dar lugar a equvocos. Por ejemplo, el estudio de la situacin social de la mujer y su evolucin durante tres aos en un determinado territorio no es equivalente a la evaluacin del Plan de Igualdad de Oportunidades entre Mujeres y Hombres que se haya ejecutado en ese territorio durante el mismo perodo. Es decir, una cosa es el anlisis peridico de la situacin de la mujer, y otra muy diferente, la valoracin de las acciones que se han llevado a cabo por parte de los poderes pblicos para paliar las situaciones de desigualdad de gnero. Adems de la valoracin de este efecto neto, que en muchas ocasiones es sumamente difcil y costoso de medir, la evaluacin de la forma en la que se aborda un problema pblico debe incluir la valoracin del diseo de la intervencin, su puesta en prctica y sus resultados. Es decir , el foco de la evaluacin es la valoracin de las acciones e intervenciones concretas que se realizan para abordar un problema determinado, en todas sus dimensiones. Stufflebeam y Shinkfield (1987: 23) consideran que, mientras la investigacin se limita al estudio de ciertas variables que tienen un inters terico, la evaluacin se dedica a todos los criterios que se utilizan en la determinacin de un valor. Esto significa que la investigacin puede centrarse en ciertos aspectos concretos o en algunas variables especficas; es decir, su foco de atencin puede ser pequeo o ms acotado. Por el contrario, la evaluacin, por el hecho de determinar el valor de una intervencin, suele tender a considerar sta de forma global, ms que centrarse en algunos aspectos concretos de dicha intervencin. Sin embargo, aunque existen diferencias genricas entre el objeto de estudio de la investigacin y la evaluacin y el reconocimiento de las mismas es tambin importante para establecer una identidad para la evaluacin como actividad cientfica diferenciada, no basta con distinguir los objetos en trminos abstractos. Por un lado, es evidente que el abanico de objetos de investigacin (cualquier tipo de problema) es mucho ms amplio que el de la evaluacin, que est mucho ms acotado -6-

(abordaje de un problema a travs de algn tipo de intervencin). Pero por otro lado, para diferenciar entre objetos, puede hacer falta el cruce del propsito con el que se lleva a cabo la indagacin. As, el objeto de la evaluacin puede ser invadido por la investigacin, si sta se lleva a cabo con un propsito diferente al de la evaluacin de programas. Por ejemplo, el estudio comparado de las polticas de cooperacin al desarrollo en tres pases, aunque se trata de un objeto que tiene que ver con el abordaje de un problema, ms que con el problema en s mismo, sera ms investigacin que evaluacin porque, seguramente, no se llevara a cabo con la intencin de mejorar las polticas o controlar responsabilidades, sino con un propsito ms general de construccin de conocimiento. V. LAS DIFERENCIAS DE MTODO En el desarrollo de cualquier tipo de indagacin social, es conveniente diferenciar entre cuatro niveles: el nivel ontolgico, que se refiere a lo que se considera la naturaleza de la realidad, el nivel epistemolgico que tiene que ver con la relacin entre el conocimiento y el conocedor, el nivel metodolgico que hace referencia a cmo debe buscarse el conocimiento, y el nivel tecnolgico que tiene que ver con las tcnicas concretas que se utilizan para la recopilacin y tratamiento de la informacin. Segn el paradigma de referencia, las concepciones en cada uno de estos niveles son diferentes. As, por ejemplo, a nivel ontolgico el paradigma positivista plantea que la realidad existe y se conduce por leyes de causa-efecto que pueden ser conocidas, mientras que para el paradigma constructivista, las realidades existen como construcciones mentales y son relativas a las personas que las mantienen. A nivel espistemolgico, para el positivismo la indagacin puede y debe neutralizar los valores del investigador, mientras para el constructivismo el conocimiento y el conocedor forman parte de una misma entidad subjetiva y los hallazgos son el resultado de una interaccin. Para el positivismo las hipstesis pueden ser comprobadas empricamente a nivel metodolgico. El constructivismo, sin embargo, plantea la identificacin, la comparacin y la descripcin de las construcciones que existen, de forma hermenutica y dialctica (Guba, 1990). Las tcnicas de recopilacin y tratamiento de datos son independientes de la metodologa que se emplee, aunque el paradigma positivista tienda a la utilizacin de tcnicas cuantitativas y el constructivista a las cualitativas, aunque esto no tiene por qu ser as6[6]. En lo que se refiere a la distincin entre la metodologa de investigacin y la de evaluacin, es interesante insistir en la diferencia entre los niveles metodolgico y tecnolgico. De esta manera, la utilizacin de las mismas tcnicas de recopilacin y anlisis de informacin no significa la utilizacin de una misma metodologa. Como se ha comentado antes, Guba (1990) dice que la metodologa se refiere a la forma en la que se busca el conocimiento; nosotros aadiramos en que se busca y se ofrece el conocimiento. As, creemos que cuando se habla de metodologa de evaluacin estamos hablando de algo ms que la forma en la que se recopila y analiza la informacin; hablamos, al menos, de 1) cmo se selecciona la informacin que se quiere recopilar, teniendo en cuenta y respondiendo al contexto especfico del programa que se pretende evaluar (diagnstico de la situacin evaluativa, diseo de la estrategia general de evaluacin y establecimiento y definicin de los criterios o preguntas de evaluacin), 2) cmo se recopila y trata la informacin que nos va a permitir contestarnos a las preguntas de evaluacin, y 3) cmo se valora dicha informacin y, por lo tanto, se juzga el mrito y/o valor del evaluando. En una visin amplia de la metodologa podramos aadir, adems, otros dos pasos: 4) cmo se traducen dichas valoraciones en recomendaciones para la accin y 5) cmo se transmiten y comunican los resultados de la evaluacin para que stos sean lo ms tiles y utilizados. Aunque estos dos ltimos
6[6]

La evaluacin de resultados realizada en el ao 1997 del Programa de Prevencin de Drogodependencias de la Comunidad de Madrid (PPD) se plantea un diseo cuasiexperimental de grupos no equivalentes. Adems de comparar estadsticamente las contestaciones de alumnos PPD y alumnos no PPD en un cuestionario sobre consumo de drogas, se realizan tambin grupos de discusin con algunos alumnos PPD y con alumnos no PPD. Como parte de la evaluacin se comparan tambin los discursos de esos dos grupos. Este es un ejemplo claro de utilizacin de una tcnica cualitativa con una metodologa experimentalista (positivista).

-7-

pasos pueden ser tambin considerados como resultados esperados de los procesos de evaluacin. Por lo tanto, hay varias caractersticas que distinguen la metodologa de evaluacin de la de investigacin y la hacen, de alguna forma, especfica. En primer lugar, esta especificidad tiene que ver con la definicin del problema a resolver y con el primer paso sobre cmo se seleccionan los criterios o preguntas de evaluacin. Weiss (1998: 15) seala que, en evaluacin, las preguntas que se plantean se derivan siempre del propio programa a evaluar. Independientemente de que se tenga en cuenta el estado de la cuestin, las fuentes ms importantes para la elaboracin de los criterios o preguntas de evaluacin son los objetivos del programa a evaluar y, sobre todo, las preocupaciones de los implicados en o afectados por dicho programa (de la comunidad de poltica o programa). Mientras los investigadores pueden formular sus propias hiptesis, el evaluador debe convertir en preguntas de evaluacin las preocupaciones del programa. Aunque el evaluador pueda influir en lo que l considera importante, el corazn de los estudios de evaluacin son las cuestiones de inters programtico. En segundo lugar, en evaluacin siempre se da un elemento de valoracin. Para Weiss (1998:15) una de las diferencias entre investigacin y evaluacin es lo que ella llama la calidad de juicio. En evaluacin se compara entre lo que es y lo que debera ser; se compara respecto a normas implcitas o explcitas, relativas o absolutas. El elemento de valoracin respecto a una serie de criterios es lo que diferencia la evaluacin respecto a otros tipos de investigacin. Tambin para Alvira, aunque los procesos de evaluacin son muy similares a los de una investigacin aplicada, la caracterstica que principalmente diferencia a los dos tipos de actividad es que en evaluacin se deben emitir juicios de valor sobre el objeto evaluado (Alvira, 1991: 7). Este debe ser siempre un enjuiciamiento sistemtico, que tenga en cuenta los criterios y normas previamente establecidos y que se base, sobre todo, en los datos recopilados y en las interpretaciones que de ellos se han hecho. Sin embargo, investigacin y evaluacin no se diferencian por las tcnicas de recopilacin y anlisis de informacin que son, bsicamente, las mismas. Aunque, afinando en el anlisis, se puede sealar que, en general, las evaluaciones tienden a utilizar tcnicas menos sofisticadas que las investigaciones. Las constricciones de tiempo, recursos y contexto que suelen darse en las situaciones de evaluacin hacen que, en muchas ocasiones, la utilizacin de tcnicas complejas y costosas sea menos posible y apropiado. VI. LAS DIFERENCIAS EN LOS DESTINATARIOS O USUARIOS DE LAS INVESTIGACIONES Y DE LAS EVALUACIONES Otra diferencia entre evaluacin e investigacin son los destinatarios a los que se dirige, o dicho de otro modo, los usuarios de ambas actividades cientficas. En el caso de la investigacin, el grupo destinatario principal es la comunidad cientfica y en un papel secundario, las comunidades de poltica relacionadas con el tema investigado. En evaluacin, ocurre justamente lo contrario: en un papel secundario estara la comunidad cientfica, y como destinataria principal la comunidad de poltica. Esta comunidad de poltica es, en cualquier caso, compleja y amplia. Adems del cliente que la encarga, existen muchas otras personas que estn implicadas en el programa, de una manera u otra, y, por lo tanto, tienen necesidades de informacin e intereses en los procesos evaluativos. Es posible que para una evaluacin haya un nico cliente que la ha encargado, pero siempre va a haber ms destinatarios que esperan algo en concreto de esa evaluacin. Como muestra, Guba y Lincoln (1989: 40-41) identifican un amplio listado de trece tipos de posibles implicados (stakeholders) en una evaluacin, divididos en tres grandes clases: los agentes, los beneficiarios y las vctimas del programa a evaluar. En este listado se incluyen desde los patrocinadores del programa (agentes) hasta las personas que sufren costes de oportunidad por el uso del evaluando, tales como las personas que hubieran preferido invertir los recursos en otros programas (vctimas). Por lo tanto, el elenco de destinatarios a los que hay que responder y de posibles actores a involucrar es mucho ms amplio y complejo en los procesos de evaluacin que en los de investigacin. -8-

VII. LAS DIFERENCIAS DE RESULTADOS: PRODUCTOS Y EFECTOS ESPERADOS. Debido a la naturaleza y finalidad de la evaluacin, sta debe contar con un ltimo nivel de anlisis y exposicin de los resultados que consiste en la traduccin de los resultados de la evaluacin en recomendaciones. Estas recomendaciones son sugerencias sobre posibles lneas de accin a seguir respecto al programa o poltica evaluada, cambios propuestos en el programa o cosas a mantener en el mismo o consejos para la mejora dirigidos a los patrocinadores, responsables y/o profesionales del programa. Evidentemente, estas recomendaciones deben seguir la secuencia lgica y sistemtica de los niveles de anlisis anteriores (hallazgos, interpretaciones y valoraciones). Es decir, las recomendaciones de una evaluacin deben estar basadas en las valoraciones realizadas que, a su vez, habrn estado basadas en la recopilacin y anlisis sistemtico de la informacin. Este producto de las evaluaciones no tiene por qu ser exclusivo de las mismas, ya que una investigacin podra concluir tambin con recomendaciones; pero ni es frecuente ni es un elemento crucial. Sin embargo, en las evaluaciones las recomendaciones son un elemento importante ya que son el vnculo formal entre una evaluacin y su uso. Ms all, el ofrecimiento de recomendaciones especficas y orientadas a la accin ha sido considerado desde hace tiempo como algo deseable y relacionado con las buenas evaluaciones (Torres, Preskill y Piontek, 196: 105), y esto no ocurre con la investigacin. Patton, quien ha desarrollado un enfoque basado en la utilizacin, da tambin importancia a las recomendaciones y, aunque insiste en que no slo stas sino todo el resto del proceso evaluativo es lo que provoca y estimula el uso de la evaluacin, reconoce, sin embargo, que son, a menudo, la parte ms visible de un informe de evaluacin (Patton, 1997: 324). Efectivamente, la preocupacin por la utilizacin y el uso de la evaluacin ha sido una constante en la literatura especializada en el campo de la evaluacin, cuestin que no ocurre respecto a la investigacin. Dada la naturaleza especfica de la evaluacin, su xito no slo se debe medir por el grado en que sta contribuye al aumento o mejora del conocimiento sino, sobre todo, por el grado en el que ha resultado valiosa para cubrir las necesidades especficas de informacin de un cliente, destinatario o usuario particular. Una respuesta natural a esta preocupacin por la utilizacin y por responder a necesidades especficas de informacin, ha sido la atencin prestada a los procesos de comunicacin de los resultados de las evaluaciones, incluyendo la importancia de la elaboracin de un buen informe, legible y claro (y su difusin y seguimiento posterior), y de otras formas alternativas de comunicacin (como por ejemplo, sesiones de trabajo, presentaciones orales, conferencias de prensa, comunicaciones cortas como faxes, memoranda o correos electrnicos, vdeos, psters, boletines y resmenes ejecutivos). Un buen exponente de esta preocupacin por el elemento comunicativo es la obra de Torres, Preskill y Piontek (1996), la cual se centra en fundamentar la importancia de dicho elemento en los procesos evaluativos y en ofrecer orientaciones prcticas para la comunicacin y difusin de los resultados. Es decir, la responsabilidad del evaluador no acaba con la entrega del informe, sino que tambin tiene responsabilidades de comunicacin, difusin y seguimiento de dicho informe. Otra de las diferencias entre investigacin y evaluacin, respecto a los resultados esperados de ambos procesos de indagacin, es, como seala Weiss (1998: 16) la publicacin posterior. Mientras el resultado evidente de la investigacin es su publicacin sta es, de hecho, prcticamente la nica va para la diseminacin de las investigaciones-, la mayora de los informes de evaluacin no se publican. Por un lado, los responsables de los programas entienden que la informacin que generan las evaluaciones sirve, sobre todo, para contestar a sus preguntas y cubrir sus necesidades de informacin, y no tienen especial inters en que dicha informacin se difunda. Por otro lado, los evaluadores suelen trabajar con presin de tiempo y, normalmente, despus de la entrega del informe, suelen ya estar trabajando en otro estudio. Adems, los canales para publicar estudios de evaluacin son todava muy escasos, especialmente en pases que, como Espaa, tienen todava una escasa cultura evaluativa y la funcin de evaluacin muy poco desarrollada e -9-

institucionalizada. En el mbito anglosajn existen una serie de publicaciones peridicas especializadas7[7] en las que pueden publicarse los resultados de estudios de evaluacin y el proceso seguido en los mismos, as como debatir sobre mtodos enfoques, filosofa y usos de la evaluacin. En realidad, en el campo de la evaluacin, las cuestiones referidas a los procesos y a la metodologa pueden tener ms inters incluso que los propios resultados de los estudios de evaluacin, ya que al estar estos centrados en un contexto especfico y en un programa o poltica concreta son menos generalizables o extrapolables que los resultados de las investigaciones. Sin embargo, no cabe duda de que los resultados de las evaluaciones de programas y polticas de un determinado sector pueden ser tambin de inters para la comunidad cientfica y profesional de dicho sector (por ejemplo, las polticas de cooperacin al desarrollo), y que tambin pueden tener cabida en las publicaciones y foros especializados de cada uno de los sectores. Respecto a los efectos de los dos tipos de indagacin, se puede decir que la investigacin pretende, en general, conseguir aportaciones a la comunidad cientfica y un reconocimiento por parte de la misma; la evaluacin, sin embargo, pretende la utilidad concreta y la utilizacin de los resultados que produzca. Esta utilizacin puede ser directa e inmediata, para la toma de decisiones (se utilizan los resultados para tomar decisiones concretas sobre el programa o poltica evaluada) o ms indirecta, difusa o mediata, para el aprendizaje organizativo (se aprende de los resultados y de los propios procesos de evaluacin y este aprendizaje general supone una mejora para el programa y la organizacin o colectivo que lo lleva a cabo). VIII. LAS DIFERENCIAS DE AGENTES (INVESTIGADORES Y EVALUADORES) Como ya se ha comentado anteriormente, para moverse adecuadamente en los determinantes contextos evaluativos, el evaluador requiere de unas habilidades diferentes a las del investigador. Los evaluadores deben ser capaces de manejarse con habilidad en los contextos complejos en los que deben intervenir. Necesitan, desde luego, una buena formacin metodolgica, al igual que cualquier investigador, aunque sta debe ser de carcter diferente: el evaluador debe ser un metodlogo todo terreno, capaz de dar diferentes respuestas metodolgicas a distintas situaciones evaluativas. En nuestra opinin, el buen evaluador no es el especialista en un determinado enfoque, una determinada metodologa o en varias tcnicas concretas, sino el conocedor de un elenco amplio no slo de los diferentes enfoques, metodologas y tcnicas sino de sus ventajas y desventajas, fortalezas y debilidades en cada situacin y contexto especfico. Adems de la formacin metodolgica, el evaluador requiere tambin de muchas otras habilidades que debe desarrollar de forma competente: anlisis de polticas pblicas y conocimiento sobre los procesos polticos en general, conocimiento y capacidad de trato con grupos y personas, habilidades de comunicacin, etc. Por ltimo, es evidente que un cierto conocimiento del sector en el que desarrolla el programa o poltica evaluada es tambin necesario8[8]; por ejemplo, saber sobre poltica de cooperacin al desarrollo y sobre fortalecimiento institucional, si sobre eso versan los programas a evaluar. Sin embargo, para el investigador, adems de una formacin metodolgica, la clave es ser experto especialista en el sector en el que se investiga.

7[7]

The American Journal of Evaluation (antes Evaluation Practice), Evaluation Review, Educational Evaluation and Policy Analysis, New Directions for Evaluation, Evaluation and Program Planning, Evaluation and the Health Professions y la europea Evaluation: The International Journal of Theory, Research, and Practice. 8[8] Sobre este particular hay cierta polmica en la comunidad cientfica de los evaluadores. La posicin de las asociaciones profesionales de evaluadores es, lgicamente, darle prioridad al especialista en evaluacin por encima del experto en la poltica o programa a evaluar. Lo que tambin es lgico y, de hecho ocurre, es que los evaluadores se suelen especializar en uno o dos sectores de poltica o incluso llegan a la especializacin de la evaluacin de programas posteriormente a su especializacin en un sector determinado. Sin embargo, desde las asociaciones profesionales, que tiene como principal objetivo el desarrollo disciplinario de la evaluacin, es lgico tambin que incluso se haya llegado a proponer la no conveniencia de que el evaluador profesional se anquilose en un nico sector o tipo de programas. En nuestra opinin siempre cabe una solucin, asegurando que en los equipos de evaluacin siempre haya al menos un especialista en evaluacin y un especialista en el sector o poltica a evaluar.

- 10 -

Otra diferencia estriba en la mayor atencin que necesariamente deben prestar los evaluadores a las cuestiones de tipo tico. Es claro que tambin la investigacin (especialmente ms en unos campos que en otros) debe guiarse por unos principios ticos, pero el carcter poltico de la evaluacin, apegada a un contexto especfico al que tiene que responder y en la que siempre existen un nmero de personas y grupos relacionados de diferente forma con el objeto de estudio, hace que la aparicin de dilemas ticos en situaciones de evaluacin sea ms frecuente que en situaciones de investigacin. Esta preocupacin por las cuestiones ticas ha sido recogida por las asociaciones profesionales y acadmicas de evaluadores y, en los ltimos aos, se han desarrollado cdigos deontolgicos que suponen, no slo orientaciones para afrontar posibles dilemas ticos, sino tambin una forma de consolidar e institucionalizar el campo profesional de la evaluacin (Bustelo, 1998). Para terminar, se expone a continuacin una tabla en la que se resumen las principales caractersticas de la investigacin y la evaluacin segn cada uno de los criterios discutidos.

TABLA RESUMEN: DIFERENCIAS ENTRE INVESTIGACIN Y EVALUACIN

Criterio NATURALEZA/ CONCEPTO

INVESTIGACIN Es un tipo de indagacin disciplinada que se lleva a cabo para resolver algn problema de forma que se consiga entendimiento o se facilite la accin

EVALUACIN Es un tipo de investigacin disciplinada que se lleva a cabo para determinar el valor (mrito y/o vala) del objeto evaluado (programa, proyecto, servicio o poltica) con el fin de mejorarlo, rendir cuentas y/o ilustrar acciones futuras Modo de indagacin prctico

Modo de indagacin acadmico

FINALIDAD Y CONDICIONANTES

Puede ser bsica o aplicada Construccin de conocimiento

Siempre es aplicada Mejora de los programas Rendimiento de cuentas Ilustracin de acciones futuras UTILIDAD

Debe ser una contribucin relevante para la comunidad cientfica Trasciende temporalmente

Debe tener capacidad de respuesta ante y cierta lealtad hacia los responsables de los programas Debe ser oportuna en el tiempo TEMPORALIDAD AJUSTADA

CONTEXTO

Escenario de investigacin (lo prioritario es la investigacin) - 11 -

Escenario de accin (lo prioritario es el programa evaluado y no su evaluacin)

El contexto es un factor ms a tener en cuenta (no necesariamente determinante)

El contexto es determinante. La evaluacin es dependiente del contexto y tiene por objetivo la respuesta a dicho contexto especfico Carcter marcadamente poltico

Carcter ms tcnico

OBJETO

Referido a problemas (QU se aborda) Se interesa por la evolucin de un problema en abstracto Se puede centrar en algunos aspectos concretos

Referido a las intervenciones para abordar dichos problemas (CMO se aborda) Se interesa por la evolucin de un problema a consecuencia de la intervencin en el mismo Tiende a considerar la intervencin de forma global

MTODO

Referido la seleccin, recopilacin y anlisis de la informacin

Referido al diagnstico de la situacin evaluativa, la eleccin del tipo de evaluacin, a la definicin de los criterios de evaluacin, a la recopilacin y anlisis de informacin, a la valoracin y emisin de juicios a la luz de los criterios de evaluacin, al establecimiento de recomendaciones y a la comunicacin de los resultados para conseguir una mayor utilidad/utilizacin de la evaluacin

DESTINATARIOS

Grupos abstractos Comunidad cientfica

Grupos y personas concretas Cliente, patrocinadores Responsables, profesionales Implicados (stakeholders): agentes, beneficiarios y vctimas del programa evaluado De forma secundaria, comunidad cientfica Recomendaciones para la accin Informes normalmente no publicados Comunicacin y difusin activa de los resultados a los interesados

De forma secundaria, comunidad de poltica o programa

RESULTADOS: PRODUCTOS Y EFECTOS ESPERADOS

Publicacin de resultados

Aportacin a y reconocimiento de Utilidad y utilizacin de los resultados la comunidad cientfica y los procesos de evaluacin

- 12 -

AGENTES (investigadores y evaluadores)

Capacidad investigadora: Conocimientos bsicos sobre metodologa de la investigacin Necesario conocimiento previo y exhaustivo del sector

Conocimientos metodolgicos amplios y de sus posibilidades de aplicacin Conocimiento del sector (puede desarrollarse a lo largo del proceso) Otras habilidades necesarias: anlisis de polticas pblicas y conocimiento de los procesos polticos, conocimiento y capacidad de trato con personas y grupos, habilidades de comunicacin

IX. CONCLUSIONES Como se ha visto hasta ahora, las diferencias entre investigacin y evaluacin son de tales dimensiones, que deben reflejarse no slo en la prctica de la evaluacin sino tambin en la teora. Los manuales de evaluacin, por ejemplo, deberan dejar de hablar de diseos de evaluacin como diseos de investigacin social, y concentrar sus esfuerzos en las caractersticas metodolgicas especficas de la evaluacin. Otra cuestin pendiente es, en nuestra opinin, la necesidad de una mayor elaboracin, tanto desde el punto de vista prctico como del terico, sobre la valoracin y la emisin sistemtica de juicios como parte del anlisis y la metodologa de evaluacin. Tambin creemos que se debe seguir insistiendo en la forma de incluir, de forma sistemtica y cmo quehacer especfico de los procesos evaluativos, el contexto del programa o poltica evaluada como marco de referencia del que arranca y al cual responde la evaluacin, manteniendo el rigor de la actividad evaluativa. Por otro lado, la distincin de la evaluacin respecto a otros tipos de anlisis e investigacin ayuda a reforzar su identidad como actividad cientfica diferenciada. De esta manera, resulta crucial separar y diferenciar los dos tipos de actividad, sobre todo en el terreno de las polticas pblicas. Ambas actividades, investigacin y evaluacin, son necesarias y complementarias y, por lo tanto, no conviene que restemos a una con la otra. Por ejemplo, en el terreno de las polticas de cooperacin al desarrollo es necesario que se siga investigando sobre las desigualdades norte-sur y sobre los ndices de desarrollo en los diferentes pases y territorio. Incluso es interesante que, con objetivos de anlisis e investigacin, se realicen estudios comparativos sobre las polticas de cooperacin al desarrollo entre diferentes pases. Pero tambin es absolutamente necesario que cada pas evale su poltica de cooperacin al desarrollo y los diferentes programas e intervenciones que lleva a cabo con fines de mejora y rendimiento de cuentas. En definitiva, no slo el hecho de que se d un alto grado de actividad en uno de los modos de indagacin no significa que deba haber baja actividad en el otro, sino que tanto la investigacin como la evaluacin se ven claramente beneficiadas por una existencia mutua. De esta manera, se debe sealar la importancia de la investigacin para ofrecer un marco conceptual que sirva para la realizacin de evaluaciones. La evaluacin de polticas innovadoras en las que existe poca base terica sobre qu es posible esperar de una determinada intervencin (por ejemplo, las polticas de igualdad de gnero) suele ser ms compleja que la evaluacin de programas en torno a los cuales se han realizado mltiples investigaciones (por ejemplo, programas de asistencia a drogodependientes). De igual manera, la existencia de programas sistemticamente evaluados ayuda a conceptualizar y definir problemas y llama la atencin sobre campos de estudio en los que existe una necesidad de investigacin. - 13 -

Finalmente, se quiere apuntar otro terreno en el que, en nuestro parecer, ambos tipos de indagacin pueden interactuar de forma fructfera; se trata de la investigacin cuyo objeto de estudio son los procesos de evaluacin (investigacin evaluativa o sobre evaluacin), como por ejemplo la realizacin de metaevaluaciones (evaluaciones de procesos de evaluacin), investigacin sobre la utilizacin de la evaluacin por parte de los poderes pblicos, sobre la institucionalizacin y el desarrollo de la funcin de evaluacin en las diferentes instituciones, anlisis de las polticas de evaluacin en los diferentes pases, etc. Este tipo de investigacin, que corresponde a la perspectiva ms descriptiva del anlisis de polticas pblicas, est todava poco desarrollada. Su prctica generalizada, sin embargo, contribuira de forma importante al desarrollo, consolidacin e institucionalizacin de la evaluacin de programas no slo como funcin normalizada en los sistemas poltico administrativos, sino tambin como actividad cientfica diferenciada.

- 14 -

BIBLIOGRAFA

ALVIRA, Francisco. 1991. Metodologa de la evaluacin de programas. Vol. 2, Cuadernos de Investigaciones Sociolgicas. Madrid: CIS. BUSTELO, Mara. 1998. Deontologa de la evaluacin: el modelo de los cdigos ticos anglosajones. Gestin y Anlisis de Polticas Pblicas 11-12 (Enero-Agosto 1998):141-156. CHELIMSKY, Eleanor 1997. The Political Environment of Evaluation and What It Means for the Development of the Field. In Evaluation for the 21st Century, edited by E. Chelimsky and W. R. Shadish. Thousand Oaks: Sage. CHELIMSKY, E. 1998. The role of Experience in Formulating Theories of Evaluation Practice. American Journal of Evaluation 19 (1):35-55. CORDRAY, D.S., and M.W. Lipsey. 1987. Evaluation Studies for 1986: Program Evaluation and Program Research. Evaluation Studies Review Annual 11 (1986):17-44. GUBA, E. 1990. The Paradigm Dialog. Newbury Park: Sage. GUBA, E., and Y. Lincoln. 1989. Fourth Generation Evaluation. Newbury Park: Sage. JOINTCOMMITTEE, AND ON STANDARS FOR EDUCATIONAL EVALUATION. 1994. The Program Evaluation Standards. 2nd ed. How to Assess Evaluations of Educational Programs. 2 Edicin ed. Thousand Oaks: Sage. LINCOLN, Y., and E. Guba. 1986. Research, Evaluation, and Policy Analysis: Heuristics for Disciplined Inquiry. Policy Studies Review 5 (February 86) (3): 546-565. PALUMBO, D.J., ed. 1987. The Politics of Program Evaluation. Newbury Park: Sage. PATTON, M.Q. 1997. Utilization-Focused Evaluation. The New Century Text. 3rd. ed. Thousand Oaks: Sage. ROSSI, P.H. & Freeman H.E. 1989. Evaluacin. Un enfoque sistemtico para programas sociales. Traduccin de la 2ed. en ingls ed. Mxico: Trillas. STUFFLEBEAM, D., and A. Shinkfield. 1987. Evaluacin sistemtica. Gua terica y prctica. Original 1985 ed. Madrid: Paids/MEC. TORRES, R., H. Preskill, and M. Piontek. 1996. Evaluation Strategies for Communicating and Reporting. Thounsand Oaks: Sage. WEISS, Carol H. 1975. Investigacin evaluativa. Mtodos para determinar la eficiencia de los programas de accin. Mxico: Trillas. WEISS, C.H. 1987. Where Politics and Evaluation Research Meet. In The Politics of Program Evaluation, edited by D. J. Palumbo. Newbury Park: Sage. WEISS, Carol H. 1998. Evaluation. Methods for Studying Programas and Policies. Second Edition. Upper Saddle River (NJ): Prentice Hall.

- 15 -