MAESTRA EN POLTICAS PBLICAS COMPARADAS 2012-2013

Gua de Estudio de la Materia: El Ciclo de las Polticas Pblicas: perspectivas en Implementacin y Evaluacin
Segunda Parte: Evaluacin

Autoras: Arcelia Martnez Bordon y Fernanda Gonzlez Carrillo

Mxico, D.F., Septiembre 2012 1

ndice

Descripcin General de la Materia Objetivos Aportes para el estudiante Bibliografa obligatoria Bibliografa optativa Consigna del ejercicio integrador 1. Qu es la evaluacin? 2. Breve historia de la evaluacin como disciplina de estudio 3. La evolucin de la evaluacin en Mxico 4. Qu se evala: distintas tipologas 5. Mtodos y procedimientos para contestar las preguntas de la evaluacin 6. La relacin entre el evaluador y los individuos, grupos y organizaciones involucrados en la evaluacin 7. Los distintos usos de la Evaluacin 8. La Metodologa de Marco Lgico 9. Comentarios finales

3 3 4 4 4 5 7 8 9 10 17 23 24 26 30

Descripcin General de la Materia

La evaluacin juega un papel estratgico dentro del ciclo de las polticas pblicas; generando insumos para la toma de decisiones de polticas (planeacin), verificando la eficiencia del gasto en relacin al logro de objetivos planteados (presupuestacin), identificando fortalezas y debilidades en la implementacin de las polticas (ejecucin), y cuantificando los resultados de la inversin pblica. Se considera al proceso de evaluar no slo una fase del ciclo, sino como una herramienta de vital importancia en todas las etapas. En el marco de las Reformas para la Modernizacin del Estado la evaluacin comienza a tomar relevancia para la gerencia pblica, ya que permite mejorar el proceso de toma de decisiones, incidiendo en una mejor calidad del gasto pblico y una mayor rendicin de cuentas. Contribuye as a una gestin pblica ms informada, eficiente y transparente, convirtindose en un elemento importante para la gobernabilidad y el fortalecimiento de la democracia, donde la meta se vuelve la capacidad de entregar servicios de calidad y solucionar problemas pblicos de forma eficiente y eficaz. En esta segunda parte de la Gua se revisar qu es la Evaluacin, por qu es importante evaluar las polticas y programas pblicos, cundo surge esta disciplina de estudio en el mundo, cmo ha evolucionado la evaluacin en Mxico, qu se evala (distintas tipologas de evaluacin), y, entre otras cosas, los principales componentes de la Metodologa de Marco Lgico, herramienta para la planeacin y evaluacin que ha cobrado mucho auge en los ltimos aos en nuestro pas. Objetivo general El objetivo general de la Segunda Parte de la Gua es que los estudiantes se familiaricen con los objetivos, alcances y principales herramientas para la evaluacin de las polticas pblicas. Objetivos especficos 1) Conocer cmo surgi la evaluacin como disciplina de estudio y cmo ha evolucionado la evaluacin en nuestro pas. 2) Identificar distintas tipologas de evaluacin y conocer a qu preguntas y/o necesidades responde cada una. 3) Conocer las principales herramientas que se utilizan para evaluar y la necesidad de complementar unas y otras.

4) Aprender a utilizar de forma general los componentes de la Metodologa de Marco Lgico. Aportes para el estudiante Los y las estudiantes contarn con una visin general de los principales aspectos de la evaluacin de polticas pblicas, su importancia en las polticas pblicas y una comprensin muy general de los aspectos metodolgicos bsicos de la evaluacin. De igual manera se pretende que los estudiantes comprendan el contexto en que la evaluacin se desarrolla. Al finalizar la Segunda Parte de la materia El Ciclo de las Polticas Pblicas: perspectivas en Implementacin y Evaluacin, los y las estudiantes debern tener un manejo general de los principales conceptos y mtodos para la Evaluacin de las polticas pblicas, distinguiendo, entre otras cosas, los distintos tipos de preguntas a que responde la evaluacin; la importancia y complementariedad de las herramientas cuantitativas y cualitativas, y los componentes de la Metodologa de Marco Lgico. Bibliografa obligatoria Comisin Econmica para Amrica Latina y el Caribe (CEPAL)/Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social (ILPES). (2005) Boletn del Instituto No. 15. Metodologa del Marco Lgico. Octubre. Disponible en: http://www.coneval.gob.mx/cmsconeval/rw/resource/coneval/eval_mon/1320.pdf Guzmn, M. (2007) Evaluacin de Programas. Notas Tcnicas. Serie Gestin Pblica No. 64. Santiago de Chile: CEPAL. Disponible en: http://www.eclac.cl/ilpes/publicaciones/xml/0/32040/sgp64.pdf Ortegn, E., J. F. Pacheco y A. Prieto. (2005) Metodologa del Marco Lgico para la planificacin, el seguimiento y la evaluacin de proyectos y programas. Serie Manuales, Nmero 42. Santiago de Chile: CEPAL-ILPES. Disponible en: http://www.eclac.org/publicaciones/xml/9/22239/manual42.pdf Leer pgs 47 a 67.

Bibliografa optativa Baker, J. (2000): Evaluacin del impacto de los proyectos de desarrollo en la pobreza, Manual para Profesionales, World Bank, Washington D.C. Banco Mundial. (2009) El Sistema de M&E de Mxico: Un salto del nivel sectorial al nacional, Washington D.C. Briones, G. (2006) Evaluacin de programas sociales. Mxico: Trillas.

Cardozo Brum, M. (2006) La evaluacin de polticas y programas pblicos. El caso de los programas de desarrollo social en Mxico. Mxico: Miguel ngel Porra. Cohen, E. y R. Franco. (1997) Evaluacin de proyectos sociales. Cuarta edicin. Mxico: Siglo veintiuno editores. Escobar, A. y M. Gonzlez de la Rocha. (2004) Evaluacin cualitativa del Programa Oportunidades en zonas urbanas, 2003, en INSP-CIESAS (2004). Gilbert, N. (1993) Researching social life. Londres: SAGE Publications. King, G., R. O. Keohance y S. Verba. (1994) Designing Social Inquiry, Scientific Inference in Qualitative Research. Princeton, New Jersey: Princeton University Press. Parker, S. W. (2004) Evaluacin del impacto de Oportunidades sobre la inscripcin, reprobacin y abandono escolar, en INSP-CIESAS. (2004) Resultados de la Evaluacin Externa del Programa de Desarrollo Humano Oportunidades 2003. Documentos finales. Marzo del 2004, Mxico: Instituto Nacional de Salud Pblica/Centro de Investigaciones y Estudios Superiores en Antropologa Social. Parsons, W. (1995) Public Policy. An introduction to the theory and practice of policy analysis, Cheltenham, Northampton, MA: Edward Elgar. Ver captulo sobre Evaluation. Patton, M. Q. (2002) Qualitative Research & Evaluation Methods. Tercera edicin, Thousand Oaks, Londres y Nueva Delhi: SAGE. Captulo 1. Rossi, P.H., M.W. Lipsey y H.E. Freeman. (2004) Evaluation. A Systematic Approach. Sptima edicin, Thousand Oaks, Londres y Nueva Delhi: SAGE. Captulos 1, 2, 3 y 4. Weiss, C. H. (1998) Evaluation. Segunda edicin, Upper Sadler River, New Jersey: Prentice Hall. Captulos 1, 2, 3, 4 y 11.

Consigna del ejercicio integrador Apoyndose en las lecturas obligatorias y la Gua desarrolle en un mnimo de 8 cuartillas y un mximo de 12 las siguientes preguntas (escritas en Word, letra Times New Roman, tamao 12, espacio interlinear de 1.5): 1) Qu mtodos y procedimientos utilizara para responder las siguientes preguntas de una evaluacin de un programa pblico. Identifique los posibles problemas a los que se enfrentara.

a) Cul es el nivel de satisfaccin de los beneficiarios/usuarios con los apoyos/servicios recibidos? b) Cul es la percepcin de los beneficiarios / usuarios y actores clave sobre la rendicin de cuentas en la utilizacin de los recursos del programa? c) Cul es el impacto del programa/proyecto? d) Cul es la cobertura del programa? 2) Describa las principales diferencias entre las denominadas evaluacin cuantitativa y evaluacin cualitativa: brinde ejemplos de casos que usted conozca en su rea de trabajo en donde se hayan llevado a cabo una y seala, con base en la Gua y sus propias palabras de qu forma se complementan. 3) Utilizando el Boletn del Instituto No. 15. Metodologa del Marco Lgico de ILPES/CEPAL analice una matriz de marco lgico de un programa de la Administracin Pblica Federal mexicana. El programa debe ser del rea de su conocimiento o tema de inters. Para realizar el ejercicio necesita leer las Reglas de Operacin del programa. Tanto la matriz como las Reglas de Operacin se encuentran publicadas en las pginas electrnicas de cada dependencia. Desarrolle cada pregunta. a) El problema o necesidad prioritaria al que va dirigido el programa est correctamente identificado y claramente definido? b) El Fin y el Propsito del programa estn claramente definidos? c) El Fin y el Propsito corresponden a la solucin del problema? d) Las Actividades del programa son suficientes y necesarias para producir cada uno de los Componentes? e) Los Componentes son necesarios y suficientes para el logro del Propsito? f) Es claro y lgico que el logro del Propsito contribuye al logro del Fin? g) Considerando el anlisis y la evaluacin realizados en este punto, la lgica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, la lgica interna del programa es clara? h) En trminos de diseo, existen indicadores para medir el desempeo del programa a nivel de Fin, Propsito, Componentes y Actividades e insumos? i) El programa ha identificado los medios de verificacin para obtener cada uno de los indicadores? j) Se consideran vlidos los supuestos del programa tal como figuran en la matriz de indicadores?

Maestra en Polticas Pblicas Comparadas FLACSO

Segunda parte: Evaluacin
Arcelia Martnez Bordon1 Fernanda Gonzlez Carrillo2

1. Qu es la evaluacin? La evaluacin corresponde a estudios o revisiones tcnicas que haciendo uso de un conjunto de informacin ordenada y relacionada segn un marco metodolgico, tienen por finalidad construir valoraciones de aspectos concretos de un mbito del quehacer de polticas pblicas, como un programa, y encontrar factores explicativos a estos juicios evaluativos. (Guzmn, 2007) De acuerdo con Patton (2002), la evaluacin de programas es la recoleccin sistemtica de informacin sobre las actividades, caractersticas y/o resultados de programas, que permite: 1) hacer juicios acerca del programa(s); 2) mejorar la efectividad del programa(s); y 3) ayudar en la toma de decisiones de futuras acciones (y/o programas). Patton, al igual que Weiss (1998), seala que es importante distinguir entre los conceptos de evaluacin e investigacin, pues ambas tienen diferentes propsitos, usos y usuarios. Una diferencia fundamental entre la investigacin y la evaluacin, dice, es que la primera busca producir o probar teoras y contribuir con ello a la generacin de conocimiento (por el simple hecho de contribuir al conocimiento). La evaluacin puede distinguirse de otras formas de anlisis de polticas en varios aspectos (vase Weiss, 1972; en Parsons, 1995): a) se lleva a cabo para ayudar el proceso de toma de decisiones y analiza los problemas de
1

Es Doctora en Poltica por la Universidad de York, Reino Unido, y Maestra en Polticas Pblicas por el Instituto Tecnolgico Autnomo de Mxico. Ha participado en la evaluacin de distintos programas pblicos, entre los que destacan el Programa Cero Rezago Educativo del INEA, el Programa Escuelas de Calidad (PEC), el Programa de Estancias Infantiles para Apoyar a Madres Trabajadoras de la SEDESOL, los Programas Tu Casa y Vivienda Rural del Fondo Nacional de Habitaciones Populares (FONHAPO), entre otros. Actualmente se desempea como Consejera Ciudadana del Consejo de Evaluacin del Desarrollo Social del Distrito Federal (EVALUA DF). Fernanda Gonzlez Carrillo es Licenciada en Economa por el Instituto Tecnolgico Autnomo de Mxico. Curs la Maestra en Polticas Pblicas Comparadas de la FLACSO. Se ha desempeado en el Gobierno Federal en reas tcnicas de planeacin, evaluacin y anlisis econmico, especializndose en temas de planeacin y evaluacin de programas sociales. Actualmente trabaja como consultora independiente.
2

acuerdo con las definiciones (de problemas) de quienes deciden las polticas (los tomadores de decisiones) ms que con las definiciones de los acadmicos o investigadores que llevan a cabo la evaluacin; b) esta emite juicios y busca evaluar los programas en trminos de las metas que estos mismos se imponen; c) la investigacin que se realiza est inserta en un ambiente de polticas pblicas ms que un ambiente acadmico; d) generalmente surgen conflictos entre los investigadores a cargo de la evaluacin y los encargados del programa, y e) puede involucrar a los investigadores en problemas de lealtades para financiar agencias y mejorar el cambio social. Como seala Parsons (1995), existen muchas definiciones de lo que es la evaluacin. En su libro titulado Public Policy. An Introduction to the Theory and Practice of Policy Analysis, Parsons cita una definicin de Thomas Dye sobre el concepto de evaluacin que nos parece muy clara: la evaluacin es aprender sobre los resultados (consecuencias) de las polticas pblicas (vase Dye, 1987: 351, en Parsons, 1995: 545). 2. Breve historia de la evaluacin como disciplina de estudio La evaluacin como disciplina nace, en su forma moderna, en las dcadas de los aos sesenta y setenta, luego de que se hiciera patente el fracaso de muchos de los programas gubernamentales implementados en esa poca (vase Parsons, 1995). Entre los libros que marcaron el inicio de los estudios de evaluacin, la mayora, en ese momento, escritos en Estados Unidos, se encuentran Experimental and Quasi-experimental Designs for Research, de Campbell y Stanley (1966), y Evaluative Research, de Suchman (1967), adems de la revista arbitrada Evaluation Review, cuyo primer volumen data de 1976 (vase Parsons, 1995). Aunque la evaluacin de programas ya exista antes de la dcada de los sesenta, es en sta poca, durante las administraciones de los presidentes Kennedy y Johnson, que la evaluacin tuvo un crecimiento rpido. Ello se da a raz del surgimiento de programas sociales enmarcados en lo que se conoce como la Guerra contra la Pobreza (The War on Poverty) y la Gran Sociedad, que dedicaron grandes sumas de dinero para acabar con el desempleo, el crimen y el deterioro urbano, as como incrementar el acceso a los servicios mdicos y los tratamientos de salud mental. Es importante sealar, sin embargo, que muchos de estos programas fueron puestos en marcha de manera apresurada, por lo que no slo su diseo fue mal concebido, sino que su implementacin fue inapropiada y/o administrada de manera poco efectiva. Por ello, en la dcada de los setenta y como consecuencia, al menos en parte, de la poca efectividad de muchas de estas iniciativas, al tiempo que se incrementaba el gasto de programas sociales en una poca de conservadurismo fiscal se comienza a observar una resistencia cada vez ms grande a la expansin de los programas gubernamentales y la evaluacin cobra un auge an

mayor: haba que evaluar los programas y asignar los recursos (escasos) slo a aquellos programas que mostraran resultados efectivos (vase Rossi , Lipsey y Freeman, 2004). En la dcada de los ochenta (Weiss, 1998), hubo un retroceso en el campo de la evaluacin, debido al gran recorte presupuestal del gasto y de los programas que caracteriz a la administracin del presidente Reagan. Sin embargo, es en estos aos (vase Parsons, 1995) cuando la nocin de la evaluacin de las polticas pblicas se ampla para incluir ideas y tcnicas desarrolladas en el mundo de los negocios, sobre todo con la incorporacin en la administracin del sector pblico de los conceptos de administracin por objetivos, administracin de recursos humanos y auditora. A partir de entonces, la evaluacin deja de enfocarse, al menos de forma exclusiva, en evaluar las polticas pblicas y los programas de gobierno, y comienza a evaluar a los individuos (recursos humanos) que trabajan en las organizaciones encargadas de ejecutar las polticas (vase Parsons, 1995). 3. La evolucin de la evaluacin en Mxico Antes de la dcada de los noventa, los programas presupuestarios carecan de mecanismos de rendicin de cuentas y mucho menos se conoca si estos programas estaban cumpliendo los objetivos para los que fueron creados. En los aos noventa se realizan algunas evaluaciones como casos aislados, pero no es sino hasta la creacin en 1997 del Programa de Educacin, Salud y Alimentacin (PROGRESA), ahora Programa de Desarrollo Humano Oportunidades, que la evaluacin comienza a posicionarse en Mxico. El diseo de PROGRESA incorporaba como uno de sus pilares la evaluacin.3 Las evaluaciones incorporaban metodologas novedosas y mostraron evidencia de los resultados del programa, lo que fue un factor determinante para que se comenzara a hablar de evaluacin en Mxico. En el 2000, el Congreso, a travs del Decreto de Presupuesto de Egresos de la Federacin, hizo obligatoria la evaluacin externa de resultados de los programas del Ejecutivo Federal, con el objetivo de mejorar la discusin presupuestal y evitar el uso de programas sociales con fines polticos o clientelares. La oposicin en el Congreso intentaba evitar que los programas sociales fueran usados a favor del partido en el poder: la evaluacin en Mxico era vista ms como un contrapeso poltico que como una preocupacin por mejorar la calidad del gasto. A partir de 2004, a travs de la publicacin de la Ley General de Desarrollo Social, se da un impulso sin precedente a la evaluacin en Mxico con la creacin del Consejo
La evaluacin fue solicitada por el Banco Interamericano de Desarrollo (BID) como donante internacional.
3

Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL). En 2006 se comienza a concebir que el gobierno transite hacia una Gestin por Resultados y es en 2007 que la Secretara de Hacienda y Crdito Pblico (SHCP), la Secretara de la Funcin Pblica (SFP) y CONEVAL presentaron las directrices del Sistema de Evaluacin del Desempeo (SED) y el Presupuesto basado en Resultados (PbR). Los objetivos de dicho sistema son: a) promover una mayor coordinacin sectorial; b) vincular la planeacin, presupuestacin, ejecucin, monitoreo y evaluacin; c) fortalecer la generacin de informacin del desempeo til a la toma de decisiones, manejo gerencial y rendicin de cuentas; y d) mejorar el diseo y la operacin de los programas y la calidad del gasto, a travs de evidencia. En el marco del Presupuesto basado en Resultados, la Matriz de Marco Lgico es obligatoria para los programas federales, y sus indicadores son reportados peridicamente para diversos usuarios; directivos de programas, Secretara de Hacienda y Crdito Pblico, Secretara de la Funcin Pblica, Congreso, entre otros. La importancia que el Gobierno Mexicano le ha dado a la institucionalizacin de la gestin basada en resultados se ha visto plasmada en las acciones emprendidas en los ltimos aos, sin embargo institucionalizar un Sistema de Evaluacin lleva tiempo y aunque se han sentado las bases an hay oportunidades de mejora importantes. Una de estas mejoras se refiere sin duda a la evaluacin a nivel de los gobiernos locales, sin embargo los esfuerzos por evaluar polticas pblicas a nivel nacional han permeado ya a nivel local y se encuentran casos avanzados en la materia como son los Estados de Baja California, Estado de Mxico, Nuevo Len y Jalisco, as como el Distrito Federal.4 En el caso del Gobierno del Distrito Federal por ejemplo se crea el Consejo de Evaluacin del Desarrollo Social del Distrito Federal (Evala DF); el Estado de Mxico, por su parte, crea el Consejo de Investigacin y Evaluacin de la Poltica Social (CIEPS). Baja California tambin establece, a travs de la Secretara de Planeacin y Finanzas, un Programa Anual de Evaluacin (PAE) para los Programas Gubernamentales del Estado. De igual forma, Nuevo Len y Jalisco cuentan con una Programa de Evaluacin e indicadores de desempeo. 4. Qu se evala: distintas tipologas Como se ver ms adelante, y de acuerdo con Rossi, Lipsey y Freeman (2004), la evaluacin de un programa generalmente implica evaluar una o ms de las siguientes cosas: a) la necesidad (y/o pertinencia) del programa; b) el diseo del programa (la teora
De acuerdo al Diagnstico de Implementacin del PbR-SED en Entidades Federativas 2012 disponible en www.transpareciapresupuestaria.gob.mx
4

10

o teoras detrs del programa, los supuestos implcitos en el programa, etctera); c) la implementacin o instrumentacin del programa; d) los resultados o impactos del programa, y, e) la eficiencia y/o efectividad del programa (a travs de anlisis de tipo costo-beneficio y costo-efectividad, respectivamente). Cuando planeamos una evaluacin, debemos de tomar en cuenta el contexto en el que se dar la evaluacin. De acuerdo con Rossi, Lipsey y Freeman (2004), los aspectos ms importantes que deben considerarse son: 1) los propsitos de la evaluacin; 2) la estructura y las circunstancias del programa que se va a evaluar; y 3) los recursos de que se dispone para llevar a cabo la evaluacin. Respecto al primer punto, los autores sealan que las evaluaciones se llevan a cabo por razones mltiples. Estas pueden buscar mejorar el manejo del programa; buscar el apoyo de quienes proponen el programa o de sus adversarios; conocer un poco ms sobre los efectos del programa; ayudar a la toma de decisiones, tanto para financiar el programa como su manejo; y/o responder a las presiones polticas. Rossi, Lipsey y Freeman (2004), por tanto, nos invitan a reflexionar sobre los distintos tipos de evaluaciones que existen y sealan que una evaluacin, por ejemplo, que intenta dar algn tipo de retroalimentacin a los tomadores de decisiones de cierto programa para mejorarlo tendr un enfoque diferente que una evaluacin que busca ayudar a los encargados de financiar el programa a decidir si el programa en cuestin debe proseguir o no. Rossi, Lipsey y Freeman sealan que uno de los aspectos ms desafiantes de la evaluacin es que no existe un tipo nico o modelo de evaluacin que pueda ser utilizado en toda ocasin. La siguiente es una tipologa muy til de las vertientes ms importantes de la evaluacin; sta, por supuesto, no es exhaustiva ni excluyente, es decir, no abarca todos los tipos de evaluacin que existen, ni implica que uno y otro tipo no se puedan combinar (e.g., se puede tener una evaluacin formativa participativa). Formativa.- Es una evaluacin intermedia, es decir, generalmente se lleva a cabo cuando el programa en cuestin lleva poco tiempo implementndose. Los resultados de este tipo de evaluacin sirven para mejorar/modificar algunos aspectos del programa. Sumativa (es una evaluacin del tipo completa pues abarca muchos aspectos, es decir, es una comprehensive evaluation).- El propsito de este tipo de evaluacin es brindar un juicio ms general sobre el funcionamiento del programa. Muchas veces se usa para ver la pertinencia de continuar con el programa o de desaparecerlo. Participativa.- En este tipo de evaluacin la mayora de los stakeholders (i.e., servidores pblicos, diseadores, evaluadores, implementadores, beneficiarios del

11

programa) participan en la hechura o diseo de la evaluacin, adems de ser informados oportunamente sobre los resultados de la misma. Evaluacin empoderante (en ingls, empowerment evaluation).- En este tipo de evaluacin se pretender dar voz a grupos marginados (ya sean mujeres, indgenas, etctera), con el fin ltimo de ayudarlos a crear una conciencia crtica, o dicho de otro modo empoderarlos.

De acuerdo con Rossi, Lipsey y Freeman (2004), cualquier evaluacin se estructura alrededor de tres cuestiones: 1) las preguntas que la evaluacin pretende contestar; 2) los mtodos y procedimientos que se van a usar para contestar las preguntas de la evaluacin, y 3) la naturaleza de la relacin que existe entre el evaluador y el o los agentes involucrados y/o interesados (individuos, grupos y organizaciones) en la evaluacin. Otra tipologa posible puede partir del tipo de preguntas que intenta responder la evaluacin. Al respecto, Rossi, Lipsey y Freeman, al igual que Weiss (1998), sealan que el plan de evaluacin generalmente se organiza alrededor de las preguntas acerca del programa que tienen o que elaboran aqullos que encargan la evaluacin estos ltimos pueden ser tanto quienes pagan la evaluacin como aquellos individuos, grupos y organizaciones que tienen gran inters por conocer qu tan bien est funcionando el programa en cuestin (2004: 18). Para Weiss, los tipos de preguntas a los que responde la evaluacin tienen que ver con alguna de las siguientes cosas: 1) el proceso del programa; 2) los resultados (o impacto) del programa; 3) los resultados atribuibles al programa; 4) los vnculos que existen entre proceso y resultados del programa; y 5) las explicaciones del programa. As, la siguiente tipologa desarrollada por Rossi, Lipsey y Freeman (2004) da cuenta de cinco distintos tipos de evaluacin, de acuerdo al tipo de preguntas que cada una intenta responder: Evaluacin de necesidades.- responde preguntas acerca de las condiciones sociales que un programa intenta atender, as como sobre la necesidad (pertinencia) del programa. Este tipo de evaluacin es, por lo general, el primer paso a dar cuando se planea un nuevo programa o se re-escructura un programa ya establecido, con el fin de ver qu servicios se necesitan y cmo deben ofrecerse. Evaluacin sobre la teora del programa.- responde preguntas relacionadas con la conceptualizacin/diseo del programa. Este tipo de evaluacin implica, primero que nada, describir la teora del programa (los supuestos e hiptesis del programa) en una manera explcita y detallada. Posteriormente, se usan varios enfoques para examinar qu tan razonable, factible, tico, y, entre otras cosas, apropiado es el programa.

12

Evaluacin de procesos.- responde preguntas sobre la operacin, implementacin y provisin de servicios del programa. Este tipo de evaluacin es la ms frecuente, y se lleva a cabo como una evaluacin nica y en conjunto con la evaluacin de impacto: la informacin sobre los resultados de los programas que provee la evaluacin de impacto es incompleta y ambigua si no se conocen las actividades del programa y los servicios resultado de dicho impacto. Para estos autores, cuando no hay ningn impacto, la evaluacin de procesos tiene un alto valor de diagnstico, pues nos ayuda a ver hasta qu punto esta falta de impacto es producto de errores en la implementacin o de la concepcin misma del programa (teora del programa). Evaluacin de impacto.- responde, como ya mencionamos, preguntas acerca de los resultados e impactos del programa. La evaluacin de impacto o de resultados busca ver hasta qu punto el programa produjo las mejoras deseadas y si dichos cambios incluyen efectos colaterales que no se buscaron. Aqu es muy importante asegurarnos de que el impacto o resultados que se observan no haya sido causado por otros factores que no se relacionan con el programa. Por tanto, es necesario estimar los efectos netos del programa (los que fueron causados mera y exclusivamente por la intervencin del programa). Evaluacin sobre la eficiencia.- responde preguntas acerca de los costos y costoefectividad del programa. Como bien sealan, Rossi, Lipsey y Freeman (2004: 60): encontrar que un programa tiene efectos positivos en el problema que se buscaba resolver no siempre es suficiente para calcular su valor social, debido a que los recursos para los programas sociales son limitados, por lo que se debe de tomar en cuenta los costos de los programas (que estos no excedan a los beneficios).

Cada una de las evaluaciones anteriores no slo responde a preguntas y a necesidades diferentes, dependiendo de lo que se quiera medir, sino a la etapa en la que se encuentre el programa (e.g., diseo, implementacin, etc.) (Vase Cuadro 1). As, mientras la evaluacin de necesidades, del diseo y los objetivos del programa, de la focalizacin del mismo, los resultados esperados y los medios a travs de los cuales el programa intenta lograr sus metas es de suma importancia cuando se inicia un nuevo programa, particularmente si ste es realmente innovador, la evaluacin de procesos y de impacto nos dan cuenta de si las cosas estn funcionando de acuerdo con lo planeado, y, en el caso particular de la evaluacin de procesos, si existen problemas de implementacin o del propio diseo (la teora del programa). Finalmente, como sealan Rossi, Lipsey y Freeman (2004: 53): Un conjunto de preguntas para la evaluacin diseado cuidadosamente le da estructura a la evaluacin, conlleva a una planeacin apropiada y bien pensada, y sirve de base para una tarea esencial, que es discutir quin est interesado en las respuestas y cmo van a usarse stas ltimas. Aunque a la evaluacin tambin se le conoce como la ltima etapa del ciclo de vida de las polticas pblicas, lo cierto es que esta ocurre en los distintos momentos del ciclo: no

13

es un ejercicio que se realiza siempre de manera ex post, o despus de que ha concluido la operacin de las polticas y/o programas. La evaluacin tambin ocurre de manera ex ante y, sobre todo, durante la etapa misma de ejecucin de las polticas ex dure. Pero, qu hace una buena pregunta de evaluacin? Rossi, Lipsey y Freeman sostienen que el principio para formular preguntas de evaluacin apropiadas y realistas es una descripcin detallada y completa del programa: cmo est estructurado, qu actividades se realizan, los roles y tareas de las personas involucradas en su implementacin, el perfil de los participantes y los supuestos inherentes de sus principales funciones. Los autores tambin sealan que las preguntas que se hace la evaluacin deben poder ser respondidas. As, las preguntas que no pueden ser respondidas no sirven a las necesidades de los evaluadores y los tomadores de decisiones que planean usar los resultados de la evaluacin. Por ello opinan que un buen criterio para elegir preguntas es que stas tengan respuestas que puedan cuantificarse o medirse, o que den pie a emitir un juicio con el que se pueda valorar el desempeo del programa. Al respecto, sostienen que, de hecho, una evaluacin que slo se enfoca a describir el desempeo del programa, y que no intenta examinarlo (juzgarlo), no puede llamarse evaluacin. En el Cuadro 2 se revisan algunas de las preguntas ms comunes, de acuerdo a los distintos tipos de preguntas que pretende responder la evaluacin necesidad del programa, teora del programa (conceptualizacin y diseo del programa), operacin y/o procesos del programa, impacto del programa, y eficiencia del programa. Finalmente, creemos que es importante discutir si existe o no una jerarqua en la evaluacin, o dicho de otro modo, qu tipo de evaluacin va primero: la que evala la necesidad o la teora del programa, la que evala los procesos o impacto del programa, o la que mide la eficiencia del programa.

14

Cuadro 1. Etapas del programa y funciones de la evaluacin

Etapa de desarrollo del programa 1) Evaluacin/diagnstico de los problemas sociales y/o necesidades 2) Establecimiento de metas Preguntas que se hacen Hasta qu punto se estn cubriendo las necesidades y/o estndares de la comunidad? Qu debe hacerse para cubrir esas necesidades y estndares? Qu servicios podran usarse/otorgarse para producir los cambios deseados? Cul de los enfoques de programas posibles es el mejor? Cmo debe ponerse en operacin el programa? El programa est operando/funcionando de acuerdo a lo planeado? El programa est obteniendo los resultados/efectos deseados? Los resultados del programa se estn logrando a un costo razonable? Funcin de la evaluacin Diagnstico de las necesidades/descripcin del problema Diagnstico/cumplimiento de necesidades Diagnstico/examen de la lgica y/o teora que sustenta el programa Estudio de factibilidad/evaluacin formativa Evaluacin de la implementacin Evaluacin del proceso (policy process)/Monitoreo del programa Evaluacin de impacto (de resultados) Anlisis costo-beneficio y costo-efectividad

3) Diseo de alternativas (de programas)

4) Seleccin de alternativas

5) Puesta en marcha del programa 6) Implementacin/operacin del programa 7) Resultados o impactos del programa 8) Eficiencia del programa

Fuente: Cuadro tomado de Rossi, Lipsey y Freeman (2004: 40).

15

Cuadro 2. Algunas preguntas tpicas de la evaluacin

Preguntas sobre las necesidades y magnitud del problema que se quiere resolver -Cul es la naturaleza y magnitud del problema que se quiere atacar? -Cules son las caractersticas de la poblacin objetivo? -Cules son las necesidades de la poblacin? -Qu servicios se necesitan? -Qu tanto se necesitan y por cunto tiempo? Qu medidas se necesitan tomar para proveer dichos servicios a la poblacin? Preguntas sobre la conceptualizacin o diseo del programa (evaluacin de la teora del programa) -Cules son los clientes a los que se les debe otorgar el servicio? -Qu servicios deben proveerse? -Cul es el mejor sistema para otorgar dichos servicios? -Cmo se puede identificar, reclutar y mantener apoyando a la clientela objetivo? -Cmo debe organizarse el programa? -Qu recursos son necesarios y apropiados para el programa? Preguntas sobre las operaciones del programa (evaluacin del proceso del programa) -Se estn cumpliendo los objetivos y servicios administrativos? -Se estn otorgando los servicios a las personas que se busca atender? -Se est excluyendo a algunas personas que necesitan el servicio? -La mayora de los clientes que reciben dichos servicios, lo hacen de forma completa? -Est satisfecha la poblacin o los clientes con los servicios que reciben? -Estn bien integradas las funciones administrativas, organizacionales y personales? Preguntas sobre los resultados del programa (evaluacin de impacto) -Se estn cumpliendo las metas y objetivos del programa? -Los servicios otorgados tienen efectos benficos sobre la poblacin atendida? -Los servicios otorgados tienen efectos colaterales adversos sobre la poblacin atendida? -Algunos de los receptores del programa estn recibiendo ms beneficios que otros? -Cmo se podra mejorar el problema o la situacin que los servicios ofrecidos buscan resolver? Preguntas sobre el costo y eficiencia del programa (evaluacin sobre la eficiencia) -Se estn usando eficiente los recursos del programa? -Cmo es la relacin costo-beneficio? Son mayores/menores los costos en relacin a los beneficios obtenidos? -Otros enfoques alternativos podran traer los mismos beneficios a un menor costo? Fuente: Vase Rossi, Lipsey y Freeman (2004: 77-78).

16

De acuerdo con Rossi, Lipsey y Freeman (2004), cuando se construyen las preguntas sobre las que se basar el plan de evaluacin, es mejor que el evaluador comience en la base (vase Figura 1) de la jerarqua de la evaluacin y se enfoque, primero que nada en identificar los aspectos fundamentales que ya se conocen sobre el programa y en los que deben de conocerse. As, en opinin de estos autores, el nivel fundacional en la jerarqua de la evaluacin tiene que ver determinar porqu se necesita el programa en cuestin. Evaluar la naturaleza del problema que se quiere resolver y la necesidad de que haya una intervencin conlleva a la elaboracin de un diagnstico que apoya un diseo efectivo del programa (una teora de programa de cmo se pueden lidiar con las condiciones sociales que el programa pretende cambiar). Posteriormente, si ya existe una teora creble del programa, el siguiente nivel de evaluacin examinar que tan bien se est implementando el programa. As, si ya sabemos que la necesidad social se entendi de manera adecuada, la teora del programa es razonable, y el programa se est implementando bien, ya podremos evaluar, por tanto, cules son los resultados o impacto del programa y si ello se est logrando de manera eficiente (i.e., los costos no estn excediendo a los beneficios) (vase Rossi, Lipsey y Freeman, 2004: 80-81).

Figura 1. La jerarqua de la evaluacin

Evaluacin del costo y eficiencia del programa Evaluacin de impacto (de resultados) Evaluacin de procesos e implementacin Evaluacin del diseo y teora del programa Evaluacin de la necesidad del programa
Fuente: Vase Rossi, Lipsey y Freeman (2004: 80).

5. Mtodos y procedimientos para contestar las preguntas de la evaluacin Una herramienta importante del evaluador es saber cmo obtener informacin til, creble, y en tiempo, sobre varios aspectos del desempeo del programa. Un diseo de evaluacin, por tanto, debe identificar los mtodos que se usarn para contestar cada una de las preguntas que busca responder la evaluacin, as como organizarlas en un plan de trabajo factible (que se pueda llevar a cabo). Los mtodos que se elijan no solo deben de

17

ser prcticos, sino capaces de responder de manera clara, y con un grado de rigor cientfico, las preguntas que se plantearon. A continuacin se describen los mtodos y procedimientos de las que se han denominado de forma genrica evaluacin cuantitativa y evaluacin cuantitativa. Por aos se defini a una y otra como incompatibles, pero hoy en da se utilizan de forma conjunta o complementaria. Cuando hablamos de cuantitativo y cualitativo no hacemos referencia a categoras de diseo, sino a distintos tipos de datos (Weiss, 1998). As, mientras la evaluacin cuantitativa recolecta datos que pueden transformarse en nmeros que pueden, a su vez, transformarse en estadsticas estas ltimas permiten realizar reportes sobre el tamao de los efectos (impacto del programa) y hablar sobre significancia estadstica, la evaluacin cualitativa, por su parte, tiende a utilizar entrevistas poco o nada estructuradas adems de distintas tcnicas de observacin, por lo que el anlisis que se obtiene de sta toma la forma de narrativas. Weiss seala, por tanto, que una de las principales diferencias entre uno y otro tipo de evaluacin radica en las tcnicas y/o herramientas que se utilizan para la recoleccin de informacin. Mientras que la evaluacin cuantitativa usa, por lo general, cuestionarios, la evaluacin cualitativa utiliza una o ms de las siguientes herramientas: 1) etnografa; 2) observacin; 3) observacin participante; y 4) entrevistas (e.g., grupos focales, entrevistas individuales, etc.). As, mientras que la evaluacin cuantitativa se enfoca en medir impactos, resultados numricos, para lo cual usa muestras representativas, cuestionarios, mtodos cuasi experimentales y grupos control, y, muy importante, busca la generalizacin de sus resultados, la evaluacin cualitativa, por otro lado, se enfoca ms en medir procesos, percepciones (de los implementadores, los beneficiarios, etctera), y en analizar a mayor detalle/ profundidad pocos casos (usa generalmente casos de estudio). Ms all de las herramientas que utiliza, la diferencia ms importante est ligada al concepto de validez en uno y otro tipo de evaluacin (vase Patton, 2002). Mientras que con los mtodos cuantitativos la validez depende de la construccin cuidadosa de los instrumentos que se van a utilizar para medir lo que se busca medir, la validez o credibilidad de los mtodos cualitativos descansa, en buena medida, en las habilidades, competencia y rigor de las personas que llevan a cabo el trabajo de campo. Hoy en da se puede decir que est superado el falso debate entre utilizar uno u otro tipo de evaluacin y cada vez se habla menos de evaluacin cuantitativa y cualitativa, y mejor se hace referencia a mtodos cuantitativos y cualitativos. Entre las ventajas de utilizar mtodos cuantitativos versus cualitativos se puede destacar el hecho de poder medir las reacciones de un gran nmero de personas en unas pocas preguntas, facilitando la comparacin y agregacin estadstica de la informacin, y con ello, la generalizacin de los resultados (Patton, 2002). Volviendo al tema de la validez, una de las ventajas de la

18

evaluacin cuantitativa es que sta le permite al investigador-evaluador generar conclusiones con un cierto grado de confianza: se recaba exactamente la misma informacin para distintas unidades de anlisis (personas, escuelas, programas, etc.), y esto permite hablar de porcentajes. Adems, el evaluador cuenta con una gama amplia de tcnicas estadsticas y de paquetes o softwares estadsticos que le permiten identificar relaciones entre variables, no slo de una variable, sino de un conjunto de variables en el tiempo (vase Weiss, 1998). En contraste, los mtodos cualitativos se concentran en un nmero limitado de personas o casos, lo que limita, en consecuencia, el poder generalizar los resultados encontrados (Patton, 2002). Por otro lado, los mtodos cualitativos son una excelente herramienta cuando se trata de un programa relativamente nuevo, que involucra muchos componentes y variables, y en donde es difcil, por tanto, hablar de un solo impacto (vase Weiss, 1998). Este tipo de evaluacin, como seala Patton (2002) facilita el estudio a profundidad (o en mayor detalle), entre otras cosas, de los procesos y operacin del programa, as como de las percepciones de los usuarios, implementadotes y otros individuos o grupos involucrados en la operacin del programa. De acuerdo con Weiss (1998), el uso de uno u otro tipo de evaluacin y/o de mtodos (cuantitativos versus cualitativos) tambin depender del tipo de preguntas que se quieran contestar e.g., sobre el proceso del programa, los resultados (o impacto) del programa, la relacin entre proceso y resultados, etctera. As, si las preguntas centrales de la evaluacin estn relacionadas con el proceso del programa, los mtodos cualitativos generalmente tienen la ltima palabra, ya que el programa puede incluir una enorme serie de actividades y variables que nadie sabe a ciencia cierta qu tan importantes son y/o hasta qu punto es importante estudiar cada una de stas. Por tanto, el evaluador debe permanecer abierto frente a la nueva informacin y a las nuevas ideas acerca de lo que el programa es y hace. Los mtodos cualitativos incorporan evidencia obtenida desde mltiples perspectivas y no descansan, de manera exclusiva, en las categoras preseleccionadas del evaluador. Por otro lado, cuando el estudio se enfoca en los resultados (o impacto) del programa, la balanza de ventajas es diferente. As, los mtodos cuantitativos sern preferidos cuando quienes financian el programa o los lectores potenciales de la evaluacin buscan respuestas concretas acerca de los resultados que est arrojando el programa. Como ya se coment, hoy da varios autores coinciden en la necesidad de que se utilicen de forma conjunta los dos tipos de mtodos (cuantitativos y cualitativos) en la evaluacin de las polticas y/o los programas. Esta idea, cada vez ms comn, se ve reflejada en las nuevas evaluaciones de programas que se estn llevando alrededor del mundo. Nuestro pas no es la excepcin. A continuacin se presenta una breve sntesis de los principales resultados que arrojaron dos estudios uno cuantitativo y otro cualitativo que forman

19

parte de la cuarta evaluacin del Programa de Desarrollo Humano Oportunidades, llevada a cabo en 2003 (vase Parker, 2004, y Escobar y Gonzlez de la Rocha, 2004), y que evidencian la necesidad de complemento de mtodos cuantitativos y cualitativos. Antes que resumir las evaluaciones, es importante sealar que el Programa de Desarrollo Humano Oportunidades, antes PROGRESA, surge en 1997 con el objetivo fundamental de ayudar a las familias que viven en pobreza extrema a que desarrollen sus capacidades y su bienestar social, a travs de mejoras en su educacin, salud y nutricin (i.e., el programa ha evolucionado e incluyendo otros componentes, aunque los tres que se mencionan siguen siendo los pilares del mismo). El componente educativo fue diseado para incrementar la inscripcin escolar de los nios y adolescentes, hijos de las familias beneficiarias, por lo que el Programa otorga becas educativas y tiles escolares (o dinero para comprar estos ltimos) a nios y nias que estn inscritos entre tercer grado de primaria y tercer grado de bachillerato. Las becas para estudiar la educacin bsica se asignan a nios y adolescentes que tienen un mximo de 18 aos. Las becas para estudiar preparatoria o bachillerato, introducidas en el ao 2001, se asignan a adolescentes que tienen entre 14 y 21 aos de edad. Las becas incrementan con el grado escolar y son ligeramente superiores para las nias que para los nios, tanto en el nivel secundaria, como en el bachillerato, con el objetivo de revertir la desercin escolar, que muestra unas tasas superiores en el caso de las nias. Los componentes de salud y nutricin, por el otro lado, se disearon con el fin de mejorar los niveles de salud y nutricin, respectivamente, de todos los miembros de la familia, en particular los de los nios. Para ello, el Programa otorga a cada familia beneficiaria una transferencia monetaria mensual de aproximadamente 14 dlares para mejorar la canasta alimenticia del hogar, adems de suplementos alimenticios a los infantes y mujeres en periodo de lactancia. Aunque la mayora de los suplementos alimenticios se otorgan a nios entre los cuatro meses de edad y los dos aos, tambin los reciben nios de entre dos y cinco aos que presentan niveles de desnutricin. Las transferencias monetarias para comprar o complementar la canasta alimenticia, por su lado, son las mismas para todas las familias beneficiaras, independientemente del lugar en donde vivan y del tamao y composicin del hogar. Finalmente, igual que sucede con el componente educativo, que se condiciona a la asistencia a la escuela (los alumnos tienen que asistir al menos al 85 por ciento de las clases programadas en el calendario escolar), tanto las transferencias monetarias para comprar comida, como los suplementos o sobres alimenticios se condicionan al uso de un paquete de servicios bsicos de salud (toda la familia tiene que hacer uso de dicho paquete y a la asistencia de las madres de familia a sesiones y/o plticas educativas relacionadas con cuestiones de nutricin e higiene).

20

A continuacin se exponen los principales hallazgos de dos de las evaluaciones del Programa llevadas a cabo en 2003, que dan cuenta de diferentes aspectos del Programa Oportunidades, y de manera ms puntual del componente educativo. Como veremos, ms que contradecirse, los resultados de ambas evaluaciones pueden verse como complementarios, ya que nos ayudan a tener una visin ms amplia de los alcances del Programa, en general, y de su componente educativo, en particular. Mientras que la evaluacin de Parker, de corte cuantitativo (usa diferencias de medias y econometra, con datos panel), se concentra en medir el impacto que ha teniendo el Programa en la inscripcin, desercin e ndices de reprobacin de los alumnos, la evaluacin realizada por Escobar y Gonzlez de la Rocha, de carcter etnogrfico (hace uso de herramientas cualitativas como la observacin y la entrevista para la recoleccin de la informacin), nos permite tener una visin general de las principales debilidades del Programa (no slo del componente educativo), a la luz de las percepciones que tienen los padres de familia sobre distintos aspectos de la operacin del programa. A continuacin se describen brevemente los principales hallazgos de ambas. Los resultados de la evaluacin de Parker En la evaluacin realizada por Parker (2004) se seala que el Programa haba ayudado a reducir tanto el nmero de nios que reprueban, como los que abandonan la escuela. As, al comparar los ciclos escolares 2002-2003 y 1996-1997 (cuando empez el Programa), se observa un decremento del 13 y del 21 por ciento en el nmero de nios que reprueban en las escuelas rurales y urbanas, respectivamente. Respecto al abandono escolar, en los mismos ciclos escolares, Parker reporta un decremento del 17 y del 9.5 por ciento en las escuelas rurales y urbanas, respectivamente. Finalmente, en lo que toca a la inscripcin escolar en el nivel secundaria, tanto en el medio rural como urbano, Parker seala que al comparar los ciclos escolares 1996-1997 y 2002-2003, se puede observar que el Programa Oportunidades haba incrementado el nmero de nios que cursan dicho nivel en casi 24 por ciento en el medio rural y en alrededor de 4 por ciento en el medio urbano. Otro impacto que se observ en el medio rural es que el Programa estaba ayudando a eliminar la brecha entre hombres y mujeres que cursan el nivel secundaria. As, mientras que antes de que arrancara el Programa PROGRESA-OPORTUNIDADES, haba 83 nias inscritas por cada 100 nios, para el ciclo escolar 2002-2003, esta razn haba subido a 96 nias por cada 100 nios. En esta evaluacin tambin se enfatiza que quiz el mayor impacto del Programa se estaba dando en el nmero de nios que hoy en da tienen oportunidad de cursar nivel bachillerato. A este respecto, la evaluacin indica que para el ciclo 2002-2003, y en comparacin con el ciclo 2001-2002, se dio un incremento de cerca del 85 y 47 por ciento, en el nmero de adolescentes que se inscribieron en el primer y segundo grado, respectivamente, del bachillerato en el medio rural. Dicho incremento, por

21

su parte, fue mucho menor en las reas urbanas: del 10 y del 7 por ciento en el primer y segundo grados, respectivamente. Lo que encuentra la evaluacin de Escobar y Gonzlez de la Rocha En la evaluacin cualitativa realizada en 2003 en las reas urbanas (Escobar y Gonzlez de la Rocha, 2004), discute algunos problemas especficos del Programa Oportunidades como lo son la calidad de la educacin y de los servicios mdicos ofrecidos a la poblacin beneficiaria. Respecto al componente de salud, la evaluacin indica que uno de los factores que influan en el nivel de satisfaccin o insatisfaccin de los beneficiarios era el sistema para reservar o apartar las consultas mdicas, ya que ste provocaba una doble prdida de tiempo: los beneficiarios tenan que llegar muy temprano en la maana para obtener una ficha y volver otro da, tambin muy temprano en la maana, el da de su cita, para ver a su mdico general. Otro factor de satisfaccin o insatisfaccin estaba relacionado con el modo en que se trataba (o maltrataba) a los pacientes y la insuficiencia o carencia de medicamentos. Escobar y Gonzlez de la Rocha sealan que en muchos casos se les peda dinero (una cuota de cooperacin) a los pacientes para que se les pudiera dar consulta, lo cual inhiba a la gente a asistir a las consultas (que se supone son gratuitas). Respecto al componente educativo, la evaluacin de Escobar y Gonzlez de la Rocha indica que los padres de familia estaban muy preocupados por la falta de calidad de la educacin y el maltrato que sufran los nios dentro de la escuela. La evaluacin sealaba que algunas familias tenan que pagar cuotas a la escuela, debido a la falta de un equipo y una infraestructura escolar adecuada. De acuerdo con esta evaluacin, los padres tambin se quejaron del alto ausentismo de los maestros y de las pocas horas-clase que reciban sus hijos. Como puede notarse, esta evaluacin es muy reveladora pues, como sostienen Escobar y Gonzlez de la Rocha, para el caso del componente educativo, en especfico: no es suficiente incrementar el nmero de nios que se inscriben en el nivel secundaria o en el bachillerato, sino que tambin hay una necesidad urgente de mejorar la calidad de la educacin (Escobar y Gonzlez de la Rocha, 2004: 268). Reflexiones finales respecto a la complementariedad de las evaluaciones cuantitativa y cualitativa Aunque para algunos estudiosos de las ciencias sociales la evaluacin cuantitativa y la cualitativa pueden parecer en principio incompatibles, debido a que una y otra se apoyan en distintas posiciones ontolgicas/epistemolgicas frente al conocimiento (i.e., racionalistas y post-modernos), ya varios autores (Weiss, 1998, y Patton, 2002, entre

22

otros) sealan que el uso de ambas es lo ideal, pues una, en trminos generales, da cuenta de los resultados globales (the outcomes) de los programas y la otra ayuda a entender los procesos, as como las percepciones de los beneficiarios. En el caso de las dos evaluaciones aqu resumidas, se puede ver que una y otra se complementan para dar una visin ms amplia sobre los alcances del Programa. La evaluacin realizada por Escobar y Gonzlez de la Rocha, por ejemplo, nos permite concluir para incrementar el impacto del Programa en el bienestar de las familias, es muy importante mejorar la calidad de los servicios de salud y educativos. Respecto al componente educativo, esta evaluacin ayuda a entender que aunque el Programa ha sido exitoso en incrementar el nmero de estudiantes que se inscriben en el nivel de secundaria (y ms recientemente en el bachillerato), tal como lo seala la evaluacin de Parker, el Programa tiene el reto de mejorar la calidad de la educacin que se ofrece. Sin duda, la evaluacin de Escobar y Gonzlez de la Rocha da cuenta de problemas aejos del sistema educativo, como lo es el alto ausentismo de los docentes, que impacta, de forma negativa, tanto la calidad de la educacin, como el aprovechamiento escolar de los alumnos. 6. La relacin entre el evaluador y los individuos, grupos y organizaciones involucrados en la evaluacin Otro aspecto importante que debe tomarse en cuenta a la hora de llevar a cabo la evaluacin es la naturaleza o el tipo de relacin que existe entre el evaluador y los individuos, grupos y/u organizaciones involucrados en la evaluacin. Una de las lecciones ms importantes de las primeras dcadas de experiencia de la evaluacin sistemtica es que no hay nada automtico sobre el uso de los resultados de la evaluacin por parte de los sujetos relevantes que encargan o pagan la evaluacin. (Rossi, Lipsey y Freeman, 2004: 33) La evaluacin es un proceso que requiere del establecimiento de condiciones adecuadas que aseguren la independencia, credibilidad y utilidad de la evaluacin. Por independencia de la evaluacin se entiende que sta est libre de toda influencia que pueda sesgar sus resultados, la credibilidad se refiere a la medida en que los hallazgos son confiables (metodologas utilizadas, precisin de los reportes, competencia de los evaluadores, etc.) y por ltimo utilidad se define como la medida en que stas resultan tiles para los gerentes de los programas y en general para los hacedores de poltica. El uso de metodologas rigurosas no asegura la legitimizacin de una evaluacin. Tambin es necesario contar con un proceso en el que los sujetos evaluados participen

23

de forma activa en todo el proceso de evaluacin, atendindose sus necesidades y tomando en cuenta sus puntos de vista, sin perder la independencia requerida. Por ello, una parte importante de un diseo de evaluacin es llevar a cabo un plan para trabajar con los diferentes sujetos que encargan y/o pagan la evaluacin, con el fin de identificar y/o clarificar los aspectos que se desean evaluar, realizar la evaluacin y hacer un uso efectivo de los hallazgos que arroje la evaluacin. En el plan de evaluacin se debe sealar quin o quines (qu tipo de audiencia) recibir informacin y en qu tiempos, el tipo y espaciamiento de los reportes que se entregarn por escrito o en presentaciones orales y hasta dnde pueden diseminarse los resultados/hallazgos de la evaluacin. Adems, en el proceso de la evaluacin se debe recibir retroalimentacin contina de los propios operadores de los programas y otros actores relevantes 7. Los distintos usos de la Evaluacin El verdadero xito de una evaluacin radica en el uso que se haga de sus hallazgos, si estos son utilizados para mejorar las polticas pblicas y su efectividad, si son considerados para fines presupuestales, y por tanto si contribuyen a mejorar la calidad del gasto pblico. No existe una relacin directa entre realizar una evaluacin y utilizar sus resultados; esto depender de varios factores, que van desde la voluntad poltica, incentivos institucionales, calidad y confiabilidad de la evaluacin, as como la oportunidad y relevancia de la informacin que se derive de las evaluaciones. Los usuarios de la evaluacin son diversos y tienen diferentes incentivos: Tomadores de decisiones.- toma informada de decisiones al crear nuevas iniciativas o reorientar acciones, distribucin del presupuesto, etctera. Responsables de los programas o proyectos.- retroalimentacin de la gestin, corregir sobre la marcha para asegurar el logro de objetivos. Instituciones nacionales o internacionales que financian los programas.- rendicin de cuentas y generacin de conocimientos. Expertos.- fomenta el aprendizaje y conocimiento. Ciudadana.- rendicin de cuentas, construccin de democracia. Comunidad internacional.-aprender de las experiencias exitosas.

En los siguientes dos cuadros se exponen brevemente algunos ejemplos de la evaluacin como insumo para la toma de decisiones en el caso de Mxico.

24

Cuadro 3. Cambios en la poltica Programtica de Desarrollo Social

2010 Tipo de Mejora Corregir actividades o procesos del programa Modificar apoyos del programa Reorientar sustancialmente el programa Adicionar o reubicar el programa Suspender el programa Total Programas 19 22 71 1 113 Participacin Relativa 17% 20% 63% 1% 100% 2011 Participacin Relativa 47% 14% 35% 4% 0% 100%

Programas 35 10 26 3 0% 74

Fuente: Presentacin Avances y Retos en la Consolidacin de una Gestin basada en Resultados en Mxico: Poltica Social (CONEVAL).

Cuadro 4. Evaluacin y toma de decisiones

Resultados de Evaluaciones Programa Oportunidades La magnitud de la disminucin en la prevalencia de anemia fue menor a la esperada. Un porcentaje alto de nios no consuma regularmente el suplemento nutricio y el uso y preparacin del mismo no era adecuada Se cambi la forma de hierro utilizada en el suplemento. Se sustituy el hierro reducido por el gluconato ferroso. Se modificaron las estrategias y materiales para promover el consumo adecuado del suplemento. Las plticas que originalmente se ofrecan en espaol se adaptaron a lenguas indgenas. Modificaciones al Programa

Piso Firme En 2005-2006 se realiz una evaluacin de impacto que compar el efecto que una vivienda tenga piso de cemento vs. pisos de tierra. Se mostraron mejoras dramticas en salud de nios: disminucin de hasta 50% en casos de parasitosis, diarrea, anemia. Programa de Apoyo Alimentario El programa entregaba canastas alimentarias. Se mostr que el efecto de las canastas vs. transferencia en efectivo era similar, sin embargo el costo de entregar canastas es ms del doble que el efectivo. Fuente: Secretara de Desarrollo Social, Mxico. Revisin del diseo del programa de apoyo alimentario, prevaleciendo la entrega de transferencias en efectivo sobre las canastas alimentarias. Se estableci como meta nacional para el 2012, contar con pisos de cemento en todas las viviendas del pas.

25

8. La Metodologa de Marco Lgico La Metodologa de Marco Lgico es una herramienta para facilitar el proceso de conceptualizacin, diseo, ejecucin y evaluacin de proyectos. Su nfasis est centrado en la orientacin por objetivos, la orientacin hacia grupos beneficiarios y el facilitar la participacin y la comunicacin entre las partes interesadas. (Ortegn y Pacheco, 2005). El uso de la Metodologa de Marco Lgico (MML) tiene su origen en el desarrollo de tcnicas de administracin por objetivos en la dcada de 1960. A partir de los aos setenta, la U.S. Agency for International Development (USAID) comenz a utilizarla formalmente en la planificacin de sus proyectos y su uso se ha expandido a agencias internacionales y diferentes gobiernos En Mxico la construccin de una Matriz de Indicadores considerando la Metodologa de Marco Lgico es obligatoria desde 2007 para los programas presupuestarios y es utilizada tanto en el proceso de planeacin como en la evaluacin y seguimiento de los programas. La MML deriva de un modelo de planeacin estratgica. Inicia con la identificacin del perfil, tamao, necesidades, preocupaciones e intereses de la poblacin objetivo (a quienes se dirigir el programa o estrategia) y de la poblacin potencial (a quienes se procurar atender en un futuro). Posteriormente, se detecta y pondera a los actores clave que facilitan o amenazan el logro de los objetivos, adems de delimitar las restricciones, formales e informales y las condicionantes del entorno y actores que se vern afectados por la accin. Todo ello a fin de determinar las oportunidades de incidencia y aprovechamiento de situaciones en un corte de espacio-tiempo especfico. Con ello, se busca especificar acciones concatenadas, que son detonadoras de objetivos y metas, as como evaluar el programa segn los cambios cualitativos generados en la poblacin objetivo y en los ejecutores de la misma. Este enfoque estratgico permite definir objetivos, metas y lneas de accin que toman en cuenta el conocimiento de los requerimientos o necesidades de los actores internos y externos (usuarios/as, beneficiarios/as, proveedores del servicio, grupos de poder, entre otros), adems de las condiciones polticas, econmicas, sociales, legales y tecnolgicas relevantes para la institucin. El mtodo fue elaborado para evitar tres problemas frecuentes en proyectos variados: a) la existencia de mltiples objetivos en un proyecto y la inclusin de actividades no conducentes al logro de estos; b) fracasos en la ejecucin por no estar claramente definidas las responsabilidades y no contar con mtodos para el adecuado seguimiento y control; y c) la inexistencia de una base objetiva y consensuada para comparar lo planificado con los resultados efectivos.

26

El anlisis de la MML de un proyecto permite responder a las siguientes preguntas: a) cul es la finalidad (fin) que se persigue con su ejecucin?; b) qu impacto concreto se espera alcanzar?/ Cul es el propsito del proyecto?; c) qu bienes o servicios (componentes) debern ser producidos?; d) cmo se va a hacer para producir dichos bienes o servicios?/ Qu actividades?; e) cunto nos va a costar producirlos?; f) cmo sabremos si se han cumplido los objetivos?; y g) qu factores externos (supuestos) pueden comprometer el xito del proyecto (o programa)? La Metodologa de Marco Lgico comprende cinco etapas, en el siguiente orden: 1) el anlisis de involucrados; 2) el anlisis de problemas; 3) el anlisis de objetivos; 4) el anlisis de alternativas, y 5) la construccin de la matriz del programa o de marco lgico. Las dos primeras etapas permiten identificar el problema que quiere resolverse, dada una situacin actual insatisfactoria. En la tercera y cuarta etapas se identifican las alternativas que llevan a resolver el problema y, por tanto, construir una situacin futura deseada. Con el anlisis de los Actores Involucrados, se identifican los grupos influyentes o afectados por el problema que se intenta resolver, tomando en consideracin sus intereses, su poder relativo, su capacidad de participacin, su posicin de cooperacin o conflicto frente al proyecto, sus limitaciones y necesidades que la institucin est en posibilidad de atender. A partir de este anlisis se identifica a la poblacin potencial y objetivo segn sus caractersticas, necesidades e intereses. Igualmente, se hace un Diagnstico de Problemas que establezca las relaciones causales entre ellos y analice el problema principal que quiere atenderse. La visualizacin de las relaciones de causalidad se plasma en un diagrama conocido como rbol de problemas. La metodologa contina con el anlisis de objetivos, el cual permite describir la situacin positiva a la que se desea llegar una vez resuelto el problema principal. Cada condicin negativa mostrada en el rbol de problemas se convierte en un objetivo que es deseado y factible de realizar. Se revisan todas las relaciones medio-fin y se construye el rbol de objetivos. A partir del rbol de objetivos, se lleva acabo el anlisis de alternativas de solucin del problema para identificar las distintas estrategias y seleccionar una o varias alternativas para alcanzar el objetivo. La ejecucin de esas estrategias podr promover el cambio de la situacin actual a la situacin futura deseada. En este anlisis tambin ha de realizarse la seleccin de una o varias alternativas para alcanzar el objetivo. Para ello, se requiere identificar las distintas estrategias, establecer criterios precisos que permitan elegir entre stas y seleccionar aqulla que sea aplicable al proyecto, con base en un diagnstico de la situacin, estudio tcnico de cada alternativa, anlisis costo-beneficio de las actividades que cada alternativa demanda y comparacin mediante criterios e indicadores.

27

Por ltimo, se construye la matriz del programa o de marco lgico, la cual resume los anlisis antes descritos. Los distintos niveles de objetivos se jerarquizan mediante la aplicacin de la matriz de marco lgico, definiendo Estrategias para el logro de los mismos. Esta matriz comprende cuatro filas (objetivo general o fin, objetivo especfico o propsito, resultados o componentes y actividades) y cuatro columnas (resumen narrativo de los objetivos, indicadores de desempeo, medios de verificacin o monitoreo, supuestos y riesgos). Y tiene dos lgicas para su construccin e interpretacin: 1) Vertical.- la que exige existencia de una relacin de causalidad desde las actividades hasta el fin, entre los distintos niveles de objetivos, considerando el cumplimiento de los supuestos asociados a cada fila. As, llevar a efecto las actividades permite lograr los componentes; cumplir con stos hace realizable el propsito; y ejecutar ste es condicin para alcanzar el fin. 2) Horizontal.- en donde los medios de verificacin identificados son los necesarios y suficientes para obtener los datos requeridos a fin de realizar el clculo de los indicadores de desempeo y stos permiten monitorear el programa y evaluar adecuadamente el logro de los objetivos consignados en cada fila. Para trabajar las 5 etapas de Marco Lgico (anlisis de involucrados, anlisis de problemas, anlisis de objetivos, anlisis de alternativas, matriz de marco lgico), se realizan talleres participativos en los que se aplican tcnicas de reflexin y anlisis grupal, de donde se obtendrn objetivos, lneas de accin estratgicas, resultados y acciones especficas para alcanzarlos. La MML genera un instrumento resumido y estructurado (matriz de indicadores) que permite entender fcilmente la lgica de la intervencin a realizar, con indicadores que midan, monitoreen y evalen los avances en el cumplimiento de los resultados esperados. En Mxico, buena parte de la evaluacin de los programas federales sujetos a Reglas de Operacin se hace a partir de esta metodologa: la evaluacin de diseo y la consistencia y resultados, por ejemplo, parte de analizar las matrices elaboradas por la dependencia en cuestin y verificar si el Propsito (objetivo) del programa fue bien identificado, si est alineado con los objetivos del Plan Sectorial y el Plan Nacional de Desarrollo, si las Actividades del programa contribuyen a lograr los Componentes, y si stos ltimos coadyuvan a lograr el Propsito, entre otras cosas.

28

Cuadro 5. Tipologa de Evaluacin establecida por CONEVAL

Tipo de Evaluacin Diseo Consistencia y Resultados Indicadores Desempeo Procesos Objetivo Analiza el diseo del programa con base en la Matriz de Indicadores Analiza el diseo y desempeo global de los programas con base en la Matriz de Indicadores Analiza la pertinencia y alcance de los indicadores de un programa para el logro de resultados Analiza de manera sistemtica la evolucin de un programa para el logro de resultados Analiza si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestin Identifica el cambio en los indicadores a nivel de resultados atribuible a la ejecucin del programa. Otras necesidades especficas de evaluacin: satisfaccin de beneficiarios, monitoreo de obra, calidad de los servicios, etc.

Impacto Especficas

Fuente Lineamientos de Evaluacin, 2007.

En nuestra experiencia como evaluadoras hemos notado, sin embargo, que en ocasiones las matrices elaboradas por las dependencias no parten de un diagnstico profundo del problema que se busca resolver con la intervencin o programa: se realizan de forma apresurada porque es una obligacin presentarlas para el proceso de presupuestacin. Esto, sin duda, acarrea problemas para la planeacin, ejecucin y evaluacin misma de los programas. Lo mismo puede decirse de los indicadores propuestos: algunos de estos o son muy simples, o no permiten una medicin adecuada de los avances y alcances del programa. Esto nos lleva a concluir que si bien es cierto que la MML como instrumento de gestin de programas y proyectos permite en principio fortalecer la planeacin, ejecucin, seguimiento y evaluacin de estos, no debe considerarse como una panacea ni un dogma. Es decir, la MML no soluciona por s sola los problemas que invariablemente se presentarn al disear, ejecutar y evaluar un programa o proyecto, por lo que el evaluador de polticas deber recurrir a su ingenio y hacer uso de distintas herramientas para poder tener una visin ms completa del objeto a evaluar.

29

9. Comentarios finales Cada vez ms los ciudadanos demandan gobiernos transparentes, que rindan cuentas y entreguen resultados tangibles de sus acciones, por otro lado los gobiernos se enfrentan a recursos escasos para solucionar los problemas pblicos. En este contexto, la evaluacin se ha perfilado como una herramienta indispensable para determinar el cumplimiento de los objetivos de las intervenciones pblicas, su adecuada operacin y el impacto en el bienestar de la poblacin atendida. Combinando el anlisis cualitativo y cuantitativo, la evaluacin contribuye a retroalimentar el diseo de las polticas pblicas, permitiendo su mejora, readecuacin o reorientacin, al igual que a la rendicin de cuentas sobre el uso de recursos pblicos, fomentado as una cultura de resultados en la gestin pblica e incrementando la efectividad de las polticas. De igual manera fomenta la generacin del conocimiento y un debate informado sobre polticas pblicas. En Mxico como en diferentes pases de Amrica Latina, se han hecho esfuerzos importantes en la ltima dcada por institucionalizar la evaluacin. Estos esfuerzos se han concebido como un proceso de aprendizaje y ajuste continuo ya que se necesitan cambios drsticos en la forma de operar de las organizaciones y en su cultura. Deben de existir condiciones adecuadas para que la evaluacin logre cumplir sus objetivos; un marco institucional y normativo adecuado, consensos polticos, incentivos adecuados, recursos financieros y humanos, el desarrollo de un mercado de evaluadores, desarrollo de capacidades de los actores involucrados, coordinacin intersectorial e intergubernamental, entre otros. Como es reconocido en la mayora de la literatura de evaluacin, la construccin de un sistema de evaluacin y monitoreo es una tarea fundamentalmente poltica con elementos tcnicos.

30