Академический Документы
Профессиональный Документы
Культура Документы
INVESTIGADORES ACADMICOS 2010-2014 Mara del Rosario Crdenas Elizalde Universidad Autnoma Metropolitana Fernando Alberto Corts Cceres El Colegio de Mxico Agustn Escobar Latap Centro de Investigaciones y Estudios Superiores en Antropologa Social-Occidente Salomn Nahmad Sittn Centro de Investigaciones y Estudios Superiores en Antropologa Social-Pacco Sur John Scott Andretta Centro de Investigacin y Docencia Econmicas Graciela Mara Teruel Belismelis Universidad Iberoamericana
SECRETARA EJECUTIVA Gonzalo Hernndez Licona Secretario Ejecutivo Edgar A. Martnez Mendoza Director General Adjunto de Coordinacin Ricardo C. Aparicio Jimnez Director General Adjunto de Anlisis de la Pobreza Thania P. de la Garza Navarrete Directora General Adjunta de Evaluacin Daniel Gutirrez Cruz Director General Adjunto de Administracin
COLABORADORES Equipo tcnico Edgar A. Martnez Mendoza Nereida Hernndez Reyes Cristina Hayde Prez Gonzlez Gabriela Gutirrez Salas Hugo Lugo Paz Elba Chvez Vizuet Lidia Soni Gallardo Freddy Damin Urbina Romero Israel Larry Escobar Blanco
AGRADECIMIENTOS El Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL) agradece la colaboracin de las entidades federativas para la elaboracin de este Diagnstico. En particular, reconoce la participacin de Chiapas, Colima, Guerrero, Estado de Mxico, Guanajuato, Hidalgo, Jalisco, Michoacn, Nuevo Len, Oaxaca, Puebla, Quertaro, Yucatn, Zacatecas y el Distrito Federal por haber proporcionado informacin que contribuy al logro del objetivo del documento. Adems, se extiende un agradecimiento al Dr. Fernando A. Corts Cceres y al Dr. Manuel Jorge Gonzlez Montesinos por su colaboracin durante la etapa de validacin tcnica de la metodologa usada para medir el avance en monitoreo y evaluacin de las entidades federativas.
Diagnstico del avance en monitoreo y evaluacin en las entidades federativas 2011 Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social Boulevard Adolfo Lpez Mateos 160 Colonia San ngel Inn CP. 01060 Delegacin lvaro Obregn Mxico, DF Impreso y hecho en Mxico Printed and made in Mexico ISBN: 978-607-95986-0-0 Citacin sugerida: Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social. Diagnstico del avance en monitoreo y evaluacin en las entidades federativas 2011, Mxico, D.F. CONEVAL, 2012.
Contenido
Lista de siglas y acrnimos 8 Glosario 15
Presentacin 17 El monitoreo y la evaluacin de los programas sociales, una tarea para mejorar el uso de los recursos pblicos 1. Antecedentes 19 2. Estructura del estudio 21 2.1 Objetivo 2.2: Objetivos especcos 2.3 Marco institucional 2.4 Denicin de los elementos y componentes de anlisis del diagnstico 2.5 Metodologa 2.5.1 Supuestos del modelo 2.5.2 Fuentes de informacin 2.5.3 Proceso de obtencin e integracin de informacin 2.5.4 Asignacin de valores 21 21 21 23 25 25 26 28 29 30 31 32 33 34
2.6 Alcances 3. Resultados a nivel nacional 2011 3.1 Anlisis entre entidades federativas 3.2 Anlisis entre componentes 3.2.1 Resultados del Componente 1: El deber ser en M&E
38 41 41
3.3 Anlisis por elementos 3.3.1. Existencia y alcance de la Ley de Desarrollo Social o equivalente 3.3.2 Criterios para la creacin de programas estatales de desarrollo social (programas nuevos)
42 43 44
3.3.3 Creacin de un Padrn de Beneciarios 3.3.4 Elaboracin de Reglas de Operacin o equivalente 3.3.5 Difusin de informacin acerca de los programas estatales de desarrollo social de desarrollo social Transparencia en el presupuesto asignado a los programas estatales de desarrollo social
3.3.6
45
46 47 47 48 49 50 51
3.3.7 Elementos de monitoreo y evaluacin 3.3.7.1 Normativa en monitoreo y evaluacin 3.3.7.2 Criterios/lineamientos para la evaluacin 3.3.7.3 Planeacin de evaluaciones 3.3.7.4 Publicacin de evaluaciones realizadas 3.3.7.5 Seguimiento a los resultados de las evaluaciones
3.3.7.6 Estudios, diagnsticos, investigaciones o anlisis en materia de desarrollo social 52 3.3.7.7 Indicadores de resultados para la poltica y/o los programas de desarrollo social 53 3.3.7.8 Indicadores de gestin para la poltica y/o los programas de desarrollo social 54
3.3.8 Existencia, facultades e independencia del rea responsable de realizar/coordinar la evaluacin de la poltica y los programas de desarrollo social en el estado 55
4. Conclusiones y reas de oportunidad 56 5. Resultados por entidad federativa 2011 59 Aguascalientes Baja California Baja California Sur Campeche Chiapas 60 67 73 79 85 92 99 105 111 117 123 129 135 142 148 154 160 165
Chihuahua Coahuila Colima Distrito Federal Durango Estado de Mxico Guanajuato Guerrero Hidalgo Jalisco Michoacn Morelos Nayarit
Nuevo Len Oaxaca Puebla Quertaro Quintana Roo San Luis Potos Sinaloa Sonora Tabasco
172 178 185 191 197 203 209 215 221 227 233 240 246 253 260
Zacatecas Bibliografa
Cdigo de Atencin a la Familia y a Grupos Vulnerables para el estado libre y soberano de Chiapas. Cdigo de la Administracin Pblica del estado de Yucatn. Consejo de Desarrollo Social del estado de Nuevo Len. Consejo Estatal de Mejora Regulatoria del estado de Yucatn. Comisin Econmica para Amrica Latina y el Caribe. Comisin Estatal de Vivienda del estado de Quertaro. Contralora General de los estados de Baja California Sur y Veracruz. Cdigo de Hacienda Pblica para el estado de Chiapas. Consejo de Investigacin y Evaluacin de la Poltica Social del Estado de Mxico. Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social. Comit de Planeacin para el Desarrollo Estatal de los estados de Baja California, Baja California Sur, Chiapas, Chihuahua, Coahuila, Distrito Federal, Durango, Jalisco, Nuevo Len, Oaxaca, Quertaro, Quintana Roo, San Luis Potos, Sonora, Tlaxcala, Veracruz y Zacatecas.
COPLADECAM Comit de Planeacin para el Desarrollo del estado de Campeche. COPLADECOL Comit de Planeacin para el Desarrollo del estado de Colima. COPLADEG COPLADEHI COPLADEM
Comit de Planeacin para el Desarrollo Estatal del estado de Guerrero. Comit de Planeacin para el Desarrollo Estatal del estado de Hidalgo. Comits de Planeacin para el Desarrollo Municipal del estado de Hidalgo y Comit de Planeacin para el Desarrollo Estatal del Estado de Mxico.
Comit de Planeacin para el Desarrollo Estatal de los estados de Tabasco y Tamaulipas. Constitucin Poltica de los estados de Chiapas, Nayarit y Yucatn. Coordinacin de Planeacin para el Desarrollo del estado de Michoacn. Sistema para el Desarrollo Integral de la Familia de los estados de Baja California, Chiapas, Distrito Federal, Guanajuato, Hidalgo, Jalisco, Morelos, Nayarit, Nuevo Len y Yucatn. Consejo de Evaluacin del Desarrollo Social del Distrito Federal. Fideicomiso Educacin Garantizada del Distrito Federal. Instituto para la Atencin de los Adultos Mayores del Distrito Federal. Instituto de Crdito y Apoyos Educativos del estado de Baja California. Instituto Coahuilense de la Juventud. Instituto Coahuilense de la Mujer. Instituto de Evaluacin del Desempeo del estado de Quintana Roo. Instituto de Evaluacin y Medicin de Marginacin y Pobreza del estado de Puebla. Instituto de Educacin Media Superior del Distrito Federal. Instituto de la Juventud del estado de Yucatn. Instituto de Planeacin del estado de Guanajuato. Instituto de Vivienda del Distrito Federal. Ley de Acceso a la Informacin Pblica y Proteccin de Datos Personales de los estados de Coahuila, Guanajuato, Sinaloa y Yucatn. Ley de Asistencia Social de los estados de Baja California y Quertaro. Ley de Desarrollo Social de los estados de Aguascalientes, Campeche, Chihuahua, Coahuila, Colima, Distrito Federal, Durango, Guanajuato, Guerrero, Hidalgo, Jalisco, Michoacn, Estado de Mxico, Nuevo Len, Puebla, Quintana Roo, San Luis Potos, Sonora, Tabasco, Tamaulipas y Zacatecas. Ley Estatal de Acceso a la Informacin Gubernamental del estado de Quertaro.
EVALA DF FIDEGAR IAAM ICAE ICJ ICM IED IEMMP IEMS INJUVE IP IV LAIP
LAS LDS
LEAIG
10
Ley Sobre el Sistema Estatal de Asistencia Social del estado de Baja California Sur. Ley Federal de Presupuesto y Responsabilidad Hacendaria. Ley Federal de Transparencia y Acceso a la Informacin Pblica. Ley General de Desarrollo Social. Ley de Informacin Pblica, Estadstica y Proteccin de Datos Personales del estado de Morelos. Ley Orgnica de la Administracin Pblica de los estados de Baja California, Baja California Sur, Chiapas, Morelos, Tlaxcala y Veracruz. Ley Orgnica del Poder Ejecutivo de los estados de Nayarit, Oaxaca y Veracruz. Ley de Planeacin federal y de los estados de Chiapas y Nayarit. Ley de Presupuesto y Contabilidad Gubernamental del estado de Yucatn. Ley Nmero 454 de Presupuesto y Disciplina Fiscal del estado de Guerrero. Ley de Presupuesto de Egresos, Contabilidad y Gasto Pblico del estado de Chihuahua. Ley de Presupuesto y Ejercicio del Gasto del estado de Baja California. Ley del Presupuesto, Gasto Pblico y su Contabilidad del estado de Oaxaca. Ley sobre el Sistema Estatal de Asistencia Social de los estados de Nayarit, Veracruz y Yucatn. Ley sobre el Sistema Estatal de Desarrollo Social de Sinaloa. Ley de Transparencia y Acceso a la Informacin Pblica de los estados de Aguascalientes, Baja California, Baja California Sur, Campeche, Chihuahua, Colima, Distrito Federal, Durango, Guerrero, Hidalgo, Michoacn, Estado de Mxico, Nayarit, Nuevo Len, Oaxaca, Puebla, Quintana Roo, San Luis Potos, Sinaloa, Tabasco, Tamaulipas, Veracruz y Zacatecas. Ley que Garantiza la Transparencia y el Derecho a la Informacin Pblica de los estados de Chiapas y Jalisco. Sistema de Transporte Colectivo del Distrito Federal. Manual de Organizacin de la Secretara de Desarrollo y Participacin Social del estado de Chiapas.
LOAP
LSEDS LTAI
LTIP
METRO MOSEDEPAS
11
Organizacin para la Cooperacin y el Desarrollo Econmico. rgano para la Informacin e Investigacin del estado de Chihuahua. Organizacin de las Naciones Unidas. Presupuesto de Egresos de los estados de Baja California Sur, Campeche, Chiapas, Colima, Guanajuato, Guerrero, Hidalgo, Jalisco, Michoacn, Estado de Mxico, Nayarit, Oaxaca, Puebla, Quertaro, Sinaloa y Zacatecas. Presupuesto de Egresos del estado de Tlaxcala. Plan Nacional de Desarrollo. Programa de las Naciones Unidas para el Desarrollo. Programa Operativo Anual del estado de Morelos. Programa de Desarrollo Social Integrado y Sustentable del estado de Chiapas. Padrn nico de Beneciarios del estado de Tamaulipas. Reglamento de la Comisin Estatal de Vivienda del estado de Quertaro. Reglamento Interior de la Auditora Superior del estado de Chiapas. Reglamento Interior de la Secretara de Desarrollo Social y Humano del estado de Morelos. Reglamento de la Secretara de Desarrollo Social del estado de Veracruz. Reglamento Interior de la Secretara de Desarrollo y Participacin Social del estado de Chiapas. Reglamento Interno de la Secretara de Desarrollo Social del estado de Baja California. Reglamento Interior de la Secretara de Finanzas y Planeacin del estado de Morelos. Reglamento de la Ley de Desarrollo Social de los estados de Campeche, Estado de Mxico y Nuevo Len. Reglamento Orgnico de la Administracin Pblica Estatal del estado de Sinaloa. Reglamento Interior de la Ocina Ejecutiva del Gobernador del estado de Nuevo Len Reglas de Operacin.
RISDS RISEDEPAS
12
RSEDESHU
Reglamento Interior de la Secretara de Desarrollo Social y Humano del estado de Guanajuato. Reglamento Interior de la Secretara de Desarrollo Social del estado de Campeche. Reglamento Interior de la Secretara de Finanzas y Administracin del estado de Guerrero. Secretara de Administracin y Finanzas de los estados de Nuevo Len y Tabasco. Secretara de Contralora de los estados de Nuevo Len y Tabasco. Secretara de la Contralora General de los estados de Nayarit y Yucatn. Secretara de Desarrollo Agropecuario, Forestal y Pesca del estado de Tabasco. Secretara de Desarrollo Econmico del Distrito Federal y del estado de Tabasco. Secretara de Desarrollo Humano del estado de Jalisco. Secretara de Desarrollo Humano y Social del estado de Morelos. Secretara de Desarrollo Rural de Campeche, Guerrero, Michoacn, Nayarit y Puebla; Secretara de Desarrollo Rural y Equidad para las Comunidades del Distrito Federal. Secretara de Desarrollo Social de los estados de Coahuila, Distrito Federal, Nayarit, Puebla, Tamaulipas y Veracruz. Secretara de Desarrollo Social y Humano del estado de Sinaloa. Secretara de Desarrollo Social del estado de Nuevo Len. Secretara de Educacin del Distrito Federal y de los estados de Guanajuato, Jalisco y
RSEDESORE RSEFINA
SDS
SDSH SDSOCIAL SE
Yucatn.
Secretara de Bienestar y Desarrollo Social del estado de Aguascalientes. Secretara de Educacin y Cultura del estado de Coahuila. Secretara de Finanzas del estado de Baja California Sur. Secretara de Educacin del estado del estado de Colima. Secretara de Desarrollo y Participacin Social del estado de Chiapas. Secretara de Desarrollo Social del estado de Colima.
13
SEDESET SEDESHU SEDESO SEDESOE SEDESOH SEDESOLG SEDESORE SEDESSON SEDESU SEEBC SEFINA SEPLADER
Secretara de Desarrollo Social del estado de Tlaxcala. Secretara de Desarrollo Social y Humano del estado de Guanajuato. Secretara de Desarrollo Social del estado de Hidalgo. Secretara de Desarrollo Social del estado de Baja California. Secretara de Desarrollo Social y Humano del estado de Oaxaca. Secretara de Desarrollo Social del estado de Guerrero. Secretara de Desarrollo Social de los estados de Campeche y Quintana Roo. Secretara de Desarrollo Social del estado de Sonora. Secretara de Desarrollo Sustentable del estado de Quertaro. Secretara de Educacin y Bienestar Social del estado de Baja California. Secretara de Finanzas y Administracin del estado de Guerrero. Secretara de Planeacin y Desarrollo Regional de los estados de Hidalgo, Quintana Roo y Zacatecas. Secretara de Poltica Social del estado de Michoacn. Secretara de Finanzas de los estados de Nuevo Len, Oaxaca y Tlaxcala. Secretara de Fomento Agropecuario y Pesquero del estado de Yucatn. Secretara de Fomento Econmico del estado de Yucatn. Secretara de la Funcin Pblica. Secretara de Finanzas y Planeacin de los estados de Morelos y Veracruz. Secretara de la Funcin Pblica del estado de Tlaxcala. Secretara de Fomento Social del estado de Chihuahua. Secretara de Hacienda del estado de Chihuahua. Secretara de Hacienda y Crdito Pblico. Sistema de Informacin de Padrones de Programas Gubernamentales.
14
SM SMA SNI SPCS SPDS SPF SPP SPPP SRNPA SS ST STFE STU UER UPyE
Secretara de la Mujer del estado de Michoacn. Secretara del Medio Ambiente del Distrito Federal. Sistema Nacional de Investigadores. Secretara de Poltica Comunitaria y Social del estado de Yucatn. Secretara de Planeacin y Desarrollo Social del estado de Tabasco. Secretara de Planeacin y Finanzas de los estados de Baja California y Quertaro. Secretara de Planeacin y Presupuesto del estado de Yucatn. Secretara de Planeacin, Programacin y Presupuesto del estado de Nayarit. Secretara de Recursos Naturales y Proteccin Ambiental del estado de Tabasco. Secretara de Salud del Distrito Federal y de los estados de Nayarit y Quertaro. Secretara del Trabajo del estado de Nuevo Len. Secretara del Trabajo y Fomento al Empleo del Distrito Federal. Secretara de Turismo del estado de Quertaro. Unidad de Evaluacin de Resultados del estado de Quertaro. Unidad de Prospectiva y Evaluacin del estado de Tabasco.
15
GLOSARIO
Para este documento se utilizarn los siguientes conceptos:
Componentes de anlisis. Se entiende como las categoras en las que se separa la informacin de
los elementos de anlisis obtenida por el CONEVAL para la elaboracin de este Diagnstico mediante las Etapas 1 y 2 de recoleccin de informacin segn su origen. De acuerdo con esto se tienen dos componentes de anlisis 1) El deber ser en monitoreo y evaluacin, y 2) Prcticas de monitoreo y evaluacin.
Criterios. Caractersticas especcas de la informacin identicada para las variables y que se usan
para determinar el valor ordinal de stas. De acuerdo con las caractersticas identicadas en la informacin, el valor de la variable puede ser de 0 a 4, mientras ms caractersticas se identiquen mayor es el valor ordinal.
Criterios de elegibilidad. Son las caractersticas socioeconmicas y/o geogrcas que debe tener
una persona para ser elegible de recibir los benecios de una intervencin pblica.
Elemento de anlisis. Temas que se analizan en el diagnstico para conocer el avance en monitoreo
y evaluacin de las entidades federativas. Se tienen ocho elementos de anlisis que se describen en la seccin 2.4.
Evaluacin. Anlisis sistemtico y objetivo de una intervencin pblica cuya nalidad es determinar la
pertinencia y el logro de sus objetivos y metas, as como eciencia, ecacia, calidad, resultados, impacto y sostenibilidad.
Frecuencia de medicin. Periodicidad con la cual es calculado un indicador. Frmula de clculo. Expresin algebraica del indicador en la que se establece la metodologa para
calcularlo.
Indicador de gestin. Se entiende como una herramienta cuantitativa o cualitativa que permite
mostrar aspectos relacionados con la gestin de una intervencin pblica tales como la entrega de bienes y servicios a la poblacin y procesos.
Instrumento normativo. Cualquier norma, ordenamiento o documento legal que genera obligaciones
o acciones para los servidores pblicos, los ciudadanos, particulares, las unidades administrativas o las instituciones.
16
Intervencin pblica. Para este documento se entiende como cualquier tipo de accin llevada a
cabo por la administracin pblica caracterizada por ser un conjunto de bienes y servicios articulados entre s y vinculados al logro de un objetivo, ya sea un proyecto, programa, estrategia y poltica pblica.
Lnea base. Valor del indicador que se establece como punto de partida para evaluar y dar seguimiento al mismo.
Meta. Objetivo cuantitativo que se compromete alcanzar en un periodo de tiempo determinado. Monitoreo. Para este documento se entiende como el proceso continuo que usa la recoleccin sistemtica de informacin, tal como indicadores, estudios, diagnsticos, etctera, para orientar a los servidores pblicos acerca de los avances en el logro de objetivos de una intervencin pblica respecto a los resultados esperados.
Padrn de beneciarios. Relacin ocial de las personas, instituciones, organismos, etctera, segn
corresponda, que reciben benecios de una intervencin pblica y cuyo perl socioeconmico se establece en la normativa correspondiente.
Poblacin objetivo. Poblacin que un programa tiene planeado o programado atender para cubrir
la poblacin potencial y que cumple con los criterios de elegibilidad establecidos en su normativa.
Reglas de operacin. Conjunto de disposiciones que precisan la forma de operar una intervencin
pblica.
Variables de anlisis. Para este documento se entiende como los aspectos especcos de los
elementos de anlisis de los cuales se realiz la bsqueda de informacin y que fueron usados para determinar el avance en monitoreo y evaluacin de las entidades federativas. De acuerdo con esto, un elemento de anlisis puede tener una o ms variables segn el nmero de aspectos que se busque conocer y analizar de l. Cada variable es ordinal y toma valores de 0 a 4, donde 0 signica que no se encontr informacin ocial y pblica disponible al respecto, y 4 que el estado s cuenta con el tipo de informacin que se busca.
17
PRESENTACIN
El monitoreo y la evaluacin de los programas sociales, una tarea para mejorar el uso de los recursos pblicos
Dentro del ciclo de las intervenciones pblicas,1 la evaluacin es la fase en la que se obtiene informacin acerca del grado de cumplimiento de su objetivo, y constituye un elemento til, para la toma de decisiones que conlleven a su mejora constante. Es adems una herramienta de gestin que aporta un valor aadido a la actividad administrativa al ofrecer posibles soluciones por medio de sugerencias y recomendaciones, para la reorientacin de los diferentes tipos de intervenciones realizadas por el Estado. Por otra parte, el monitoreo permite realizar un seguimiento constante a las intervenciones pblicas implementadas y ejecutar acciones oportunas que anticipen los problemas y retroalimenten los procesos de toma de decisiones en el marco de la planeacin a mediano plazo. En este sentido, es de vital importancia institucionalizar la evaluacin y el monitoreo dentro de un sistema que contribuya a la mejora continua de la gestin gubernamental. A nivel federal, a partir del ao 2000 se realizaron cambios institucionales y normativos para regular dichas acciones: la Ley General de Desarrollo Social2 (LGDS) establece la creacin del Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social (CONEVAL) como el organismo facultado para normar y coordinar la evaluacin de la poltica y los programas de desarrollo social; aprobar los indicadores de resultados, gestin y servicios de dichos programas, y determinar los criterios y lineamientos para la denicin, identicacin y medicin de la pobreza. La Ley Federal de Presupuesto y Responsabilidad Hacendaria3 (LFPRH) faculta a las secretaras de Hacienda y Crdito Pblico (SHCP) y de la Funcin Pblica (SFP), en sus respectivos mbitos, para implantar el Sistema de Evaluacin del Desempeo. Para las entidades federativas tambin se realizaron adecuaciones normativas con la nalidad de optimizar la manera en que el gobierno gasta los recursos pblicos para atender las necesidades del pas. En este sentido, se efectuaron reformas constitucionales que establecen que los tres niveles de gobierno deben evaluar los resultados del ejercicio de los recursos pblicos mediante instancias tcnicas independientes de las instituciones que los ejercen y distintas a los rganos de scalizacin, y establecen que la evaluacin debe realizarse mediante la vericacin del grado de cumplimiento de objetivos y metas con base en indicadores.4
1 Este ciclo se compone de cuatro fases: Inclusin en la agenda, decisin-programacin, implementacin y evaluacin. Subirats, 2008. 2 Diario Ocial de la Federacin. Ley General de Desarrollo Social. 20 de enero de 2004. 3 Diario Ocial de la Federacin. Ley Federal de Presupuesto y Responsabilidad Hacendaria. 30 de marzo de 2006. ltima reforma 31 de diciembre de 2008. 4 Las leyes y artculos que fueron reformados son los siguientes: Artculo 134 de la Constitucin Poltica de los Estados Unidos Mexicanos; artculos 85 y 110 de la Ley Federal de Presupuesto y Responsabilidad Hacendaria, y artculos 48 y 49 de la Ley de Coordinacin Fiscal.
18
Por lo anterior, se elabor el presente documento con el objetivo de proporcionar informacin acerca del avance en monitoreo y evaluacin en las entidades federativas mediante la identicacin de los ejercicios que han realizado en ambas materias, en especial de los encaminados al desarrollo social. El documento se conforma de cinco apartados con la siguiente informacin: en primer lugar se presentan los antecedentes que dieron origen a la elaboracin de este documento; en segundo, se desarrolla el objetivo, el marco institucional, los elementos y los componentes de anlisis, la metodologa y los alcances del estudio; en tercero, los resultados a nivel nacional y el anlisis entre entidades federativas, entre componente y entre elementos; en cuarto, las conclusiones y las reas de oportunidad, y por ltimo, se presentan los resultados para cada entidad federativa.
19
1. ANTECEDENTES
Desde su creacin, el CONEVAL ha impulsado la implementacin de esquemas de monitoreo y evaluacin en las entidades federativas. Por esto, desde 2007 y hasta la fecha, en el marco de sus atribuciones, ha colaborado con los gobiernos estatales interesados en realizar ejercicios de monitoreo y evaluacin para brindarles asesora y apoyo tcnico durante esa tarea. Derivado de lo anterior y del inters de las entidades federativas por conocer los resultados de las intervenciones pblicas implementadas, se cuenta con importantes avances en la realizacin de ejercicios de monitoreo y evaluacin, lo que ha generado un efecto multiplicador para que ms entidades se sumen al proceso para institucionalizar estos esquemas con un enfoque de resultados. Aunque la institucionalizacin del monitoreo y evaluacin est en proceso, es posible vericar la existencia de elementos normativos que favorecen su prctica. En consecuencia, en 2010 el CONEVAL desarroll un primer ejercicio para identicar los elementos de monitoreo y evaluacin con los que cuentan las entidades federativas, adems de aquellos que, en el corto plazo, pueden contribuir a la implementacin de estos esquemas. 5 El primer diagnstico realizado en 2010 se enfoc en la identicacin de los siguientes elementos: Existencia de una Secretara de Desarrollo Social en la entidad federativa. Existencia de una Ley de Desarrollo Social estatal. reas especcas con atribuciones de monitoreo y evaluacin. Normativa que promueve la implementacin del monitoreo y la evaluacin. Ejercicios de evaluacin interna y externa. Ejercicios de lineamientos o Reglas de Operacin para programas estatales. Ejercicios de identicacin de beneciarios de programas estatales. Indicadores de resultados. Indicadores de gestin. Diagnsticos y estudios.
5 La integracin de un sistema de monitoreo y evaluacin a nivel estatal en Mxico: un reto de poltica pblica, presentado durante la VI Conferencia de la Red de Monitoreo y Evaluacin de Amrica Latina realizada en agosto de 2010 en la Ciudad de Mxico.
20
El CONEVAL hizo una bsqueda para identicar dichos elementos en las pginas de Internet de las secretaras de Finanzas, de Desarrollo Social, de Planeacin y de Transparencia (o sus equivalentes) de cada entidad federativa y en el sitio web del CONEVAL. 6 Como resultado de ese primer diagnstico se obtuvieron los siguientes datos: En todas las entidades federativas se identic un rea con atribuciones de monitoreo y evaluacin distinta a los Comits de Planeacin para el Desarrollo Estatal (COPLADE). En 21 entidades dicha rea de evaluacin se enmarca en la Ley de Desarrollo Social (LDS) y resto tiene su fundamento en otro tipo de normativa; 29 entidades contaban con una Secretara de Desarrollo Social o equivalente y 21 tenan LDS; 17 entidades federativas tenan lineamientos o Reglas de Operacin (ROP) para los programas estatales; 13 entidades contaban con indicadores de resultados; 28 entidades tenan indicadores de gestin; 13 haban realizado ejercicios de identicacin de beneciarios de los programas estatales, y 5 entidades federativas haban elaborado ejercicios de evaluacin externa. Esta primera bsqueda permiti conocer de manera general el avance en el monitoreo y la evaluacin de las entidades federativas y sentar las bases para la realizacin del diagnstico realizado en 2011, el cual considera los elementos analizados en 2010 y otros aspectos que favorecen la institucionalizacin de esquemas de monitoreo y evaluacin a nivel estatal, tal como se ver ms adelante.
6 Algunas entidades federativas solicitan publicar documentos en la pgina de Internet del CONEVAL.
21
22
El artculo 16 dispone que las entidades federativas debern hacer pblicos sus programas operativos de desarrollo social, lo cual considera la programacin del presupuesto a ejecutar y la identicacin de las acciones, polticas o programas en las que se invertirn dichos recursos. En los artculos 26 y 27 se consideran a las ROP y la integracin del padrn de beneciarios como elementos que promueven la transparencia y la rendicin de cuentas, y permiten la estandarizacin en el Sistema de Monitoreo y Evaluacin en Mxico. En relacin con el rea facultada para coordinar y realizar el monitoreo y evaluacin, el fundamento normativo se encuentra en la Constitucin Poltica de los Estados Unidos Mexicanos.7 De acuerdo con el artculo 134, los recursos pblicos que sean dispuestos por la Federacin, los estados, los municipios, el Distrito Federal y los rganos poltico-administrativos de sus demarcaciones territoriales debern ser evaluados por las instancias tcnicas correspondientes. Asimismo, los artculos 85 y 110 de la LFPRH establecen que los recursos federales que ejerzan las entidades federativas, los municipios, los rganos poltico-administrativos de las demarcaciones territoriales del Distrito Federal, as como sus respectivas administraciones pblicas paraestatales o cualquier ente pblico de carcter local, sern evaluados por instancias tcnicas independientes de las instituciones que ejercen dichos recursos mediante la vericacin del grado de cumplimiento de los objetivos y las metas, con base en indicadores estratgicos y de gestin que permitan conocer los resultados de la aplicacin de los recursos. El artculo 110 de la LFPRH tambin establece que las instancias tcnicas responsables de la evaluacin, efectuarn ellas mismas la evaluacin o a travs de personas fsicas o morales especializadas con experiencia probada en la materia que corresponda evaluar. Otros aspectos que se sealan, en este artculo, son los siguientes: el contenido de las evaluaciones; su publicacin; el desarrollo una planeacin anual de evaluacin, y el seguimiento a las recomendaciones derivadas del estudio. Otra referencia importante es la recopilacin de informacin de sistemas de evaluacin implementados por organismos internacionales, como el Programa de las Naciones Unidas para el Desarrollo (PNUD), la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE), la Organizacin de las Naciones Unidas (ONU) y la Comisin Econmica para Amrica Latina y el Caribe (CEPAL), as como elementos del Sistema de Monitoreo y Evaluacin mexicano. La OCDE plantea que se debe contar con una poltica de evaluacin que contenga lineamientos y metodologas, actores denidos y responsabilidades.8 Asimismo, dene que el propsito de realizar evaluaciones es mejorar las polticas, los programas y los proyectos mediante la retroalimentacin obtenida de los resultados, adems de que permite impulsar la rendicin de cuentas y la disposicin de informacin al pblico. El Sistema de las Naciones Unidas establece que se debe contar con un marco institucional adecuado para la gestin efectiva de la evaluacin.9 Menciona que se deben elaborar lineamientos que incluyan
7 Diario Ocial de la Federacin, Constitucin Poltica de los Estados Unidos Mexicanos. ltima reforma, 9 de febrero de 2012 8 OCDE, 1991, Pgs. 4, 5. 9 Grupo de Evaluacin de las Naciones Unidas, 2005. Pgs. 3, 4, 5, 18.
23
metodologas y procesos de evaluacin, as como consideraciones ticas y la existencia de una poltica de divulgacin en la que se tenga una difusin transparente de los resultados. Establece que se debe garantizar la existencia de mecanismos de seguimiento de las evaluaciones para que las recomendaciones sean debidamente utilizadas, implementadas y se vinculen a actividades futuras. De acuerdo con el PNUD, para realizar el monitoreo y la evaluacin es necesario contar con resultados de calidad, es decir, de impacto, de efectos, de productos, de actividades y de indicadores debidamente formulados. El seguimiento es entendido como un proceso continuo de retroalimentacin sobre los avances para alcanzar las metas y objetivos. 10 La CEPAL considera que los indicadores son elementos importantes para la administracin y evaluacin de resultados de un proyecto o programa. Permiten denir metas especcas que posibilitan observar en qu medida se cumplen los objetivos. 11 Con respecto a las caractersticas que debe poseer el rea facultada para evaluar, en el documento de los principios de evaluacin de la OCDE se menciona que la estructura institucional es un elemento fundamental para el desempeo efectivo del proceso. Adems se considera que hay requerimientos bsicos que deben existir en la estructura organizacional, como el desarrollo de una poltica y un conjunto de lineamientos de evaluacin; asegurar la imparcialidad y la independencia de la evaluacin, y relacionar los resultados con la planeacin y con la mejora de programas o proyectos futuros. 12
Elementos de anlisis:
Existencia y alcance de la Ley de Desarrollo Social o equivalente. Criterios para la creacin de programas estatales de desarrollo social (programas nuevos). Creacin de un padrn de beneciarios. Elaboracin de Reglas de Operacin o equivalente. Difusin de informacin acerca de los programas estatales de desarrollo social. Transparencia en el presupuesto asignado a los programas estatales de desarrollo social. Elementos de monitoreo y evaluacin.
10 PNUD, 2009, pgs. 8, 52. 11 CEPAL, Instituto Latinoamericano y del Caribe de Planicacin Econmica y Social, 2005. 12OCDE, Op Cit.
24
Normativa en monitoreo y evaluacin. Criterios/lineamientos para la evaluacin. Planeacin de evaluaciones. Publicacin de evaluaciones realizadas. Seguimiento a los resultados de las evaluaciones. Estudios, diagnsticos, investigaciones o anlisis en materia de desarrollo social. Indicadores de resultados para la poltica y/o los programas estatales de desarrollo social. Indicadores de gestin para la poltica y/o los programas estatales de desarrollo social. 13 Existencia, facultades e independencia del rea responsable de realizar/coordinar la evaluacin de la poltica y/o de los programas de desarrollo social en la entidad federativa. Una vez identicados los elementos se realiz un segundo anlisis para cada uno de ellos, con la nalidad de conocer de manera ms precisa el avance en el tema. En este proceso, adems de la normativa federal aplicable a las entidades federativas, en algunos casos se tomaron como referencia las normas aplicables nicamente para la Federacin, a n de identicar las mejores prcticas en monitoreo y evaluacin llevadas a cabo por los gobiernos estatales. Por ejemplo, la LGDS slo establece que se debe integrar un padrn de beneciarios, por lo que para determinar las caractersticas de anlisis de este elemento se tom como referencia el Manual para la operacin del Sistema Integral de Informacin de Padrones de Programas Gubernamentales (SIIPP-G).14
Componentes de anlisis
A partir de esto se generaron dos componentes: El primero consider la normativa emitida por los gobiernos estatales sobre los elementos considerados en el diagnstico y que denominamos El deber ser en monitoreo y evaluacin; el segundo consider la puesta en prctica de dichos elementos y que denimos como Prcticas de monitoreo y evaluacin, como de describe en la Figura 1:
13 Se reere a los programas relacionados con algn aspecto del desarrollo social. 14 Diario Ocial de la Federacin, Sistema Integral de Informacin de Padrones de Programas Gubernamentales. 29 de junio de 2011.
25
Identica los ejercicios de monitoreo y evaluacin realizados por la entidad federativa, tanto de aquellos que facilitan el monitoreo y la evaluacin como de los que corresponden a las acciones en materia de monitoreo y evaluacin.
Con base en los elementos y los componentes denidos, se determinaron variables cuyos criterios y asignacin de valores se analizan en el siguiente apartado. Las variables se distribuyeron en los dos componentes de la siguiente manera:
2.5 Metodologa
2.5.1 Supuestos del modelo
El diagnstico del avance en monitoreo y evaluacin en las entidades federativas 2011 parte de ocho elementos analizados mediante variables distribuidas en dos componentes de tal forma que se identique tanto la normativa existente para dichos elementos como su puesta en marcha. Conocer el avance en monitoreo y evaluacin mediante estas variables est en funcin de la disponibilidad de informacin en la pgina de Internet de las entidades federativas y de la consulta posterior que se realiz a cada entidad (esto se describe ms adelante). De acuerdo con lo anterior, la recoleccin de informacin se sustenta en dos principios establecidos en la Administracin Pblica Federal y en la de todas las entidades federativas: la transparencia y la rendicin de cuentas.
26
Transparencia: De acuerdo con el artculo 6 de la Ley Federal de Transparencia y Acceso a la Informacin Pblica (LFTAIP), se deber favorecer el principio de mxima publicidad y disponibilidad de la informacin en posesin de los sujetos obligados. 15 Si bien las entidades federativas no son sujetos de obligacin de esta Ley, la transparencia es una prctica reconocida y aceptada a nivel estatal, ya que todas las entidades cuentan con normativa en materia de acceso a la informacin. Por lo tanto, el primer supuesto que se considera para este diagnstico es que, bajo el principio de transparencia, la informacin identicada para conocer el avance en monitoreo y evaluacin debiera ser pblica y de fcil acceso tanto para la ciudadana como para cualquier dependencia o entidad que decida consultarla. Rendicin de cuentas: El eje 5 del Plan Nacional de Desarrollo 2007-2012 (PND) establece lo siguiente:
La rendicin de cuentas y la transparencia son dos componentes esenciales en los que se fundamenta un gobierno democrtico. Por medio de la rendicin de cuentas, el gobierno explica a la sociedad sus acciones y acepta consecuentemente la responsabilidad de las mismas (). El gobierno democrtico debe rendir cuentas para reportar o explicar sus acciones y debe transparentarse para mostrar su funcionamiento y someterse a la evaluacin de los ciudadanos. 16
Asimismo, el objetivo 5 del PND es promover y garantizar la transparencia, la rendicin de cuentas, el acceso a la informacin y la proteccin de los datos personales en todos los mbitos de gobierno. Dentro de este objetivo, se encuentra la Estrategia 5.1 que establece la coordinacin y establecimiento de mecanismos para la transparencia y la rendicin de cuentas de los gobiernos estatales y municipales en el ejercicio de los recursos federales. En este sentido, y de acuerdo con lo establecido en la Ley de Planeacin (LP) con respecto a que los gobiernos debern participar en la planeacin nacional del desarrollo, existen elementos que permiten considerar la rendicin de cuentas como un principio conable sobre el cual la ciudadana, las dependencias y las entidades tienen la facultad de solicitar informacin y ser atendidos. 17
15 Diario Ocial de la Federacin, Ley Federal de Transparencia y Acceso a la Informacin Pblica. ltima reforma, 9 de abril de 2012. 16 Plan Nacional de Desarrollo 2007-2012. Eje 5: Transparencia y rendicin de cuentas. http://pnd.presidencia.gob.mx/ 17 Diario Ocial de la Federacin. Ley de Planeacin. ltima reforma, 9 de abril de 2012.
27
Una revisin exhaustiva tanto en la pgina web ocial del gobierno de la entidad federativa como en los sitios en Internet de las instancias locales encargadas de la transparencia, las nanzas, la planeacin y la contralora, adems de las vinculadas al desarrollo social, como las secretaras de Desarrollo Social, de Educacin, de Salud, etctera. nicamente se consider la informacin y los documentos identicados entre septiembre y octubre de 2011. Para analizar la normativa se consultaron tambin las pginas web de los congresos locales. Los documentos que se consideraron como vlidos fueron constituciones, leyes, reglamentos, decretos, lineamientos, etctera. 18 Etapa 2: Envo de los resultados obtenidos a las entidades federativas a n de complementar la informacin. Una vez integrada la informacin y bajo el principio de rendicin de cuentas, el CONEVAL solicit la colaboracin de los gobiernos de las entidades federativas para complementar la bsqueda realizada en las pginas de Internet. Para ello, se enviaron los resultados obtenidos por CONEVAL a las reas de los gobiernos estatales con atribuciones de monitoreo y evaluacin en materia de desarrollo social y se les solicit lo siguiente: 1. Revisar la informacin recopilada por el CONEVAL. 2. En caso de que el rea responsable detectara informacin de la entidad federativa que no se hubiera considerado en el anlisis, la hiciera llegar al CONEVAL para complementar sus resultados. A n de asegurar la obtencin de la mayor cantidad posible de informacin, se llevo a cabo el siguiente proceso: a) se envi a las 32 entidades federativas los resultados obtenidos en la bsqueda realizada por el CONEVAL en las pginas de Internet; b) para vericar la recepcin de la informacin, se contact va telefnica a las reas responsables. Asimismo, se les explic en qu consista el ejercicio, el objetivo y los alcances del diagnstico; c) se mantuvo comunicacin va telefnica y por correo electrnico con las entidades federativas para recordar las fechas lmite para la recepcin de informacin adicional, y d) cuando un servidor pblico seal que corresponda a otro servidor atender la solicitud, se reenvi la informacin al nuevo contacto y se repiti el proceso sealado en los incisos a al c. Este proceso se llevo a cabo entre octubre y noviembre de 2011, periodo durante el cual se cont con la colaboracin y disposicin de 15 entidades federativas para brindar informacin adicional: Chiapas, Colima, Distrito Federal, Estado de Mxico, Guanajuato, Guerrero, Hidalgo, Jalisco, Michoacn, Nuevo Len, Oaxaca, Puebla, Quertaro, Yucatn y Zacatecas. Del resto de entidades federativas no se recibi informacin adicional.
18 No se tomaron en cuenta los documentos normativos con vigencia de un ao por considerarse que stos no aseguran la institucionalizacin ni la permanencia de los elementos considerados en el diagnstico, por ejemplo, guas anuales para la integracin de programas operativos.
28
Una vez concluida la etapa de recepcin de la informacin enviada por las entidades federativas, el CONEVAL la integr a la recabada en las pginas de Internet. La informacin recibida tena que cumplir con los siguientes criterios: Contar con un documento probatorio. Por ejemplo, si la entidad federativa manifestaba contar con ROP para programas, era necesario que enviara las ROP o algn otro documento para vericar su existencia. Que el documento probatorio fuera ocial, es decir, tena que ser emitido y/o autorizado por una instancia competente. Que el documento probatorio fuera pblico, esto quiere decir que se consider si haba sido difundido en medios electrnicos o impresos de la entidad federativa, tales como su peridico ocial, su pgina de Internet etctera, o bien, que no fuera informacin protegida, es decir, que el ciudadano pudiera acceder a ella mediante una solicitud formal al instituto de transparencia local. Estos criterios descritos se les explicaron a las entidades federativas al momento de solicitar su colaboracin en la etapa 2.
29
30
2.6 Alcances
A n de que los hallazgos del diagnstico sean interpretados adecuadamente, es necesario hacer nfasis en los alcances y en las limitaciones que tiene. En cuanto a la informacin recopilada para el anlisis: nicamente se tom en cuenta la informacin obtenida entre septiembre y noviembre de 2011 mediante las etapas 1 y 2 descritas con anterioridad. Esto no implica que sea la nica informacin con la que cuentan las entidades federativas, por el contrario es posible que haya entidades con ms informacin; sin embargo al no detectarse en sus pginas web durante la etapa 1, o al no haber sido proporcionada al CONEVAL durante la etapa 2, no pudo rescatarse para ser incluida en el anlisis. Por tanto, este diagnstico tiene slo la informacin con la que se cont al momento de realizar el anlisis y es posible que la entidad federativa pueda tener ms informacin que enriquezca el ejercicio. Por ejemplo, durante la edicin de este documento, se detect que en Puebla se disolvi el Instituto de Medicin y Evaluacin de la Marginacin y Pobreza,20 y el Congreso de Veracruz aprob una LDS. 21 La informacin recabada en la etapa 1 cumpli con los siguientes criterios: deba ser pblica y ocial, puesto que la fuente de la recoleccin de informacin fueron las pginas de Internet de las entidades federativas. Si bien el CONEVAL recibi, en la etapa 2, los documentos probatorios enviados por las entidades federativas con carcter de ocial, no siempre pudo vericar si eran pblicos, ya que en algunas ocasiones el documento probatorio no estaba vinculado a una publicacin en medios impresos o electrnicos; sin embargo, se consider como pblico debido a que se solicit explcitamente a la entidad federativa que no fuera informacin protegida y, por tanto, que pudiera estar a disposicin de la ciudadana si lo solicitaba. De acuerdo con lo anterior, este diagnstico permite conocer de manera indirecta los esfuerzos realizados por las entidades federativas en materia de transparencia y rendicin de cuentas, lo cual se reeja tanto en la difusin de la informacin en sus pginas de Internet, como en su disposicin para dar a conocer informacin. En cuanto a la metodologa usada para dar cuenta del avance de las entidades federativas en materia de evaluacin y monitoreo La medicin reeja el avance de las entidades federativas en materia de monitoreo y evaluacin, muestra y reconoce las buenas prcticas en las entidades federativas tanto a nivel normativo como en la prctica. Es por ello, que este anlisis no se considera un juicio negativo para las entidades federativas para las cuales se recab menor cantidad de informacin.
20 Congreso del Estado de Puebla. Comunicado 407 del 25 de enero de 2012. http://www.congresopuebla.gob.mx/ 21 Congreso del Estado de Veracruz. Ley de Desarrollo Social y Humano http://www.legisver.gob.mx/
31
Los resultados obtenidos muestran un avance heterogneo en monitoreo y evaluacin en las entidades federativas, si bien algunas han realizado esfuerzos considerables, en otras an queda trabajo por hacer. El valor promedio nacional fue de 44.4 por ciento, en donde 10 entidades federativas tuvieron un porcentaje mayor al 50 por ciento. Las entidades federativas con mayor avance fueron Distrito Federal, Estado de Mxico y Nuevo Len, y las de menor avance fueron Baja California Sur, Tlaxcala, Morelos y Sinaloa.
Numeralia 2011
16
17
32
Distrito Federal Estado de Mxico Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Quertaro Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz San Luis Potos Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur 20 Componente 1. El deber ser M&E 22.2 20.4 40 60 80 38.0 37.0 37.0 37.0 35.2 35.2 34.3 30.6 30.6 Promedio 44.4% Promedio Nacional: nacional: 44.4% 47.2 47.2 45.4 45.4 45.4 45.4 43.5 43.5 42.6 41.7 40.7 ValorMximo mximoAlcanzable alcanzable: 100% Valor : 100% 56.5 54.6 53.7 52.8 52.8 51.9 51.9 50.9 68.5
80.6
100
*Durante la edicin de este documento el estado de Puebla disolvi el Instituto de Medicin y Evaluacin de la Marginacin y Pobreza y el Congreso de Veracruz aprob la LDS.
Fuente: CONEVAL,2011
33
Figura 5. Distribucin de entidades federativas segn avance en el monitoreo y evaluacin, 2011 Figura 5 Distribucin de entidades federativas segn avance en el monitoreo y 22 (Estraticacin Dalenius & Hodges con base en valor obtenido) evaluacin, 2011(Estraticacin Dalenius & Hodges con base en valor obtenido)
[37-47]
12
[49-59]
14
[74-87]
2
De acuerdo con la gura 5, el grupo con el mayor puntaje asignado incluye nicamente al Distrito Federal y al Estado de Mxico. Por el contrario, el grupo con menor puntuacin contiene a los estados de Baja California, Morelos, Sinaloa y Tlaxcala. El 80 por ciento restante de las entidades federativas se distribuyen en los estratos medios.
22 La metodologa de Dalenius & Hodges permite formar estratos de tal manera que las unidades dentro de cada uno sean lo ms homogneas posibles, es decir, de menor varianza, y entre los estratos lo ms distintas posibles o de mayor varianza. Cf. Dalenius & Hodges, 1959.
34
Figura 6. Porcentaje de avance promedio nacional de las entidades por componente, 2011
100 90 80 70 60 50 40 30 20 10 0 Componente 1. El deber ser en M&E Componente 2. Prctica de M&E 42.9 45.9
Fuente: CONEVAL,2011
En el componente 1, las entidades federativas tuvieron un avance promedio a nivel nacional de 22.3 por ciento del 51.8 alcanzable, lo que representa el 42.9 por ciento del total del componente. El componente 2, las entidades federativas tuvieron un avance promedio a nivel nacional de 22.1 por ciento del 48.1 alcanzable, lo que representa el 45.9 por ciento del total del componente. Al respecto a este anlisis, se debe tener en cuenta que el porcentaje promedio obtenido depende del nmero de variables que hay dentro de cada componente.
35
Figura 7. Componente 1. El deber ser en M&E segn entidad federativa 2011, (porcentaje)
Estado de Mxico Distrito Federal Guerrero Quintana Roo Guanajuato Aguascalientes Sonora Colima Nuevo Len Michoacm Zacatecas Puebla Chihuahua Hidalgo Campeche Quertaro Durango Tamaulipas Coahuila Tabasco Oaxaca Jalisco San Luis Potos Chiapas Baja California Yucatn Sinaloa Veracruz Nayarit Tlaxcala Morelos Baja California Sur 0 13.9 13.9 10.2 10.2 9.3 20 40 60 80 100 30.6 28.7 28.7 27.8 26.9 26.9 25.9 25.9 25.0 25.0 25.0 24.1 22.2 21.3 21.3 20.4 20.4 19.4 19.4 19.4 18.5 18.5 18.5 17.6 17.6 Promedio Nacional: 22.3% Promedio nacional: 22.3% mximo: 51.8% ValorValor Mximo: 51.8% 40.7 38.9
El promedio nacional de este componente fue de 22.3 por ciento de un mximo de 51.8. El Estado de Mxico present el porcentaje ms alto con 40.7 por ciento, aunque an presenta retos en relacin con normar la publicacin de las evaluaciones. En contraste, la entidad federativa con el menor porcentaje fue Baja California Sur con 9.3 por ciento, debido, entre otros aspectos, a que no se detect normativa
36
sobre los criterios para la creacin de programas nuevos ni informacin de los criterios/lineamientos para llevar a cabo la evaluacin. Las variables consideradas en este componente en las que se obtuvo informacin por parte de la mayora de las entidades federativas fueron las siguientes: difusin de los programas sociales, elaboracin de padrones de beneciarios y establecimiento de un rea u organismo responsable de realizar y/o coordinar la evaluacin de la poltica y/o los programas de desarrollo social. Esto debido a que la realizacin de las dos primeras acciones (difusin de los programas y elaboracin de padrones de beneciarios) est normado en todas las entidades federativas con distintas especicaciones. Asimismo, en todas las entidades federativas se otorgan atribuciones en la materia a algn organismo o rea. Otras variables que destacan son las referentes a la normativa en materia de evaluacin y monitoreo, slo en Tlaxcala no se detect informacin al respecto. De igual forma, con respecto a la de LDS o equivalente slo en Morelos, Oaxaca y Tlaxcala no se encontr dicho ordenamiento. Las variables para las cuales se detect menos informacin fueron las relacionadas con el seguimiento a los resultados de las evaluaciones, puesto que nicamente en Chiapas, Distrito Federal, Guerrero, Estado de Mxico, Oaxaca y Quertaro la normativa contempla algn aspecto relacionado con el tema. Lo anterior representa un reto para las entidades federativas en trminos de gestin pblica debido a que el uso de los resultados de las evaluaciones es lo que permite que sean un instrumento para mejorar las intervenciones pblicas. La variable para la que existe poca normativa en las entidades federativas es la relacionada con los criterios para la creacin de programas nuevos, nicamente se encontr informacin para Aguascalientes, Distrito Federal, Estado de Mxico, Guerrero, Nuevo Len, Quintana Roo, Sonora y Tamaulipas. En la gura 8 se presentan los resultados para las variables que integran el componente 1:
37
Figura 8 Componente 1 Figura 8. ser Componente 1. El y deber ser en segn monitoreo y evaluacin segn entidad federativa, 2011 El deber en monitoreo evaluacin entidad federativa, 2011
Entidad Federativa
Aguascalientes Baja California Baja California Sur Campeche Chiapas Chihuahua Coahuila Colima Distrito Federal Durango Guanajuato Guerrero Hidalgo Jalisco Estado de Mxico Michoacn Morelos Nayarit Nuevo Len Oaxaca Puebla Quertaro Quintana Roo San Luis Potos Sinaloa Sonora Tabasco Tamaulipas Tlaxcala Veracruz Yucatn Zacatecas
Var 1
Var 2
Var 3
Var 4
Var 5
Var 6
Var 7
Var 8
Var 9
Var 10
Var 11
Var 12
Var 13
Var 14
29
32
26
32
31
29
20 Var 8 Var 9
24
27
32
30
31
Ley de Desarrollo Social Criterios para la Creacin de Programas Padrn de Beneciarios Reglas de Operacin Difusin de Programas Normativa en M&E Criterios/Lineamientos para la Evaluacin
Publicacin de las Evaluaciones Seguimiento a Resultados de las Evaluaciones Indicadores de Resultados Indicadores de Gestin rea Designada para Evaluar Elementos del rea Designada para Evaluar Atribuciones del rea Designada para Evaluar
38
* Durante la edicin de este documento el estado de Puebla disolvi el Instituto de Medicin y Evaluacin de la Marginacin y Pobreza y el Congreso de Veracruz aprob la LDS.
39
El promedio nacional obtenido en este componente fue de 22.1 por ciento de un 48.1 alcanzable. El Distrito Federal tuvo mayor avance con 41.7 por ciento. La entidad federativa con menor porcentaje fue Hidalgo con 10.2 por ciento, puesto que, entre otros aspectos, no se encontr informacin acerca de si ha realizado evaluaciones a sus programas. De las variables consideradas en este componente para las que se detect ms informacin se encuentran las que se reeren a la difusin de la informacin de los programas sociales y a la informacin acerca del presupuesto asignado a dichos programas, dado que todas las entidades federativas difunden informacin de estos elementos. De las 32 entidades federativas, slo en los casos del Distrito Federal, el Estado de Mxico y Puebla se encuentran en funcionamiento organismos independientes ajenos a la ejecucin de los programas. De stos, el que ms tiempo lleva operando es el Consejo de Evaluacin del Desarrollo Social del Distrito Federal, cuyo decreto de creacin es de 2007. Contar con un organismo especializado y externo a las dependencias y a las entidades de la administracin pblica estatal facilita la funcin de la evaluacin y genera mayor credibilidad en sus resultados porque genera certeza de que los estudios se realizan de manera imparcial y objetiva. Una de las variables, dentro de este componente, para las cuales se detect menos informacin fue la relacionada con la planeacin de las evaluaciones, ya que slo el Distrito Federal cuenta con este elemento. A sta le siguen las que se reeren al seguimiento de los resultados de las evaluaciones y la elaboracin de estudios diagnsticos y/o investigaciones. En la Figura 10 se presentan los resultados para las variables que integran el componente 2:
40
Figura 10 Resultados del Componente 2 Figura 10. del componente 2. Prctica Prctica deResultados M&E segn entidad federativa, 2011 de M&E segn entidad federativa, 2011
Entidad Federativa
Aguascalientes Baja California Baja California Sur Campeche Chiapas Chihuahua Coahuila Colima Distrito Federal Durango Guanajuato Guerrero Hidalgo Jalisco Estado de Mxico Michoacn Morelos Nayarit Nuevo Len Oaxaca Puebla Quertaro Quintana Roo San Luis Potos Sinaloa Sonora Tabasco Tamaulipas Tlaxcala Veracruz Yucatn Zacatecas
Var 15
Var 16
Var 17
Var 18
Var 19
Var 20
Var 21
Var 22
Var 23
Var 24
Var 25
Var 26
Var 27
32
25
23
32
31
26
26
31
31
Presupuesto de Programas Padrn de Beneciarios Reglas de Operacin Difusin de Programas rea Existente Encargada de la Evaluacin Planeacin de las Evaluaciones Evaluaciones Realizadas
Seguimiento a los Resultados de las Evaluaciones Diagnsticos, Estudios, etctera. Indicadores de Resultados Caractersticas de los Indicadores de Resultados Indicadores de Gestin Caractersticas de los Indicadores de Gestin
41
Fuente: CONEVAL,2011
42
3.3.2. Criterios para la creacin de programas estatales de desarrollo social (programas nuevos)
Variables:
Componente 1. La normativa estatal establece criterios para la creacin de programas de desarrollo social estatales (programas nuevos).
4 3 2 1 0 Baja California Sur Tamaulipas Baja California Chihuahua Aguascalientes Guanajuato Campeche Chiapas Coahuila Michoacn Yucatn Quintana Roo San Luis Potos Distrito Federal Estado de Mxico Nuevo Len Zacatecas Colima Durango Hidalgo Jalisco Nayarit Puebla Sinaloa Tabasco Guerrero Tlaxcala Sonora Oaxaca Quertaro Veracruz Morelos
Fuente: CONEVAL,2011
43
8 6 4 2 0 Chihuahua Baja California Sur Guanajuato Baja California Aguascalientes Tamaulipas Campeche Yucatn Michoacn Tabasco Chiapas Coahuila Quintana Roo San Luis Potos Distrito Federal Estado de Mxico Nuevo Len Zacatecas Colima Nayarit Jalisco Puebla Tlaxcala Durango Hidalgo Guerrero Quertaro Veracruz Morelos Sinaloa Sonora Oaxaca
44
8 6 4 2 0 Chihuahua Baja California Sur Guanajuato Baja California Aguascalientes Tamaulipas Michoacn Yucatn Campeche Coahuila Tabasco Zacatecas Durango Quintana Roo Tlaxcala Chiapas Jalisco Colima Hidalgo Puebla Sinaloa Nayarit Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Oaxaca Sonora Guerrero Veracruz Quertaro Morelos
45
8 6 4 2 0 Chihuahua Baja California Sur Guanajuato Baja California Aguascalientes Quintana Roo Tamaulipas Michoacn Yucatn Coahuila Zacatecas Campeche Tlaxcala Chiapas Jalisco Nayarit Sinaloa Colima Durango Hidalgo Puebla Tabasco Estado de Mxico San Luis Potos Distrito Federal Oaxaca Nuevo Len Guerrero Sonora Quertaro Veracruz Morelos
La normativa establece la difusin de los programas estatales de desarrollo social La entidad federativa difunde informacin de los programas estatales de desarrollo social Fuente: CONEVAL,2011
46
Fuente: CONEVAL,2011
47
4 3 2 1 0 Chihuahua Baja California Sur Baja California Guanajuato Aguascalientes Quintana Roo San Luis Potos Tamaulipas Zacatecas Campeche Coahuila Michoacn Yucatn Durango Chiapas Colima Hidalgo Puebla Tabasco Jalisco Nayarit Sinaloa Distrito Federal Guerrero Estado de Mxico Nuevo Len Quertaro Veracruz Tlaxcala Oaxaca Sonora Morelos
Fuente: CONEVAL,2011
48
Fuente: CONEVAL,2011
49
Fuente: CONEVAL,2011
50
51
La normativa establece el seguimiento a los resultados de las evaluaciones La entidad federativa realiza un seguimiento a los resultados de las evaluaciones Fuente: CONEVAL,2011
52
Fuente: CONEVAL,2011
53
3.3.7.7 Indicadores de resultados para la poltica y los programas de desarrollo social Variables:
Componente 1. La normativa estatal establece contar con indicadores de resultados para la poltica y/o los programas de desarrollo social. Componente 2. La entidad federativa cuenta o da seguimiento a indicadores de resultados para la poltica y/o los programas estatales de desarrollo social. Componente 2. Elementos de los indicadores de resultados.
12 10 8 6 4 2 0 Chihuahua Baja California Sur Baja California Aguascalientes Guanajuato Tamaulipas Campeche Chiapas Coahuila Yucatn Michoacn Quintana Roo San Luis Potos Zacatecas Nayarit Jalisco Durango Tabasco Colima Hidalgo Puebla Sinaloa Estado de Mxico Nuevo Len Distrito Federal Veracruz Quertaro Guerrero Tlaxcala Oaxaca Sonora Morelos
La normativa establece contar con indicadores de resultados La entidad federativa cuenta con indicadores de resultados Caractersticas de los indicadores de resultados Fuente: CONEVAL,2011
54
3.3.7.8 Indicadores de gestin para la poltica y/o los programas de desarrollo social Variables:
Componente 1. La normativa estatal establece contar con indicadores de gestin para la poltica y/o los programas de desarrollo social. Componente 2. La entidad federativa cuenta o da seguimiento a indicadores de gestin para la poltica y/o los programas de desarrollo social. Componente 2. Elementos de los indicadores de gestin.
12 10 8 6 4 2 0 Chihuahua Baja California Baja California Sur Campeche Chiapas Coahuila Yucatn Aguascalientes Guanajuato San Luis Potos Estado de Mxico Nuevo Len Quintana Roo Distrito Federal Tamaulipas Nayarit Michoacn Tabasco Zacatecas Colima Durango Oaxaca Jalisco Sinaloa Puebla Tlaxcala Morelos Quertaro Veracruz Guerrero Hidalgo Sonora
La normativa establece contar con indicadores de gestin La entidad federativa cuenta con indicadores de gestin Caractersticas de los indicadores de gestin Fuente: CONEVAL,2011
55
3.3.8 Existencia, facultades e independencia del rea responsable de realizar/coordinar la evaluacin de la poltica y/o los programas de desarrollo social en el estado Variables:
Componente 1. La normativa estatal establece un rea responsable de realizar/coordinar la evaluacin. Componente 1. La normativa estatal dene elementos para el rea responsable de realizar/ coordinar la evaluacin de la poltica y de los programas de desarrollo social en la entidad federativa. Componente 1. La normativa estatal especica atribuciones del rea responsable de realizar/ coordinar la evaluacin de la poltica y de los programas de desarrollo social. Componente 2. La entidad federativa cuenta con un rea en operacin que es responsable de realizar/coordinar la evaluacin de la poltica y de los programas de desarrollo social.
16 14 12 10 8 6 4 2 0 Chihuahua Baja California Sur Guanajuato Tamaulipas Aguascalientes Baja California Chiapas Michoacn Zacatecas Campeche Coahuila Quintana Roo Durango Tabasco Tlaxcala San Luis Potos Yucatn Puebla Colima Hidalgo Jalisco Sinaloa Distrito Federal Estado de Mxico Guerrero Nuevo Len Veracruz Quertaro Morelos Oaxaca Nayarit Sonora
rea que establece la normativa estatal Elementos del rea segn la normativa estatal Fuente: CONEVAL,2011
56
Los resultados muestran que las entidades federativas tienen buenas prcticas en materia de monitoreo y evaluacin, las cuales han contribuido a su institucionalizacin. A continuacin se enlistan algunos de los aspectos positivos identicados: En todas las entidades federativas se detect informacin de los programas sociales y su presupuesto. En este aspecto el Distrito Federal y Oaxaca fueron las entidades con mayor normativa y prctica. En todas las entidades federativas la normativa identic un rea encargada de realizar el monitoreo y la evaluacin de la poltica y los programas estatales de desarrollo social. La mayora de las entidades federativas han incluido en su normativa local la obligacin de evaluar las polticas y programas estatales de desarrollo social. Para 26 entidades federativas se detect informacin de un seguimiento a indicadores de resultados. Para 16 entidades federativas se identic una LDS o equivalente que considera aspectos sobre la identicacin de poblacin objetivo, presupuesto, programas de desarrollo social estatales, evaluacin de la poltica social, etctera. Las entidades para las que se identic normativa para la creacin de programas estatales de desarrollo social (programas nuevos) fueron el Distrito Federal, Aguascalientes, Estado de Mxico, Nuevo Len, Tamaulipas, Guerrero, Quintana Roo y Sonora. Las entidades para las que se identic mayor avance en la creacin de un padrn de beneciarios, tanto en la parte normativa como en la prctica, fueron Distrito Federal, Estado de Mxico, Campeche y Sonora. Asimismo, los estados con mayor avance en la implementacin de padrn de beneciarios fueron Guanajuato, Distrito Federal y Nayarit. Las entidades para las que se identic mayor avance en la elaboracin de ROP o equivalente, tanto en la parte normativa como en la prctica, fueron el Distrito Federal, Guanajuato y Michoacn. Tanto en materia normativa como en la prctica del monitoreo y la evaluacin existen reas de oportunidad: La informacin difundida de los programas estatales de desarrollo social, las ROP y los padrones de beneciarios no son homogneos en cuanto a la accesibilidad, contenido, estructura, formato de presentacin y nivel de desagregacin. Las reas de oportunidad son las siguientes:
57
Elaboracin de lineamientos o criterios de aplicacin general que establezcan los elementos mnimos de informacin que deben hacerse pblicos acerca de los programas estatales, incluyendo aquellos relacionados con la evaluacin y el monitoreo. Sistematizacin de la informacin de los programas estatales relacionada con su operacin (ROP , creacin de un padrn nico de beneciarios, etctera) y con el monitoreo y la evaluacin (sistematizacin de indicadores de gestin y de resultados). Esto permitir contar con registros administrativos que puedan ser usados como una fuente conable para el monitoreo y la evaluacin, adems de contribuir a una mayor transparencia y rendicin de cuentas. Las entidades federativas cuentan con normativa y han realizado ejercicios en materia de monitoreo y evaluacin. Sin embargo, los ejercicios de evaluacin detectados son casos aislados, no se encuentran sistematizados o son anteriores al 2011. Asimismo, en la mayora de las entidades federativas la normativa en el seguimiento a resultados de las evaluaciones y su implementacin es muy escasa y, a excepcin del Distrito Federal, no se identic una planeacin en la materia. Las reas de oportunidad son las siguientes: Especicacin de los principales conceptos asociados a la evaluacin y monitoreo de manera que pueda tenerse un lenguaje homogneo dentro de la administracin pblica estatal. Elaboracin de lineamientos, manuales o guas especcas para monitoreo y evaluacin de los programas estatales. El contar con estos instrumentos facilita que el monitoreo y la evaluacin realizados se vuelvan herramientas sistemticas para la mejora de las intervenciones pblicas. Pueden incluir, entre otros, los siguientes aspectos: Metodologa para el diseo y aplicacin de indicadores, as como para la valoracin de su consistencia y pertinencia; glosarios de trminos con las deniciones ms relevantes en materia de diseo, operacin, evaluacin y monitoreo; matrices de indicadores de resultados, sistemas de indicadores, as como evaluaciones de programas en sus principales variantes; criterios para disear evaluaciones y utilizar adecuadamente sus resultados, y contenidos mnimos y formatos sugeridos para la difusin de la informacin en materia de evaluacin y monitoreo. Identicacin de las reas con atribuciones de monitoreo y evaluacin para establecer un sistema coordinado en el que cada rea tenga atribuciones especcas, de manera que se evite la duplicidad de esfuerzos y se optimicen los recursos pblicos. Se recomienda revisar las facultades y las atribuciones de las instancias responsables y las disposiciones para dotar de recursos a los sistemas de evaluacin y de monitoreo.
58
Para la implementacin del monitoreo y la evaluacin en las entidades federativas, se requiere mejorar la capacidad institucional y tcnica de los servidores pblicos estatales. El rea de oportunidad es la siguiente: Capacitacin en materia de indicadores, tipos de evaluacin, diseo de programas, diagnsticos, entre otros temas, a los responsables de la evaluacin y el monitoreo a nivel estatal. La implementacin del monitoreo y la evaluacin se ve favorecida con la participacin del Poder Legislativo. En trminos generales, el diseo de la normativa estatal en materia de desarrollo social tiende a converger hacia el esquema federal; sin embargo, an hay elementos que pueden ser considerados por las legislaciones locales. Las reas de oportunidad son las siguientes: Generacin de criterios para la creacin de programas nuevos que garanticen el uso adecuado de los recursos pblicos en programas que atiendan las problemticas sociales de la entidad federativa con soluciones efectivas. Emisin de normativa que fortalezca la puesta en marcha de los ejercicios de monitoreo y evaluacin, por ejemplo, establecer que se debe destinar presupuesto especco para estas acciones. Una mayor exigencia por parte del Poder Legislativo al Ejecutivo para que se cumpla la normativa emitida en monitoreo y evaluacin, favorece la realizacin de los ejercicios en la materia. Contar con elementos normativos, desarrollo y difusin de instrumentos especcos y la capacitacin de los servidores pblicos en las entidades federativas y municipios, representan un avance para la institucionalizacin del monitoreo y de la evaluacin en benecio de quienes ms lo necesitan.
59
Los resultados obtenidos por cada entidad federativa se sistematizaron en chas que incluyen la siguiente informacin: 1. Avance en evaluacin y monitoreo de la entidad con respecto al resto de las entidades federativas. 2. Avance de los componentes 1 y 2, para lo cual se describe la informacin identicada para cada uno durante las etapas de recoleccin de informacin. 3. Las conclusiones y reas de oportunidad detectadas para la entidad federativa con base en la informacin identicada.
60
Aguascalientes
En la Ley de Desarrollo Social para el estado de Aguascalientes (LDS) la evaluacin se establece como un mecanismo para reorientar y reforzar la normativa, as como para mejorar los programas, estrategias y lneas de accin de la poltica de desarrollo social. La LDS establece la creacin de un Consejo Estatal de Evaluacin de la Poltica de Desarrollo Social dotado de autonoma tcnica y de gestin encargado de evaluar la poltica y los programas de desarrollo social. Se cuenta con indicadores de resultados y de gestin a nivel poltica concentrados y sistematizados; la ltima medicin disponible corresponde a 2010. No se detectaron evaluaciones de programas o de polticas estatales de desarrollo social o estudios estatales en esta materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Aguascalientes respecto del resto de las entidades:
100% 80.6%
80%
60%
50.9%
0% San Luis Potos Distrito Federal Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz Hidalgo Sinaloa Tlaxcala Baja California Sur Estado de Mxico Nuevo Len Guerrero Quertaro Morelos
Fuente: CONEVAL,2011
61
Estos elementos se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por componente.
62
los diferentes tipos de evaluacin que puedan llevarse a cabo y si se podrn hacer de manera externa, entendido esto como la contratacin de un evaluador externo para ello. Se establece que la SEBIDESO debe generar un sistema de informacin con indicadores sociales que permita medir el avance de la poltica estatal de desarrollo social. Asimismo, se acuerda que para la evaluacin de los programas de desarrollo social se deben tomar en cuenta indicadores de resultados y de gestin como calidad de vida de la poblacin, ndices de marginacin, cobertura, calidad de los servicios, percepcin de los beneciarios, entre otros. Estos indicadores debern medirse al nal de cada ejercicio presupuestal. No se detect la informacin de los indicadores que deber reportarse como descripcin de lo que se busca medir, frmula de clculo, frecuencia de medicin, unidad de medida, lnea base y metas, caractersticas que permitiran la rplica. En materia de difusin se establece la publicacin de las ROP y de los resultados de la evaluacin. Si bien se estipula que las dependencias, las entidades del Poder Ejecutivo Estatal y los municipios deben publicar los padrones de los programas de desarrollo social, no se detect el mandato de publicacin del padrn nico. Asimismo, se solicita considerar indicadores de resultados y de gestin en la evaluacin pero no se encontr el mandato de su divulgacin de manera directa. La LDS crea el Consejo Estatal de Evaluacin de la Poltica de Desarrollo Social (Consejo) como el organismo encargado de evaluar la poltica y los programas de desarrollo social. Su mbito de accin se instituye a nivel estatal debido a que los municipios deben realizar la evaluacin de la poltica municipal de desarrollo social. Asimismo, la SEBIDESO tiene entre sus funciones la ejecucin y evaluacin de los programas sociales mediante la Direccin de Informacin, Anlisis y Evaluacin. Tambin, la Secretara de Finanzas (SEFI) cuenta con el rea de Evaluacin y Seguimiento de Programas y Convenios Federales, cuyas funciones estn ligadas a la evaluacin del gasto pblico. El Consejo es un organismo ajeno a la operacin de la poltica social, dotado de autonoma tcnica y de gestin conformado por ocho integrantes, donde uno representa al Poder Ejecutivo Estatal, (el Secretario de Bienestar y Desarrollo Social), quin adems lo preside; un representante del Congreso estatal, (el Presidente de la Comisin de Desarrollo Social); dos representantes de los ayuntamientos en el estado; tres representantes de organismos civiles y un experto en desarrollo social. El Consejo est a cargo de llevar a cabo la evaluacin anual de la poltica y los programas de desarrollo social, publicar los resultados y presentarlos ante las autoridades federales, estatales y municipales. Adems, est facultado para implementar estudios de desarrollo social y fungir como ente consultivo de las autoridades estatales. Las atribuciones que no quedan comprendidas dentro del marco de accin del Consejo son normar la evaluacin, realizar una planeacin de las evaluaciones, emitir recomendaciones derivado de ellas y participar en la construccin de indicadores, que aunque pueden no corresponder exclusivamente al Consejo, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
63
64
Tambin, la Secretara de Salud tiene en su portal siete grupos de indicadores institucionales de resultados. stos se presentan concentrados y sistematizados, y su ltima medicin disponible corresponde a 2009 y en algunos casos a 2010. Adicionalmente se ubicaron algunos programas con indicadores en las ROP para los cuales nicamente se especica su nombre. Para el Consejo Estatal de Evaluacin de la Poltica de Desarrollo Social no se detect evidencia de su funcionamiento o de elementos de monitoreo y evaluacin realizados por la SEBIDESO y la SEFI.
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y evaluacin de los programas de desarrollo social de Aguascalientes. Si bien no se detectaron factores clave como la institucin facultada para normar la evaluacin, la posibilidad de emitir recomendaciones derivado de las evaluaciones y de su seguimiento, la creacin de un organismo con autonoma tcnica y de gestin, independiente de la operacin de la poltica social, puede ser el impulsor en materia de monitoreo y evaluacin. Al respecto, el Consejo, la SEBIDESO y la SEFI cuentan con atribuciones de evaluacin, sin embargo, no existe informacin especca sobre sus responsabilidades, ni un esquema de coordinacin de acciones que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre las reas mencionadas para el desarrollo de sus tareas. Desde 2009 el estado tiene una LDS que dispone la generacin de ROP para todos los programas de desarrollo social, la integracin de un padrn nico de beneciarios, la evaluacin de la poltica y los programas de desarrollo social, y la creacin de un organismo encargado de dicha tarea, sin embargo, no se detect evidencia de que la implementacin de dichos elementos se hubiera consolidado o empezado en algunos casos. Por otra parte, la LDS asienta que la evaluacin debe realizarse de manera anual, no obstante, es posible que algunos indicadores que se establecen para ser medidos como parte de la evaluacin, tales como los ndices de marginacin o cambios en la calidad de vida de las personas beneciarias de los programas, no puedan registrarse con esta periodicidad debido a la disponibilidad de la informacin para su estimacin, ya sea porque no se cuenta con ella con la frecuencia requerida o a que su levantamiento puede ser incosteable. Asimismo, los cambios de resultado sobre la poblacin objetivo, derivados de un benecio recibido, son observables en el mediano plazo. En materia de monitoreo Aguascalientes ha ejecutado elementos que le han permitido contar con informacin a nivel temtica sobre el ejercicio de los recursos pblicos, de la gestin y en algunos casos, de los resultados obtenidos por la implementacin de las polticas pblicas. Aun as, no se identic una continuidad en su elaboracin a 2011. Adems, es necesario complementar la informacin monitoreada a nivel temtica con aquella homognea a nivel programa. De acuerdo con lo anterior, el reto que afronta Aguascalientes es implementar de manera estructurada los elementos de monitoreo y evaluacin que por Ley se le establece al estado, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
65
Oportunidades de mejora
Construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos elementos a considerar: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas en la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEBIDESO se reeren a ese tema, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere dar continuidad a la publicacin del presupuesto por programa y extender esta prctica, ya que esta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin del diagnstico para la creacin de nuevos programas que incluyan criterios claros y homogneos y justiquen su diseo. Una herramienta que permite determinar el diseo lgico de ste es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP , es fundamental establecer criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Asimismo es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP permite transparentar el acceso a estos ltimos.
66
Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin y los tipos de evaluacin que requiera el estado. Para realizarla se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. El estado tiene indicadores de la poltica social, pero es importante identicar por programa indicadores de gestin y de resultados para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinarlos en diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en la materia, como el seguimiento a las recomendaciones de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere delimitar los mecanismos para impulsar el funcionamiento del Consejo.
67
Baja California
La Ley de Desarrollo Social para el estado (LDS) es apenas una iniciativa. Sin embargo la normativa establece la evaluacin de la poltica y los programas de desarrollo social para medir sus resultados y la evaluacin del desempeo de los programas estatales para conocer su impacto econmico, social e institucional. La Ley Orgnica de la Administracin Pblica del estado de Baja California (LOAP) establece como atribucin de la Secretara de Desarrollo Social evaluar la poltica y los programas de desarrollo social. Tambin, la Ley de Presupuesto y Ejercicio del Gasto del estado de Baja California (LPEG) instituye que la Secretara de Planeacin y Finanzas debe implementar un Sistema de Evaluacin del Desempeo. El estado tiene indicadores de resultados y de gestin para las dependencias y entidades, los cuales estn concentrados y la ltima medicin disponible corresponde a 2010. No se detectaron evaluaciones de programas o de polticas de desarrollo social o estudios estatales en esta materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Baja California respecto del resto de las entidades:
100% 80.6%
80%
0% Distrito Federal Estado de Mxico Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz San Luis Potos Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Nuevo Len Guerrero Colima Quertaro
Fuente: CONEVAL,2011
68
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
69
Se estipula que los resultados de la evaluacin del desempeo debern considerarse en la asignacin de recursos presupuestales. Otro aspecto que no se observ es si debe realizarse una planeacin de las evaluaciones, con la cual puedan establecerse prioridades de evaluacin con base en las necesidades de informacin de los programas, recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan efectuarse, la frecuencia con la cual se llevar cabo y los actores encargados de ello. Se dispone que la evaluacin del desempeo de los programas se har con base en indicadores de gestin que permitan concertar lo que se pretende lograr en un ao expresado en trminos de cobertura, eciencia, ecacia, calidad, equidad o impacto econmico, social o institucional. Si bien, normativamente se requieren indicadores de gestin, la especicacin, al sealar la medicin del impacto econmico, social o institucional, tambin comprende indicadores de resultados. En la normativa no se detect la informacin de los indicadores que deber reportarse como descripcin de lo que busca medir, frmula de clculo, frecuencia de medicin, unidad de medida, lnea base y metas, caractersticas que permitiran la rplica. En materia de difusin no se identic el mandato de publicar las ROP , el padrn de beneciarios, la evaluacin ni los indicadores. Se estipula la publicacin de informacin de los programas como el tipo de apoyo que otorga y los criterios de elegibilidad de los beneciarios. La LOAP establece que corresponde a la SEDESOE evaluar las polticas y programas de desarrollo social para medir resultados mediante la Unidad de Planeacin y Prospectiva. Su mbito de accin es a nivel estatal. La LPEG dicta que la Secretara de Planeacin y Finanzas (SPF) debe instaurar el Sistema de Evaluacin del Desempeo para realizar una valoracin objetiva del desempeo de los programas que permitan conocer su impacto econmico, social e institucional. Su mbito de accin se establece a nivel estatal debido a que los municipios deben de llevar a cabo su propia evaluacin. El Comit de Planeacin para el Desarrollo (COPLADE) es el encargado de controlar y evaluar el Plan Estatal de Desarrollo, que en ese mbito compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal. La Unidad de Evaluacin y Prospectiva de la SEDESOE y la SPF forman parte de la estructura orgnica del Poder Ejecutivo Estatal y son ajenas a la operacin de la poltica y/o los programas. No obstante, la evaluacin no constituye la razn de ser de las instituciones. La Unidad de Evaluacin y Prospectiva de la SEDESOE por s misma o mediante evaluadores externos est a cargo de realizar la evaluacin de la poltica y los programas de desarrollo social. Asimismo, est facultada para llevar a cabo estudios sobre el tema. Atribuciones que no quedan comprendidas dentro del marco de accin de las instancias mencionadas son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir
70
recomendaciones derivado de ellas y darles seguimiento, participar en la construccin de indicadores de resultados y de gestin, y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a estas dependencias, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
71
Conclusiones
En la normativa se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social. Sin embargo, existen factores clave que no se detectaron como la instancia facultada para normar la evaluacin y generar su planeacin, la posibilidad de emitir recomendaciones derivado de las evaluaciones y su seguimiento, as como la asignacin de esta tarea a un rea con autonoma tcnica independiente de la operacin de los programas que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. En el estado, la SEDESOE, la SPF y el COPLADE tienen atribuciones de evaluacin, pero no se encontr informacin acerca de las atribuciones especcas y acciones de cada uno, ni un esquema de coordinacin de estas ltimas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. Hasta ahora no se encontr evidencia de los elementos de monitoreo y evaluacin que hayan implementado los actores antes mencionados. Ahora bien, la Unidad de Planeacin y Prospectiva de la SEDESOE tiene la facultad de evaluar a partir de 2007 y la SPF de establecer el Sistema de Evaluacin del Desempeo desde 2010. Asimismo, los elementos detectados en materia de planeacin, ejecucin, monitoreo y evaluacin estn desarticulados por lo que no contribuyen a la generacin de acciones integrales en la materia para el estado. Por lo tanto, el reto que afronta Baja California es estructurar elementos de monitoreo y evaluacin, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de asignar la tarea de monitoreo y evaluacin de las polticas y los programas a una sola rea de gobierno, de preferencia con autonoma tcnica. Para determinar instrumentos de monitoreo y evaluacin sobre la poltica social, es fundamental delimitar las acciones, programas y polticas alineadas a una temtica (social, econmica, etctera), incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDESOE son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos los programas, ya que esta caracterstica es necesaria para presupuestar con base
72
en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de nuevos programas, en el cual se incluyan criterios claros y homogneos que justiquen el diseo de estos. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Es fundamental contar con criterios especcos y homogneos para la elaboracin y difusin de ROP o lineamientos de operacin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Es importante que dichos criterios sean aplicables a todos los programas estatales. Cabe sealar que la divulgacin de las ROP o lineamientos de operacin tambin permite transparentar el acceso a estos. Impulsar la creacin y difusin de un padrn nico de beneciarios de los programas, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como identicar los que provienen de la federacin y del estado. Para esto pueden establecerse adems criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin y los tipos de evaluacin que requiera el estado, y en laque se establezca su temporalidad, enfoque externo o interno, objeto, etctera. Para realizarla se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Asimismo, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que permite determinarlos en sus diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para su utilizacin en esta materia, como el seguimiento a las recomendaciones de las evaluaciones.
73
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Baja California Sur respecto del resto de las entidades:
100% 80.6%
80%
60%
0% Nayarit Baja California Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Tamaulipas Durango Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin los hallazgos por cada componente.
74
75
sables y si se podrn hacer de manera externa, entendido como la contratacin de un evaluador externo para ello. En la normativa no se detect el mandato de jar indicadores de resultados, pero se establece que las entidades gubernamentales deben publicar sus indicadores de gestin y el ejercicio de los recursos pblicos. Tampoco se observ la informacin de los indicadores que deber reportarse como la descripcin de lo que se busca medir, frmula de clculo, frecuencia de medicin, unidad de medida, lnea base, metas y caractersticas que permitiran su rplica. En materia de difusin se identica que las entidades gubernamentales deben publicar informacin de los programas como el tipo de apoyo que otorga y los criterios de elegibilidad de los beneciarios, los destinatarios de toda entrega de recursos pblicos, y sus indicadores de gestin. No se detect el mandato de difundir informacin del sistema de evaluacin. La LOAP instituye como atribucin de la Contralora General (CG) determinar conjuntamente con la Secretara de Finanzas (SECFIN) la evaluacin respecto del presupuesto de egresos y las polticas en los programas gubernamentales mas no se observ su mbito de accin. Esta misma Ley postula que la Secretaria General de Gobierno, es la encargada de evaluar las acciones de todos aquellos organismos que desarrollen actividades de bienestar social en benecio de los habitantes de la entidad. As, el estado cuenta con un Comit de Planeacin para el Desarrollo (COPLADE), no obstante, no se detect informacin acerca de sus atribuciones en materia de evaluacin. La CG y la SECFIN forman parte de la estructura orgnica del Poder Ejecutivo Estatal y son ajenas a la operacin de la poltica y/o los programas estatales. Sin embargo, la evaluacin no constituye la razn de ser de las instituciones. La CG y la SECFIN estn a cargo de instaurar el sistema de control de la eciencia en la aplicacin del gasto pblico y de evaluacin respecto del presupuesto de egresos y las polticas en los programas gubernamentales, que se deduce, incluye lo social. Atribuciones que no quedan comprendidas dentro del marco de accin de estas instancias son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de ellas y darles seguimiento, participar en la construccin de indicadores de resultados y de gestin, efectuar estudios de desarrollo social, y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a estas dependencias, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
76
El estado publica el presupuesto asignado a algunos de los programas estatales, mas no fue posible detectar la dependencia o dependencias a las que corresponden estos ltimos; la ltima documentacin disponible es del ejercicio 2011. Adems, en los Lineamientos de Presupuesto basado en Resultados se establece que 43 programas estatales presupuestaron por programa, no obstante, nicamente se indica el nmero de stos por dependencia. El planteamiento de un presupuesto por programa permite avanzar en la construccin de uno que est orientado a resultados, sin embargo, al no detectarse informacin para todos los programas no es posible hacerlo. Para Baja California Sur no se detectaron ROP o lineamientos de operacin disponibles para sus programas estatales. En la entidad no se identicaron padrones de beneciarios publicados de programas de desarrollo social. Asimismo, no se observ evidencia de evaluaciones realizadas a programas estatales ni del uso de estudios o evaluaciones estatales para realizar acciones de mejora a la poltica de desarrollo social. Tampoco informacin acerca de una planeacin de las evaluaciones de programas estatales. El estado cuenta con indicadores de gestin en la pgina de internet de Transparencia para algunas dependencias del Poder Ejecutivo Estatal, los cuales estn alineados a los programas de las dependencias, pero, no es claro si por programa se reere a un conjunto de acciones alineadas para alcanzar un objetivo (resultado) o a una categora de la estructura programtica. La informacin que se especica de los indicadores es nombre y frmula de clculo; no se detalla la que se reere a su medicin, descripcin de lo que busca medir cada uno, frecuencia de medicin, unidad de medida, lnea base ni metas. De la misma manera, en el Sistema de Evaluacin de la Gestin Pblica 2005-2009 de la SECFIN se realiza un anlisis para 12 dependencias sobre la eciencia en la administracin de los recursos, el avance presupuestal, apego normativo y calidad de los servicios, el ltimo valor disponible es para 2009. La informacin que se especica de los indicadores es su nombre y valor de la meta alcanzada para este periodo. Para la CG, y el COPLADE no se identic evidencia de elementos en materia de evaluacin y monitoreo implementados.
Conclusiones
En la normativa se establecen elementos que dan pie al monitoreo y a un sistema de evaluacin respecto del presupuesto de egresos y las polticas en los programas gubernamentales en el estado. Sin embargo, no se detectaron elementos clave como la realizacin de evaluaciones a los programas, la existencia de una instancia facultada para normar la evaluacin, generar una planeacin de las evaluaciones, la posibilidad de emitir recomendaciones derivado de las anteriores y darles seguimiento, as como la realizacin de estudios de desarrollo social. La CG y la SECFIN, tienen entre otras atribuciones, la de generar un sistema de evaluacin, pero no se detect informacin al respecto, ni un esquema de coordinacin de estas ltimas que delimite el que-
77
hacer de cada uno de estos actores, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estas reas para el desarrollo de sus tareas. Adems, el hecho de que una de las instancias encargadas de implementar el sistema de evaluacin sea la CG del estado puede contribuir a ver la evaluacin como un elemento de control ms que como un elemento que permita mejorar los programas y polticas estatales, al tener dicha rea las atribuciones de control y vigilancia de los recursos pblicos. Ahora bien, aun cuando se determina la evaluacin de los programas gubernamentales, no se indica su objetivo nal, lo cual limita la vinculacin entre la evaluacin y el uso que pueda darse de sus resultados, por ejemplo, para mejorar la poltica de desarrollo social o para asignaciones presupuestales. Hasta ahora no se observ evidencia de las acciones de monitoreo y evaluacin que hayan implementado los actores mencionados para los programas y polticas, cabe sealar que la LOAP est vigente desde 2005. Por tanto, el reto que enfrenta Baja California Sur es estructurar elementos de monitoreo y evaluacin, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, que vayan ms all de aspectos generales. Para ello, es importante delimitar las responsabilidades y los mecanismos de coordinacin entre los diferentes actores involucrados en la evaluacin. Al respecto, se sugiere valorar la pertinencia de asignar la tarea de monitoreo y evaluacin de las polticas y los programas a un rea ajena al control y vigilancia de los recursos pblicos. Para determinar elementos de monitoreo y evaluacin es fundamental delimitar las acciones, programas y polticas alineadas a una temtica (social, econmica, entre otras.), incluso, la identicacin de programas estatales respecto de los federales. Se sugiere dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos los programas ya que esto es necesario para presupuestar con base en los resultados, considerando un programa como un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. La realizacin de un diagnstico para la creacin de nuevos programas en el cual se incluyan criterios claros y homogneos que justiquen su diseo es un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos. La matriz de Marco Lgico es una herramienta que permite determinar el diseo lgico de un programa.
78
Es fundamental contar con criterios especcos y homogneos para la elaboracin y difusin de ROP o lineamientos de operacin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP o lineamientos de operacin tambin permite transparentar el acceso a los programas. Impulsar la creacin y difusin de padrones de beneciarios e incluso de un padrn nico, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como identicar los que provienen de la federacin y del estado. Para esto pueden establecerse adems criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin y los tipos de evaluacin que requiera el estado. Para realizarla se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. El Marco Lgico es una herramienta que tambin permite determinar indicadores de diferentes niveles. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para su utilizacin, como el seguimiento a las recomendaciones de las evaluaciones.
79
Campeche
La Ley de Desarrollo Social del estado de Campeche (LDS) establece la evaluacin de la poltica de desarrollo social del estado para mejorar los programas, metas y acciones que la integran. La LDS establece como atribucin de la Secretara de Desarrollo Social y Regional la evaluacin de la poltica de desarrollo social. El estado cuenta con indicadores de resultados y de gestin alineados a los ejes del Plan Estatal de Desarrollo, la ltima medicin disponible corresponde a 2011. No se detectaron evaluaciones de programas o de polticas de desarrollo social estatales ni estudios estatales en materia de desarrollo social.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Campeche respecto del resto de las entidades:
100% 80.6%
80%
0% Chihuahua Sonora Nayarit Coahuila Baja California Sinaloa Distrito Federal Estado de Mxico Nuevo Len Guanajuato Michoacn Guerrero Aguascalientes Quintana Roo Campeche Quertaro Zacatecas Tamaulipas Durango Veracruz San Luis Potos Tlaxcala Oaxaca Jalisco Tabasco Puebla Colima Chiapas Yucatn Hidalgo Morelos Baja California Sur
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
80
81
La evaluacin podr realizarse dos veces al ao, en el mes de febrero para informar los resultados alcanzados de los programas durante el ao inmediato anterior y presentar el programa de trabajo para el ao actual, y en el mes de agosto, para emitir propuestas en la programacin y presupuestacin del ejercicio scal siguiente. Asimismo, podr ser realizada por evaluadores externos. Otro aspecto que no se identic en la normativa es si debe realizarse una planeacin de las evaluaciones, en la cual se establezcan prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles, donde se denan los diferentes tipos de evaluacin que puedan ejecutarse, su frecuencia y los programas que sern sujetos de sta. Se acuerda que los programas sociales debern incluir en la evaluacin los indicadores de resultados, gestin y servicios para medir su cobertura, calidad e impacto, los cuales debern reejar el cumplimiento de los objetivos sociales, procedimientos y calidad de los servicios de los programas, metas y acciones de la poltica estatal de desarrollo social. Sin embargo, no se detect la informacin de los indicadores que deber reportarse como descripcin de lo que se busca medir, frmula de clculo, frecuencia de medicin, unidad de medida, lnea base y metas, caractersticas que permitiran la rplica. En materia de difusin, se acuerda la publicacin de las ROP e indicadores de gestin; no se identic este mandato para el padrn nico de beneciarios, los resultados de la evaluacin ni para los indicadores de resultados. La LDS dispone que la SEDESORE es la encargada de la evaluacin de la poltica de desarrollo social mediante la Subsecretara de Programacin y Control. Su mbito de accin es a nivel estatal. Asimismo, esta Ley estipula que la evaluacin y seguimiento de los programas sociales que implemente el gobierno del estado y los municipios la llevar cabo el Comit de Planeacin para el Desarrollo del estado (COPLADECAM) y los Comits de Planeacin para el Desarrollo Municipal (COPLADEMUN) en el mbito de sus respectivas competencias. La Subsecretara de Programacin y Control forma parte de la estructura orgnica del Poder Ejecutivo Estatal y adems, tiene como atribucin participar de los programas sectoriales de la SEDESORE, por lo que la evaluacin no constituye la razn de ser de esta rea. La SEDESORE est a cargo de la evaluacin de la poltica de desarrollo social. De igual manera, est facultada para jar los requisitos para los evaluadores externos y denir los criterios para la elaboracin de los indicadores de resultados, gestin y servicios. Atribuciones que no quedan comprendidas dentro del marco de accin de la SEDESORE son normar la evaluacin, realizar la planeacin de las evaluaciones, llevar a cabo estudios de desarrollo social, brindar asesora en temas relacionados a otras instancias gubernamentales y emitir recomendaciones derivado de las evaluaciones, esta ltima es facultad del COPLADECAM y de los COPLADEMUN; aunque las atribuciones mencionadas pueden no corresponder exclusivamente al SEDESORE, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
82
Conclusiones
En la LDS, RLDS, LTAI y en el RSEDESORE, se jaron elementos que dan pie al monitoreo y evaluacin de los programas sociales de Campeche. A pesar de esto, existen factores clave que no se detectaron como el organismo facultado para normar la evaluacin, generar un plan de las valoraciones y el seguimiento a las recomendaciones.
83
La SEDESORE, el COPLADECAM y los COPLADEMUN tienen atribuciones de evaluacin, pero no se identic informacin acerca de las facultades y acciones especcas al respecto, ni un esquema de coordinacin entre stos que delimite el quehacer de cada uno, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estas reas para el desarrollo de sus tareas. De la misma manera, a pesar de que desde 2003 la Subsecretara de Programacin y Control cuenta con la atribucin de evaluacin, no se detectaron ejercicios en la materia. Sin embargo, cabe mencionar que el hecho de que el rea encargada de la evaluacin de la poltica de desarrollo social no sea independiente de la ejecucin de intervenciones en la materia, puede contribuir a generar la percepcin de que puede ser poco rigurosa o que sus resultados sean poco objetivos. Por otra parte, en materia de monitoreo Campeche ha impulsado instrumentos que permiten hacer un seguimiento del ejercicio de los recursos, de bienes y servicios entregados y en algunos casos de los resultados alcanzados a nivel poltica. El reto que afronta la entidad es el de implementar elementos de monitoreo y evaluacin que por Ley se establecen, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de asignar la tarea de monitoreo y evaluacin de las polticas y programas a una sola rea de gobierno, ajena a la operacin de stos de preferencia con autonoma tcnica. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas en la materia, incluso, la identicacin de programas estatales respecto de los federales. En el PEE 2011 se determina una categora presupuestal en la que se ja el presupuesto de desarrollo social, no obstante, no es claro qu programas, acciones o proyectos lo integran. Se sugiere dar continuidad a la prctica de presupuestar por programa y extenderla a todos los programas, puesto que esto es un factor necesario para presupuestar con base en resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin
84
de nuevos programas, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con lineamientos de operacin, es fundamental establecer y difundir criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de estos. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a stos. Impulsar la creacin y difusin de un padrn nico de beneciarios de los programas estatales de desarrollo social, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como identicar los que provienen de la federacin y del estado. Para esto pueden establecerse adems criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin del estado y en el que se establezcan los tipos de evaluacin, las responsabilidades de los actores involucrados en el proceso, entre otros aspectos. De acuerdo con la normativa la evaluacin debe realizarse anualmente, por lo que para su planeacin, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa para conocer de manera individual sus resultados y, en su caso, tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la informacin que produce el estado en esta materia, como el seguimiento a las recomendaciones de las evaluaciones.
85
Chiapas
No se cuenta una con Ley de Desarrollo Social (LDS) para el estado, pero s una normativa que establece la evaluacin cualitativa de las polticas pblicas en materia de desarrollo social del estado y de los municipios alineadas a los Objetivos del Milenio, sin denir su objetivo. El Reglamento Interior de la Auditora Superior del estado de Chiapas (RIAS) instituye como atribucin del rgano de Fiscalizacin Superior hacer una evaluacin anual cualitativa de las polticas, programas, proyectos y acciones en materia de desarrollo social orientadas a los Objetivos del Milenio del estado y los municipios, sin denir su objetivo. El estado tiene indicadores de resultados y de gestin alienados a los ejes del Plan Estatal de Desarrollo 2007-2012 y a los Objetivos del Milenio; stos se encuentran concentrados y sistematizados y la ltima medicin disponible corresponde a 2010. Asimismo, ha realizado ejercicios de evaluacin a programas de desarrollo social estatales. No se detectaron estudios estatales en materia de desarrollo social.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Chiapas respecto al resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
0% Distrito Federal Estado de Mxico Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz San Luis Potos Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Nuevo Len Guerrero Colima Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
86
87
Tambin, se dispone la evaluacin y el seguimiento a los resultados de programas de las instituciones pblicas y de los sectores social y privado, as como organismos internacionales, que incidan en el desarrollo social de la entidad, sin denir su objetivo. Por otra parte, se establece la elaboracin de un Sistema Estatal de Seguimiento y Evaluacin, para evaluar el Plan Estatal de Desarrollo y sus programas de mediano plazo sectoriales, especiales e institucionales, pero no se detect documentacin sobre cmo debe integrarse este Sistema ni de su objetivo. Para la evaluacin cualitativa mencionada se decide que la Coordinacin de Evaluacin de Polticas Pblicas y Objetivos de Desarrollo del Milenio (Coordinacin) del rgano de Fiscalizacin Superior debe elaborar un Programa Anual de Visitas, sin embargo, no se observ informacin que especique en qu consiste este programa, por ejemplo, si determina tipos de evaluacin a realizar, los sujetos de evaluacin, entre otros aspectos. En la normativa no se detect el mandato de contar con indicadores de resultados, sin embargo, se dispone que las dependencias y entidades del Poder Ejecutivo Estatal y de los municipios (organismos pblicos) deben publicar sus indicadores de gestin. Tampoco se identic la informacin de los indicadores que deber reportarse como la descripcin de lo que busca medir, frmula de clculo, frecuencia de medicin, unidad de medida, lnea base y metas, caractersticas que permitiran su rplica. Cabe mencionar que su Presupuesto de Egresos (PEE) para 2011 conviene que los organismos pblicos estn obligados a mejorar de forma continua y mantener actualizada la matriz de indicadores de los proyectos que lleven a cabo. Los indicadores de resultados y de gestin incluidos en las matrices deben tener nombre, descripcin de lo que buscan medir, frecuencia de medicin y lnea base. Es importante sealar que la frecuencia de este Decreto es anual. En materia de difusin se acuerda que los organismos pblicos deben publicar una descripcin de los programas, proyectos y acciones que ejecuten y los recursos asignados a cada uno; tambin, deben divulgar sus indicadores de gestin. No se detect el mandato de publicacin de los padrones de beneciarios ni los resultados de las evaluaciones. El RIAS establece que la Coordinacin es la encargada de la evaluacin anual de las polticas pblicas en materia de desarrollo social alineadas a los Objetivos del Milenio. Su mbito de accin es a nivel estatal y municipal. Asimismo, la LOAP establece que la SEDEPAS evaluar y dar seguimiento a los resultados de programas de las instituciones pblicas, de los sectores social y privado, y de organismos internacionales que incidan en el desarrollo social de la entidad. Esto mediante la Direccin de Desarrollo Regional, la cual tambin tiene la facultad de integrar un sistema de monitoreo y evaluacin del desarrollo regional. Tambin, en la pgina de internet del estado se hace mencin de un Comit de Planeacin para el Desarrollo (COPLADE) no obstante, no se encontr informacin sobre si ste tiene atribuciones de evaluacin o lleva a cabo acciones en la materia.
88
La Coordinacin es ajena a la operacin de la poltica y/o los programas de desarrollo social, est conformada por dos subcoordinaciones de evaluacin, y cuenta con autonoma tcnica y de gestin al no formar parte del Poder Ejecutivo Estatal. Sin embargo, la evaluacin no constituye la razn de ser de esta instancia. La Coordinacin es responsable de las estrategias para evaluar de manera cualitativa las polticas pblicas en materia de desarrollo social alineadas a los Objetivos del Milenio del Poder Ejecutivo Estatal y de los municipios. Adems, est facultada para desarrollar un Programa Anual de Visitas para planear la evaluacin, emitir y dar seguimiento a las recomendaciones hechas a las instancias evaluadas con base en los resultados de la evaluacin. Atribuciones que no quedan comprendidas dentro del marco de accin de la Coordinacin son normar la evaluacin de los programas de desarrollo social, participar en la construccin de indicadores de resultados y de gestin, realizar estudios en la materia y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a la Coordinacin, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
89
Las evaluaciones son heterogneas, si bien en ambas se especican los principales resultados, slo en la evaluacin efectuada en 2007 se identic informacin sobre su objetivo, la metodologa usada, las recomendaciones derivadas de los resultados, los responsables de las acciones evaluadas y de quien realiz la evaluacin. En ninguna de ellas se observ documentacin sobre el costo y un resumen ejecutivo. Tambin, se registr una evaluacin sobre Infraestructura Bsica en Vivienda realizada por la Secretara de Planeacin y Desarrollo Sustentable para la cual no fue posible identicar el ao de elaboracin. La informacin que contiene es de los responsables de ejecutar las acciones evaluadas, su objetivo, los principales resultados y las recomendaciones derivadas de los resultados. Cabe mencionar que no se encontr evidencia del uso de estas evaluaciones para mejorar la poltica de desarrollo social del estado. Tampoco se detect evidencia del uso de estudios estatales para llevar a cabo acciones de mejora de la poltica de desarrollo social, ni informacin acerca del Programa Anual de Visitas de la Coordinacin. Es importante mencionar que no se detect el mandato para hacer pblico este documento. El estado cuenta con indicadores de resultados y de gestin concentrados y sistematizados en el Tablero Estratgico de Control, el cual se describe como una herramienta implantada en las dependencias y entidades estatales para fortalecer el Sistema Estatal de Seguimiento y Evaluacin que establece la normativa para evaluar el Plan Estatal de Desarrollo y sus programas de mediano plazo sectoriales, especiales e institucionales. Los indicadores se presentan alineados a los ejes y objetivos del Plan Estatal de Desarrollo 20072012, los cuales a su vez estn alineados a los Objetivos del Milenio y agrupados segn estos objetivos, la ltima medicin disponible corresponde a 2010. La informacin que se especica de los indicadores es heterognea, adems de su nombre y valor slo para algunos de ellos se especica la descripcin de lo que busca medir, la frmula de clculo, unidad de medida y lnea base; no se detect documentacin sobre la frecuencia de medicin y las metas. Cabe sealar que no es posible conocer el avance por programa de desarrollo social. Para la Coordinacin no se identicaron instrumentos en materia de monitoreo y evaluacin implementados, no obstante, es necesario indicar que no se observ el mandato de su publicacin. Tampoco se detect evidencia de elementos en materia de evaluacin realizados por la SEDEPAS y el COPLADE.
Conclusiones
En la normativa se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Chiapas, sin embargo, existen factores clave que no se detectaron como el responsable de normar la evaluacin.
90
Asimismo, si bien este estado cuenta con un organismo independiente de la operacin de la poltica de desarrollo social que desde 2010 es el encargado de evaluar cualitativamente las acciones en la materia orientadas a los Objetivos del Milenio, el carcter de esta instancia es de scalizacin, lo que puede transmitir el mensaje a las dependencias y entidades estatales de que la evaluacin slo es un instrumento para esta accin y por tanto, impedir que se genere empata con su prctica y con el uso de la informacin derivada de ella para mejorar las polticas y programas estatales. No se identic documentacin sobre la fecha a partir de la cual la SEDEPAS cuenta con atribuciones de evaluacin, pero existe poca documentacin de las que le corresponden especcamente en la materia. Adems, no se detect un esquema de coordinacin que delimite el quehacer de esta Secretara y de la Coordinacin, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estas reas para el desarrollo de sus tareas. Cabe mencionar que aun cuando se estipula la evaluacin de los programas gubernamentales, no se indica su objetivo nal y en el caso de la evaluacin cualitativa no se especica en qu consiste. Esto limita la vinculacin entre la evaluacin y el uso que pueda darse de sus resultados, por ejemplo, para mejorar la poltica de desarrollo social o para asignaciones presupuestales. Asimismo, en el PEE para 2011 se realiza un esfuerzo por sistematizar la generacin de indicadores de resultados y de gestin de los proyectos de los organismos pblicos, no obstante dada la vigencia anual de este Decreto, queda en incertidumbre la continuidad de las acciones que pudieran implementarse ao con ao, detalle que toma relevancia al notar que la instrumentacin del monitoreo y la evaluacin es una tarea de mediano plazo. Las acciones realizadas en materia de planeacin y evaluacin son elementos desarticulados por lo que no contribuyen a la integracin de un sistema de monitoreo y evaluacin para el estado. No obstante, Chiapas ha implementado un monitoreo sistematizado a las acciones de gestin y los resultados alcanzados a nivel poltica, no as a nivel programa. El reto que afronta es el de estructurar los instrumentos de monitoreo y evaluacin que ya tiene con los instrumentos que establece la normativa, de manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Chiapas: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Es importante delimitar las responsabilidades y los mecanismos de coordinacin entre los diferentes actores involucrados en la evaluacin. Al respecto, se sugiere evaluar la pertinencia de asignar la tarea de monitoreo y evaluacin de las polticas y los programas a un rea ajena a la scalizacin de los recursos pblicos.
91
Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDEPAS son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen el diseo del programa. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Es fundamental contar con criterios especcos y homogneos para la elaboracin y difusin de ROP o lineamientos de operacin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Es importante que dichos criterios sean aplicables a todos los programas estatales. Cabe sealar que la divulgacin de las ROP o lineamientos de operacin tambin permite transparentar el acceso a stos. Impulsar la creacin de un padrn nico de beneciarios de los programas sociales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como identicar los que provienen de la federacin y del estado. Para esto pueden establecerse criterios y lineamientos de manera que la informacin que integre al padrn sea homognea. Para la integracin del Programa Anual de Visitas, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico.
92
Chihuahua
La Ley de Desarrollo Social y Humano para el Estado de Chihuahua (LDS) establece la evaluacin de la poltica de desarrollo social para mejorar los proyectos y programas que la integran. La LDS instaura la creacin del rgano de Evaluacin como el encargado de normar y coordinar la evaluacin de las polticas, programas y proyectos de desarrollo social del estado. No se especica si est dotado de autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin en matrices de indicadores por programa presupuestario para algunas dependencias y entidades del estado, sin embargo, no se detect informacin de su medicin. Asimismo, el estado ha realizado ejercicios de evaluacin a documentos de planeacin estatal. No se encontraron estudios estatales en esta materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Chihuahua respecto al resto de las entidades:
100% 80.6%
80%
60%
53.7%
0% Nayarit Baja California Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Tamaulipas Durango Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
93
94
de los indicadores que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. No se localiz informacin acerca del establecimiento de indicadores de gestin. En los Lineamientos para la Elaboracin del Presupuesto basado en Resultados 2011 se especica que los programas presupuestarios de las dependencias y entidades del estado debern contar con una matriz de indicadores, de los indicadores se debe especicar su nombre, descripcin de lo que busca medir, mtodo de clculo, frecuencia de medicin, lnea base y metas. Cabe sealar no es posible identicar si este documento se emite anualmente. En materia de difusin se dispone la publicacin de las ROP y de los resultados de la evaluacin, la cual adems debe enviarse al Congreso del estado. Tambin, se decide que las dependencias y entidades del Poder Ejecutivo Estatal y los municipios deben publicar los padrones de los programas de desarrollo social, pero no se detect el mandato de publicar el padrn nico. Por ltimo, cabe mencionar que si bien se establece que los indicadores de resultados se usarn en la evaluacin, no se observ de manera directa que deban publicarse. La LDS crea al rgano de evaluacin (rgano) como el organismo encargado de evaluar la poltica de desarrollo social del estado. Su mbito de accin se instituye nicamente a nivel estatal ya que los municipios debern realizar anualmente la evaluacin de la poltica desarrollo social. Esta misma Ley estipula la creacin del OII con la atribucin de generar informacin para planear, ejecutar y evaluar la poltica de desarrollo social. Tambin, la SFS tiene entre sus funciones el monitoreo y la evaluacin de los programas sociales de la Secretara mediante la Direccin de Poltica Social y Planeacin. Por su parte, el Comit de Planeacin para el Desarrollo (COPLADE) est comisionado de la formulacin, actualizacin, instrumentacin, control y evaluacin del Plan Estatal de Desarrollo y de los programas especiales, que en el mbito estatal compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal. Por ltimo, la Secretara de Hacienda (SH) est a cargo de la evaluacin del resultado de los programas presupuestarios, la cual se implementar basada en los principios de vericacin del grado de cumplimiento de metas y objetivos. El rgano es un organismo ajeno a la operacin de la poltica de desarrollo social, sin embargo, no se especica si est dotado de autonoma tcnica y de gestin. El rgano est a cargo de normar y coordinar la evaluacin de las polticas, programas y proyectos en la materia, que ejecuten las dependencias y entidades de la Administracin Pblica Estatal, y podr realizarla por s o mediante evaluadores externos. De la misma manera, est facultado para emitir recomendaciones derivado de los resultados de las evaluaciones y establecer los lineamientos y criterios para la denicin, identicacin y medicin de la cobertura, calidad e impacto de los programas y proyectos correspondientes. Atribuciones que no quedan comprendidas dentro del marco de accin del rgano son realizar la planeacin de las evaluaciones, llevar a
95
cabo estudios de desarrollo social, y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente al rgano, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
96
mtica. La informacin que se especica de estos indicadores es su nombre, descripcin de lo que busca medir, frmula de clculo, frecuencia de medicin, unidad de medida y meta, no se detect documentacin de la medicin de los indicadores ni de su lnea base. Adems, las ROP de los programas de la SFS poseen indicadores de gestin pero no se encontr informacin de su medicin. En cuando al rgano, no se identic evidencia de su funcionamiento ni de elementos en materia de evaluacin implementados por la SFS, el COPLADE y la SH.
Conclusiones
Normativamente en la LDS, la LPE y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Chihuahua. Si bien no se detectaron factores clave como realizar una planeacin de las evaluaciones o el seguimiento a las recomendaciones, la creacin de un organismo independiente de la operacin de la poltica de desarrollo social encargado de normar y coordinar la evaluacin puede ser el impulsor en materia de monitoreo y evaluacin. En el estado el rgano de evaluacin, el rgano para la informacin e investigacin, la SFS, la SH y el COPLADE tienen atribuciones de evaluacin y/o de monitoreo, pero no existe documentacin especca al interior de estas reas sobre las que le corresponden a cada una, y slo para los rganos de evaluacin e informacin se acuerda un esquema que busca coordinar y delimitar el quehacer de cada uno de estos actores. Esto no permite conocer la complementariedad o duplicidad que pudiera haber entre las reas mencionadas para el desarrollo de sus tareas. Desde 2008 el estado tiene una LDS que dicta la generacin de ROP para todos los programas de desarrollo social, la integracin de un padrn nico de beneciarios, la evaluacin de la poltica y los programas de desarrollo social, la creacin de un organismo encargado de dicha tarea y adems, la integracin de un Sistema que concentre la informacin de estos elementos, el diagnstico, formulacin, seguimiento y evaluacin de la poltica de desarrollo social del estado. Sin embargo, no se detect evidencia de que su implementacin se hubiera consolidado o empezado en algunos casos y los que se han realizado se encuentran desarticulados entre s. Si bien Chihuahua ha impulsado la ejecucin de elementos de monitoreo dirigidos al seguimiento del ejercicio de los recursos, de bienes y servicios entregados y de resultados alcanzados, es necesario consolidarlos. Por tanto, el reto que afronta ahora es el de implementar los elementos de monitoreo y evaluacin que por Ley se establecen de manera estructurada con los que se encuentran en desarrollo, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Chihuahua:
97
Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Lo que puede hacerse mediante el rgano de evaluacin, para el cual ya se establecen atribuciones de normar y coordinar la evaluacin de la poltica de desarrollo social del estado. Para instituir elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas en la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SFS son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere dar continuidad a la prctica de presupuestar por programa y extenderla a todos, puesto que esto es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. , es fundamental establecer criterios especcos y Si bien, algunos programas cuentan con ROP homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como identicar los que provienen de la federacin y del estado. Para esto pueden establecerse adems criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse, de acuerdo con las prioridades de informacin del estado, y los tipos de evaluacin. Para realizarla se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo y no de un ejercicio scal a otro. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico.
98
Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la informacin que produce el estado en la materia, como el seguimiento a las recomendaciones y resultados de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento del rgano.
99
Coahuila
La Ley de Desarrollo Social para el estado de Coahuila (LDS) establece la evaluacin de la poltica de desarrollo social para mejorar los programas, metas y acciones que la integran. La LDS establece la creacin del Consejo Consultivo como el encargado de evaluar el impacto de las polticas y programas de desarrollo social del estado. No se especica si cuenta con autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin para los ejes del Plan Estatal de Desarrollo 2006 2011, sin embargo, no se detect informacin de su medicin. Tampoco se detectaron evaluaciones de programas o de polticas de desarrollo social estatales ni estudios estatales en materia de desarrollo social.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Coahuila respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
0% Chihuahua Nayarit Coahuila Baja California San Luis Potos Sinaloa Distrito Federal Estado de Mxico Nuevo Len Guanajuato Michoacn Guerrero Aguascalientes Quintana Roo Campeche Quertaro Zacatecas Tamaulipas Durango Veracruz Tlaxcala Oaxaca Jalisco Tabasco Sonora Puebla Colima Chiapas Yucatn Hidalgo Morelos Baja California Sur
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
100
101
Otro aspecto que no se observ es si debe realizarse una planeacin de las evaluaciones, en la cual puedan establecerse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que pueden llevarse a cabo y los programas que sern evaluados. Se decide que la SDS debe elaborar un diagnostico anual para de pobreza en el estado que deber contener indicadores de resultados como ingreso per cpita y rezago educativo. Adems, se estipula que los indicadores de gestin deben reejar los procedimientos y la calidad de los servicios de los programas, metas y acciones de la poltica estatal de desarrollo social, sin embargo, no se especica el encargado de construirlos. Cabe mencionar que en la normativa no se detect la informacin de los indicadores que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se acuerda la publicacin de las ROP de los programas de subsidio de las dependencias y entidades del Poder Ejecutivo Estatal y de los municipios, los resultados de la evaluacin y el diagnstico de pobreza con los indicadores de gestin. No se identic el mandato de publicar el padrn de beneciarios ni los indicadores de gestin. La LDS crea el Consejo Consultivo (Consejo) como el organismo encargado de evaluar el impacto de las polticas y programas de desarrollo social que ejecuten las dependencias pblicas; no es posible delimitar su mbito de accin debido a que no se identic una denicin para dependencias pblicas. Tambin, la LDS establece que la evaluacin de la poltica de desarrollo social estar a cargo SDS y del Congreso del estado. Por su parte, el Comit de Planeacin para el Desarrollo (COPLADE) tiene por objeto promover y contribuir en la formulacin, instrumentacin, actualizacin y evaluacin del Plan de Desarrollo del estado, que en el mbito estatal compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal. El Consejo es un organismo ajeno a la operacin de la poltica de desarrollo social conformado de siete integrantes donde uno es representante del Poder Ejecutivo Estatal (el Secretario de Desarrollo Social) quien adems lo preside, y seis investigadores acadmicos del Sistema Nacional de Investigadores, con experiencia en la materia y que colaboren en instituciones de educacin superior y de investigacin. Aunque la normativa no especica que el Consejo est dotado de autonoma tcnica y de gestin, su integracin permite suponer que tiene autonoma de gestin al no formar parte del rgano gubernamental la mayora de sus integrantes. El Consejo est a cargo de investigar, analizar, y evaluar el impacto de las polticas y programas de desarrollo social que ejecuten las dependencias pblicas. Atribuciones que no quedan comprendidas dentro del Consejo son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir y dar seguimiento a recomendaciones derivado de los resultados de las evaluaciones, llevar a cabo estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias
102
gubernamentales, que aunque pueden no corresponder exclusivamente al Consejo, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera. Se conviene que derivado de los resultados de las evaluaciones el Congreso del estado podr emitir las sugerencias y recomendaciones que considere pertinentes a las dependencias de la Administracin Pblica Estatal y Municipal que tengan a su cargo programas sociales.
103
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Coahuila. Si bien no se detectaron factores clave como el responsable de normar la evaluacin, generar una planeacin de las evaluaciones o el seguimiento a las recomendaciones, la creacin de un organismo independiente de la operacin de la poltica de desarrollo social encargado de la tarea, puede ser el impulsor en materia de monitoreo y evaluacin. En el estado, el Consejo Consultivo, la SDS, el Congreso y el COPLADE tienen atribuciones de evaluacin, pero no existe informacin especca sobre de las que le corresponden a cada actor, ni un esquema de coordinacin entre stos que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre las reas mencionadas para el desarrollo de sus tareas. Es destacable la participacin del Congreso en la contratacin de organismos externos que lleven a cabo la evaluacin, as como en la emisin de recomendaciones derivadas de los resultados de las evaluaciones puesto que implica la participacin directa de los tomadores de decisin en el proceso de evaluacin. No obstante, la realizacin de estas tareas puede dicultarse sin un rea de apoyo tcnico debido a las funciones y prioridades de los miembros del Congreso. Si bien la LDS est vigente desde 2006, hasta ahora no se detect evidencia de que el Consejo est en funcionamiento y si bien Coahuila ha impulsado la implementacin de elementos de monitoreo dirigidos al seguimiento del ejercicio de los recursos, de bienes y servicios y de recursos alcanzados a nivel poltica, stos an no se han consolidado, adems de que no es posible usarlos para efectuar un seguimiento a nivel programa. Por tanto, el reto que afronta ahora es el de implementar de manera estructurada los elementos de monitoreo y evaluacin que por Ley se establecen, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Coahuila: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para determinar elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas en la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SDS son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere dar continuidad a la prctica de presupuestar por programa y extenderla a todos los programas, puesto que esto es un factor necesario para presupuestar con base en los resultados,
104
considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. La realizacin de un diagnstico para la creacin de nuevos programas donde se incluyan criterios claros y homogneos que justiquen su diseo es un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP , es fundamental establecer criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Asimismo, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin que requiera el estado y los tipos de evaluacin. Para realizarla, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo y no de un ejercicio scal a otro. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere determinar los mecanismos para impulsar el funcionamiento del Consejo.
105
Colima
La Ley de Desarrollo Social para el estado de Colima (LDS) establece la evaluacin de la poltica estatal de desarrollo para mejorar los programas, metas y acciones que la integran. La LDS establece la creacin de la Comisin Estatal de Evaluacin del Desarrollo Social como el encargado de normar y coordinar la evaluacin de la poltica de desarrollo social. No se especica si cuenta con autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin para los temas de desarrollo social, economa y nanzas. No se detectaron evaluaciones de programas o de polticas de desarrollo social estatales ni estudios estatales en materia de desarrollo social.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Colima respecto del resto de las entidades:
100% 80.6%
80%
0% Distrito Federal Estado de Mxico Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz San Luis Potos Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Nuevo Len Guerrero Colima Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin los hallazgos por cada componente.
106
107
Se determina que los programas y las acciones de desarrollo social debern incluir en la evaluacin los indicadores de resultados, gestin y servicios. Los de resultados debern reejar el cumplimiento de los objetivos sociales de los programas, metas y acciones de la poltica de desarrollo social, y los de gestin y servicios, los procedimientos y la calidad de los servicios. En la normativa no encontr la informacin de los indicadores que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se establece la publicacin de las ROP , el padrn de beneciarios y de los resultados de la evaluacin, la que adems debern ser entregada al Congreso del estado y a la SEDESCOL. Cabe sealar que aun cuando se solicita incluir los indicadores de resultados y de gestin en la evaluacin, no se estipula de manera directa su divulgacin. La LDS crea a la Comisin Estatal de Evaluacin del Desarrollo Social (Comisin) como el organismo encargado de evaluar la poltica de desarrollo social del estado, su mbito de accin es a nivel estatal y municipal. La misma Ley conviene que la SEDESCOL debe implementar un sistema de evaluacin para conocer de manera integral y sistemtica la operacin y resultado de los programas, proyectos y acciones de desarrollo social a n de formular nuevas acciones para identicar los problemas en la realizacin de programas y en su caso reorientar y reforzar la poltica de desarrollo social. Tambin, el Comit de Planeacin para el Desarrollo (COPLADECOL) es el encargado de la formulacin, actualizacin, instrumentacin y evaluacin del Plan Estatal de Desarrollo y de todas las dems acciones de la planeacin para el desarrollo que se ejecuten en el estado y estar conformado por subcomits sectoriales, regionales y especiales. La Comisin es un organismo ajeno a la operacin de la poltica de desarrollo social conformado por 14 integrantes, donde uno representa al ejecutivo estatal (el Secretario de Desarrollo Social), un Secretario Ejecutivo designado por el titular de la SEDESCOL, seis investigadores de reconocido prestigio, y seis consejeros representantes de organizaciones sociales y no gubernamentales. Aunque no se especica que la Comisin est dotada de personalidad jurdica, autonoma tcnica y de gestin, su integracin permite suponer que tiene autonoma de gestin al no formar parte la mayora de sus integrantes del rgano gubernamental. La Comisin est a cargo de normar y coordinar la evaluacin de la poltica y programas de desarrollo social que ejecuten las dependencias y entidades del Poder Ejecutivo, los municipios y los rganos autnomos. De la misma manera, est facultado para emitir recomendaciones derivado de los resultados de las evaluaciones, aprobar los indicadores de resultados y de gestin de los programas de desarrollo social y llevar a cabo estudios en esa materia. Atribuciones que no quedan comprendidas dentro del marco de accin de la Comisin son realizar la planeacin de las evaluaciones y brindar asesora en temas relacionados a otras instancias gubernamentales que aunque pueden no corresponder exclusivamente al Comisin, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
108
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Colima. Si bien no se detectaron factores clave como realizar
109
una planeacin de las evaluaciones ni el seguimiento a las recomendaciones, la creacin de un organismo independiente de la operacin de la poltica de desarrollo social encargado de normar y coordinar la evaluacin, puede ser el impulsor en materia de monitoreo y evaluacin. En el estado, la Comisin, la SEDESCOL y el COPLADECOL tienen atribuciones de evaluacin, pero no se detect informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin entre stos que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre dichas reas para el desarrollo de sus tareas. A pesar que desde 2009 el estado cuenta con una LDS que establece elementos de planeacin, ejecucin y evaluacin, no se identic evidencia de que stos estn consolidados o de que se haya iniciado su implementacin como en el caso del padrn nico de beneciarios y de la Comisin de Evaluacin. Si bien los elementos que ha llevado a cabo Colima permiten hacer un seguimiento del ejercicio de los recursos, de bienes y servicios entregados y en algunos casos de resultados alcanzados, el reto que afronta ahora es el de implementar los elementos de monitoreo y evaluacin que por Ley se estipulan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Colima: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para determinar elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas en la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDESCOL son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Asimismo, no es claro que acciones, programas o proyectos integran la Funcin de Desarrollo Social en el PEE 2011. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico.
110
Si bien, algunos programas cuentan con ROP , es fundamental establecer y difundir criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Igualmente, es importante que dichos criterios sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como diferenciar los que provienen de la federacin y del estado. Para esto pueden establecerse adems los criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse y los tipos de evaluacin con base en las prioridades de informacin del estado. Cabe mencionar que la LDS estipula que la evaluacin debe realizarse para cada ejercicio scal, por lo que para la su planeacin, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo y no de un ejercicio scal a otro. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados, y en su caso, tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones y resultados de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento de la Comisin.
111
Distrito Federal
La Ley de Desarrollo Social para el Distrito Federal (LDS) establece la evaluacin de las polticas y programas de desarrollo social para su reorientacin y fortalecimiento. La LDS estipula la creacin del Consejo de Evaluacin del Desarrollo Social dotado de autonoma tcnica y de gestin como el organismo encargado de la evaluacin de la poltica y los programas de desarrollo social del Distrito Federal. El Distrito Federal cuenta con indicadores de resultados y de gestin para programas de desarrollo social, sin embargo, no se detect informacin de su medicin. Asimismo, ha realizado evaluaciones a programas de desarrollo social y estudios en esta materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance del Distrito Federal respecto del resto de las entidades:
100% 80.6%
80%
60%
0% Nayarit Baja California Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Tamaulipas Durango Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
112
113
Para llevar a cabo la evaluacin se debe implantar un programa anual de evaluacin que debe publicarse durante los tres primeros meses del ao. No obstante, no se detect la informacin que debe tener este programa, como las evaluaciones a realizarse o los programas que sern sujetos de sta. Se seala que las dependencias, entidades, y delegaciones del Distrito Federal deben integrar en las ROP de los programas de desarrollo social a su cargo los indicadores de resultados y gestin del programa. Sin embargo, en la normativa no se encontr la informacin que deber reportarse como el nombre del indicador, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se acuerda la publicacin de las ROP , los padrones de beneciarios y de los resultados de la evaluacin. Cabe mencionar que aun cuando se solicita incluir los indicadores de resultados y de gestin en las ROP , no se detect el mandato directo de su publicacin. La LDS crea a EVALA DF como el organismo encargado de evaluar la poltica y los programas de desarrollo social, su mbito de accin comprende las dependencias, rganos desconcentrados, delegaciones y entidades del Distrito Federal. El Comit de Planeacin para el Desarrollo (COPLADE) es el encargado de evaluar el cumplimiento de los objetivos y prioridades del Programa General de Desarrollo y programas, en coordinacin con las unidades responsables en esta materia y, en su caso, proponer las correcciones pertinentes. El EVALA DF es un organismo ajeno a la operacin de la poltica de desarrollo social, dotado de autonoma tcnica y de gestin, sectorizado a la SDS. Cuenta con una Junta de Gobierno, una Direccin General y un Comit de Evaluacin y Recomendaciones. La Junta de Gobierno est integrada por el Jefe de Gobierno, quien lo preside, los titulares de las dependencias y entidades del Distrito Federal vinculadas al desarrollo social, y por contralores ciudadanos; el Comit de Evaluacin est conformado por un representante del Poder Ejecutivo (el Secretario de Desarrollo Social), quien lo preside y seis consejeros ciudadanos, con conocimientos en la materia. EVALA DF est a cargo de evaluar la poltica y los programas de desarrollo social del Distrito Federal. Adems, est facultado para normar la evaluacin interna, realizar un programa anual de evaluacin, emitir recomendaciones derivado de los resultados de las evaluaciones, llevar a cabo estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales. Una atribucin que no queda comprendida dentro del marco de accin del EVALA DF es participar en la construccin de indicadores para programas, que aunque pueden no corresponder exclusivamente al EVALA DF contribuye a tener control sobre la objetividad y calidad de la informacin que se genera.
114
115
Para algunas evaluaciones realizadas por el EVALUA DF y por evaluadores externos se detect la elaboracin de un documento en el que la dependencia o entidad valorada se compromete a dar seguimiento a las recomendaciones emitidas por EVALA DF como resultado de la evaluacin. ste especica las acciones que se efectuarn para atender las recomendaciones y el plazo de ejecucin. El Distrito Federal cuenta con estudios e investigaciones en materia de desarrollo social realizados entre 2001 y 2010 por sus dependencias o entidades, o por evaluadores externos. En la mayora de ellos se hizo el anlisis de una de sus problemticas de desarrollo social, la poblacin que la padece, causas, efectos y caractersticas. Sin embargo, slo algunos incluyen una propuesta de acciones que debieran ser llevadas a cabo para resolverla. Cabe mencionar que no se encontr evidencia del uso o de estos estudios para mejorar su poltica de desarrollo social. El Distrito Federal especica indicadores de gestin en las ROP de los programas sociales de desarrollo social y slo en algunos casos se incluyen indicadores de resultados. La informacin que se especica de los indicadores es su nombre, descripcin de lo que busca medir y en algunos casos frmula de clculo y unidad de medida, pero no se especica su frecuencia de medicin, lnea base y metas. No se detect documentacin sobre su medicin. Para el COPLADE no se identic evidencia de elementos en materia de evaluacin que hayan sido realizados.
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social del Distrito Federal, y la creacin de un organismo independiente de la operacin de la poltica en esta materia encargado de la tarea ha sido un factor clave para impulsar la implementacin de dichas acciones, las cuales han permitido avanzar hacia la integracin de un sistema de monitoreo y evaluacin de sus polticas y programas. Tanto el EVALA DF como el COPLADE tienen atribuciones de evaluacin, pero no se encontr informacin acerca de las facultades y acciones especcas de cada uno, ni un esquema de coordinacin de stos que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estas reas para el desarrollo de sus tareas. En el marco de la LDS vigente desde el ao 2000 se han efectuado evaluaciones a programas de desarrollo social estatales; es necesario hacer llegar la informacin del monitoreo y la evaluacin a los tomadores de decisin de manera prctica y sencilla para facilitarles su uso, en el caso de las evaluaciones externas desarrolladas, slo algunas cuentan con un resumen ejecutivo. Por otra parte, los elementos de monitoreo no se encuentran consolidados, si bien se establecen indicadores a nivel programa, la mayora de ellos cuenta nicamente con indicadores de gestin. Adems, no se identic evidencia de que se efecte una medicin peridica de estos ltimos, lo cual limita su utilizacin como una herramienta para mejorar la poltica.
116
Con base en esto, el reto que afronta el Distrito Federal es consolidar la ejecucin de los ejercicios de monitoreo y evaluacin y el uso de la informacin que se genera para mejorar la poltica y los programas de desarrollo social.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Distrito Federal: Se sugiere dar continuidad a la prctica de presupuestar por programa y extenderla a todos los programas, puesto que esto es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Si bien, algunos programas cuentan con ROP , es fundamental establecer y difundir criterios especcos y homogneos para su elaboracin y difusin, que tomen en cuenta los elementos de monitoreo y evaluacin. Es importante que estos criterios sean aplicables a todos los programas estatales. La divulgacin de las ROP permite transparentar el acceso a estos ltimos. Impulsar la creacin del padrn nico de beneciarios de los programas sociales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados por distintas dependencias y entidades, as como diferenciar los que provienen de la federacin y del Distrito Federal. Para que la informacin del monitoreo y la evaluacin sea usada por los tomadores de decisin es necesario presentarla de manera prctica y sencilla. La incorporacin de un resumen ejecutivo a las evaluaciones externas puede facilitar su utilizacin. Es necesario monitorear la evolucin en el tiempo de los indicadores de gestin y de resultados establecidos por programa de desarrollo social.
117
Durango
Su Ley de Desarrollo Social (LDS) establece la evaluacin de programas, proyectos y acciones de desarrollo social para reorientar y reforzar su poltica de desarrollo social. La LDS Instaura la creacin del Consejo Consultivo y de Evaluacin de Desarrollo Social como el encargado de llevar a cabo la evaluacin externa de los programas de desarrollo social del estado. No se especica si est dotado de autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin alineados a los ejes del Plan Estatal de Desarrollo 2011 2016, la ltima medicin disponible corresponde a 2010. No se detectaron evaluaciones de programas o de polticas estatales de desarrollo social o estudios en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Durango respecto del resto de las entidades:
100% 80.6%
80%
0% San Luis Potos Distrito Federal Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz Hidalgo Sinaloa Tlaxcala Baja California Sur Estado de Mxico Nuevo Len Guerrero Quertaro Morelos
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
118
119
indicadores de gestin de la institucin. Cabe sealar que no se observ la informacin que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se acuerda que las dependencias y entidades del Poder Ejecutivo Estatal y de los municipios deben publicar informacin de los programas como el tipo de apoyo otorgado y los criterios de elegibilidad de los beneciarios, la lista de los beneciarios de los programas de subsidio, que se deduce, incluyen lo social y en el caso de las dependencias y entidades del Poder Ejecutivo Estatal, los indicadores de gestin. No se detect el mandato de publicar la evaluacin. La LDS crea el Consejo Consultivo y de Evaluacin de Desarrollo Social (Consejo) como el organismo encargado de evaluar en forma externa el cumplimiento de las metas y objetivos de los programas de desarrollo social, su mbito de accin es estatal. La misma Ley instituye que la SEDESOE efectuar un sistema de evaluacin que permita conocer de manera integral y sistemtica la operacin y resultado de los programas, proyectos y acciones de desarrollo social. Tambin, el Comit de Planeacin para el Desarrollo (COPLADE) es responsable de planear, programar, formular, conducir y evaluar la poltica general del desarrollo econmico y social del estado. El Consejo es un organismo ajeno a la operacin de la poltica de desarrollo social conformado por 13 integrantes donde uno representa al Ejecutivo Estatal, (el Secretario de Desarrollo Social), que adems lo preside, un integrante de la Comisin Legislativa del H. Congreso, as como representantes de la reas de investigacin de las instituciones de educacin superior, y de organizaciones sociales y no gubernamentales, relacionadas con el desarrollo social. Aunque no se especica que el Consejo est dotado de personalidad jurdica, autonoma tcnica y de gestin, su integracin permite suponer que tiene autonoma de gestin al no formar parte la mayora de sus integrantes del rgano gubernamental. El Consejo est a cargo de evaluar en forma externa el cumplimiento de las metas y objetivos de los programas de desarrollo social. Atribuciones que no quedan comprendidas dentro del marco de accin de ste son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de su resultado y darles seguimiento, llevar a cabo estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente al Consejo, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
120
Para el estado no se identic el presupuesto por programa, aunque s el que corresponde por dependencia, la ltima informacin disponible es del ejercicio 2011. El primero es un factor que permite avanzar en la construccin de un presupuesto orientado a resultados, sin embargo, al no detectarse documentacin no es posible hacerlo. En la informacin que publica Durango no se identic aquella acerca de la creacin de programas nuevos, aunque cabe mencionar que normativamente no se detect el mandato de su elaboracin. El estado cuenta con ROP slo para algunos programas estatales de la SEDESOE con una estructura homognea que incluye informacin del objetivo del programa, poblacin objetivo, institucin responsable de su operacin, tipo de apoyo entregado y forma de hacerlo as como criterios para elegir a los beneciarios. Las ROP corresponden a 2009. Para el estado no se identicaron padrones de beneciarios publicados de programas de desarrollo social. Asimismo, no se detectaron evaluaciones realizadas a programas estatales de desarrollo social ni el uso de estudios o evaluaciones estatales para implementar acciones de mejora de la poltica en la materia; tampoco se detect informacin acerca de una planeacin de las evaluaciones de programas estatales. El estado cuenta con indicadores de resultados y de gestin para cada uno de los ejes del Plan Estatal de Desarrollo 2011-2016 en el documento Sistema Integral de Indicadores. stos se encuentran concentrados y la ltima medicin disponible corresponde a 2010. La informacin que se especica de los indicadores es nombre, frmula de clculo, unidad de medida y valor, no se detect informacin sobre la descripcin de lo que busca medir, unidad de medida, lnea base y metas. Es importante sealar que los indicadores se presentan a nivel temtico, por lo que no es posible conocer el avance por programa de desarrollo social. En cuando al Consejo no se detect evidencia de su funcionamiento ni de elementos en materia de evaluacin y monitoreo implementadas por la SEDESOE y el COPLADE.
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Durango. No se detectaron factores clave como el ente facultado para normar la evaluacin, generar un plan de las evaluaciones, emitir recomendaciones derivado de los resultados de las evaluaciones y su seguimiento., Sin embargo, la creacin de un organismo independiente de la operacin de la poltica de desarrollo social encargado de la tarea, puede ser el impulsor en materia de monitoreo y evaluacin. En el estado el Consejo Consultivo, la SEDESOE y el COPLADE tienen atribuciones de evaluacin, aunque no existe informacin especca sobre las que le corresponden a cada una, ni un esquema de coordinacin de acciones que delimite su quehacer particular, lo que no permite conocer la complementariedad o duplicidad que pudiera haber entre las reas mencionadas para el desarrollo de sus tareas.
121
A pesar de que la LDS determina desde 2005 elementos de planeacin y evaluacin para la poltica de desarrollo social del estado, no se detect evidencia de que stos se encuentren consolidados o iniciados en algunos casos. Adems, los instrumentos de monitoreo que se han realizado, si bien permiten hacer un seguimiento del ejercicio de los recursos, bienes y servicios entregados y de resultados, no permiten hacer un seguimiento a nivel programa. Por tanto, el reto que afronta ahora es el de implementar de manera estructurada los elementos de monitoreo y evaluacin que por Ley se estipulan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Durango: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas considerados en la materia, incluso, diferenciar los programas estatales de los federales. Si bien es claro que las intervenciones pblicas de la SEDESOE son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP , es fundamental establecer y difundir criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la divulgacin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado.
122
Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse, los tipos de evaluacin, las responsabilidades de los actores involucrados en el proceso, entre otros, con base en las prioridades de datos que requiera el estado.. Para realizarla, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se sugiere denir los mecanismos para impulsar el funcionamiento del Consejo.
123
Estado de Mxico
La Ley de Desarrollo Social (LDS) establece la evaluacin de las polticas, planes, programas, proyectos y acciones de desarrollo social para reorientar y reforzar su poltica en ese mbito. La LDS determina al Consejo de Investigacin y Evaluacin de la Poltica Social dotado de autonoma tcnica y de gestin como el encargado de realizar la evaluacin de la poltica de desarrollo social. El estado cuenta con indicadores de resultados y de gestin por dependencia, entidad y por programa presupuestario, sin embargo no se detect informacin de su medicin. Asimismo, el estado ha desarrollado estudios en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance del Estado de Mxico respecto del resto de las entidades:
100% 80.6% 68.5% 60%
80%
0% Guanajuato Aguascalientes San Luis Potos Distrito Federal Chihuahua Michoacn Oaxaca Jalisco Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz Hidalgo Sinaloa Tlaxcala Baja California Sur Estado de Mxico Nuevo Len Guerrero Quertaro Morelos
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
124
125
cin del programa, y en el mes de agosto, para emitir propuestas en la programacin y presupuestacin de ste en el ejercicio scal siguiente. Igualmente, se dispone que se lleven a cabo evaluaciones de cobertura, gasto, eciencia e impacto y que los programas de desarrollo social prioritarios deben evaluarse considerando, al menos, el cumplimiento del objetivo social, la poblacin objetivo, los indicadores de resultados, gestin y servicios y el impacto social y el benecio. Un aspecto que no se identic es si deber efectuarse una planeacin de las evaluaciones, con la cual puedan establecerse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan realizarse y los programas que sern sujetos de sta en el ejercicio scal. Se establece la integracin del Sistema Estatal de Indicadores de Desarrollo Social y Humano a cargo del Consejo de Investigacin y Evaluacin de la Poltica Social (CIEPS) cuyo propsito es medir la poltica de desarrollo social del estado y de los municipios. Si bien, no se especica el tipo de indicadores que integra este Sistema, por el objetivo puede asumirse que se trata de indicadores de resultados. No se detect la informacin de stos que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. Tambin se seala que los programas presupuestarios, deben contar con indicadores de resultados y de gestin, que permitan dimensionar los resultados alcanzados de cada ao scal. Cada uno de ellos debe tener una cha tcnica en la que se especique su nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin y meta; no encontr el mandato de incluir su lnea base. En materia de difusin se dispone la publicacin de las ROP y de los padrones de beneciarios de los programas de desarrollo social por parte de las dependencias y entidades del Poder Ejecutivo Estatal y de los municipios, no as del padrn nico de beneciarios. Adems se asienta que el CIEPS tiene la atribucin de difundir los resultados de sus estudios, investigaciones y proyectos, aunque no especica respecto a las evaluaciones y los indicadores. La LDS crea el CIEPS como el organismo encargado de evaluar la poltica de desarrollo social del estado, que comprende las polticas, planes, programas, proyectos y acciones de desarrollo social. Su mbito de accin es a nivel estatal. La misma Ley otorga facultades de evaluacin al Auditor Especial, al Comit de Planeacin para el Desarrollo del estado (COPLADEM) y a los Comits de Planeacin para el Desarrollo Municipal (COPLADEMUN) en el mbito de sus competencias. Tambin, la Secretara de Finanzas a travs de la Subsecretara de Planeacin y Presupuesto, es la responsable de realizar la evaluacin de los programas presupuestarios, mediante la vericacin del grado de cumplimiento de objetivos y metas, con base en indicadores estratgicos y de gestin, y de emitir las recomendaciones correspondientes.
126
El CIEPS es un organismo ajeno a la operacin de la poltica de desarrollo social, dotado de autonoma tcnica y de gestin, sectorizado a la SEDESEM. Est conformado por nueve integrantes, un presidente que es titular de la SEDESEM; un Secretario Ejecutivo, un representante de la Secretara de Contralora y seis vocales que sern los Secretarios de Finanzas y de las Secretaras relacionadas al tema social. El organismo est a cargo de evaluar las polticas, planes, programas, proyectos y acciones de desarrollo social implementados por el gobierno estatal. Adems, est facultado para emitir recomendaciones derivado de las evaluaciones, llevar a cabo estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales. Atribuciones que no quedan comprendidas dentro del marco de accin del CIEPS son normar la evaluacin, elaborar la planeacin de las evaluaciones y participar en la construccin de indicadores para programas, que si bien pueden no corresponder exclusivamente al CIEPS contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
127
incluyen una propuesta de acciones que debieran ser llevadas a cabo para resolverla. Cabe mencionar que no se encontr evidencia del uso o de estos estudios para mejorar la poltica sobre la materia. El estado posee indicadores de resultados y de gestin por dependencia y entidad en el Sistema Integral de Evaluacin del Desempeo, los cuales se encuentran concentrados y sistematizados, la ltima medicin disponible corresponde a 2011. La informacin que se reporta es nombre, frmula de clculo, descripcin de lo que busca medir y valor. Sin embargo, no se detect informacin sobre la unidad de medida, lnea base y metas. Estos indicadores no permiten conocer el avance por programa de desarrollo social. Asimismo, el estado cuenta con indicadores de resultados y de gestin organizados en matrices de indicadores por programa para las dependencias y entidades. Estas matrices coinciden con la estructura presentada en el PEE. Sin embargo, no es claro si por programa se reere a un conjunto de acciones alineadas para alcanzar un objetivo (resultado) o a una categora de la estructura programtica. La informacin que se especica de estos indicadores es nombre, descripcin de lo que busca medir, frmula de clculo y frecuencia; no se incluye informacin sobre la unidad de medida, lnea base, y metas. El CIEPS se encuentra en funcionamiento. No se encontr evidencia de instrumentos en materia de evaluacin implementadas por el COPLADEM, los COPLADEMUN y la SF.
Conclusiones
Normativamente en la LDS en el RLDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social del Estado de Mxico. Si bien, no se detectaron elementos clave como la instancia facultada para normar la evaluacin o el de realizar una planeacin de las evaluaciones, la existencia de un organismo independiente de la operacin de la poltica de desarrollo social encargado de la tarea, ha permitido impulsar instrumentos en materia de monitoreo y evaluacin. En el estado, el CIEPS, el Auditor Especial, el COPLADEM, los COPLADEMUN y la SF tienen atribuciones de evaluacin, pero no se observ informacin acerca de las facultades y acciones especcas de cada uno y slo para los cuatro primeros se determina un esquema que busca coordinar y delimitar el quehacer de cada actor. Un elemento que destaca es el planteamiento de recomendaciones vinculantes, sin embargo, no est claramente establecido el responsable de vericar la vinculacin de las recomendaciones. Asimismo, la elaboracin de estudios de desarrollo social es un aspecto importante que permite complementar la documentacin de las evaluaciones. Hasta ahora, el Estado de Mxico ha impulsado la realizacin de ejercicios de monitoreo y evaluacin de desarrollo social dirigidos a dar seguimiento a los recursos ejercidos, los bienes y servicios entregados y de los resultados alcanzados. Si bien, el CIEPS se encuentra en funcionamiento el reto que afronta ahora es el de implementar los elementos que establece la normativa, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
128
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en el Estado de Mxico: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, que denan los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien, el PEE decide los recursos para el Sector Desarrollo Social, no es claro qu se considera dentro de este rubro. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Si bien, algunos programas cuentan con ROP , es fundamental extender esta prctica a todos. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin del estado, y los tipos de evaluacin que existen. Cabe sealar que la LDS estipula que la evaluacin debe realizarse al menos dos veces al ao, por lo que se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo y no de un ejercicio scal a otro. Es importante identicar indicadores de gestin y de resultados por para conocer de manera individual sus resultados y en su caso, tomar las decisiones acerca de su impulso, modicacin o cancelacin. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia.
129
Guanajuato
La Ley de Desarrollo Social para el estado y los municipios de Guanajuato (LDS) establece la evaluacin de la poltica, los programas y las acciones de desarrollo social para mejorar su desarrollo humano. La LDS determina que la evaluacin de la poltica de desarrollo social est a cargo de la Secretara de Desarrollo Social y Humano. El estado cuenta con indicadores de resultados en materia de educacin, la ltima medicin disponible corresponde al ciclo escolar 2009-2010. Tambin tiene indicadores de resultados y de gestin para programas y acciones de desarrollo social en el PEE 2011 y para los ejes del Plan de Gobierno 2006 2012, en el caso de estos dos ltimos no se detect informacin de su medicin. El estado ha realizado estudios de desarrollo social, pero no se encontraron evaluaciones a programas o de polticas estatales de desarrollo social.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Guanajuato respecto al resto de las entidades federativas:
100% 80.6%
Promedio nacional 44.4% 44.4% Promedio Nacional
80%
60%
54.6%
0% San Luis Potos Distrito Federal Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz Hidalgo Sinaloa Tlaxcala Baja California Sur Estado de Mxico Nuevo Len Guerrero Quertaro Morelos
Fuente: CONEVAL,2011
130
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
131
para la denicin de zonas de atencin prioritaria, las cuales a su vez sern usadas para la asignacin de los recursos. Un aspecto que no se identic es si deber realizarse una planeacin de las evaluaciones, en la cual puedan jarse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan llevarse a cabo, su frecuencia y los programas que sern sujetos de sta. La LDS instituye que los programas sociales debern incluir en las ROP los indicadores de resultados, gestin y servicios para medir su cobertura, calidad e impacto. No obstante, no se identic la informacin de stos que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin, se conviene la publicacin de las ROP , del padrn nico de beneciarios y de la evaluacin. Cabe sealar que aun cuando se solicita incluir los indicadores de resultados, gestin y servicios en las ROP , no se detect de manera directa el mandato de su publicacin. La LDS dispone que SEDESHU es la encargada de la evaluacin de la poltica de desarrollo social mediante la Direccin General de Planeacin y Evaluacin. Su mbito de accin se instaura a nivel estatal. La Direccin General de Planeacin y Evaluacin forma parte de la estructura orgnica del Poder Ejecutivo Estatal y es ajena a la operacin de la poltica social. La Direccin General de Planeacin y Evaluacin est a cargo de planear, disear y evaluar las estrategias, programas, proyectos y acciones en materia de desarrollo social y humano. De la misma manera, est facultada para emitir lineamientos para la evaluacin de los programas sociales impulsados por la SEDESHU y por otras instancias involucradas en procesos de desarrollo comunes, participar en la construccin de indicadores de resultados, realizar estudios en la materia y brindar asesora en temas relacionados a otras instancias gubernamentales. Atribuciones que no quedan comprendidas dentro del marco de accin de esta rea son llevar a cabo una planeacin de las evaluaciones y emitir recomendaciones derivado de sus resultados, que aunque pueden no corresponder exclusivamente a la SEDESHU contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera. Cabe mencionar que se precisa que se debe emitir recomendaciones derivado de las evaluaciones, sin embargo, no se identica al actor encargado de la tarea.
132
El estado publica el presupuesto asignado a algunos programas de desarrollo social la SEDESHU, Secretara de Educacin (SE), Secretara de Desarrollo Agropecuario, Secretara de Desarrollo Econmico, Sistema Estatal para el Desarrollo Integral de la Familia (DIF), Comisin Estatal del Agua, Instituto de Ecologa, Instituto de Salud Pblica y de la Comisin Estatal del Deporte y Atencin a la Juventud. La ltima informacin disponible es del ejercicio 2011. El planteamiento de un presupuesto por programa es un factor que permite avanzar en la construccin de uno que est orientado a resultados, pero al no detectarse informacin para todos los programas no es posible hacerlo. El estado cuenta con ROP slo para algunos programas estatales a cargo de la SEDESHU y del DIF, con una estructura homognea que incluye informacin del objetivo del programa, poblacin objetivo, institucin responsable de su operacin, el tipo de apoyo entregado y la forma de hacerlo, as como los criterios para elegir a los beneciarios. Las ROP de la SEDESHU corresponden a 2010 y las del DIF a 2011. El estado posee un padrn nico de beneciarios de los programas de desarrollo social del estado a cargo de la SEDESHU. ste incorpora datos sobre el responsable de su actualizacin, el nombre del beneciario, una clave nica de identicacin para cada uno, su ubicacin geogrca, el programa del cual recibe apoyo y el tipo de apoyo. El padrn se encuentra actualizado a 2011. Para Guanajuato no se identic informacin de evaluaciones realizadas a programas estatales, del uso de evaluaciones estatales para llevar a cabo acciones de mejora de la poltica de desarrollo social, ni de la elaboracin de una planeacin de las evaluaciones de programas estatales. Cabe mencionar que de acuerdo con la informacin del estado, se encuentra en proceso de elaboracin una evaluacin de impacto de la estrategia Contigo Vamos por Ms a cargo de un evaluador externo y coordinada por la SEDESHU. El estado tiene estudios en materia de desarrollo social desarrollados en 2009 por universidades, y coordinados por la SEDESHU en los que se hace el anlisis de una problemtica de desarrollo social y de la poblacin que la padece. Estos estudios tambin integran una propuesta de acciones que debieran llevarse a cabo como resultado de los hallazgos identicados. Cabe mencionar que no se encontr evidencia del uso o de estos estudios para mejorar su poltica de desarrollo social. De la misma manera, en la pgina de internet de la SE existen anlisis en el tema de desarrollo social efectuados por organismos externos al Poder Ejecutivo Estatal, sin embargo, no se detect que la SE haya participado en su realizacin. El estado cuenta con indicadores de resultados en el Sistema de Consulta de Histrico de Indicadores Educativos de nivel prescolar hasta nivel superior, los cuales estn concentrados y sistematizados, la ltima medicin disponible corresponde al ciclo escolar 2009-2010. La informacin que se reporta es nombre del indicador, descripcin de lo que busca medir, y mtodo de clculo. No obstante, no se detect documentacin sobre su frecuencia de medicin, lnea base y metas.
133
Tambin tiene indicadores de resultados y de gestin en el PEE 2011 alineados a programas de desarrollo social o a acciones en la materia, los datos que se presentan son su nombre y meta. Tambin estn los de resultados y de gestin para cada uno de los ejes del Plan de Gobierno 2006-2012, de los que slo se especica su nombre. Para los del PEE y del Plan de Gobierno no se detect informacin de su medicin. Por otra parte, el Instituto de Planeacin (IP) posee un Sistema de Indicadores para el Desarrollo del estado de Guanajuato en Poblacin y Desarrollo que concentra informacin de censos, metas del milenio, indicadores del CONEVAL, del CONAPO y de migracin. Es importante subrayar que los indicadores mencionados se presentan a nivel temtico, por lo que no es posible conocer el avance por programa de desarrollo social. En cuanto a la Direccin General de Planeacin y Evaluacin, no se detect evidencia de instrumentos implementados en materia de evaluacin.
Conclusiones
Normativamente en la LDS y en la LAIP se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Guanajuato. A pesar de esto, no se encontraron factores clave como generar una planeacin de las evaluaciones, el responsable de emitir recomendaciones derivado de los evaluaciones y de su seguimiento, as como la asignacin de esta tarea a un rea con autonoma tcnica independiente de la operacin de los programas que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. Las reformas a la LDS concertaron el mandato de evaluar la poltica y los programas de desarrollo social del estado a partir de 2009, no obstante, no se identicaron evaluaciones realizadas, y los instrumentos de monitoreo implementados se encuentran desarticulados, por lo que no contribuyen a un monitoreo integral de su poltica y programas de desarrollo social. El reto que afronta Guanajuato es el de desarrollar los elementos de monitoreo y evaluacin que por Ley se estipulan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin algunas sugerencias para Guanajuato: Para determinar elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la diferenciacin de programas estatales de los federales. Si bien es claro que las intervenciones pblicas de la SEDESHU son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales.
134
Dar continuidad a la prctica de presupuestar por programa y extenderla a todos los programas, puesto que esto es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP , es fundamental extender esta prctica a todos los programas. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a estos. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse, los tipos de evaluacin, las responsabilidades de los actores involucrados en el proceso, entre otros, con base en las prioridades de datos que requiera el estado. Para su planeacin, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados para todos los programas de desarrollo social a n de conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones de las evaluaciones.
135
Guerrero
La Ley Nmero 102, para el Desarrollo Social del estado de Guerrero (LDS) establece la evaluacin de las acciones, proyectos y programas de la poltica de desarrollo social para garantizar que las acciones se traduzcan en mejores condiciones de vida de la poblacin. Dispone la creacin de tres organismos como encargados de la evaluacin de la poltica de desarrollo social: el Consejo Guerrerense para el Desarrollo Social y Superacin de la Pobreza, la Comisin Intersecretarial para el Desarrollo Social y la Comisin Tcnica Estatal para la Medicin de la Pobreza. Sin embargo, no se detect un esquema de coordinacin entre estos actores. Adems, la Ley Nmero 454 de Presupuesto y Disciplina Fiscal (LPDF) determina como atribucin de la Secretara de Finanzas y Administracin la evaluacin del desempeo de los planes, programas y proyectos contenidos en su Presupuesto de Egresos. El estado cuenta con indicadores de resultados y de gestin para programas presupuestarios, sin embargo, no se encontr informacin de su medicin. Asimismo, el estado ha realizado ejercicios de evaluacin de programas de desarrollo social estatales. No se encontraron estudios estatales en esta materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Guerrero respecto al resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
60%
52.8%
0% Distrito Federal Chihuahua Michoacn Oaxaca Aguascalientes Sonora Puebla Chiapas Nayarit Coahuila Tamaulipas Baja California San Luis Potos Hidalgo Sinaloa Tlaxcala Baja California Sur Estado de Mxico Nuevo Len Guanajuato Guerrero Jalisco Tabasco Quintana Roo Colima Campeche Quertaro Yucatn Zacatecas Durango Veracruz Morelos
Fuente: CONEVAL,2011
136
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin los hallazgos por cada componente.
137
La LDS establece la realizacin de la evaluacin de las acciones, proyectos y programas de la poltica de desarrollo social para garantizar que las acciones se traduzcan en mejores condiciones de vida de la poblacin. Tambin, se acuerda la evaluacin anual del desempeo, la cual deber vericar el grado de cumplimiento de los objetivos y metas de los programas, polticas pblicas, as como el quehacer de las instituciones, que se deduce, incluye lo social; para esta evaluacin se especica que se deber dar seguimiento a sus resultados pero no se identic el actor responsable de esta tarea. De la misma manera, se establece que las evaluaciones del desempeo podrn ser realizadas por evaluadores externos y ser publicadas, para lo cual deben incluir los datos generales de la unidad administrativa responsable del programa evaluado, los del evaluador, la fuente de nanciamiento, el tipo de evaluacin contratada, sus objetivos, una nota metodolgica con la descripcin de las tcnicas y los modelos utilizados, y un resumen ejecutivo en el que se describan los principales hallazgos y recomendaciones del evaluador. La ejecucin de la evaluacin de desempeo comprende la elaboracin de un programa anual de evaluaciones, en el que se detalle el nmero y tipo de aquellas a implementar en el ejercicio scal; sin embargo, no se identic al actor responsable de esta tarea. Se dispone que se debe contar con indicadores para la poltica de desarrollo social, mas no se observ si se reere a indicadores de resultados o de gestin ni al actor responsable de su construccin. Asimismo, se determina que la evaluacin de desempeo se efectuar con base en indicadores estratgicos y de gestin, y que debe elaborar una matriz de Marco Lgico, lo cual implica el desarrollo de indicadores de resultados y de gestin, pero no se especic al actor responsable de la tarea. En materia de difusin se instituye la publicacin de las ROP y de la evaluacin de desempeo. No se detect este mandato para los padrones de beneciarios, y aun cuando se dispone que la evaluacin se har con base en indicadores, no identic de manera directa el mandato de la publicacin de stos. La LDS crea tres organismos como encargados de evaluar la poltica de desarrollo social del estado el Consejo Guerrerense para el Desarrollo Social y Superacin de la Pobreza (Consejo), la Comisin Intersecretarial para el Desarrollo Social (Comisin) y la Comisin Tcnica Estatal para la Medicin de la Pobreza (Comisin Tcnica). No se detect informacin especca sobre el mbito de accin de estas instancias. La misma Ley ja que la Secretara de Desarrollo Social (SEDESOLG), normar y coordinar la formulacin y evaluacin de la poltica social de estado. Asimismo, la LPDF asienta que la SEFINA mediante una instancia tcnica de evaluacin del desempeo, realizar anualmente la evaluacin de los planes, programas y proyectos contenidos en el PEE de las dependencias y entidades del estado. Tambin, el COPLADEG tiene como atribucin evaluar la ejecucin del Plan Sexenal de Desarrollo, buscando su congruencia con los programas del gobierno federal, que incidan en la entidad, para coadyuvar al oportuno cumplimiento de sus objetivos y metas.
138
El Consejo, la Comisin y la Comisin Tcnica son ajenos a la operacin de la poltica de desarrollo social, sin embargo, no se deni si estn dotados de autonoma tcnica y de gestin. El Consejo est integrado por un Presidente (Gobernador del estado), un Secretario Ejecutivo (titular de la SEDESOLG), un Secretario Tcnico que ser el titular de la SEDESOLG y Consejeros representantes de las dependencias estatales vinculadas al desarrollo social, del Congreso del estado y de los municipios, adems de que podrn participar instituciones acadmicas, campesinas, empresariales, entre otras. Por su parte, la Comisin est integrada por un Coordinador (titular de la SEDESOLG) y los titulares de las dependencias vinculadas al desarrollo social y el de la SEFINA. Por ltimo, la Comisin Tcnica est conformada por acadmicos, investigadores y analistas de instituciones acadmicas, institutos y dependencias estatales y federales vinculadas con la observacin, anlisis y estudios de temas relacionados con la pobreza. El Consejo est a cargo de evaluar los resultados e impactos de la poltica de desarrollo social en trminos de sus principios, estrategia y objetivos. La Comisin es responsable de evaluar interdisciplinariamente, los programas estatales para el desarrollo social y superacin de la pobreza en la entidad y la Comisin Tcnica se ocupa de evaluar el impacto de los programas y acciones de la poltica de desarrollo social en las condiciones de pobreza que padecen sus beneciarios directos y para realizar estudios de desarrollo social. Atribuciones que no quedan comprendidas dentro del marco de accin de estos organismos son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de sus resultados, participar en la construccin de indicadores para programas y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a estas instancias contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
139
rios para elegir a los beneciarios. La mayora de las ROP corresponden a 2008, pero tambin se encontraron para un programa de 2010 y otro de 2011. El estado cuenta con padrones de beneciarios de los programas Madres Solteras y Capacidades Diferentes para 2011, sin embargo, no se encontr informacin sobre la dependencia a la que pertenecen. En ellos, se identica el nombre del beneciario, su ubicacin geogrca, el programa del cual recibe apoyo y el tipo de apoyo; diere la informacin sobre el responsable de integrar el padrn y otras de sus caractersticas. Se ubicaron dos evaluaciones a programas de desarrollo social, las cuales fueron realizadas en 2008 por evaluadores externos y coordinadas por la SDR. Los informes de stas son heterogneos, si bien, las dos incorporan informacin sobre su objetivo, la metodologa usada, los principales resultados y las recomendaciones derivadas de stas, diere aquella sobre los responsables de operar el programa evaluado, los datos del responsable de efectuar la evaluacin, su costo y contar con un resumen ejecutivo. De acuerdo con el estado, se retomaron las recomendaciones y resultados de una de las evaluaciones para mejorar aspectos del diseo del programa. Cabe mencionar que no se detect evidencia del uso de estudios para llevar a cabo acciones de mejora de la poltica de desarrollo social o de una planeacin de las evaluaciones de los programas. El estado tiene indicadores de resultados y de gestin concentrados y sistematizados en el Sistema de Evaluacin del Desempeo de la Gestin Gubernamental. De acuerdo con l estado, este sistema tiene integradas 59 matrices de indicadores de programas presupuestarios, sin embargo, no es claro si por programa se reere a un conjunto de acciones alineadas para alcanzar un objetivo (resultado) o a una categora de la estructura programtica. Este sistema no es pblico, por lo que no fue posible identicar la documentacin que contiene ni la medicin de los indicadores. En cuando a los organismos evaluadores, no se detect evidencia del funcionamiento del Consejo, la Comisin ni de la Comisin Tcnica, ni tampoco de elementos en materia de evaluacin implementados por el COPLADEG.
Conclusiones
Normativamente en la LDS, la LPDF y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Guerrero. No obstante, estos factores vienen de distintas instancias por lo que es necesario estructurarlos de manera articulada para que puedan ejecutarse de manera integral y coordinada. En el estado diversas instancias cuentan con atribuciones de evaluacin, pero no existe mayor informacin acerca de las facultades especcas, ni un esquema de coordinacin entre stas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estas reas para el desarrollo de sus tareas. Llama la atencin que en el caso del Consejo y la Comisin algunos de los integrantes se duplican.
140
Si bien tiene una LDS vigente desde 2004, no se encontr evidencia de la implementacin de los elementos de monitoreo y evaluacin que se establecen. Otras instancias de Guerrero ajenas a la LDS han impulsado el desarrollo de instrumentos en la materia dirigidos a hacer un seguimiento del ejercicio de los recursos, de bienes y servicios entregados y de resultados alcanzados. El reto que afronta ahora es el de desarrollar los elementos de monitoreo y evaluacin que por Ley se estipulan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerar se en Guerrero: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la diferenciacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDESOL son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales Dar continuidad a la prctica de presupuestar por programa y extenderla a todos los programas, puesto que esto es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos en el que se analice la problemtica que se busca resolver y se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP , es fundamental establecer y difundir criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de stos. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin de un padrn nico de beneciarios de los programas sociales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden acordarse adems criterios y lineamientos de manera que la informacin que integra al padrn sea homognea.
141
Es importante determinar indicadores de gestin y de resultados por programa de desarrollo social bajo el entendido de que un programa es entendidos como un conjunto de acciones alineadas para alcanzar un objetivo (resultado). Esto para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Aun cuando se identicaron matrices de indicadores por programas para las dependencias y entidades, no es claro si por programa se reere a una categora de la estructura programtica. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para hacer utilizar la que produce el estado en esta materia.
142
Hidalgo
La Ley de Desarrollo Social del estado de Hidalgo (LDS) establece la evaluacin de los programas y proyectos de desarrollo social con el objetivo de reorientar y reforzar la poltica de desarrollo social. La LDS determina la creacin del Consejo Estatal de Desarrollo Social como el encargado de evaluar y dar seguimiento a la operacin y resultados de los programas y proyectos de desarrollo social. No se especica si est dotado de autonoma tcnica y de gestin. No se detectaron indicadores de gestin o resultados para el estado, evaluaciones de programas o de polticas de desarrollo social ni estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance del estado de Hidalgo respecto del resto del pas:
100% 80.6%
80%
0% Distrito Federal Estado de Mxico Aguascalientes Baja California Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Tabasco Sonora Quintana Roo Puebla Colima Campeche Quertaro Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Veracruz San Luis Potos Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
143
144
to de Egresos (PEE) 2011 se menciona un programa anual de evaluacin, su elaboracin no se reri como atribucin especca de alguna dependencia o entidad. La LDS establece que para la evaluacin de los programas sociales se deben considerar los indicadores de resultados, gestin y servicios. No obstante, no se encontr al encargado de construirlos ni la informacin correspondiente que deber reportarse como nombre del indicador, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. Asimismo, el PEE 2011 dispone que la evaluacin del desempeo deber vericar el grado de cumplimiento de los objetivos y metas de los programas, polticas pblicas, y las instituciones, basndose en indicadores estratgicos y de gestin, sin embargo, cabe aclarar que la vigencia de este Decreto es anual. En materia de difusin se acuerda la publicacin de las ROP y de los resultados la evaluacin, no as para el padrn nico de beneciarios. Cabe sealar que aun cuando se solicita considerar los indicadores de resultados, gestin y servicios de los programas para su evaluacin, no se detect de manera directa el mandato de su publicacin. La LDS crea el Consejo Estatal de Desarrollo Social (Consejo) como el organismo encargado de evaluar los programas y proyectos de la poltica de desarrollo social del Poder Ejecutivo Estatal y de los municipios. La misma Ley determina que la evaluacin tambin estar a cargo del Comit de Planeacin para el Desarrollo del estado (COPLADEHI) y los Comits de Planeacin para el Desarrollo Municipal (COPLADEM) en el mbito de sus competencias con el apoyo de evaluadores externos. Tambin, se estipula que la Direccin General de Vinculacin y Apoyo Tcnico para el Desarrollo Social y Humano de la SEDESO debe instaurar un sistema de seguimiento, control y evaluacin peridica que permita registrar el avance fsico, nanciero de metas e impacto en la calidad de vida de la poblacin del estado. La Secretara de Planeacin y Desarrollo Regional (SEPLADER) es responsable de evaluar los resultados de la ejecucin del Plan Estatal de Desarrollo, que en el mbito estatal compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal, y de los programas que de l se deriven. El Consejo es un organismo conformado por los responsables de la operacin de la poltica de desarrollo social y por otros integrantes aunque no forma parte de la estructura orgnica de una dependencia o entidad. Lo integran el Gobernador del estado (quien lo preside), un secretario ejecutivo (titular de la SEDESO; los titulares de las dependencias del estado de todos los sectores y el Sistema para el Desarrollo Integral de la Familia (DIF); integrantes del Congreso del estado; los 84 presidentes municipales; un secretario tcnico; los delegados de las dependencias federales relacionadas con el desarrollo social, y representantes de organizaciones civiles, de la iniciativa privada y de instituciones acadmicas. Se subraya que no se determin si el Consejo est dotado de autonoma tcnica y de gestin.
145
El Consejo evala y da seguimiento a la operacin y resultados de los programas y proyectos de desarrollo social que implementen los gobiernos estatal y municipal, adems emite recomendaciones derivado de las evaluaciones. Atribuciones que no quedan comprendidas dentro de su marco de accin son normar la evaluacin, realizar la planeacin de las evaluaciones, el seguimiento a las recomendaciones, efectuar estudios de desarrollo social y asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente al Consejo, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
146
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Hidalgo. A pesar de esto, no se detectaron factores clave como el ente facultado para normar la evaluacin, generar un plan de las evaluaciones y el seguimiento a las recomendaciones. No obstante, la creacin de un organismo encargado de la tarea puede ser el impulsor en materia de monitoreo y evaluacin. Aun cuando el Consejo es un organismo conformado por los tomadores de decisin en materia de desarrollo social en la entidad, e incluso, cuenta con el liderazgo del Gobernador de la entidad, lo cual es clave para el xito de las tareas de monitoreo y evaluacin, la direccin de la evaluacin sin un rgano tcnico de apoyo, es un reto importante debido a las prioridades y funciones que desempea cada miembro del Consejo. Por ende, se debe tener en cuenta que debido al nmero de integrantes de ste se deben generar mecanismos ecientes que faciliten la toma de decisiones al interior y la ejecucin de sus atribuciones. Adems del Consejo, el COPLADEHI, los COPLADEM, la Direccin General de Vinculacin y Apoyo Tcnico para el Desarrollo Social y la SEPLADER tienen atribuciones de evaluacin, pero no existe informacin especca sobre las que le corresponden a cada uno, ni un esquema de coordinacin de acciones que delimite su quehacer, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre las reas mencionadas para el desarrollo de sus tareas. Desde 2006 el estado posee una LDS, pero no se detect evidencia de la existencia del Consejo, o de las acciones de monitoreo y evaluacin que se hayan llevado a cabo para los programas y polticas. Adems, los elementos implementados en materia de ejecucin de los programas se encuentran desarticulados, por lo que no contribuyen a un ejercicio integral. Por tanto, el reto que afronta Hidalgo es de es estructurar dichos elementos de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Hidalgo: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDESO son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos los programas, ya que es necesario para presupuestar con base en los resultados, considerando
147
que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP , es fundamental establecer criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de datos que requiera el estado, los tipos de evaluacin, las responsabilidades de los actores involucrados en el proceso, entre otros. La LDS estipula que la evaluacin debe realizarse anualmente, por lo que para su planeacin, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante determinar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para usar la que produce el estado en materia de monitoreo y evaluacin, como el seguimiento a las recomendaciones de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento del Consejo.
148
Jalisco
La Ley de Desarrollo Social del estado de Jalisco (LDS) establece la evaluacin de la poltica de desarrollo social y del funcionamiento del Sistema Estatal de Desarrollo Social, sin embargo, no se detect el establecimiento del objetivo de sta. La LDS determina la creacin del Consejo Estatal de Desarrollo Social como el encargado de evaluar la poltica de desarrollo social y el funcionamiento del Sistema Estatal de Desarrollo Social. No se especica si est dotado de autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin por temas y por programa sectorial del estado, la ltima medicin disponible corresponde a 2011. Asimismo, ha realizado evaluaciones a programas de desarrollo social. No se detectaron estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Jalisco respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
60%
51.9%
0% Nayarit Baja California Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Tamaulipas Durango Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
149
150
reeren al cambio en las condiciones de vida de la poblacin y los de gestin a la entrega de bienes y servicios, procesos y los relacionados con informacin presupuestal. En materia de difusin se establece la publicacin de las ROP , los padrones de beneciarios y de la evaluacin. La LDS crea el Consejo Estatal de Desarrollo Social como el organismo encargado de realizar la evaluacin de la poltica estatal de desarrollo social. Su mbito de accin se instaura a nivel estatal debido a que los municipios deben hacer la evaluacin de la poltica municipal. De la misma manera, el Comit de Planeacin para el Desarrollo del estado (COPLADE) es el encargado de coordinar el control y evaluacin del Plan Estatal de Desarrollo, que en el mbito estatal compatibiliza los esfuerzos que lleven a cabo los gobiernos federal, estatal y municipal. El Consejo es un organismo ajeno a la operacin de la poltica de desarrollo social, conformado por 10 integrantes: el Secretario de Desarrollo Humano (quien lo presidir), un secretario tcnico, y por consejeros ciudadanos, dos que participen en organizaciones sociales, dos que cuenten con experiencia acadmica en desarrollo social, dos del sector privado, y dos miembros que participen en sindicatos de trabajadores con representacin en el estado. Aunque no se especica que el Consejo est dotado de personalidad jurdica, autonoma tcnica y de gestin, su integracin permite suponer que tiene autonoma de gestin al no formar parte del rgano gubernamental la mayora de sus integrantes. El Consejo est a cargo de la evaluacin anual tanto de la poltica estatal de desarrollo social como del funcionamiento del Sistema Estatal de Desarrollo Social. Adems, est facultado para efectuar estudios de la materia. Atribuciones que no quedan comprendidas dentro del marco de accin del Consejo son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de sus resultados, participar en la construccin de indicadores para programas y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente al Consejo contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
151
tregado y la forma de hacerlo, as como los criterios para elegir a los beneciarios. Las ROP de la SDH corresponden a 2011 y las de la SE varan de los aos que van de 2009 a 2011. El estado tiene padrones de beneciarios de programas de la SDH, en los cuales es posible identicar el nombre del beneciario, su ubicacin geogrca, el programa del cual recibe apoyo y el tipo de apoyo, aunque no siempre el responsable de integrar el padrn y otras de sus caractersticas. Su temporalidad vara entre los aos que van de 2007 a 2011. Se registraron evaluaciones realizadas por el estado a programas de desarrollo social en 2009 por evaluadores externos y coordinadas por la Coordinacin General de Polticas Pblicas. Los informes de stas incluyen informacin sobre los responsables de operar el programa evaluado, el objetivo de la evaluacin, la metodologa usada, los principales resultados, las recomendaciones derivadas de stos y cuentan con un resumen ejecutivo. No obstante, no se establecen los datos de contacto del responsable de llevarla a cabo ni su costo. Hay evidencia de que el estado elabor un documento a n de planear el seguimiento a los resultados de las evaluaciones, pero no se encontr informacin sobre la ejecucin de este plan. Tambin, se registraron evaluaciones hechas por la Secretara de Planeacin, dos de ellas al Plan Estatal de Desarrollo 2030 y una al Plan Estatal de Desarrollo 2007. En los informes se determina el objetivo de la evaluacin, la metodologa usada y los principales resultados. No se detect documentacin acerca de los responsables de efectuarla y las recomendaciones derivadas de los resultados. Tampoco se identic evidencia del uso de estas evaluaciones para mejorar la poltica o los programas de desarrollo social. Por ltimo, cabe mencionar que no se observ el uso de estudios para realizar acciones de mejora de la poltica de desarrollo social ni de una planeacin de las evaluaciones de programas estatales. El estado cuenta con indicadores de resultados y de gestin concentrados y sistematizados en el Tablero de Indicadores del Desarrollo del estado de Jalisco, stos se reportan por tema as como por programa sectorial, la ltima medicin disponible corresponde 2011. La informacin disponible de los indicadores es nombre, descripcin de lo que buscan medir, frmula de clculo, frecuencia de medicin, lnea base y metas. Es importante sealar que los indicadores se presentan a nivel temtico, por lo que no es posible conocer el avance por programa. Asimismo, se mantiene un seguimiento mensual a la ejecucin de los programas operativos anuales de las dependencias del Poder Ejecutivo del estado mediante el Sistema de Seguimiento de Proyectos y Programas Estatales, el cual permite conocer sus caractersticas y metas de gestin. En cuanto al Consejo no se identic evidencia de su funcionamiento ni de instrumentos en materia de evaluacin implementados por el COPLADE.
152
Conclusiones
En la LDS y en la LTIP se establecen elementos que generan acciones de monitoreo y evaluacin de Jalisco. Si bien no se detectaron factores clave como el responsable de normar la evaluacin o el de realizar una planeacin de las evaluaciones, un elemento el impulsor en materia de monitoreo y evaluacin puede ser la creacin de un organismo independiente a la operacin de la poltica de desarrollo social que funja como el encargado de la tarea. Cabe mencionar que aun cuando se establece la evaluacin de la poltica de desarrollo social, no se indica su objetivo nal, lo cual limita la vinculacin entre la evaluacin y el uso que pueda darse de sus resultados, por ejemplo, para mejorar la poltica de desarrollo social o para asignaciones presupuestales. De la misma manera, no se indica la evaluacin a nivel programas, lo que limita el seguimiento de las intervenciones gubernamentales de manera desagregada. Por otra parte tanto el Consejo como el COPLADE tienen atribuciones de evaluacin, pero no existe mayor informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin entre stos que delimite el quehacer de cada uno, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. Desde 2005 Jalisco cuenta con una LDS pero no se detect evidencia de que el Consejo est en funcionamiento, aun as, en materia de monitoreo, distintas instancias gubernamentales han impulsado elementos que permiten hacer un seguimiento peridico del ejercicio de los recursos, de bienes y servicios entregados y de resultados alcanzados que adems contribuyen a darle una continuidad integral a las acciones de gobierno, aun cuando no se lleven a cabo tambin por programa. Adems, en materia de evaluacin se han realizado evaluaciones a programas de desarrollo social pero no se reri que los planes para dar seguimiento a sus resultados se hayan ejecutado. De acuerdo con lo anterior, el reto que afronta ahora es el de implementar los elementos de monitoreo y evaluacin que por Ley se estipulan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Jalisco: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, el objeto de la evaluacin (programas, estrategias, acciones, etctera.) as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas en la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien en el PEE se determinan los recursos para el Gasto Social, no es claro qu programas, acciones y polticas lo integran.
153
Se sugiere dar continuidad a la prctica de presupuestar por programa y extenderla a todos, puesto que esto es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos en el que se analice la problemtica que se busca resolver y se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP , es fundamental establecer y difundir criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden establecerse los criterios y lineamientos para que la documentacin que lo integre sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin del estado, y los tipos de evaluacin que existe. Es importante mencionar que la LDS instituye que la evaluacin debe realizarse anualmente, por lo que para su planeacin se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la informacin que produce el estado en esta materia. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento del Consejo.
154
Michoacn
La Ley de Desarrollo Social del estado (LDS) establece la evaluacin de la poltica de desarrollo social para mejorar los programas y acciones que la integran. La LDS instituye la creacin del Consejo Consultivo de Desarrollo Social como encargado de evaluar la poltica de desarrollo social estatal. No se especica si est dotado con autonoma tcnica y de gestin. Cuenta con indicadores de resultados y de gestin por rubros del Plan Estatal de Desarrollo 2008-2012, la ltima medicin disponible corresponde a 2010. Tambin, ha realizado evaluaciones de programas estatales de desarrollo social. No se detectaron estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Michoacn respecto del resto de las entidades:
100% 80.6%
80%
60%
52.8%
0% Distrito Federal Guanajuato Michoacn Jalisco Aguascalientes Tabasco Quintana Roo Campeche Chiapas Yucatn Zacatecas Tamaulipas Durango Baja California Veracruz San Luis Potos Hidalgo Baja California Sur Estado de Mxico Nuevo Len Chihuahua Guerrero Oaxaca Sonora Puebla Colima Quertaro Nayarit Coahuila Sinaloa Morelos Tlaxcala
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
155
156
Se instituye que los programas de desarrollo social debern incluir en la evaluacin los indicadores de resultados, de gestin y de servicios, para medir su cobertura, calidad e impacto. Se establece que los de resultados debern reejar el cumplimiento de los objetivos sociales de las polticas pblicas, programas, metas y acciones de la poltica estatal de desarrollo social; y los de gestin, los resultados y la calidad de los servicios. Sin embargo, en la normativa no se detect la informacin de los indicadores que debern reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. Asimismo, su Presupuesto de Egresos (PEE) 2011 seala que a nivel estatal y municipal, as como en el mbito de los Poderes Legislativo, Judicial y las entidades autnomas, se deber contar con matrices de indicadores para los programas de gasto en el marco de la implementacin del Presupuesto basado en Resultados, cabe aclarar que la vigencia de este documento es anual. Respecto a la difusin se conviene la publicacin de las ROP , los nombres de los beneciarios de los programas de desarrollo social y de los resultados de la evaluacin, la cual tambin deber enviarse al Congreso del estado. Cabe sealar que aun cuando se solicita incluir los indicadores de resultados y de gestin en la evaluacin, no se dispone de manera directa su publicacin. La LDS crea el Consejo Consultivo de Desarrollo Social (Consejo) como el organismo encargado de la evaluacin de los programas y proyectos de la poltica de desarrollo social. Su mbito de accin es a nivel estatal. Asimismo, la Coordinacin de Planeacin para el Desarrollo del estado (CPLADE) es la encargada de disear, constituir y aplicar los mecanismos de evaluacin que requieran los programas estatales y de establecer, difundir y llevar a cabo un sistema de seguimiento y evaluacin del desempeo e impacto socioeconmico de stos. Tambin, la Secretara de Poltica Social (SEPSOL) cuenta con una Direccin de Diseo y Evaluacin de Polticas Sociales encargada de proponer mecanismos para la evaluacin de programas sociales del estado, no slo de la SEPSOL, y de coordinar estudios e investigaciones que aporten elementos que sirvan para el diseo de programas y acciones de impacto social. El Consejo es un organismo ajeno a la operacin de la poltica de desarrollo social conformado por 10 integrantes, donde uno representa al ejecutivo estatal (el titula de la SEPSOL), y el resto se dividen entre personas de instituciones acadmicas, pblicas o privadas del estado; de asociaciones legalmente constituidas que participen activamente en los programas de desarrollo social; y de las organizaciones que representen a los sectores productivos de la entidad. Aunque no se especica que el Consejo est dotado de personalidad jurdica, autonoma tcnica y de gestin, su integracin permite suponer que tiene autonoma de gestin al no formar parte la mayora de sus integrantes del rgano gubernamental. El Consejo est a cargo de evaluar por s mismo o mediante evaluadores externos los programas y proyectos de la poltica de desarrollo social del estado y de emitir recomendaciones derivadas de los resultados de las evaluaciones. Atribuciones que no quedan comprendidas dentro del marco de accin del Consejo son realizar la planeacin de las evaluaciones, participar en la construccin de indicadores de resultados y de gestin, llevar a cabo estudios de desarrollo social,
157
brindar asesora en temas relacionados a otras instancias gubernamentales y normar la evaluacin, aunque si tiene la autoridad de proponer criterios de valoracin de los programas sociales. An si estas facultades pueden no corresponder exclusivamente al Consejo, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
158
De acuerdo con informacin del estado, los indicadores cuentan con una cha tcnica en la que se especica su nombre, descripcin de lo que busca medir, frecuencia de medicin, unidad de medida y lnea base, mas no se detect la que se reere a sus metas. Es importante indicar que en este sistema los indicadores se presentan a nivel temtico, por lo que no es posible conocer el avance por programa de desarrollo social. Asimismo, la CPLADE cuenta con un Sistema de Gestin para dar seguimiento al avance de la ejecucin de proyectos por dependencia, los cuales estn alineados al Plan Estatal de Desarrollo 2008-2012. En este sistema realiza una semaforizacin de acuerdo con su grado de avance con un horizonte a 2012. En cuando al Consejo Consultivo, no se detect evidencia de su funcionamiento. Tampoco se detectaron elementos de monitoreo y evaluacin implementados por la Direccin de Diseo y Evaluacin de Polticas Sociales de la SEPSOL.
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que propician el monitoreo y la evaluacin de los programas de desarrollo social de Michoacn. Si bien no se detectaron factores clave como la instancia facultada para normar la evaluacin o el de realizar una planeacin de las evaluaciones, la creacin de un organismo independiente de la operacin de la poltica de desarrollo social encargado de la tarea puede ser el impulsor en materia de monitoreo y evaluacin. Adems del Consejo, la CPLADE y la SEPSOL cuentan con atribuciones de evaluacin, pero no existe mayor informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin entre stos que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estos actores para el desarrollo de sus tareas. Por otra parte, a pesar de que el estado posee una LDS desde 2007, hasta ahora no se observ evidencia de que el Consejo est en funcionamiento ni de que los instrumentos de planeacin y ejecucin que establece se encuentren consolidados o iniciados en algunos casos. Sin embargo, este estado ha impulsado elementos de monitoreo y evaluacin que permiten hacer un seguimiento del ejercicio de los recursos, de bienes y servicios entregados y resultados alcanzados a nivel poltica, no as a nivel programa. El reto que afronta ahora es el de implementar los elementos de monitoreo y evaluacin que por Ley se estipulan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse para Michoacn: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos.
159
Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia en el estado, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEPSOL son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la elaboracin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, que algunos programas cuentan con ROP , es fundamental extender esta prctica a todos. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a stos. Impulsar la creacin del padrn nico de beneciarios de los programas sociales de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden establecerse adems los criterios y lineamientos de manera que la informacin que lo integra sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin del estado, la frecuencia y los tipos de evaluacin. Para ello se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones y resultados de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento del Consejo.
160
Morelos
El estado no cuenta con una Ley de Desarrollo Social, sin embargo, la normativa establece realizar la evaluacin de la poltica de desarrollo social y humano para el combate efectivo a la pobreza, as como implementar un sistema de seguimiento, control y evaluacin que permita registrar el impacto en la calidad de vida de la poblacin. La Ley Orgnica de la Administracin Pblica de Morelos determina como atribucin de la Secretara de Desarrollo Humano y Social la evaluacin de la poltica, programas y acciones de desarrollo social y humano. El estado tiene indicadores de resultados y de gestin para el Sistema para el Desarrollo Integral de la Familia del estado. No se detectaron evaluaciones de programas o de polticas de desarrollo social estatales.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Morelos respecto del resto de las entidades:
100% 80.6%
80%
60%
40%
30.6% 20.4%
20%
0% Chihuahua Nayarit Coahuila Baja California San Luis Potos Sinaloa Distrito Federal Estado de Mxico Nuevo Len Guanajuato Michoacn Guerrero Aguascalientes Quintana Roo Campeche Quertaro Zacatecas Tamaulipas Durango Veracruz Tlaxcala Oaxaca Jalisco Tabasco Sonora Puebla Colima Chiapas Yucatn Hidalgo Morelos Baja California Sur
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
161
162
Asimismo, no se detect la informacin de los indicadores acerca del nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se establece que las dependencias y entidades del Poder Ejecutivo estatal y de los municipios deben publicar informacin de los programas de subsidio a su cargo como diseo, montos, acceso y ejecucin, y los padrones de beneciarios de los programas de desarrollo social. No se detect el mandato de publicar las ROP ni la evaluacin. La LOAP concede como atribucin de la SDHS evaluar la poltica de desarrollo social del estado y de los municipios mediante la Subsecretara de Vinculacin, Informacin y Coordinacin Interinstitucional. Su mbito de accin es a nivel estatal y municipal. Asimismo, la Direccin General de Evaluacin de la Secretara de Finanzas y Planeacin (SFPL) es la encargada de realizar el reporte de evaluacin del desempeo de las secretaras, dependencias y entidades del poder ejecutivo para integrar trimestralmente los resultados de la evaluacin de los programas operativos anuales. La SDHS forma parte de la estructura orgnica del Poder Ejecutivo Estatal; cabe especicar que no se identic el rea encargada de la evaluacin. Asimismo, sta no constituye la razn de ser de la dependencia. La SDHS est a cargo de evaluar la poltica, programas y acciones de desarrollo social del estado y de los municipios para el combate efectivo a la pobreza; en particular, la de asentamientos humanos, desarrollo urbano y vivienda. Facultades que no quedan comprendidas dentro del marco de accin de esta instancia son el normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de las evaluaciones, el seguimiento a las recomendaciones, participar en la construccin de indicadores, realizar estudios de desarrollo social, y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a esta rea, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
163
El estado tiene publicado un padrn de beneciarios del DIF del cual no se identic el ao al que corresponde. En l es posible determinar el responsable de integrarlo, el nombre del beneciario, su ubicacin geogrca y el programa del cual recibe apoyo mas no se identicaron datos sobre el tipo de subsidio as como de otras de sus caractersticas. No se localizaron evaluaciones realizadas a programas estatales de desarrollo social, el uso de estudios o evaluaciones estatales para realizar acciones de mejora de la poltica sobre la materia ni tampoco informacin acerca de una planeacin de las evaluaciones de programas estatales. El estado cuenta con indicadores de resultados y de gestin dentro del Programa Operativo Anual (POA) slo del DIF del estado, sin embargo, nicamente se identic una medicin para los de gestin, la ltima disponible corresponde a 2010. Asimismo, mientras que para los indicadores de resultados slo se establece su nombre y meta, para los de gestin se incluye una cha en la que se especica el nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas. Al presentarse stos por POA, no es posible conocer el avance por programa de desarrollo social. Para la SDHS y la SFPL no se detect evidencia de instrumentos implementados en materia de evaluacin y monitoreo.
Conclusiones
Normativamente se establecen instrumentos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social. Sin embargo, no se detectaron factores clave como el encargado de normar la evaluacin, generar una planeacin de las evaluaciones, la posibilidad de emitir y dar seguimiento a las recomendaciones derivado de los resultados de stas, as como la asignacin de esta tarea a un instancia que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. La SDHS, y la SFPL tienen atribuciones de evaluacin pero no se detect informacin acerca de un esquema de coordinacin de acciones que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. Si bien el RSDHS est vigente desde 2009, no se identicaron de elementos de monitoreo y evaluacin que haya implementado la SDHS a los programas y/o polticas de desarrollo social. Los factores identicados se encuentran desarticulados, por tanto, el reto que afronta Morelos es estructurarlos, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos:
164
Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de que la tarea de monitoreo y evaluacin de las polticas y los programas sea asignada a una sola rea de gobierno, de preferencia con autonoma tcnica. Para instaurar elementos de monitoreo y evaluacin sobre las polticas, incluyendo la poltica social, es fundamental delimitar las acciones, programas y polticas alineadas a una temtica, incluso la identicacin de programas estatales respecto de los federales. Se sugiere extender la prctica de establecer el presupuesto por programa para todos, puesto que esto es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Es fundamental establecer y difundir criterios especcos y homogneos para la elaboracin y difusin de ROP , las cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Asimismo, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la divulgacin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin y difusin de padrones de beneciarios e incluso, un padrn nico de beneciarios de los programas de desarrollo social implementados en el estado, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden establecerse criterios y lineamientos de manera que la informacin que lo integra sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin del estado, los tipos de evaluacin, su temporalidad, enfoque externo o interno, etctera. Es importante impulsar la identicacin de indicadores de resultados y de gestin por programa de desarrollo social estatales para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Igualmente, una vez generados es necesario monitorear su evolucin en el tiempo. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar dicha informacin, como el seguimiento a las recomendaciones de las evaluaciones.
165
Nayarit
No cuenta con Ley de Desarrollo Social (LDS), no obstante, la normativa establece la evaluacin de la poltica de desarrollo social para el combate efectivo a la pobreza. La Ley Orgnica del Poder Ejecutivo del estado de Nayarit (LOPE) determina como atribucin de la Secretara de Desarrollo Social la evaluacin de la poltica de desarrollo social. El estado tiene indicadores de resultados y de gestin vinculados a los ejes del Plan Estatal de Desarrollo 2005-2011, as como evaluaciones a estrategias de desarrollo social. No se detectaron estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Nayarit respecto del resto de las entidades federativas:
100% 80.6%
80%
0% Distrito Federal Guanajuato Chihuahua Michoacn Oaxaca Aguascalientes Sonora Puebla Colima Nayarit Coahuila Tamaulipas Baja California San Luis Potos Hidalgo Sinaloa Tlaxcala Baja California Sur Estado de Mxico Nuevo Len Guerrero Jalisco Tabasco Quintana Roo Campeche Quertaro Chiapas Yucatn Zacatecas Durango Veracruz Morelos
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
166
167
Otro aspecto que no se identic es si deber llevarse a cabo una planeacin de las evaluaciones, con la cual puedan determinarse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan efectuarse, su frecuencia, los actores encargados de su de ella y si podrn elaborarse de manera externa, entendido como la contratacin de un evaluador externo para ello. Aunque en el PEE 2011 se menciona un programa anual de evaluacin, no se detect el mandato de su elaboracin como facultad especca de alguna dependencia o entidad. En la normativa tampoco se detect el mandato de establecer indicadores de resultados, nicamente que las dependencias y entidades del Poder Ejecutivo y de los municipios debern publicar los indicadores de gestin que permitan conocer las metas, por unidad responsable, as como los avances fsico y nanciero para cada una de ellas. No obstante, no se identic la informacin de aquellos que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. Asimismo, en el PEE 2011 se estipula la elaboracin de matrices de indicadores para los programas de las dependencias y entidades en el marco de la implementacin del Presupuesto basado en Resultados (PbR), lo que implica la construccin de indicadores de resultados y la gestin. Se decide que los indicadores de dichas matrices tendrn una cha que ser incorporada a un Sistema de Monitoreo y Evaluacin del Desempeo. En materia de difusin se dispone que las dependencias y entidades del Poder Ejecutivo Estatal y de los municipios deben publicar los padrones de beneciarios de los programas de desarrollo social y los indicadores de gestin. No se menciona el mandato de publicar las ROP ni la evaluacin. La LOPE ja como atribucin de la Secretara de Desarrollo Social (SDS) evaluar la poltica de desarrollo social. Su mbito de accin se establece a nivel estatal. De la misma manera, se concluye que a partir del ejercicio scal del ao 2011, la Secretara de Planeacin, Programacin y Presupuesto (SPPP) implementar progresivamente en las dependencias y entidades la evaluacin y seguimiento de las metas contenidas en los programas presupuestarios. La Secretara de la Contralora General (SCG) mediante la Unidad de Control y Evaluacin del Comit de Planeacin para el Desarrollo es la encargada de coordinar las acciones de control, seguimiento y evaluacin de los programas y proyectos de las diferentes dependencias del estado y del Plan Estatal de Desarrollo, as como de realizar evaluaciones y anlisis del desarrollo e impacto social de la inversin pblica global. La SDS forma parte de la estructura orgnica del Poder Ejecutivo Estatal; cabe especicar que no se identic el rea encargada de la evaluacin. Asimismo, esta ltima no constituye la razn de ser de la institucin.
168
La SDS est a cargo de formular, conducir y evaluar la poltica general de desarrollo social para el combate efectivo a la pobreza. Atribuciones en materia de evaluacin que no quedan comprendidas dentro del marco de accin de esta instancia son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de las ellas y darles seguimiento, participar en la construccin de indicadores de resultados y de gestin, llevar a cabo estudios de desarrollo social, y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a la SDS, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
169
de la evaluacin externa, su costo. Cabe mencionar que no se encontr evidencia de su uso para mejorar la poltica de desarrollo social del estado. El estado cuenta con indicadores de resultados y de gestin para los ejes del Plan Estatal de Desarrollo 2005 2011, en el Sistema de Indicadores de los Programas Sociales y en el Sistema de Indicadores de Gestin, Resultados y Competitividad. En ambos casos la ltima medicin disponible corresponde a 2010-2011. Para ambos sistemas la informacin que se presenta es su nombre, frmula de clculo, frecuencia de medicin, unidad de medida, lnea base y metas. Es importante sealar que al presentar los indicadores a nivel temtico, no es posible conocer el avance por programa de desarrollo social. En el PEE 2011 el estado cuenta con matrices de indicadores por programa presupuestario para las dependencias que participaron en la integracin del PbR, entre las que se encuentran la SDS, la SDR, y el DIF. Los datos que se presenta de ellos son nombre, descripcin de lo que busca medir, frmula de clculo, frecuencia de medicin y meta. Cabe sealar que no se menciona su medicin. Para la SDS, la SCG y de la SPPP no se detect evidencia de los instrumentos implementados en materia de evaluacin y monitoreo.
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Nayarit. Sin embargo, no se identicaron factores clave como el ente facultado para normar la evaluacin, generar una planeacin de las evaluaciones, la posibilidad de emitir recomendaciones derivado de los evaluaciones y llevar a cabo su seguimiento, as como la asignacin de esta tarea a un ente que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. Si bien, se realiz un esfuerzo por especicar instrumentos de evaluacin y monitoreo en el PEE 2011, dada la vigencia anual de este Decreto, queda en incertidumbre la continuidad de las acciones que pudieran implementarse ao con ao, detalle que toma relevancia debido a que la institucionalizacin del monitoreo y la evaluacin es una tarea de mediano plazo. La SDS, la SCG y la SPPP tienen atribuciones de evaluacin, sin embargo no se detect informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin entre stos que delimite el quehacer de cada actor, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. Si bien, no fue posible identicar la vigencia del mandato de realizar la evaluacin a la SDS, hasta ahora no se detect evidencia de las acciones de monitoreo y evaluacin que haya implementado esta instancia o alguno de los actores antes mencionados para los programas y/o polticas. Nayarit ha impulsado elementos de monitoreo y evaluacin que han permitido un seguimiento del ejercicio de los recursos, de bienes y servicios entregados y resultados alcanzados a nivel poltica, no as a nivel
170
programa. Sin embargo, han sido ejercicios desarticulados que no han tenido continuidad, por lo que el reto que afronta Nayarit es estructurarlos, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Nayarit: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de que la tarea de monitoreo y evaluacin de las polticas y los programas sea asignada a una sola rea de gobierno, de preferencia con autonoma tcnica. Para determinar elementos de monitoreo y evaluacin sobre las polticas, incluyendo la social, es fundamental delimitar las acciones, programas y polticas alineadas a una temtica, incluso, la identicacin de programas estatales respecto de los federales. Si bien, en el PEE 2011 se ja el presupuesto considerado de desarrollo social, no es claro qu programas o acciones lo integran. Se sugiere extender la prctica de establecer el presupuesto por programa para todos, puesto que esto es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. De acuerdo con la normativa, algunos programas deben contar con ROP , sin embargo no fueron detectadas, por lo que es fundamental acordar y comunicar criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin y divulgacin de un padrn nico de beneciarios de los programas de desarrollo social estatales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados, es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluar con base en las prioridades de informacin del estado, los tipos de evaluacin, su temporalidad, enfoque externo o interno, etctera.
171
Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Asimismo, una vez generados es necesario monitorear su evolucin en el tiempo. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar dicha informacin, como el seguimiento a las recomendaciones de las evaluaciones.
172
Nuevo Len
La Ley de Desarrollo Social (LDS) establece la evaluacin de la poltica y los programas sociales para mejorar la efectividad de las acciones que se emprendan en el rubro de desarrollo social. La LDS instituye que la evaluacin de la poltica de desarrollo social y del impacto de los programas sociales estar a cargo de especialistas designados por la Secretara de Desarrollo Social o el municipio. Tambin, el Reglamento Interior de la Ocina Ejecutiva del Gobernador (ROEG) determina como atribucin de la Coordinacin Tcnica de Gabinete, Planeacin y Evaluacin, evaluar y dar seguimiento al cumplimiento de los objetivos y metas de los programas y acciones que integran el Plan Estatal de Desarrollo. El estado cuenta con indicadores de resultados y de gestin tanto para los programas sectoriales como para los operativos anuales de sus dependencias. Asimismo ha realizado evaluaciones a programas de desarrollo social estatales y estudios en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Nuevo Len respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% 44.4% Promedio Nacional
80%
60%
56.5%
0% Nayarit Baja California Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Tamaulipas Durango Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
173
174
La LDS establece que para la evaluacin de resultados, los programas de desarrollo social debern incluir los indicadores de resultados, gestin y servicios para medir su cobertura, calidad e impacto. No se detect la informacin de stos que deber reportarse como el nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin, se determina la publicacin de las ROP , el padrn nico de beneciarios y de los resultados de la evaluacin. Cabe sealar que aun cuando se solicita incluir los indicadores de resultados, gestin y servicios, no se detect el mandato de su publicacin. El ROEG establece que la Coordinacin Tcnica de Gabinete, Planeacin, Evaluacin (Coordinacin) es la encargada de evaluar y dar seguimiento al cumplimiento de los objetivos y metas de los programas y acciones que integran el Plan Estatal de Desarrollo, que se deduce, incluye lo social. Su mbito de accin es a nivel estatal. Si bien la LDS ja que la SDSOCIAL debe designar a los especialistas que evaluarn la poltica de desarrollo social, en su Reglamento Interno se estipula que la Unidad de Planeacin tiene la atribucin de coordinar y supervisar la realizacin de las evaluaciones a los programas y proyectos operados slo por la Secretara, para lo cual debe coordinar un sistema de informacin estadstico que permita el monitoreo de los indicadores de los programas y proyectos. La Secretara de Administracin y Finanzas (SAF) es la encargada de coordinar conjuntamente con el Comit de Planeacin para el Desarrollo (COPLADE) y la Secretara de Contralora (SC), la implementacin de los mecanismos de control y evaluacin derivados del ejercicio del gasto pblico. La Coordinacin forma parte de la estructura orgnica del Poder Ejecutivo Estatal y es ajena a la operacin de la poltica social. No obstante, la evaluacin no constituye la razn de esta instancia. La Coordinacin est a cargo de evaluar y dar seguimiento al cumplimiento de los objetivos y metas de los programas y acciones que integran el Plan Estatal de Desarrollo. Atribuciones que no quedan comprendidas dentro de su marco de accin son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de las stas y darles seguimiento, participar en la construccin de indicadores, implementar estudios en materia de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a esta instancia, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
175
Para el estado no se identic el presupuesto por programa, aunque s el que corresponde por dependencia y por clasicacin funcional programtica en la que etiquetan recursos de Desarrollo Social. Sin embargo, no se especica qu programas o dependencias lo integran, la ltima informacin disponible es del ejercicio 2011. El presupuesto por programa es un factor que permite avanzar en la construccin de un presupuesto orientado a resultados, sin embargo, al no encontrarse documentacin no es posible hacerlo. El estado cuenta con ROP slo para algunos programas estatales de la SDSOCIAL, el Sistema Integral para el Desarrollo Integral de la Familia (DIF), la Secretara de Finanzas (SF) y la Secretara del Trabajo (ST) con una estructura homognea que incluye informacin del objetivo del programa, poblacin objetivo, institucin responsable de su operacin, el tipo de apoyo entregado y la forma de hacerlo, as como los criterios para elegir a los beneciarios. Las ROP corresponden a los aos de 2007 a 2011. Se detectaron padrones de beneciarios slo de los programas Apoyo Directo al Adulto Mayor y Apoyo a Personas con Discapacidad de la SDSOCIAL en los cuales se determina el nombre del beneciario, su ubicacin geogrca, el programa del cual recibe apoyo y el tipo de apoyo, aunque no siempre se especica el responsable de actualizarlos y otras de sus caractersticas. Los padrones corresponden a 2011. Se identicaron evaluaciones pblicas realizadas por el estado a programas de desarrollo social operados por el Consejo de Desarrollo Social (CDS), hoy SDSOCIAL. stas fueron llevadas a cabo entre 2006 y 2009 por evaluadores externos. Los informes son homogneos, contienen informacin sobre los responsables de la ejecucin de los programas, el objetivo de la evaluacin, la metodologa usada, los principales resultados y recomendaciones, pero no sobre los datos de los responsables de realizarla, de su costo y un resumen ejecutivo. Cabe mencionar que no se detect evidencia del uso o de un seguimiento de las valoraciones para mejorar los programas o la poltica de desarrollo social ni de una planeacin de las evaluaciones de programas estatales. El estado tiene estudios en materia de desarrollo social realizados entre 2006 y 2009 por el CDS. stos son pblicos y la mayora de ellos abordan una problemtica de desarrollo social del estado, analizan de la poblacin que la padece, sus causas, efectos y caractersticas y hacen una propuesta de acciones que debieran ser llevadas a cabo para resolverla. Cabe mencionar que no se identic el uso de estos estudios para mejorar la poltica en la materia. El estado posee indicadores de resultados y de gestin para los programas sectoriales del estado y para los programas operativos anuales de las dependencias, la ltima medicin disponible corresponde a 2011. La informacin que se reporta de cada uno de ellos es el nombre, mtodo de clculo, unidad de medida y meta, mas no sobre su denicin, frecuencia de medicin ni lnea base. Cabe mencionar que no es posible detectar el avance por programa de desarrollo social. En cuanto a la Coordinacin no se identicaron los elementos implementados en materia de evaluacin y monitoreo, ni aquellos desarrollados por la SAF, el COPLADE y la SC.
176
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Nuevo Len. A pesar de esto, no se detectaron factores clave como el ente facultado para normar la evaluacin, generar una planeacin de las evaluaciones, la posibilidad de emitir recomendaciones derivado de los evaluaciones, el seguimiento a las recomendaciones, as como la asignacin de esta tarea a un instancia que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. En el estado, la Coordinacin, la SDSOCIAL, la SAF, la SC y el COPLADE tienen atribuciones de evaluacin, pero no se establecen las facultades y acciones especcas de cada uno, ni un esquema de coordinacin entre estos que delimite el quehacer de cada uno, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre ellos para el desarrollo de sus tareas. Nuevo Len, en el marco de la LDS vigente desde 2006, ha impulsado la implementacin de elementos de monitoreo y evaluacin que permiten hacer un seguimiento del ejercicio de los recursos, de bienes y servicios entregados y de los resultados alcanzados a nivel poltica y a nivel programa en el caso de la evaluacin, sin embargo, en algunos casos stos han sido ejercicios aislados. El reto que afronta ahora es el de dar continuidad a la implementacin de los elementos de monitoreo y evaluacin que por Ley se determinan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos especcos para su realizacin sistemtica, que dena los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien, es claro que los recursos de la SDSOCIAL son de desarrollo social, no lo es respecto de los recursos asignados a otras dependencias y entidades estatales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Dar continuidad a la elaboracin de diagnsticos para la generacin de un programa nuevo, puesto que esto restringe la elaboracin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico.
177
Si bien, algunos programas cuentan con ROP , es fundamental extender esta prctica a todos. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin del estado, los tipos de evaluacin, las responsabilidades de los actores involucrados en el proceso, entre otros. Dado que la LDS establece que sta debe realizarse al menos anualmente, para su planeacin debe tenerse en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido son observables en el mediano plazo. Es importante referir indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso, tomar las decisiones acerca de su impulso, modicacin o cancelacin. Asimismo, una vez generados es necesario monitorear su evolucin en el tiempo. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible concertar vnculos para utilizar la informacin que produce el estado en esta materia, como el seguimiento a las recomendaciones de las evaluaciones.
178
Oaxaca
La entidad no cuenta con una Ley de Desarrollo Social para el estado (LDS), no obstante, la normativa establece realizar la evaluacin del desempeo institucional en el manejo de los recursos pblicos para conocer los resultados del ejercicio del gasto pblico. La Ley del Presupuesto, Gasto Pblico y su Contabilidad del estado de Oaxaca (LPGPC) instituye que la evaluacin del desempeo institucional la llevar a cabo una Instancia Tcnica competente, sin especicar a qu dependencia o instancia se reere. El estado tiene indicadores de resultados vinculados a los ejes del Gabinete y, de gestin organizados por los proyectos de cada dependencia o entidad. Asimismo, el estado ha realizado evaluaciones a programas de desarrollo social.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Oaxaca respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
60%
51.9%
0% Estado de Mxico San Luis Potos Distrito Federal Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Nuevo Len Guerrero Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
179
180
La evaluacin podr realizarse por la Instancia o por evaluadores externos. Igualmente, las evaluaciones debern contener los datos del evaluador, la forma de contratacin, el tipo de evaluacin, las bases de datos, instrumentos de recoleccin, una nota metodolgica, un resumen ejecutivo y su costo. Se dispone la elaboracin de un programa anual de evaluaciones, en el cual se detalle el nmero y tipo de las que se vayan a realizar en el ejercicio scal, aunque esto ltimo no se cita para las que pueden aplicarse. Cabe sealar que no se detect el responsable de ejecutar la tarea. Se establece que la evaluacin deber efectuarse con base en indicadores que midan el grado de cumplimiento de los objetivos de las polticas pblicas del estado, de los programas y el desempeo institucional de sus entidades, los cuales permitirn medir los resultados logrados en las dimensiones de cobertura, ecacia, eciencia, impacto econmico y social, calidad, economa y equidad, es decir, indicadores de gestin y de resultados. Si bien se determina el concepto de cada una de las dimensiones mencionadas, no se especica si debern jarse elementos que permitan replicar los indicadores como la frmula de clculo, frecuencia de medicin, metas entre otras. Como tampoco se denen aquellas que debern medirse a nivel polticas, a nivel programa y a nivel entidades. En el caso de las actividades de las entidades en materia social y econmica se menciona que por lo menos debern evaluarse con la dimensin de impacto. Se seala que las entidades del Poder Ejecutivo Estatal realizarn los ajustes a los indicadores pero no detect al rea encargada de su implementacin. En materia de difusin se establece que las dependencias y entidades del Poder Ejecutivo Estatal deben publicar informacin de los programas de desarrollo social tales como su objetivo, la poblacin objetivo, el tipo de apoyo, los criterios de elegibilidad y el padrn de beneciarios. ste ltimo tambin debern emitirlo las dependencias y entidades de los municipios. No se identic el mandato de divulgar los indicadores de resultados y de gestin y en el caso de las evaluaciones se conviene que podr hacerse pblica. La LPGPC decide que la evaluacin del desempeo institucional en el manejo de los recursos pblicos la llevar a cabo la Instancia Tcnica competente, sin denir la dependencia o rea especca. No se identicaron datos sobre su mbito de accin. De acuerdo con informacin el estado, en 2011 las atribuciones del Comit de Planeacin para el Desarrollo (COPLADE) se dividieron entre la SEDESOH y la Secretara de Finanzas (SF), siendo que las atribuciones de evaluacin fueron absorbidas por la Direccin de Evaluacin y Planeacin de la SF. Asimismo, la Jefatura de la Ocina de la Gubernatura tiene la atribucin de jar los indicadores para medir las variaciones del desarrollo econmico, poltico, social y tecnolgico del estado y, evaluar el Plan Estatal de Desarrollo y dems programas institucionales. Dado que no se identica la Instancia competente no es posible determinar su estructura y caractersticas.
181
La Instancia Tcnica est a cargo de efectuar las evaluaciones por si misma o mediante evaluadores externos e implementar un programa anual de evaluaciones. Atribuciones que no quedan comprendidas dentro de su marco de accin son normar la evaluacin, emitir recomendaciones derivado de las evaluaciones, realizar estudios de desarrollo social y caracterizacin de la poblacin, participar en la construccin de indicadores y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponderle exclusivamente a ella, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
182
Para el estado no se identic evidencia de estudios o evaluaciones estatales para realizar acciones de mejora de la poltica de desarrollo social. Tampoco se detect informacin acerca de una planeacin de las evaluaciones de programas estatales. El estado cuenta con indicadores de resultados y de gestin los cuales estn concentrados en el Sistema de Indicadores de Desempeo del Gobierno del Estado de Oaxaca 2011-2016, coordinado por la Jefatura de la Ocina de la Gubernatura. Los indicadores de resultados se encuentran organizados en cinco gabinetes de gobierno: Gasto y Financiamiento, Gobernabilidad y Seguridad, Desarrollo Social, Competitividad y Desarrollo Econmico y, Administracin y Transparencia. Se establece informacin referente al nombre, el mtodo de clculo, la unidad de medida, frecuencia de medicin y lnea base, mas no acerca de su medicin ni del planteamiento de metas para el periodo 2011-2016. Los indicadores de gestin estn organizados por los proyectos contenidos en el Programa Operativo Anual de cada dependencia o entidad del gobierno estatal, la ltima medicin disponible corresponde a 2010. La informacin que se reporta de cada indicador es nombre, frmula de clculo, unidad de medida, frecuencia de medicin, metas y el cumplimiento de stas. Adicionalmente el estado tiene indicadores que denomina de resultados en las ROP , sin embargo, stos se vinculan con el seguimiento a los bienes y servicios que entrega el programa. Cabe mencionar que no se detectaron informes de su medicin. En cuando a la Instancia Tcnica, no se encontr evidencia de su funcionamiento ni de elementos de monitoreo y evaluacin implementados por la SEDESOH.
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Oaxaca. Si bien, no se detectaron factores clave como el ente facultado para normar la evaluacin y la supervisin de indicadores, la Instancia Tcnica puede ser el impulsor de estos temas. Al respecto, es importante sealar que no se identic el rea en referencia y por tanto, no es posible determinar su conformacin ni sus atribuciones. En Oaxaca la Instancia Tcnica, la SF y la Jefatura de la Ocina de la Gubernatura cuentan con facultades de evaluacin, pero no se identic informacin especca sobre de las que le corresponden a cada uno, ni un esquema de coordinacin entre stas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre las reas mencionadas para el desarrollo de sus tareas. Oaxaca ha impulsado elementos de monitoreo, mismos que le han permitido contar con informacin no slo del ejercicio de los recursos pblicos sino de la gestin y, recientemente ha publicado indicadores de resultados, sin embargo, se encuentran desarticulados. Por tanto, el reto que afronta Oaxaca es el de implementar estos instrumentos as como los elementos de monitoreo y evaluacin que por Ley se establecen, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
183
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Oaxaca: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, los cuales deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de que la tarea de monitoreo y evaluacin de las polticas y los programas sea regida por una sola instancia de gobierno, de preferencia con autonoma tcnica. Para establecer elementos de monitoreo y evaluacin sobre las polticas, incluyendo la social, es fundamental delimitar las acciones, programas y polticas alineadas a una temtica, incluso, la identicacin de programas estatales respecto de los federales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. , es fundamental extender esta prctica a todos. Cabe Si bien, algunos programas cuentan con ROP mencionar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin y difusin de un padrn nico de beneciarios de los programas que vaya ms all de los que conduce la SEDESOH, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante integrar el programa anual de evaluacin que por ley se establece y que permita determinar los programas a evaluarse con base en las prioridades de datos que requiera el estado, los tipos de evaluacin, su temporalidad, enfoque externo o interno, etctera. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Asimismo, una vez generados es necesario monitorear su evolucin en el tiempo.
184
Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para dicha informacin, como el seguimiento a las recomendaciones de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento de la Instancia.
185
Puebla
La Ley de Desarrollo Social para el estado de Puebla (LDS) establece la evaluacin de la poltica de desarrollo social del estado y del funcionamiento del Sistema Estatal de Desarrollo Social para mejorar los programas, metas y acciones que la integran. La LDS determina la creacin del Instituto de Evaluacin y Medicin de Marginacin y Pobreza dotado de autonoma tcnica y de gestin como el organismo encargado de evaluar la poltica de desarrollo social del estado y del funcionamiento del Sistema Estatal de Desarrollo Social. El estado cuenta con indicadores de gestin por dependencia y por temticas. Asimismo, se detect una evaluacin realizada a un programa de desarrollo social. No se identicaron indicadores de resultados ni estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Puebla respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
0% Distrito Federal Estado de Mxico Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz San Luis Potos Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Nuevo Len Guerrero Colima Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
186
187
tipos de evaluacin que puedan realizarse y los programas que sern sujetos de sta en el ejercicio scal. Se establece que los programas sociales debern incluir en la evaluacin los indicadores de resultados, de gestin y de servicios, para medir su cobertura, calidad e impacto. No obstante, no se detect la informacin que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se dispone la publicacin de las ROP y de los resultados de la evaluacin. No se encontr mandato de divulgacin del padrn nico de beneciarios ni de los indicadores de resultados y de gestin. La LDS crea el Instituto de Evaluacin y Medicin de Marginacin y Pobreza (IEMMP) como el organismo encargado de evaluar la poltica de desarrollo social del estado y del Sistema Estatal de Desarrollo Social. Su mbito de accin es a nivel estatal. La Secretara de Finanzas (SF) cuenta con una Direccin Operativa del Comit de Planeacin para el Desarrollo, que tiene la atribucin de colaborar en la integracin de la informacin y elementos de anlisis que contribuyan a la evaluacin de los resultados y el impacto social de la inversin pblica en el estado. El IEMMP es un organismo ajeno a la operacin de la poltica de desarrollo social, dotado de autonoma tcnica y de gestin y sectorizado a la Secretara de Desarrollo Social (SDS). La Junta Directiva del IEMMP se constituye por 15 integrantes, un presidente (titular del Poder Ejecutivo del estado), un Presidente Ejecutivo (titular de la SDS), un comisario pblico, y 12 vocales que son los titulares de las dependencias y entidades del poder ejecutivo Estatal vinculadas al desarrollo social, y cinco acadmicos de universidades que realicen estudios de investigacin en materia de Desarrollo Social. El organismo est a cargo de la evaluacin anual de la poltica de desarrollo social del estado y del Sistema Estatal de Desarrollo Social. Asimismo, est facultado para emitir recomendaciones derivado de los resultados de las evaluaciones, llevar a cabo estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales. Atribuciones que no quedan identicadas dentro del marco de accin del IEMMP son normar la evaluacin, realizar la planeacin de las evaluaciones y participar en la construccin de indicadores, que aunque pueden no corresponder exclusivamente al IEMMP contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
188
Para el estado no se identic el presupuesto por programa de desarrollo social, aunque s el que corresponde por dependencia y por programa presupuestario, la ltima informacin disponible es del ejercicio 2011. El presupuesto por programa es un factor que permite avanzar en la construccin de un presupuesto orientado a resultados, sin embargo, al no encontrarse documentacin no es posible hacerlo. El estado cuenta con ROP para algunos programas estatales de la SDS, la Secretara de Desarrollo Rural (SDR), el Sistema para el Desarrollo Integral de la Familia y el Instituto Poblano de la Juventud con una estructura homognea que incluye el objetivo del programa, la poblacin objetivo, la institucin responsable de su operacin, los criterios para elegir a los beneciarios, no obstante, no se encontr la forma de entrega de los apoyos. Las ROP corresponden a 2010 y algunas a 2011, en algunos casos no fue posible identicar el ao. El estado cuenta con padrones de beneciarios de programas de la SDS y de la SDR, en los cuales es posible determinar el nombre del beneciario, su ubicacin geogrca, el programa del cual recibe apoyo y el tipo de apoyo, aunque no siempre el responsable de actualizarlos y otras de sus caractersticas. Los padrones corresponden a diferentes aos que van de 2007 a 2011, en algunos casos no fue posible identicar el ao. Se registr una evaluacin a un programa de desarrollo social estatal realizada por el IEMMP en 2010. En ella se describen los datos generales del responsable de la evaluacin, el objetivo de la evaluacin, la metodologa usada, los principales hallazgos, las recomendaciones derivadas de la evaluacin, y el resumen ejecutivo. Cabe indicar que no se identic evidencia de su uso para mejorar el programa evaluado. No observaron estudios de desarrollo social estatales para ejecutar acciones de mejora de la poltica de desarrollo social ni tampoco informacin acerca de una planeacin de las evaluaciones de programas estatales. Para el estado no se encontraron indicadores de resultados. El estado tiene indicadores de gestin por temticas concentrados en el documento Puebla en cifras: estadsticas oportunas de la Secretara de Finanzas, su ltima medicin disponible corresponde a 2011. Tambin cuenta con indicadores de gestin concentrados por dependencia en el Resumen Programtico 2011, sin embargo, no se encontr evidencia de su medicin. En ambos casos no es posible conocer el avance por programa. Asimismo, se reporta el nombre del indicador, pero no es posible consultar la informacin acerca de su descripcin, frmulas de clculo, frecuencia de medicin, unidad de medida, lnea base y metas. Para la SF no se detectaron instrumentos implementados en materia de evaluacin.
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social del estado de Puebla. Si bien, no se detectaron factores clave como el organismo facultado para normar la evaluacin o el de realizar una planeacin de las evaluaciones, la creacin
189
de una instancia independiente de la operacin de la poltica de desarrollo social encargada de la tarea, puede ser el impulsor en materia de monitoreo y evaluacin. En el estado, el IEMMP y la SF tienen atribuciones de evaluacin, pero no se detect informacin acerca de un esquema de coordinacin que delimite el quehacer de cada uno de estos actores, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber para el desarrollo de sus tareas. Puebla ha impulsado la realizacin de ejercicios de monitoreo y evaluacin dirigidos a conocer el ejercicio de los recursos y los bienes y servicios entregados, sin embargo, se encuentran desarticulados. Por otra parte, aun cuando la LDS est vigente desde 2007, los esfuerzos identicados en evaluacin nicamente han sido de un programa, por lo que no contribuyen a contar con informacin de la poltica de desarrollo social en su conjunto. Si bien, el IEMMP se encuentra en funcionamiento el reto que afronta ahora es el de implementar los elementos de monitoreo y evaluacin que establece la normativa, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Puebla: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, en los cuales se denan los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien, es claro que las intervenciones pblicas de la SDS son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico.
190
Si bien, algunos programas cuentan con ROP , es fundamental extender esta prctica a todos. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse, de acuerdo con las prioridades de informacin del estado, y los tipos de evaluacin. Cabe sealar que la LDS especica que sta debe realizarse anualmente, por lo que su planeacin debe tomar en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso, tomar las decisiones acerca de su impulso, modicacin o cancelacin. Asimismo, una vez generados es necesario monitorear su evolucin en el tiempo. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar dicha informacin, como el seguimiento a las recomendaciones y resultados de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere impulsar la realizacin de los elementos de monitoreo y evaluacin que por Ley debe llevar a cabo el IEMMP.
191
Quertaro
No se cuenta con una Ley de Desarrollo Social (LDS), sin embargo, en la normativa establece la evaluacin del ejercicio del gasto de los recursos pblicos incorporados al presupuesto del estado para conocer sus resultados. El Decreto por el que se establece el rgano desconcentrado de la Administracin Pblica Estatal denominado Unidad de Evaluacin de Resultados instituye que dicha rea es la encargada de evaluar el resultado en el ejercicio del gasto de los recursos pblicos para lo cual est dotada de autonoma tcnica y de gestin. El estado tiene indicadores de resultados y de gestin para las dependencias del estado. No se detectaron evaluaciones de programas o de polticas de desarrollo social o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Quertaro respecto del resto de las entidades:
100% 80.6%
80%
0% Distrito Federal Chihuahua Michoacn Aguascalientes Nayarit Tamaulipas Baja California San Luis Potos Hidalgo Baja California Sur Estado de Mxico Nuevo Len Guanajuato Guerrero Oaxaca Jalisco Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Durango Veracruz Sinaloa Morelos Quertaro Tlaxcala
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
192
193
Se conviene la elaboracin de un plan anual de evaluaciones tomando en cuenta los programas denidos en el Plan Estatal de Desarrollo, no obstante, no se detect la informacin que debe contener como tipos de evaluacin o lo programas sujetos a sta. Este plan es una herramienta con la cual pueden establecerse prioridades con base en las necesidades de los programas y de los recursos humanos y nancieros disponibles. Se establece que la evaluacin se realizar con base en indicadores estratgicos y de gestin, que permitan conocer los resultados del ejercicio del gasto pblico, stos debern elaborarse con base en una matriz de indicadores. No obstante, no se detect la informacin de stos que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se establece que las dependencias y entidades del Poder Ejecutivo Estatal y de los municipios deben difundir informacin de los programas como tipo de apoyo entregado y los criterios de elegibilidad de los beneciarios. No se observ el mandato para publicar padrones de beneciarios, la evaluacin y los indicadores de resultados y de gestin. La UER es la encargada de evaluar el resultado en el ejercicio de gasto de los recursos pblicos, que se deduce, incluye lo social; su mbito de accin es a nivel estatal. La Ley de Planeacin instituye que el Comit de Planeacin para el Desarrollo (COPLADE) es el encargado de llevar a cabo el seguimiento y evaluacin del Plan Estatal de Desarrollo, que en el mbito estatal compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal. La UER se constituye como un rgano desconcentrado de la Administracin Pblica del Estado ajena a la operacin de la poltica y los programas de desarrollo social y con autonoma tcnica y de gestin, jerrquicamente subordinada a la Secretara de Planeacin y Finanzas (SPF). La UER tiene a su cargo la evaluacin del resultado en el ejercicio del gasto de los recursos pblicos incorporados al presupuesto del estado y podr llevarla a cabo por s misma o mediante evaluadores externos. Asimismo, est facultada para generar un plan anual de evaluaciones tomando en cuenta los programas establecidos en el Plan Estatal de Desarrollo Deber y dar seguimiento a la atencin de las recomendaciones que se emitan derivado de las evaluaciones. Atribuciones que no quedan comprendidas dentro del marco de accin de la UER son el normar la evaluacin de los programas, emitir recomendaciones derivado de las evaluaciones, participar en la construccin de indicadores de resultados y de gestin, efectuar estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a la UER, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
194
En su Presupuesto de Egresos (PEE) no es posible identicar los recursos considerados como de desarrollo social, aunque es posible determinar los recursos destinados a la Secretara de Desarrollo Sustentable (SEDESU). El estado publica el presupuesto por programa de desarrollo social de algunos programas de la SEDESU, SPF, Secretara de Salud (SS), Secretaria de Turismo (STU), Secretaria de Educacin, Secretaria de Desarrollo Agropecuario y la Unidad de Servicios para la Educacin Bsica; la ltima informacin disponible es del ejercicio 2011. El planteamiento de un presupuesto por programa es un factor que permite avanzar en la construccin de uno que est orientado a resultados, sin embargo, al no detectarse informacin para todos los programas no es posible hacerlo. El estado cuenta con ROP para algunos programas estatales de la STU, SPF, SEDESU y la SS, con una estructura heterognea, si bien, incluyen informacin sobre la institucin responsable de la operacin del programa, criterios para elegir a los beneciarios y la forma de entregar los apoyos, diere la incorporacin su objetivo y la poblacin objetivo. Las ROP corresponden a 2010 y a 2011, en algunos casos no es posible determinar el ao al que corresponden. Se detect slo un padrn de beneciarios para un programa estatal de la SPF en el cual es posible identicar su ubicacin geogrca, pero no se incluye informacin sobre el nombre del responsable de su actualizacin, el nombre del beneciario, el programa del cual recibe apoyo, el tipo de este ltimo y otras de sus caractersticas. El padrn corresponde a 2011. Para el estado no se detect evidencia de estudios de desarrollo social estatales para realizar acciones de mejora de la poltica de desarrollo social ni informacin acerca de una planeacin de las evaluaciones de programas estatales. El estado posee indicadores de resultados y de gestin para los Programas Operativos Anuales de las dependencias del estado, la ltima informacin disponible corresponde a 2011. Aquella que se especica es el nombre, meta y unidad de medida. No obstante, no se denen frmulas de clculo, frecuencia de medicin y lnea base. De la misma manera, el estado se encuentra en proceso de elaboracin de las matrices de indicadores de los programas presupuestales como parte de la implementacin del Presupuesto basado en Resultado. Este proceso es realizado por la SPF y la UER. Para la UER y el COPLADE no se identicaron los elementos implementados en materia de evaluacin.
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Quertaro. Si bien, no se detectaron factores clave como el organismo facultado para normar la evaluacin, la creacin de la instancia independiente de la operacin de la poltica de desarrollo social encargado de la tarea puede ser el impulsor en la materia. En el estado, la UER y el COPLADE tienen atribuciones de evaluacin, pero no se detect informacin acerca de las facultades especcas y acciones de cada actor ni un esquema de coordinacin entre
195
stos que delimite el quehacer de cada uno, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estas reas para el desarrollo de sus tareas. En el estado se encuentra en proceso de elaboracin de indicadores de gestin y de resultados para los programas presupuestarios; sin embargo, en materia de evaluacin no se identicaron las acciones que hayan implementado los actores antes mencionados para los programas y/o polticas. Los instrumentos identicados en materia de planeacin y ejecucin de los programas de desarrollo social, son ejercicios aislados. Por tanto, el reto que afronta Quertaro es estructurar elementos de monitoreo y evaluacin, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Quertaro: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien, es claro que las intervenciones pblicas de la SEDESU son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. , es fundamental hacerlo con todos. Cabe sealar Si bien, algunos programas cuentan con ROP que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin de un padrn nico de beneciarios de los programas sociales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado.
196
Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar dicha informacin. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere impulsar la realizacin de los elementos de monitoreo y evaluacin que por Ley debe llevar a cabo la UER.
197
Quintana Roo
En la ley de Desarrollo Social se (LDS) establece realizar la evaluacin de la poltica y programas de desarrollo social para mejorar los programas, metas y acciones que la integran. La LDS determina la creacin de la Comisin Estatal de Evaluacin del Desarrollo Social como la encargada de normar y coordinar la evaluacin. No se especica si est dotada de autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados en materia educativa y con indicadores de gestin para las actividades ms relevantes de cada dependencia. No se detectaron evaluaciones de programas o de polticas de desarrollo social estatales o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Quintana Roo respecto del resto de las entidades:
100% 80.6%
80%
0% Guanajuato Chihuahua Oaxaca Aguascalientes Sonora Puebla Colima Nayarit Coahuila Baja California San Luis Potos Sinaloa Distrito Federal Estado de Mxico Nuevo Len Michoacn Guerrero Quintana Roo Campeche Quertaro Zacatecas Tamaulipas Durango Veracruz Tlaxcala Jalisco Tabasco Chiapas Yucatn Hidalgo Morelos Baja California Sur
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
198
199
cin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan realizarse y los programas que sern sujetos de sta en el ejercicio scal. Se conviene que los programas y las acciones de desarrollo social debern incluir en la evaluacin los indicadores de resultados, gestin y servicios. Aquellos de resultados que se jen, debern reejar el cumplimiento de los objetivos sociales de los programas en la materia, metas y acciones de la poltica de desarrollo social, y los de gestin y servicios, los procedimientos y la calidad. No se detect la informacin que deber reportarse como nombre del indicador, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se decide la publicacin de las ROP , los padrones municipales y estatales, as como del padrn nico de beneciarios y de los resultados de la evaluacin, stos ltimos debern adems ser entregados al Congreso del estado y a la SEPLADER. No se especica la divulgacin de los indicadores de resultados y de gestin. La LDS crea la Comisin Estatal de Evaluacin del Desarrollo Social (Comisin) como el organismo encargado de normar y coordinar la evaluacin de la poltica y programas de desarrollo social. Su mbito de accin es a nivel estatal y municipal. Tambin se ubicaron otras dos reas dentro de la estructura estatal con atribuciones de evaluacin. Por una parte, conforme a su decreto de creacin el Instituto de Evaluacin del Desempeo (IED) subordinado a la Secretara de Hacienda tiene como facultad evaluar antes, durante y despus del ejercicio scal, el desempeo, resultados e impactos de los programas y polticas pblicas, los servicios e inversiones gubernamentales. Por la otra, el Comit de Planeacin para el Desarrollo (COPLADE), tiene entre sus funciones evaluar anualmente la relacin que guarden los programas y presupuestos de las diversas dependencias y entidades de la APE, as como de los resultados de la ejecucin con los objetivos y prioridades del Plan Estatal y los Programas Regionales y Estatales. La Comisin es un organismo ajeno a la operacin de la poltica de desarrollo social conformado por ocho integrantes, donde uno representa al ejecutivo estatal (el titular de la SEPLADER), un Secretario Ejecutivo designado por el titular de la SEPLADER y seis investigadores de reconocido prestigio. Aunque no se especica que la Comisin est dotada de personalidad jurdica, autonoma tcnica y de gestin, su integracin permite suponer que tiene autonoma de gestin ya que la mayora de sus integrantes no forman parte del rgano gubernamental. El organismo est a cargo de normar y coordinar la evaluacin de la poltica y programas de desarrollo social que ejecuten las dependencias y entidades del Poder Ejecutivo Estatal y de los municipios. Asimismo, est facultado para emitir recomendaciones derivado de los resultados de las evaluaciones, aprobar los indicadores de resultados y de gestin, y llevar a cabo estudios de desarrollo social. Atribuciones que no quedan comprendidas dentro del marco de accin de la Comisin pero que pueden serlo de alguno de los actores del Sistema Estatal de Desarrollo Social como realizar la planeacin de las evaluaciones, elaborar estudios de desarrollo social, y brindar asesora en temas relacionados; los cuales contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
200
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Quintana Roo. Si bien, no se detectaron factores clave como realizar una planea-
201
cin de las evaluaciones o el seguimiento a las recomendaciones, la creacin del organismo independiente de la operacin de la poltica de desarrollo social encargado de la tarea, puede ser el impulsor en materia de monitoreo y evaluacin. Se identicaron tres reas con atribuciones de evaluacin, sin embargo no se detectaron documentos ms especcos que permitan determinar si existe complementariedad, coordinacin o duplicidad entre las que le corresponden a cada uno. Si bien, la LDS atribuye a la Comisin el normar la evaluacin, en el Reglamento de la Ley estipula que la SEPLADER deber publicar los lineamientos para la evaluacin, lo cual diculta determinar la delimitacin de atribuciones de cada uno de los actores que lideran el proceso de evaluacin. Aun cuando el estado cuenta con una LDS desde 2007, hasta ahora no se encontr evidencia de que la Comisin est en funcionamiento; sin embargo, Quintana Roo ha impulsado instrumentos de monitoreo que permiten hacer un seguimiento, en el caso de educacin, de los resultados logrados. El reto que afronta ahora es el de implementar los elementos de monitoreo y evaluacin que por Ley se establecen, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Quintana Roo: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien, es claro que las intervenciones pblicas de la SEPLADER y de la Secretara de Desarrollo Social son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos en el que se analice la problemtica que se busca atender. Aunque se determinan ciertos criterios, tambin deber ser claro el tipo de programa sobre los cuales se apliquen.
202
Si bien, algunos programas cuentan con ROP , es fundamental que todos los programas las tengan. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse, de acuerdo con las prioridades de informacin del estado, y los tipos de evaluacin. La LDS establece que la evaluacin debe realizarse para cada ejercicio, por lo que para su planeacin, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Asimismo, una vez generados es necesario monitorear su evolucin en el tiempo. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizarla, como el seguimiento a las recomendaciones y resultados de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento de la Comisin.
203
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de San Luis Potos respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
0% Nayarit Baja California Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Tamaulipas Durango Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
204
205
Se acuerda que las evaluaciones de manera invariable incluirn indicadores de resultados, gestin y servicios para medir su cobertura, calidad e impacto de los programas sociales. No obstante, no encontr la informacin de stos que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. Cabe sealar que tampoco est el actor responsable de ejecutar la tarea. En materia de difusin se establece que las dependencias y entidades del Poder Ejecutivo y de los municipios deben publicar los padrones de beneciarios de los programas de desarrollo social. Tambin se dispone la publicacin de los resultados de la evaluacin y cabe sealar que aun cuando se solicita incluir los indicadores de resultados y de gestin en la evaluacin, no se localiz el mandato de su divulgacin de manera directa. La LDS instituye que la SEDESORE es la encargada de la evaluacin de la poltica de desarrollo social. Su mbito de accin se ja nicamente a nivel estatal ya que los municipios debern evaluar anualmente los avances y resultados de la poltica de desarrollo social municipal. La SEDESORE cuenta con una Direccin General de Planeacin y Evaluacin, pero su mbito de accin son las acciones y programas de la misma Secretara. Por otro lado, la Direccin General de Planeacin y Presupuesto de la Secretara de Finanzas (SF) tiene atribuciones de evaluar la ejecucin del Plan Estatal de Desarrollo, que en el mbito estatal compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal. Asimismo, en la pgina de internet del estado se hace mencin del Comit de Planeacin para el Desarrollo del estado (COPLADE), sin embargo, no se encontr informacin sobre si ste tiene facultades de evaluacin o lleva a cabo elementos en la materia. La SEDESORE y la SF son instancias que forman parte de la estructura orgnica del Poder Ejecutivo Estatal, para la SEDESORE no fue posible identicar el rea encargada de la evaluacin. Asimismo, la evaluacin no constituye la razn de ser de las instituciones. La SEDESORE est a cargo de la evaluacin de la poltica de desarrollo social. Adems est facultada para brindar asesora en temas relacionados a otras instancias gubernamentales. Para la SF, se determina la atribucin de denir los lineamientos y normas para valorar la ejecucin del Plan Estatal de Desarrollo, as como la congruencia de los programas y proyectos derivados de ste, que se deduce, incluye lo social. Tambin se establece que debe instrumentar el sistema de informacin que asegure los elementos necesarios para la evaluacin y el seguimiento del ejercicio de los programas y presupuestos de las dependencias y entidades del Poder Ejecutivo Estatal. Atribuciones que no quedan comprendidas dentro del marco de accin de estas dependencias son realizar la planeacin de las evaluaciones, emitir recomendaciones derivado de ellas y darles seguimiento; y participar en la construccin de indicadores de resultados y de gestin que aunque pueden no corresponder exclusivamente a estas dependencias, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
206
207
Conclusiones
Normativamente en la LDS y en la LAIP se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de San Luis Potos. A pesar de esto no se detectaron factores clave como generar un plan de las evaluaciones, el seguimiento a las recomendaciones, y la asignacin de esta tarea a un rea con autonoma tcnica independiente de la operacin de los programas que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. En el estado, la SEDESORE y la SF tienen atribuciones de evaluacin; sin embargo, no existe informacin especca al interior de estas reas sobre de las que le corresponden a cada una, ni un esquema de coordinacin entre stas delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber para el desarrollo de sus tareas. A pesar de que la LDS est vigente desde 2008, no se encontraron instrumentos de evaluacin realizados. Adems, los elementos de monitoreo implementados no se encuentran consolidados, puesto que en algunos casos no es posible tener informacin sobre la medicin de los indicadores que pudiera usarse para la toma de decisiones. Asimismo, aquellos de planeacin y ejecucin que existen, son ejercicios aislados que no contribuyen a contar con una base de insumos que pueda usarse para la evaluacin. El reto que afronta San Luis Potos ahora es el de implementar los elementos de monitoreo y evaluacin que por Ley se establecen, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en San Luis Potos: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de que la tarea de monitoreo y evaluacin de las polticas y los programas sea asignada a una sola rea de gobierno, ajena a la operacin de las polticas y programas pblicos de preferencia con autonoma tcnica. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDESORE son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa
208
es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Es fundamental contar con criterios especcos y homogneos para la elaboracin y difusin de ROP o lineamientos de operacin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Es importante que stos sean aplicables a todos los programas estatales. Cabe indicar que la difusin de las ROP o Lineamientos de operacin tambin permite transparentar el acceso a los programas. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden determinarse adems los criterios y lineamientos de manera que la informacin que integre al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse, de acuerdo con las prioridades de informacin del estado, los tipos de evaluacin, y las responsabilidades de los actores involucrados en el proceso. Para su integracin debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante especicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus resultados y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Asimismo, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un Sistema de Monitoreo y Evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar dicha informacin, como el seguimiento a las recomendaciones y resultados de las evaluaciones.
209
Sinaloa
No cuenta con una Ley de Desarrollo Social (LDS), no obstante, la normativa establece la evaluacin de los programas estatales, que se deduce, incluye lo social, para la toma de decisiones y la deteccin de reas susceptibles de mejora. El Reglamento Orgnico de la Administracin Pblica Estatal de Sinaloa (ROAPE) determina como atribucin de la Secretara de Innovacin Gubernamental coordinar la evaluacin de los programas estatales para la toma de decisiones. Estipula tambin como facultad de la Secretara de Desarrollo Social y Humano la evaluacin de los planes y programas del gobierno del estado que promuevan el desarrollo social y el combate a la pobreza. El estado tiene indicadores de gestin para las dependencias estatales, sin embargo no se detect informacin de su medicin. No se encontraron evaluaciones de programas o de polticas de desarrollo social o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Sinaloa respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% 44.4% Promedio Nacional
80%
60%
40%
30.6% 20.4%
20%
0% San Luis Potos Distrito Federal Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz Hidalgo Sinaloa Tlaxcala Baja California Sur Estado de Mxico Nuevo Len Guerrero Quertaro Morelos
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
210
211
gados de ella y si podrn llevarse a cabo de manera externa, entendido como la contratacin de un evaluador externo. Se conviene que la Secretara de Desarrollo Social y Humano (SDSH) debe determinar y medir indicadores que permitan identicar y evaluar la evolucin en el tiempo de variables relacionadas con la pobreza y la marginacin, as como las referentes al impacto de las acciones para el desarrollo social y humano, por lo que se deduce que se reere a indicadores de resultados. A pesar de esto, no se encontr informacin sobre si stos son para programas, estrategias u otras intervenciones de la Secretara. En cuanto a los indicadores de gestin, no se establece su elaboracin de manera directa, no obstante, dispone que las entidades gubernamentales deben difundir los indicadores de gestin que permitan conocer las metas, por unidad responsable, as como los avances fsicos y nancieros para cada una de ellas. Tanto para los indicadores de resultados como de gestin, no se encontr qu informacin deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se estipula que las entidades gubernamentales deben divulgar informacin de sus programas de apoyo como la poblacin objetivo, el tipo de apoyo otorgado, los criterios de elegibilidad de los beneciarios; as como publicar sus padrones de beneciarios y los indicadores de gestin. No se detect el mandato de publicar la evaluacin ni los indicadores de resultados. El ROAPE establece que la Secretara de Innovacin Gubernamental es la encargada de coordinar la evaluacin de los programas estatales, que se deduce, incluye lo social. Este mismo Reglamento instituye que la SDSH tiene la atribucin de evaluar los planes y programas del gobierno del estado que promuevan el desarrollo social y el combate a la pobreza, y que la Comisin de Innovacin Gubernamental tiene la facultad de evaluar los resultados de las acciones orientadas al cumplimiento de los programas de mejoramiento del Poder Ejecutivo Estatal, en funcin de sus objetivos y prioridades. Las acciones realizadas por estas reas se disponen slo a nivel estatal por lo que se deduce que su mbito de accin corresponde a dicho nivel. La Secretara de Innovacin Gubernamental forma parte de la estructura orgnica del Poder Ejecutivo Estatal, y es ajena a la operacin de la poltica y/o los programas de desarrollo social. Entre otras tareas, la Secretara de Innovacin Gubernamental est a cargo de coordinar la elaboracin, seguimiento y evaluacin del plan estatal de desarrollo, de los programas sectoriales, especiales, regionales e institucionales, as como de coordinar, con la participacin de las dependencias y entidades del Poder Ejecutivo Estatal, de la federacin y los municipios la formulacin, seguimiento y evaluacin de los programas operativos anuales y de los estatales. Tambin, est facultado para brindar asesora en temas relacionados a otras instancias gubernamentales. Atribuciones que no quedan comprendidas dentro del marco de accin de esta dependencia son normar la evaluacin, realizar la planeacin de las evaluaciones, emitir recomendaciones derivado ellas y darles seguimiento, participar en la construccin de indicadores de resultados y
212
de gestin, y llevar a cabo estudios de desarrollo social, que aunque pueden no corresponder exclusivamente a esta dependencia, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
Conclusiones
Normativamente, en la LTAI, LSEDS y el ROAPE se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Sinaloa. A pesar de ello, no se detectaron factores clave como el ente facultado para normar la evaluacin, realizar una planeacin de las evaluaciones, la posibilidad de emitir recomendaciones derivado de las evaluaciones o de su seguimiento. Sin embar-
213
go, contar con una instancia independiente de la operacin de la poltica de desarrollo social encargada de la tarea, puede ser el impulsor en materia de monitoreo y evaluacin. En el estado, la SIG, la SDSH y la CIG tienen atribuciones de evaluacin, mas no se encontr informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin entre stas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudieran tener para el desarrollo de sus tareas. Hasta ahora no se encontr evidencia de las acciones de monitoreo y evaluacin que hayan implementado los actores antes mencionados para los programas y/o polticas del estado. Cabe mencionar que en el caso de la SIG y de la CIG cuentan con esta atribucin a partir de 2011. Asimismo, los elementos de monitoreo implementados si bien abarcan a todas las dependencias no se encuentran consolidados puesto que no proporcionan informacin que pueda usarse en la toma de decisiones De la misma manera, los instrumentos de planeacin y ejecucin que se cuentan son ejercicios aislados que no permiten tener una base de insumos que puedan usarse para la evaluacin y el monitoreo. Por tanto, el reto que afronta Sinaloa es estructurar los elementos de monitoreo y evaluacin de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones con base en los resultados alcanzados.
Oportunidades de mejora
Construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Sinaloa: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental identicar las acciones, programas y polticas consideradas de la materia, incluso, la identicacin de programas estatales respecto de los federales. Si bien en el PEE se estipulan los recursos para el Desarrollo Social, no es claro qu programas, acciones y polticas lo integran. Se sugiere organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un factor necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico.
214
Si bien, algunos programas cuentan con ROP , establecer y difundir criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de stos. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a los programas. Impulsar la creacin y difusin de un padrn nico de beneciarios de los programas de desarrollo social estatales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden establecerse adems criterios y lineamientos de manera que la informacin que integre al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse de acuerdo con las prioridades de informacin del estado, los tipos de evaluacin, su temporalidad, enfoque externo o interno, etc. Para realizarla se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar dicha informacin, como el seguimiento a las recomendaciones de las evaluaciones.
215
Sonora
La Ley de Desarrollo Social del estado de Sonora (LDS) establece la evaluacin de la poltica, programas y acciones de desarrollo social del estado para mejorar la ecacia del desarrollo social. La LDS instituye la creacin de la Comisin Estatal de Desarrollo Social como el encargado de normar y coordinar la evaluacin de la poltica de desarrollo social. No se especica si est dotado de autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin en materia de educacin, la ltima informacin disponible corresponde a 2009-2010. Asimismo, tiene indicadores de gestin para las dependencias, sin embargo, no se detect informacin de su medicin. No se encontraron evaluaciones de programas o de polticas de desarrollo social o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Sonora respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% 44.4% Promedio Nacional
80%
0% Distrito Federal Chihuahua Michoacn Aguascalientes Nayarit Tamaulipas Baja California San Luis Potos Hidalgo Baja California Sur Estado de Mxico Nuevo Len Guanajuato Guerrero Oaxaca Jalisco Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Durango Veracruz Sinaloa Morelos Quertaro Tlaxcala
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
216
217
ejecutarse a travs de procesos anuales o multianuales, de conformidad con la informacin y naturaleza del programa. Un aspecto que no se identic es si debe realizarse una planeacin de las evaluaciones, con la cual puedan sealarse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se determinen las evaluaciones a elaborarse en un determinado periodo, su temporalidad y los programas a evaluarse. Los programas sociales debern incluir en la evaluacin los indicadores de resultados, gestin y servicios para medir su cobertura, calidad e impacto. No se ubic la informacin que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se establece la publicacin de las ROP y de los resultados de la evaluacin, la que adems se debe dar a conocer a la SEDESSON y a las dependencias o entidades estatales y a los gobiernos municipales que hayan ejercido las funciones evaluadas. Sin embargo, no se encontr el mandato de publicar el padrn de beneciarios, y aun cuando se solicita incluir los indicadores de resultados y de gestin en la evaluacin, no se identic de manera directa su divulgacin. La LDS crea la Comisin, como el organismo encargado de evaluar peridicamente el impacto de las polticas, planes, programas y acciones de desarrollo social. Su mbito de accin se establece nicamente para los programas estatales, aunque la Comisin debe promover la evaluacin en los gobiernos municipales. En la Ley se establece que sin menoscabo de la evaluacin realizada por la Comisin, la SEDESSON llevar a cabo la evaluacin interna continua y permanente de la operacin de los programas, proyectos, acciones e inversiones de desarrollo social. Asimismo, el Comit de Planeacin para el Desarrollo (COPLADE) tiene como atribucin contribuir en la formulacin, actualizacin, instrumentacin, control y evaluacin del Plan Estatal de Desarrollo. La Comisin es un rgano conformado por responsables de la operacin de la poltica de desarrollo social, aunque no forma parte de la estructura orgnica de una dependencia o entidad. Est conformado por 13 integrantes del Poder Ejecutivo del estado: el Gobernador (quien adems lo preside), los titulares de las dependencias y entidades con temtica social y la Secretara de Hacienda. Cabe mencionar que no se especica si la Comisin tiene autonoma tcnica y de gestin. La Comisin est a cargo de orientar, coordinar, dar seguimiento y evaluar las polticas, planes, programas y acciones de desarrollo social estatales. Adems, est facultado para establecer criterios, normas y lineamientos para llevar a cabo la evaluacin y emitir recomendaciones derivado de los resultados de las evaluaciones. Atribuciones que no quedan comprendidas dentro de su marco de accin son realizar la planeacin de las evaluaciones, participar en la construccin de indicadores de resultados y de gestin, efectuar estudios de desarrollo social y brindar asesora en temas relacionados otras instancias gubernamentales, que aunque pueden no corresponder
218
exclusivamente a esta instancia, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
219
Cabe sealar que en ambos casos, no es posible conocer el avance por programa de desarrollo social. En cuanto a la Comisin no se identic su funcionamiento ni elementos en materia de evaluacin implementados por el COPLADE ni la SEDESSON.
Conclusiones
Normativamente en la LDS y en la LAIP se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Sonora. Si bien no se detectaron elementos clave como realizar una planeacin de las evaluaciones, estudios en materia de desarrollo social o el seguimiento a las recomendaciones, la creacin de un rgano encargado de la tarea puede ser el impulsor del tema. La Comisin debe conformarse por los tomadores de decisin en materia de desarrollo social de la entidad, y cuenta con el liderazgo del Gobernador lo cual es clave para el xito de las tareas de monitoreo y evaluacin. Sin embargo, dirigir estas tareas sin un rgano tcnico de apoyo, es un desafo importante, debido a las prioridades y funciones que desempean tanto el Gobernador como los Secretarios. De la misma manera, la Comisin, el COPLADE y la SEDESSON tienen atribuciones de evaluacin; sin embargo, no se detect informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin de estas ltimas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. Si bien la LDS est vigente desde 2006, no se identic evidencia de que la Comisin est en funcionamiento y los elementos que ha llevado a cabo Sonora en materia de monitoreo dirigidos al ejercicio de los recursos, de bienes y servicios entregados y en algunos casos de resultados alcanzados, se encuentran desarticulados, por lo que no proporcionan informacin integral para la toma de decisiones. El reto que afronta Sonora es el de implementar los elementos de monitoreo y evaluacin que por Ley se establecen, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Sonora: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Si bien, se determina la generacin de lineamientos para la creacin de programas nuevos y para la construccin del padrn de beneciarios, tambin se sugiere especicar algunos aspectos tcnicos mnimos del contenido de las evaluaciones y criterios homogneos para la construccin de indicadores. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia en el esta-
220
do, as como la homologacin de conceptos, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDESSON son de desarrollo social, no lo es respecto de otras dependencias y entidades estatales. Dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos, ya que sta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a la unidad responsable de operarlo. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin del diagnstico para la elaboracin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es el uso de la matriz de Marco Lgico. Si bien algunos programas cuentan con ROP , es fundamental establecer criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que pueda identicarse la complementariedad o duplicidad de los apoyos brindados a los beneciarios, as como referir los que provienen de la federacin, del estado e incluso de los municipios. Si se parte de un escenario donde los recursos son limitados es importante contar con la planeacin de la evaluacin que permita determinar los programas a evaluarse, de acuerdo con las prioridades de informacin que requiera el estado, los tipos de evaluacin, y las responsabilidades de los actores involucrados en el proceso. Para su integracin se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante especicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un Sistema de Monitoreo y Evaluacin se da cuando la informacin que se genera es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones y resultados de las evaluaciones, tarea que puede ser ejecutada por algn otro participante del Sistema Estatal para el Desarrollo Social de Sonora. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere determinar los mecanismos para impulsar el funcionamiento de la Comisin.
221
Tabasco
La Ley de Desarrollo Social del estado de Tabasco (LDS) que establece la evaluacin de la poltica de desarrollo social con el objetivo de mejorar los programas, metas y acciones que la integran. La LDS estipula como atribucin de la Secretara de Desarrollo Social y Proteccin del Medio Ambiente, hoy Secretara de Planeacin y Desarrollo Social, la evaluacin de la poltica de desarrollo social. El estado cuenta con indicadores de resultados y de gestin para los objetivos del Programa Estatal de Desarrollo Social 2007-2012 y con indicadores de gestin por dependencia estatal. Sin embargo, no se detect informacin de su medicin. Asimismo, el estado ha realizado evaluaciones sobre problemticas de desarrollo social. No se encontraron estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Tabasco respecto de otras entidades federativas:
100% 80.6%
80%
0% Chihuahua Nayarit Coahuila Baja California San Luis Potos Sinaloa Distrito Federal Estado de Mxico Nuevo Len Guanajuato Michoacn Guerrero Aguascalientes Quintana Roo Campeche Quertaro Zacatecas Tamaulipas Durango Veracruz Tlaxcala Oaxaca Jalisco Tabasco Sonora Puebla Colima Chiapas Yucatn Hidalgo Morelos Baja California Sur
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin los hallazgos por cada componente.
222
223
La LDS decreta que para la evaluacin de resultados, los programas sociales de manera invariable debern incluir los indicadores de resultados, gestin y servicios para medir su cobertura, calidad e impacto. Los primeros deben reejar el cumplimiento de los objetivos sociales de los programas, metas y acciones de la poltica estatal para el desarrollo social, y los segundos, los procedimientos y la calidad de los servicios. No obstante, no se identic informacin de los que debern reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin si bien no se detect la publicacin de las ROP de manera directa, se ja que el Poder Ejecutivo del estado y los ayuntamientos debern difundir los programas, as como los requisitos y procedimientos para participar en ellos. De la misma manera, se decide publicar los resultados de las evaluaciones trianuales de impacto en el Peridico Ocial pero esto no se encontr para la evaluacin que se realizar anualmente. Cabe sealar que aun cuando se solicita incluir los indicadores de resultados, gestin y servicios en la evaluacin, tanto su divulgacin como la del padrn nico de beneciarios no se detect de manera directa. La LDS estipula que la SPDS es la encargada de la evaluacin de la poltica de desarrollo social mediante la UPyE y que el Consejo tiene la atribucin de realizar evaluaciones trianuales de impacto sobre el desarrollo social a partir de un diagnstico sobre el ste en el estado. En ambos casos su mbito de accin es estatal. Asimismo, el Comit de Planeacin para el Desarrollo del estado (COPLADET) es el encargado de promover y contribuir en la formulacin, actualizacin, instrumentacin y evaluacin del Plan Estatal de Desarrollo, que en el mbito estatal compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal. Por ltimo, la Secretara de Administracin y Finanzas (SAF) es la responsable de coordinar conjuntamente con el COPLADET y la Secretara de Contralora (SC), la implementacin de los mecanismos de control y evaluacin derivados del ejercicio del gasto pblico. El mbito de accin de estas instancias son los recursos estatales. La UPyE, el Consejo, el COPLADET, la SAF y la SC son instancias que forman parte de la estructura orgnica del Poder Ejecutivo Estatal ajenas a la operacin de la poltica social. La UPyE est integrada por la Direccin de Prospectiva, la Direccin de Seguimiento y Evaluacin y la Direccin de Estadstica. La SPDS est facultada para coordinar el diseo, operacin y actualizacin de un sistema estatal de indicadores y coordinar y dirigir la realizacin de estudios y anlisis econmicos y sociales para la toma de decisiones que incidan en el desarrollo del estado. Atribuciones que no quedan comprendidas dentro del marco de accin de estas instancias son normar la evaluacin, llevar a cabo la planeacin de las evaluaciones, emitir recomendaciones derivado de ellas y darles seguimiento, as como brindar asesora en temas relacionados a otras instancias gubernamentales que aunque pueden no corresponder exclusivamente a estas dependencias, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
224
225
Tanto en los indicadores del Programa Estatal de Desarrollo Social, como en los de la SAF, la informacin se presenta a nivel temtica, por lo que no se cuenta con aquellos por programa ni con su medicin. Cabe mencionar que no se detectaron elementos de monitoreo y evaluacin implementados por la SPDS a partir de la modicacin de la estructura orgnica del Poder Ejecutivo Estatal ni de los elaborados por el Consejo, SAF y la SC.
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Tabasco. A pesar de esto, no se detectaron elementos clave como el ente facultado para normar la evaluacin, generar una planeacin de las evaluaciones, la posibilidad de emitir recomendaciones derivado de los evaluaciones y darles seguimiento, as como la asignacin de esta tarea a un rea con autonoma tcnica independiente de la operacin de los programas que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. En el estado, la UPyE de la SDS, el COPLADET, la SAF y la SC tienen atribuciones de evaluacin, pero no existe informacin especca respecto de las que le corresponden a cada una, ni un esquema de coordinacin de acciones que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. Algunos de los actores mencionados han realizado ejercicios de evaluacin de algunas de las principales problemticas de desarrollo social del estado, y tambin han impulsado la implementacin de acciones de monitoreo dirigidas a contar con indicadores de resultados y de gestin a nivel temtica, aun cuando no se haya detectado aun el seguimiento peridico de stos. No obstante, no se identic que estos elementos fueran parte de la elaboracin de un sistema integral de monitoreo y evaluacin, sino que ms bien se trat de ejercicios desarticulados, lo cual llama la atencin al considerar que la LDS est vigente desde 2007. El reto que afronta Tabasco ahora es el de establecer los que por Ley se estipulan, de manera estructurada de forma que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Tabasco: Para impulsar la creacin de un sistema de monitoreo y evaluacin se sugiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de que la tarea de monitoreo y evaluacin de las polticas y los programas sea asignada a una sola rea de gobierno, de preferencia con autonoma tcnica.
226
Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia en el estado, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SPDS son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos ya que esta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. , es fundamental establecer y comunicar criterios Si bien, algunos programas cuentan con ROP especcos y homogneos para su ejecucin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin que requiera el estado, los tipos de evaluacin, las responsabilidades de los actores involucrados en el proceso, entre otros. La LDS establece que la evaluacin debe realizarse anualmente, por lo que para su planeacin, se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones de las evaluaciones.
227
Tamaulipas
En la Ley de Desarrollo Social para el estado de Tamaulipas (LDS) se establece la evaluacin de la poltica y los programas de desarrollo social del estado para revisar los resultados en el mejoramiento del nivel de vida de las personas en situacin de marginacin y pobreza. La LDS estipula la creacin de la Comisin Estatal de Evaluacin de la Poltica de Desarrollo Social como el encargado de coordinar la evaluacin de la poltica estatal de desarrollo social. No se especica si est dotado de autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin alineados a los ejes del Plan Estatal de Desarrollo 2004-2010, la ltima medicin disponible corresponde a 2010. Tambin ha realizado estudios en materia de desarrollo social. No se detectaron evaluaciones de programas o de polticas estatales sobre la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Tamaulipas respecto del resto de las entidades:
100% 80.6%
80%
0% Estado de Mxico San Luis Potos Distrito Federal Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Nuevo Len Guerrero Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin los hallazgos por cada componente.
228
229
condiciones de vida de la poblacin y los de gestin a la entrega de bienes y servicios, procesos y los relacionados con informacin presupuestal. En materia de difusin no se identic el mandato de divulgar los criterios de los programas nuevos, las ROP de los programas estatales, el padrn nico de beneciarios ni los resultados de la evaluacin de los programas. La LDS crea la Comisin Estatal de Evaluacin de la Poltica de Desarrollo Social (Comisin) como el organismo encargado de coordinar la evaluacin de las polticas y programas sociales que ejecuten las dependencias pblicas. Su mbito de accin se establece a nivel estatal. Tambin, la SDS tiene entre sus funciones conducir y evaluar la poltica estatal de desarrollo social mediante la Direccin General de Equidad Social. Asimismo, la Secretara de Finanzas cuenta con una Coordinacin General de Planeacin para el Desarrollo, entre cuyas funciones se encuentra evaluar la congruencia entre el gasto pblico y el cumplimento de los planes, programas y presupuestos y coordinar la evaluacin del Plan Estatal de Desarrollo, que en el mbito estatal compatibiliza los esfuerzos que realicen los gobiernos federal, estatal y municipal. La Comisin es un organismo ajeno a la operacin de la poltica social, conformado por el titular de la SDS, quien adems lo preside, por los titulares de las Secretaras vinculadas con el desarrollo social, as como por los presidentes municipales, organismos del sector social y privado y acadmicos relacionados con la materia. Cabe sealar que no se detect si est dotado de autonoma tcnica y de gestin. La Comisin est a cargo de coordinar la evaluacin de las polticas y programas sociales que lleven a cabo las dependencias pblicas, y de emitir recomendaciones sobre el desempeo de los programas sociales; sin embargo, no menciona si estas ltimas se derivan de las evaluaciones realizadas. Atribuciones que no quedan comprendidas dentro del marco de accin de la Comisin es normar la evaluacin, realizar la planeacin de las evaluaciones, participar en la construccin de indicadores y brindar asesora en temas relacionados a instancias gubernamentales. Aunque estas facultades pueden no corresponder exclusivamente a la Comisin, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
230
primero es un elemento que permite avanzar en la construccin de un presupuesto orientado a resultados, mas al no encontrase informacin no es posible hacerlo. No se observaron ROP o lineamientos de operacin disponibles para sus programas estatales. No se identicaron padrones de beneciarios publicados de programas de desarrollo social. Cabe mencionar que en la pgina de internet del estado se hace mencin del Padrn nico de Beneciarios (PUBNet) que establece la LDS, el cual se describe como una base de datos que contiene el conjunto de registros sistematizados que permite ubicar a los beneciarios con el objetivo de identicar a la poblacin beneciada por los programas gubernamentales, evaluar y dar seguimiento al impacto de estos y garantizar la coordinacin interinstitucional de los rdenes de gobierno en los procesos de planeacin, ejecucin y control; pero no se comprob su funcionamiento. De la misma manera, no se localiz evidencia de evaluaciones realizadas a programas estatales ni del uso de evaluaciones estatales para llevar a cabo acciones de mejora de la poltica de desarrollo social ni tampoco informacin acerca de una planeacin de las evaluaciones de programas estatales. A pesar de lo anterior, se identic un diagnstico en materia de desarrollo social realizado en 2009 por un externo y coordinado por el Comit de Planeacin para el Desarrollo (COPLADET) y la SDS, en el que se hace un anlisis de la poblacin que padece una problemtica y sus causas, efectos y caractersticas y se determinan recomendaciones para su resolucin. Sin embargo, no se detect el uso de este diagnstico para mejorar la poltica de desarrollo social del estado. En el Sexto Informe de Gobierno se reportan indicadores de resultados y de gestin alineados a los ejes del Plan Estatal de Desarrollo 2004-2010, la ltima medicin disponible corresponde a 2010. La informacin que se recaba de cada uno es el nombre, pero no la descripcin de lo que busca medir, frmulas de clculo, frecuencia de medicin, lnea base y metas. Cabe mencionar que esta informacin no permite conocer el avance por programa de desarrollo social. En cuanto a la Comisin no se detect evidencia de su funcionamiento ni de elementos de evaluacin implementados por la SDS y el COPLADET.
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Tamaulipas. Si bien no se detectaron elementos clave como el ente facultado para normar la evaluacin, la planeacin de las evaluaciones, la generacin de indicadores para los programas, as como la posibilidad de emitir recomendaciones derivado de los evaluaciones, la creacin de un organismo con autonoma tcnica y de gestin independiente de la operacin de la poltica social, puede ser el impulsor en materia de monitoreo y evaluacin. En el estado, la Comisin, la SDS y la COPLADET tienen atribuciones de evaluacin, pero no se detect informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin de estas ltimas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas.
231
Si bien la LDS est vigente desde 2004, hasta ahora no se encontr evidencia de que la Comisin est en funcionamiento, o de acciones en materia de evaluacin realizados en el estado. Asimismo, los elementos en materia de monitoreo que se han desarrollado han sido ejercicios desarticulados que no proporcionan informacin integral para la toma de decisiones. Por tanto, el reto que afronta Tamaulipas es el de implementar los elementos que por Ley se establecen, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Tamaulipas: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica; stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia en el estado, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SDS son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Es fundamental determinar y difundir criterios especcos y homogneos para la elaboracin y divulgacin de ROP o lineamientos de operacin para los programas, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Asimismo, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP o de los lineamientos de operacin tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las
232
prioridades de informacin que requiera el estado, los tipos de evaluacin, su temporalidad, las responsabilidades de los actores involucrados en el proceso, entre otros. Para su integracin se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante determinar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones de las evaluaciones Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento de la Comisin.
233
Tlaxcala
La entidad no cuenta con una Ley de Desarrollo Social para el estado (LDS), no obstante, la normativa establece la realizacin de la evaluacin que permita conocer los resultados de la aplicacin de los recursos pblicos estatales. La Ley Orgnica de la Administracin Pblica del estado de Tlaxcala (LOAP) seala como atribuciones de la Secretara de Finanzas y de la Secretara de la Funcin Pblica, la evaluacin que permita conocer los resultados de la aplicacin de los recursos pblicos federales y estatales en sus respectivos mbitos de competencia. Tambin, estipula como facultad de la Coordinacin de Planeacin, Evaluacin y Seguimiento de Programas, dependiente del Gobernador la evaluacin y seguimiento de los programas de desarrollo en la entidad. El estado cuenta con indicadores de gestin para algunos de sus planes y programas sociales, sin embargo no se detect informacin de su medicin. No se encontraron evaluaciones de programas o de polticas de desarrollo social o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Tlaxcala respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% 44.4% Promedio Nacional
80%
60%
40%
22.2% 20.4%
20%
0% Chihuahua Nayarit Coahuila Baja California San Luis Potos Sinaloa Distrito Federal Estado de Mxico Nuevo Len Guanajuato Michoacn Guerrero Aguascalientes Quintana Roo Campeche Quertaro Zacatecas Tamaulipas Durango Veracruz Tlaxcala Oaxaca Jalisco Tabasco Sonora Puebla Colima Chiapas Yucatn Hidalgo Morelos Baja California Sur
Fuente: CONEVAL,2011
234
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
235
ta la deteccin de duplicidades y complementariedades entre programas estatales, municipales e incluso federales. Se dispone la realizacin de la evaluacin que permita conocer los resultados de la aplicacin de los recursos pblicos estatales. Para 2011 este precepto se fortalece con lo establecido en el PEET, al sealar que se evaluarn trimestralmente los resultados obtenidos de la aplicacin de los programas y presupuestos de las dependencias y entidades estatales, que se deduce, incluye lo social. Se decreta que debern adecuarse las ROP o lineamientos de los programas derivado de las recomendaciones de las evaluaciones, pero no se especic como atribucin de algn actor el seguimiento a las recomendaciones derivadas de las evaluaciones, por lo que su uso para la mejora de la poltica no es vinculante. Otro aspecto que no se identic es si debe realizarse una planeacin de las evaluaciones en la cual puedan establecerse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan llevarse a cabo y si podrn desarrollarse de manera externa, entendido como la contratacin de un evaluador externo para ello. Aunque en el PEET 2011 se menciona un programa anual de evaluacin, no se menciona su elaboracin como atribucin especca de alguna dependencia o entidad. Se seala como atribucin de la Secretara de Finanzas (SF) y de la Secretara de la Funcin Pblica (SFPT) concertar y validar indicadores de resultados y de gestin con las dependencias y entidades del Poder Ejecutivo Estatal. Adems, para 2011 el PEET marca que cada programa proyecto debe tener una cha de indicadores para resultados con sus objetivos, indicadores y metas identicados, y usar el seguimiento de estas ltimas para las evaluaciones. Cabe mencionar que no se detect informacin de los indicadores que debern reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se indica que las dependencias y entidades del Poder Ejecutivo Estatal y los municipios deben publicar informacin de sus planes y programas que se deduce, incluye lo social, como el tipo de apoyo otorgado y los criterios de elegibilidad y los beneciarios. No se detect el mandato de difundir la evaluacin ni los indicadores de resultados y de gestin. La LOAP establece como atribucin de la SF y la SFPT, en el mbito de sus competencias la coordinacin de la evaluacin que permita conocer los resultados de la aplicacin de los recursos estatales. Su mbito de accin es a nivel estatal. En esta misma Ley se instituye que la planeacin, evaluacin y seguimiento de los programas de desarrollo en la entidad estarn a cargo de la Coordinacin de Planeacin, Evaluacin y Seguimiento de Programas, dependiente del Gobernador. Debido a que no es claro a qu se reere con programas de desarrollo en la entidad no es posible delimitar su mbito de accin. Tambin, la Unidad de Control y Evaluacin del Comit de Planeacin para el Desarrollo (COPLADE) tiene como facultad la evaluacin de los tres niveles de gobierno.
236
La SF y la SFPT forman parte de la estructura orgnica del Poder Ejecutivo Estatal y son ajenas a la operacin de la poltica y/o los programas de desarrollo social. Sin embargo, la evaluacin no constituye la razn de ser de las instituciones. La SF y la SFPT estn a cargo de coordinar conjuntamente la evaluacin de los recursos pblicos estatales y validar los indicadores estratgicos y de gestin. Atribuciones que no quedan comprendidas dentro del marco de accin de estas dependencias son normar la evaluacin, realizar la planeacin de las valoraciones, emitir recomendaciones derivado de ellas y darles seguimiento, llevar a cabo estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente a estas dependencias, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera de los programas y polticas estatales.
237
Para la SF y la SFP no se detectaron elementos implementados en materia de evaluacin y monitoreo. Tampoco fue posible determinar los que corresponden a la Coordinacin de Planeacin, Evaluacin y Seguimiento de Programas y al COPLADE.
Conclusiones
La LOAP tiene como objeto establecer los principios de la organizacin, funcionamiento y coordinacin de la Administracin Pblica de Tlaxcala. Aun cuando se determinan la evaluacin y el monitoreo, debido a su naturaleza, no se detectaron los elementos mnimos que den pie a generar acciones en ese sentido de los programas y polticas estatales, en especco de los de desarrollo social. Si bien, en 2010 y 2011 se realiz un esfuerzo por especicar elementos de evaluacin y monitoreo en el PEET, dada la vigencia anual de este Decreto, queda en incertidumbre la continuidad de las acciones que pudieran llevarse a cabo ao con ao, detalle que toma relevancia al notar que su instrumentacin es una tarea de mediano plazo. Asimismo, se plantea que los recursos estatales deben estar sujetos a la evaluacin, mas no se determina el objeto de la misma: programas, acciones, instituciones, etctera, lo cual tambin limita conocer su objetivo en s, es decir, si se reere nicamente al ejercicio del gasto o si se considera la operacin y resultado para una mejor toma de decisiones de poltica pblica. Existen elementos clave que no se detectaron en la normativa como el ente facultado para normar la evaluacin, para generar el programa anual de evaluacin, la posibilidad de emitir recomendaciones derivado de los evaluaciones y darles seguimiento, as como la asignacin de esta tarea a un rea con autonoma tcnica independiente de la operacin de los programas que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la de desarrollo social. En el estado la SF y la SFPT por un lado; la Coordinacin de Planeacin, Evaluacin y Seguimiento de Programas y, el COPLADE Tlaxcala por el otro, tienen atribuciones de evaluacin, pero no existe mayor informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin de estas ltimas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. No se detect evidencia de las acciones de monitoreo y evaluacin que hayan implementado los actores mencionados para los programas y polticas. Por tanto, el reto que afronta Tlaxcala es estructurarlas, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Hay que considerar que construir un sistema de monitoreo y evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Tlaxcala: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, que vayan ms all de un decreto con temporalidad anual para no poner en riesgo su continuidad.
238
Es importante delimitar las responsabilidades y los mecanismos de coordinacin entre los diferentes actores involucrados en la evaluacin. Al respecto, se sugiere analizar la pertinencia de que la tarea de monitoreo y evaluacin de las polticas y los programas sea asignada a una sola rea de gobierno, de preferencia con autonoma tcnica. Para establecer elementos de monitoreo y evaluacin sobre las polticas, incluyendo la social, es fundamental delimitar las acciones, programas y polticas alineadas a una temtica (social, econmico, etctera), incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEDESET son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos, ya que esta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. , sin embargo no fueron detectadas, por lo Por norma ciertos programas deben contar con ROP que es fundamental determinar y comunicar criterios especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la publicacin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin y difusin de un padrn nico de beneciarios de los programas que vaya ms all de los programas que conduce la SEDESET, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Si se parte de un escenario donde los recursos son limitados es importante contar con un programa anual de evaluacin que permita especicar los programas a evaluarse en base a las prioridades de informacin que requiera el estado, los tipos de evaluacin, su temporalidad, enfoque externo o interno, etctera. La primera tarea para implementar acciones de evaluacin sistemtica de los programas o polticas es desarrollar un sistema de indicadores de gestin y de resultados. Los indicadores que corresponden a gestin, adems de dar cuenta del ejercicio de los recursos, tambin deben hacerlo de la operacin de los programas y del desarrollo de las actividades, y permitir tomar decisiones de ajuste en el corto plazo. Aquellos de resultado a nivel programa deben permitir conocer el efecto de la intervencin sobre la poblacin objetivo que recibe el apoyo, ya que aun cuando no se pueda contar con esta informacin en el corto plazo, son los que permitirn tomar decisiones acerca de la modicacin o cancelacin de un programa. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico.
239
Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizarla as como el seguimiento a las recomendaciones de las evaluaciones.
240
Veracruz
No se cuenta con una Ley de Desarrollo Social para el estado (LDS), (es una iniciativa), no obstante, la normativa establece la evaluacin de los programas estatales y regionales en materia de asentamientos humanos y vivienda sin denir el objetivo de sta. La Ley Orgnica del Poder Ejecutivo del estado de Veracruz (LOAP) instituye como atribucin de la Secretara de Desarrollo Social (SDS) la evaluacin de los programas estatales y regionales en materia de asentamientos humanos y vivienda. El estado tiene indicadores de resultados y de gestin para algunos programas sociales, sin embargo, no se detect informacin de su medicin. Asimismo ha realizado ejercicios de evaluacin de la gestin pblica del estado. No se detectaron evaluaciones de programas o de polticas de desarrollo social o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Veracruz respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
0% Distrito Federal Chihuahua Michoacn Aguascalientes Nayarit Tamaulipas Baja California San Luis Potos Hidalgo Baja California Sur Estado de Mxico Nuevo Len Guanajuato Guerrero Oaxaca Jalisco Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Durango Veracruz Sinaloa Morelos Quertaro Tlaxcala
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
241
242
tipos de evaluacin que puedan realizarse, la frecuencia con la cual se llevar a cabo la evaluacin y si podr hacerse de manera externa, entendido como la contratacin de un evaluador externo para ello. Se acuerda que las instancias gubernamentales debern publicar la informacin de los indicadores de gestin utilizados para evaluar su desempeo, pero no se rerieron los datos que debern reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. No se ubic el mandato de contar con indicadores de resultados. En materia de difusin, las instancias gubernamentales debern publicar las ROP y padrones de beneciarios para los programas de subsidios, as como los indicadores de gestin. No se detect el mandato de publicar los resultados de las evaluaciones. La LOPE establece como atribucin de la SDS la evaluacin de los programas estatales y regionales en materia de asentamientos humanos y vivienda mediante la Direccin General de Planeacin y Evaluacin de la Secretara de Desarrollo Social, la que adems es la encargada del sistema de seguimiento y evaluacin de los avances en la ejecucin de los programas, obras y acciones del sector en el estado, por lo que su mbito de accin es a nivel estatal. Tambin, se decide que la Secretara de Finanzas y Planeacin (SFPL) y la Contralora General (CG), en el mbito de sus respectivas, vericarn peridicamente los resultados de la elaboracin de los programas y presupuestos de las dependencias y entidades del estado. El mbito de accin de ambas instancias son los recursos estatales. Por ltimo, en la pgina de internet del estado se hace mencin de la existencia de un Comit de Planeacin para el Desarrollo Estatal (COPLADE), mas no se encontr informacin de acciones en materia de evaluacin y monitoreo implementadas por dicha rea. La Direccin General de Planeacin y Evaluacin, la SFPL y la CG forman parte de la estructura orgnica del Poder Ejecutivo Estatal y son ajenas a la operacin de la poltica y/o los programas de desarrollo social. La Direccin General de Planeacin y Evaluacin tiene a su cargo disear y operar el sistema de seguimiento y evaluacin de los avances en el desarrollo de los programas, obras y acciones del sector e integrar los indicadores de gestin de la SDS y entidades del sector. Atribuciones que no quedan comprendidas dentro del marco de accin de las instancias mencionadas son normar la evaluacin de los programas, la planeacin de las evaluaciones, emitir recomendaciones derivado de ellas y darles seguimiento, participar en la construccin de indicadores de resultados, realizar estudios de desarrollo social y brindar asesora en temas relacionados a otras instancias gubernamentales que aunque pueden no corresponder exclusivamente a estas instancias, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
243
En su Presupuesto de Egresos no se identica algn tipo de blindaje respecto de los recursos considerado como de desarrollo social aunque es posible determinar los recursos asignados a la SDS. El estado publica el presupuesto asignado a algunos programas de desarrollo social de la SDS. La ltima informacin disponible es del ejercicio 2011. El planteamiento de un presupuesto por programa es un elemento que permite avanzar en la construccin de uno que est orientado a resultados, pero al no detectarse informacin para todos los programas no es posible hacerlo. El estado cuenta con ROP para algunos programas estatales de la SDS con una estructura homognea que incluye informacin del objetivo del programa, poblacin objetivo, institucin responsable de su operacin, tipo de apoyo entregado y forma de hacerlo as como criterios para elegir a los beneciarios. Cabe mencionar que no se detect informacin sobre el ao al cual corresponden las ROP . El estado tiene publicados padrones de beneciarios slo para algunos programas de la SDS en los cuales es posible identicar el nombre del beneciario, la ubicacin geogrca, el programa del cual recibe apoyo y el tipo de este ltimo, aunque no se especica el responsable de su actualizacin y otras de sus caractersticas. Los padrones del programa corresponden al periodo de 2008 a 2010. No se observaron informes de evaluaciones realizadas a programas estatales ni del uso de estudios o evaluaciones estatales para realizar acciones de mejora de la poltica de desarrollo social ni tampoco acerca de una planeacin de las evaluaciones de programas estatales. A pesar de lo anterior, se ubic una evaluacin realizada por la SFPL en 2008 a la gestin pblica del estado. En sta se especica el objetivo y los principales hallazgos, adems de que cuenta con un resumen ejecutivo. Sin embargo no se detect informacin sobre el o los encargados de llevarla a cabo, la metodologa usada y las sugerencias o recomendaciones derivados de sus resultados. El estado posee indicadores de resultados y de gestin en matrices de indicadores para algunos programas de desarrollo social, los cuales son pblicos pero no se presentan de manera sistematizada. La informacin que se proporciona es el nombre, la frmula de clculo y la frecuencia de medicin. Sin embargo, no se encontr la descripcin de lo que busca medir, lnea base, metas ni la medicin realizada. Para la Direccin General de Planeacin y Evaluacin y la CG no se detect evidencia de elementos implementados en materia de evaluacin y monitoreo.
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Veracruz. A pesar de ello, no se determina el objetivo de la evaluacin, lo cual limita la vinculacin entre sta y el uso que pueda darse de sus resultados, por ejemplo, para mejorar la poltica de desarrollo social o para asignaciones presupuestales.
244
Adems, no se detectaron elementos clave como el ente facultado para normar la evaluacin, para generar una planeacin de las evaluaciones, la posibilidad de emitir recomendaciones derivado de stas y su seguimiento, as como la asignacin de esta tarea a un rea con autonoma tcnica independiente de la operacin de los programas que se enfoque exclusivamente a impulsar la evaluacin de los programas y polticas estatales, incluida la social. En el estado, la Direccin General de Planeacin y Evaluacin, la SFPL y la CG tienen atribuciones de evaluacin, pero no existe mayor informacin acerca de las facultades y acciones de cada una, ni un esquema de coordinacin de estas ltimas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. Asimismo, el hecho de que una de las instancias implementar el sistema de evaluacin es la CG del estado puede dar el mensaje de que la evaluacin slo es un instrumento de control y vigilancia y dicultar que el Poder Ejecutivo genere empata con la prctica de evaluacin y con el uso de la informacin derivada de ella para mejorar las polticas y programas estatales Si bien no fue posible identicar el ao a partir del cual se decretaron las atribuciones de evaluacin a los actores mencionados, hasta ahora no se identic evidencia de elementos de monitoreo y evaluacin que hayan desarrollado. Asimismo, los de monitoreo buscan realizar un seguimiento de la gestin o de los resultados alcanzados a nivel programa; pero no se encuentran consolidados, puesto que no aportan informacin sobre la medicin de los indicadores que pueda ser usada para la toma de decisiones. En este sentido, el reto que afronta Veracruz es estructurar estos elementos, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Veracruz: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos que respalden su realizacin homognea y sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Al respecto, se sugiere valorar la pertinencia de que la tarea de monitoreo y evaluacin de las polticas y los programas sea asignada a una sola rea de gobierno, de preferencia con autonoma tcnica. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia en el estado, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SDS son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos, ya que esta caracterstica es un elemento necesario para presupuestar con base en resultados,
245
considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. , es fundamental establecer y comunicar criterios Si bien, algunos programas cuentan con ROP especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin. Por ende, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin de un padrn nico de beneciarios de los programas sociales, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden establecerse adems, los criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados, es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin que requiera el estado, los tipos de evaluacin, su temporalidad, enfoque externo o interno, las responsabilidades de los actores involucrados en el proceso, entre otros. Para su integracin se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido son observables en el mediano plazo. Es importante dar continuidad a la produccin de indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones y resultados de las evaluaciones.
246
Yucatn
La entidad no cuenta con una Ley de Desarrollo Social (LDS), sin embargo, la normativa establece la evaluacin de los resultados de la ejecucin de los programas y del ejercicio de los recursos pblicos para las decisiones presupuestales. La Constitucin Poltica (CP) del estado instituye la creacin de un rgano de Evaluacin encargado de evaluar los resultados del a ejecucin de los programas. No se especica si est dotado de autonoma tcnica y de gestin. El estado tiene indicadores de resultados y de gestin de los programas presupuestarios 2011, entendidos stos como una categora de la estructura programtica del estado, no como un conjunto de acciones alineadas para alcanzar un objetivo (resultado). Sin embargo, no se detect informacin de su medicin ni evaluaciones de programas o de polticas de desarrollo social o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Yucatn respecto del resto de las entidades:
100% 80.6%
Promedio nacional44.4% 44.4% Promedio Nacional
80%
0% Nayarit Baja California Estado de Mxico San Luis Potos Distrito Federal Nuevo Len Guanajuato Chihuahua Michoacn Guerrero Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Colima Campeche Chiapas Yucatn Coahuila Zacatecas Tamaulipas Durango Veracruz Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
247
248
Tambin, se decide que el resultado de las evaluaciones se deber considerar en el proceso de programacin y presupuesto de los recursos pblicos de las entidades scalizadas a n de propiciar que se asignen tomando en cuenta los resultados alcanzados. Otro aspecto que no se determin es si debe realizarse una planeacin de las evaluaciones, con la cual puedan establecerse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan llevarse a cabo as como la frecuencia con la cual se realizar la evaluacin. Se ja que los programas presupuestarios debern contar indicadores de desempeo en temas de cobertura, eciencia, impacto econmico y social, calidad y equidad, por lo que se deduce que son indicadores de resultados y de gestin. Asimismo, de acuerdo con el Manual para la Planeacin, Programacin y Presupuestacin para 2011 y 2012, estos ltimos se deben construir con base en una matriz de indicadores y se deber integrar su nombre, descripcin de lo que busca medir, mtodo de clculo, unidad de medida, frecuencia de medicin, lnea base y metas caractersticas que permitiran su rplica. Cabe mencionar que la vigencia de este documento es anual. En materia de difusin se establece la publicacin de las ROP y del padrn nico de beneciarios. No se detect el mandato de divulgar los resultados de las evaluaciones y los indicadores de resultados y de gestin. La CP instituye que los resultados de la ejecucin de los programas y del ejercicio de los recursos pblicos, sern evaluados por un rgano de Evaluacin (rgano) dependiente del Congreso del Estado. Cabe decir que no se identic su mbito de accin. Tambin, se concluye que la SPP y la Secretara de Contralora General (SCG) en el mbito de sus respectivas competencias, vericarn y evaluarn trimestralmente los resultados de la recaudacin y la ejecucin de los programas y presupuestos de las dependencias y entidades del estado. Su mbito de accin son los recursos estatales. Adems, la SPP coordinar las tareas de evaluacin del Poder Ejecutivo Estatal, emitir las disposiciones generales en la materia y ser el conducto para proporcionar informacin y entablar relaciones de colaboracin con el rgano. Asimismo, la Secretara de Poltica Comunitaria y Social (SPCS) es la encargada de evaluar las polticas de desarrollo comunitario y sociales encaminadas a combatir la pobreza y a respaldar a los grupos ms vulnerables de la sociedad. Su mbito de accin es a nivel estatal. Por ltimo, el programa Escuchar que depende de la Jefatura del Despacho del Gobernador, tiene por objeto evaluar el impacto de las polticas pblicas implementadas por el Poder Ejecutivo, para abatir los rezagos econmicos y sociales que existen en diversas regiones del estado. Su mbito de accin es a nivel estatal. El rgano de Evaluacin es ajeno a la operacin de la poltica y/o los programas de desarrollo social, mas no se detect si cuenta con autonoma tcnica y de gestin. La SPP , la SCG, la SPCS y
249
el programa Escuchar forman parte de la estructura orgnica del poder ejecutivo Estatal, no obstante, para las primeras tres, las tareas de evaluacin no constituyen la razn de ser de las instituciones. El rgano de Evaluacin tiene a su cargo la evaluacin de los resultados de la ejecucin de los programas y del ejercicio de los recursos pblicos, la cual realizar por s mismo o mediante evaluadores externos. Atribuciones que no quedan comprendidas dentro del marco de del rgano son normar la evaluacin de los programas, la planeacin y publicacin de las evaluaciones, emitir recomendaciones derivado de las ellas y darles seguimiento, participar en la construccin de indicadores de resultados y de gestin, efectuar estudios de desarrollo social, y brindar asesora en temas relacionados a otras instancias gubernamentales, que aunque pueden no corresponder exclusivamente al rgano, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
250
El estado cuenta con indicadores de resultados y de gestin en el documento de Indicadores de Resultados de los Programas Presupuestarios 2011, elaborado por la SPP . En este escrito se presentan agrupados por programa, entendido ste como una categora de la estructura programtica del estado, no como un conjunto de acciones alineadas para alcanzar un objetivo (resultado). Cabe mencionar que dentro de la categora de subprogramas se enlistan programas de desarrollo social pero no se detectaron indicadores de cada uno. En el Reporte Trimestral de estos ltimos, se especica su nombre, descripcin de lo que busca medir, frmula de clculo y frecuencia de medicin ms no su unidad de medida y metas. Cabe indicar que no se observaron datos de la realizacin de su medicin. En la pgina de internet del estado se hace mencin de un Sistema de Informacin Estadstica, Geogrca y de Evaluacin, pero no se habla al respecto del contenido de este Sistema. Para el rgano no se detect evidencia de su funcionamiento ni de acciones en materia de evaluacin implementadas por la SPP , la SCG, la SPCS ni del programa Escuchar.
Conclusiones
Normativamente se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Yucatn. Si bien no se detectaron elementos clave del ente facultado para normar la evaluacin, realizar una planeacin de las evaluaciones y seguimiento de las recomendaciones derivadas de la evaluacin, la creacin de un organismo independiente de la operacin de la poltica de desarrollo social encargado de la tarea, puede ser el impulsor en materia de monitoreo y evaluacin. Por otra parte, la SPP , la SCG, la SPCS y el programa Escuchar tienen atribuciones de evaluacin, pero existe poca informacin de las que le corresponden especcamente a cada uno en la materia y no se encontr un esquema de coordinacin que delimite el quehacer de cada uno de estos actores, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre stos para el desarrollo de sus tareas. De la misma manera, el hecho de que una de las instancias encargada de implementar el sistema de evaluacin es la SCG del estado puede dar el mensaje de que esta ltima slo es un instrumento de control y vigilancia, y as dicultar que el Poder Ejecutivo genere empata con su prctica y con el uso de la informacin derivada de ella para mejorar las polticas y programas estatales. La normativa que decreta la evaluacin fue emitida entre 2008 y 2010, pero hasta ahora no se encontr evidencia de que el rgano de evaluacin est en funcionamiento o de que se hayan implementado en el estado evaluaciones a programas o a polticas de desarrollo social. No obstante, Yucatn ha impulsado elementos de monitoreo que pueden contribuir a realizar un seguimiento no slo del ejercicio de los recursos, sino tambin de los bienes y servicios entregados y de los resultados alcanzados. Por tanto, el reto que afronta es estructurarlos de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para la toma de decisiones basada en los resultados alcanzados.
251
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Yucatn: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para instaurar elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia en el estado, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SPSC son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales. Dar continuidad a la publicacin del presupuesto por programa y extender esta prctica a todos, ya que esta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. Si bien, algunos programas cuentan con ROP o lineamientos de operacin, es fundamental establecer y difundir criterios especcos y homogneos para su elaboracin y divulgacin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Asimismo, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la normativa, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden establecerse adems criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin que requiera el estado, los tipos de evaluacin, y las responsabilidades de los actores involucrados en el proceso. Para su integracin se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo.
252
Es importante identicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones y resultados de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento del rgano.
253
Zacatecas
La Ley de Desarrollo Social para el estado y los municipios de Zacatecas (LDS) que establece la evaluacin de la poltica estatal de desarrollo para mejorar los planes, programas y acciones que la integran. La LDS instituye la creacin del Consejo Estatal de Desarrollo Social como el encargado de la evaluacin de la poltica estatal de desarrollo social. No se especica si est dotado de autonoma tcnica y de gestin. El estado cuenta con indicadores de resultados y de gestin para los ejes del Plan Estatal de Desarrollo 2005-2010, la ltima medicin disponible corresponde a 2009. Asimismo, tiene indicadores de gestin alineados a los ejes del Plan Estatal de Desarrollo 2010-2016, su la ltima medicin disponible corresponde a 2011. No se detectaron evaluaciones de programas o de polticas de desarrollo social o estudios estatales en la materia.
Con el objetivo de conocer los elementos tiles para el monitoreo y la evaluacin del desarrollo social con los que cuenta la entidad federativa y as conocer su avance en la materia, el CONEVAL realiz un diagnstico para identicar los elementos de anlisis tanto normativos como de implementacin que existen en la entidad. En la siguiente grca se muestra el avance de Zacatecas respecto del resto de las entidades:
100% 80.6%
Promedio nacional 44.4% Promedio Nacional 44.4%
80%
0% Distrito Federal Estado de Mxico Guanajuato Chihuahua Michoacn Oaxaca Jalisco Aguascalientes Tabasco Sonora Quintana Roo Puebla Campeche Chiapas Yucatn Nayarit Coahuila Zacatecas Tamaulipas Durango Baja California Veracruz San Luis Potos Hidalgo Sinaloa Morelos Tlaxcala Baja California Sur Nuevo Len Guerrero Colima Quertaro
Fuente: CONEVAL,2011
Los elementos para el monitoreo y evaluacin se agrupan en 2 componentes: 1) El deber ser en monitoreo y evaluacin y 2) Prctica de monitoreo y evaluacin. A continuacin se presentan los hallazgos por cada componente.
254
255
Otro aspecto que no se identic es si deber efectuarse una planeacin de las evaluaciones, con la cual puedan establecerse prioridades de evaluacin con base en las necesidades de informacin de los programas, y de los recursos humanos y nancieros disponibles; donde se denan diferentes tipos de evaluacin que puedan ejecutarse y los programas que sern sujetos de sta en el ejercicio scal. Se acuerda que los programas sociales debern incluir en la evaluacin los indicadores de resultados, gestin y servicios, para medir su cobertura, calidad e impacto y que los de resultados debern reejar el cumplimiento de los objetivos y metas de los programas de desarrollo social. Igualmente, stos deben de tener apartados tales como cumplimiento de los objetivos, cobertura y nmero de beneciarios, presupuesto destinado, impacto social y benecio, entre otros. No se especicaron datos de aquellos que deber reportarse como nombre, descripcin de lo que busca medir, frmula de clculo, unidad de medida, frecuencia de medicin, lnea base y metas, caractersticas que permitiran su rplica. En materia de difusin se determina la publicacin de las ROP , de los padrones de beneciarios estatales y municipales, y de los resultados de la evaluacin. Cabe decir que aun cuando se solicita incluir los indicadores de resultados y de gestin en la evaluacin, no se detect de manera directa el mandato de su emisin ni tampoco el del padrn nico de beneciarios. La LDS crea el Consejo Estatal de Desarrollo Social (Consejo) como el organismo encargado de evaluar la poltica de desarrollo social del estado. Su mbito de accin es a nivel estatal. Se identic que la SEPLADER cuenta con una Direccin de Planeacin y Evaluacin Presupuestal la cual realiza acciones de seguimiento del gasto, y el estado tambin tiene un Consejo de Planeacin y Desarrollo (COPLADE), no obstante, no se encontr informacin sobre si ste tiene atribuciones de evaluacin o lleva a cabo acciones en la materia. Asimismo, en su Presupuesto de Egresos (PEE) 2011 se establece que la SEPLADER es la encargada de efectuar el seguimiento del avance y cumplimiento programtico reportado por las dependencias y entidades, as como de su evaluacin. El Consejo es un organismo ajeno a la operacin de la poltica de desarrollo social conformado por 14 integrantes, donde uno representa al Poder Ejecutivo Estatal (el titular de la SELADER), quien adems lo preside, un Secretario Tcnico nombrado por el titular de la SEPLADER, y el resto se divide entre consejeros o participen en organizaciones con enfoque de desarrollo social, que cuenten con estudios, investigaciones o experiencia acadmica en el rea del desarrollo social, y que participen en cmaras o agrupaciones del sector privado. Aunque no se especica que el Consejo est dotado de personalidad jurdica, autonoma tcnica y de gestin, su integracin permite suponer que tiene autonoma de gestin al no formar parte la mayora de sus integrantes del rgano gubernamental. El Consejo est a cargo de la evaluacin de la poltica estatal de desarrollo social. Adems, est facultado para emitir recomendaciones derivado de los resultados de las evaluaciones y aprobar los indicadores de resultados y de gestin. Atribuciones que no quedan comprendidas dentro del marco de accin del Consejo son normar la evaluacin, realizar la planeacin de las evaluaciones,
256
llevar a cabo estudios de desarrollo social, y brindar asesora en temas relacionados a otras instancias gubernamentales que aunque pueden no corresponder exclusivamente al Consejo, contribuyen a tener control sobre la objetividad y calidad de la informacin que se genera.
257
En cuando al organismo evaluador, no se encontr evidencia del funcionamiento del Consejo ni tampoco elementos de monitoreo y evaluacin implementados por la SEPLADER y el COPLADE.
Conclusiones
Normativamente en la LDS y en la LTAI se establecen elementos que dan pie al monitoreo y la evaluacin de los programas de desarrollo social de Zacatecas. Si bien no se detectaron elementos clave como el ente facultado para normar la evaluacin o el de realizar una planeacin de las evaluaciones, la creacin de un organismo independiente de la operacin de la poltica de desarrollo social encargado de la tarea, puede ser el impulsor en materia de monitoreo y evaluacin. En el estado, el Consejo y la SEPLADER tienen atribuciones de evaluacin, pero no se detect informacin acerca de las facultades y acciones especcas de cada una, ni un esquema de coordinacin de estas ltimas que delimite su quehacer particular, lo cual no permite conocer la complementariedad o duplicidad que pudiera haber entre estos para el desarrollo de sus tareas. Por otra parte, si bien la LDS est vigente desde 2009, hasta ahora no se detect evidencia de que el Consejo est en funcionamiento ni de elementos implementados en materia de evaluacin. Asimismo, los elementos identicados en materia de planeacin y ejecucin de los programas de desarrollo social, son ejercicios aislados que no contribuyen a contar con aquellos que puedan usarse posteriormente como insumos de la evaluacin y el monitoreo. Sin embargo, Zacatecas ha impulsado elementos de monitoreo que permiten hacer un seguimiento del ejercicio de los recursos, de bienes y servicios entregados y resultados alcanzados a nivel poltica, no as a nivel programa. El reto que afronta el estado es el de implementar estos ltimos as como los de evaluacin que por Ley se estipulan, de tal manera que pueda obtenerse informacin oportuna de todas las intervenciones sociales para una toma de decisiones basada en los resultados alcanzados.
Oportunidades de mejora
Construir un Sistema de Monitoreo y Evaluacin que retroalimente las decisiones de poltica social es un proceso continuo de mediano y largo plazo que requiere una combinacin de elementos tcnicos y polticos. A continuacin se sugieren algunos que pueden considerarse en Zacatecas: Para impulsar la creacin de un sistema de monitoreo y evaluacin se requiere generar criterios y lineamientos especcos para su realizacin sistemtica, stos deben denir los actores encargados de su ejecucin, as como las responsabilidades y los mecanismos de coordinacin entre ellos. Para establecer elementos de monitoreo y evaluacin sobre la poltica de desarrollo social, es fundamental delimitar las acciones, programas y polticas consideradas de la materia en el estado, incluso, la identicacin de programas estatales respecto de los federales. Si bien es claro que las intervenciones pblicas de la SEPLADER son de desarrollo social, no lo es respecto de aquellas de otras dependencias y entidades estatales.
258
Organizar el presupuesto estatal a nivel programa, ya que esta caracterstica es un elemento necesario para presupuestar con base en los resultados, considerando que un programa es un conjunto de acciones alineadas para alcanzar un objetivo (resultado). De esta manera tambin es posible jar metas y exigir resultados a una unidad responsable. Un elemento que restringe la generacin de programas discrecionales y pronostica, en cierta medida, un mejor uso de los recursos pblicos es la realizacin de un diagnstico para la creacin de programas nuevos, en el cual se incluyan criterios claros y homogneos que justiquen su diseo. Una herramienta que permite determinar su diseo lgico es la matriz de Marco Lgico. , es fundamental establecer y comunicar criterios Si bien, algunos programas cuentan con ROP especcos y homogneos para su elaboracin y difusin, los cuales deben tomar en cuenta los elementos de monitoreo y evaluacin de los programas. Adems, es importante que sean aplicables a todos los programas estatales. Cabe sealar que la difusin de las ROP tambin permite transparentar el acceso a estos ltimos. Impulsar la creacin del padrn nico de beneciarios de los programas sociales que plantea la LDS, de tal manera que puedan identicarse la complementariedad o duplicidad de los apoyos brindados, as como referir los que provienen de la federacin y del estado. Para esto pueden desarrollarse los criterios y lineamientos de manera que la informacin que integra al padrn sea homognea. Si se parte de un escenario donde los recursos son limitados es importante contar con una planeacin de las evaluaciones que permita determinar los programas a evaluarse con base en las prioridades de informacin que requiera el estado, y los tipos de evaluacin. Para realizarla se debe tener en cuenta que los cambios a nivel de resultado sobre la poblacin objetivo derivados de un benecio recibido, son observables en el mediano plazo. Es importante especicar indicadores de gestin y de resultados por programa de desarrollo social para conocer de manera individual sus conclusiones y en su caso tomar las decisiones acerca de su impulso, modicacin o cancelacin. Adems, una vez generados es necesario monitorear su evolucin en el tiempo. Una herramienta que tambin permite determinar indicadores de diferentes niveles es el Marco Lgico. Un sistema de monitoreo y evaluacin se da cuando la informacin que se obtiene es usada para retroalimentar el proceso de planeacin y operacin de la poltica pblica, por lo que es imprescindible establecer vnculos para utilizar la que produce el estado en esta materia, como el seguimiento a las recomendaciones y resultados de las evaluaciones. Como parte de la creacin de un Sistema de Monitoreo y Evaluacin, se requiere especicar los mecanismos para impulsar el funcionamiento del Consejo.
Bibliografa
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social. (CONEVAL). 2011. Informe de Evaluacin de la Poltica de Desarrollo Social en Mxico 2011, Mxico. CONEVAL. Development Assistance Commettee (DAC) (1991). Principles for Evaluation of Development Assistance. Pars, OECD, recuperado de: http://www.oecd.org/dataoecd/31/12/2755284.pdf Dalenius, T. y Hodges, J. L. Jr. (1959). Minimum Variance Stratication. Journal of the American Statistical Association. Diario Ocial de la Federacin. (16 de enero de 2002). Acuerdo por el que se expiden los criterios generales para modicaciones a las reglas de operacin de los programas gubernamentales ya existentes y para la elaboracin de las reglas de operacin para el ejercicio scal 2002, recuperado de: http://www. diputados.gob.mx/LeyesBiblio/pdf/1.pdf . (12 de octubre de 2011). Constitucin Poltica de los Estados Unidos Mexicanos, recuperado de: http://www.diputados.gob.mx/LeyesBiblio/pdf/1.pdf . (24 de agosto de 2005). Decreto por el que se regula el Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social, recuperado de: http://www.coneval.gob.mx/cmsconeval/rw/resource/ coneval/quienes/1814.pdf . (24 de junio de 2009). Ley de Coordinacin Fiscal, recuperado de: http://www.diputados. gob.mx/LeyesBiblio/pdf/31.pdf . (31 de diciembre de 2008). Ley Federal de Presupuesto y Responsabilidad Hacendaria, recuperado de: www.diputados.gob.mx/LeyesBiblio/pdf/LFPRH.pdf . (9 de abril de 2012). Ley Federal de Transparencia y Acceso a la Informacin Pblica Gubernamental, recuperado de: www.diputados.gob.mx/LeyesBiblio/pdf/244.pdf . (20 de enero de 2004). Ley General de Desarrollo Social, recuperado de: www.diputados. gob.mx/LeyesBiblio/pdf/264.pdf . (9 de abril de 2012). Ley de Planeacin, recuperado de: www.diputados.gob.mx/LeyesBiblio/pdf/59.pdf . (30 de marzo de 2007). Lineamiento general para la evaluacin de los Programas Federales de la Administracin Pblica Federal, recuperado de: www.coneval.gob.mx/cmsconeval/rw/resource/coneval/eval_mon/361.pdf
Grupo de Evaluacin de las Naciones Unidas (UNEG). (29 de abril de 2005). Estndares de evaluacin en el Sistema de las Naciones Unidas, ONU, recuperado de: http://www.uneval.org/ documentdownload?doc_id=22&le_id=129 Presidencia de la Repblica. Plan Nacional de Desarrollo 2007 2012. Recuperado de: http://pnd.presidencia.gob.mx/ Secretara de la Defensa Nacional. Apartado de Glosario de Terminologa. Recuperado de: www.sedena. gob.mx/index.php/conoce-la-sedena/normateca-interna/glosario-de-terminologia Secretara de la Funcin Pblica. Apartado de Reglas de Operacin. Recuperado de: http://www.funcionpublica.gob.mx/scagp/dgorcs/reglas/index.htm Subirats, Joan, Peter Knoepfel y Frdric Varone. (2008). Anlisis y gestin de polticas pblicas, Ariel.
Contenido de guras
Figura 1. Denicin de componentes Figura 2. Distribucin de variables en los componentes Figura 3. Proceso de obtencin de informacin Figura 4. Avance en monitoreo y evaluacin por entidad federativa, 2011 (porcentaje) Figura 5. Distribucin de entidades federativas segn avance en monitoreo y evaluacin, 2011 Figura 6. Porcentaje de avance promedio nacional de las entidades por componente, 2011 Figura 7. Componente 1. El deber ser en M&E segn entidad federativa 2011, (porcentaje) Figura 8. Componente 1. El deber ser en monitoreo y evaluacin segn entidad federativa, 2011 Figura 9. Componente 2. Prcticas de M&E segn entidad federativa 2011, (porcentaje) Figura 10. Resultados del Componente 2. Prctica de M&E segn entidad federativa, 2011
Esta obra se termin de imprimir y encuadernar en los talleres de Impresora y Encuadernadora Progreso S.A. de C.V. (IEPSA), Calz. San Lorenzo 244, Col. Paraje San Juan, Mxico D.F. 09830 en octubre de 2012 con un tiraje de 500 ejemplares
Consejo Nacional de Evaluacin de la Poltica de Desarrollo Social Blvd. Adolfo Lpez Mateos 160, Col. San ngel Inn, Del. lvaro Obregn, C.P. 01060 Mxico D.F. www.coneval.gob.mx