Construyendo una

cultura para Resultados

Noviembre 2009

www.coneval.gob.mx
 ndice

Antecedentes
Qu es el Coneval: Aspectos Institucionales
Sistema de Evaluacin y Monitoreo en
Mxico
Monitoreo, avances y usos de la MML
Evaluacin de Consistencia y Resultados
Esquema de Seguimiento a
Recomendaciones
Retos a futuro
 ANTECEDENTES

1990s: Algunas evaluaciones de programas y nuevas formas de

presupuestacin
2000: Inicio normativo sin una estrategia clara
2000-2006: Desarticulacin de la evaluacin con la mejora en la
gestin
PEF y Acuerdo entre SHCP y SFP
Ausencia de una estrategia de monitoreo
Agenda del Buen Gobierno, e Iniciativas de Innovacin y
Calidad Gubernamental
Sistema de Metas Presidenciales
2005: Impulso normativo de la evaluacin solo en el sector social,
pero an desarticulado con la mejora en la gestin pblica
Creacin del Coneval
Primer impulso normativo al monitoreo
Vnculo con Pobreza
 NDICE

Antecedentes
Qu es el Coneval: Aspectos
Institucionales
Sistema de Evaluacin y Monitoreo en
Mxico
Monitoreo, avances y usos de la MML
Evaluacin de Consistencia y Resultados
Esquema de Seguimiento a
Recomendaciones
Retos a futuro
 QU ES EL CONEVAL: ASPECTOS
INSTITUCIONALES
Nace a partir de la Ley General de Desarrollo Social:
Normar y coordinar la evaluacin de la poltica y los
programas de desarrollo social
Aprobar los indicadores de resultados, gestin y
servicios que sern sometidos a consideracin de la SHCP y
a la Cmara de Diputados por conducto de la ASF
Establecer los criterios para la definicin, identificacin y
medicin de la pobreza
El CONEVAL est integrado por 6 investigadores acadmicos
electos democrticamente por la CNDS, a travs de una
convocatoria pblica
Contribuir a la toma de decisiones de Poltica de Desarrollo Social
y combate a la pobreza y rezago social en Mxico
Informacin til, objetiva y oportuna
 LEYES Y NORMAS

Emisin de normatividad como marco jurdico y de accin

Ley General de Desarrollo Social (Principales objetivos del CONEVAL)
Decreto de creacin
Estatuto Orgnico
Decreto por el que se regula el CONEVAL
Normatividad aplicable a los programas federales
Lineamientos Generales de Evaluacin de los Programas Federales de
la Administracin Pblica Federal
Lineamientos de la Matriz de Indicadores
Programa Anual de Evaluacin
Mecanismos para el seguimiento de las evaluaciones externas
Normatividad interna
Manual de organizacin General
Manual de Identidad Institucional
Polticas laborales
 CONSTITUCIN DEL CONEVAL

2004 Creacin del CONEVAL en la LGDS como un organismo

descentralizado agrupado en el sector coordinado por
Desarrollo Social

2005 publicacin del Decreto por el que se regula el CONEVAL

2006 Conduccin de la evaluacin de los programas sociales

sujetos a Reglas de Operacin

Conformacin del Comit Directivo

Convocatoria para integrar el Consejo

Estructura organizacional
 VNCULOS SISTEMA NACIONAL DE
DESARROLLO SOCIAL

CONSULTIVA POLTIC OPERAT TCNICA-EVALUACIN

A IVA

CONSEJO COMISIN DEPENDENCIAS CONSEJO DE

CONSULTIVO INTERSECRETARIAL Y ENTIDADES EVALUACIN

Norma y analiza
Analiza y propone Propone partidas y Operacin de los las evaluaciones
programas y montos de gasto programas, Evala la poltica
acciones que social acciones y fondos
inciden en la Poltica
Define pobreza
Ordena la Poltica Recomendacione
Nacional de Social a nivel Federal
Desarrollo Social s

COMISIN
NACIONAL

Coordinacin de
programas y
acciones de
dependencias y
entidades federales
 NDICE

Antecedentes
Qu es el Coneval: Aspectos Institucionales
Sistema de Evaluacin y
Monitoreo en Mxico
Monitoreo, avances y usos de la MML
Evaluacin de Consistencia y Resultados
Esquema de Seguimiento a
Recomendaciones
Retos a futuro
 MARCO NORMATIVO PREVIO

ESQUEMA DE EVALUACIN 2002-2006

Caractersticas:
Evaluacin Externa
Periodo Anual, con 2 informes (septiembre y marzo)
Se distribuye a la SHCP, SFP y el Congreso
Difusin a travs de Internet
El proceso de contratacin es individual y a travs de la Ley
de Adquisiciones
Algunos programas:
Entregan los informes slo por cumplir y no usan la
informacin
Agregan y/o eliminan temas en la evaluacin
En una menor proporcin, usan informacin para informes
oficiales, planeacin y monitoreo
 DIAGNSTICO
VENTAJAS
Se ha avanzado en la cultura de la evaluacin
Existen casos particulares de evaluaciones que han apoyado la
toma de decisiones
Existe un respaldo normativo para institucionalizar un M&E
Ley General de Desarrollo Social,
CONEVAL,
Ley Federal de Presupuesto y Responsabilidad Hacendaria,
PEF 2007
Actores principales conscientes de la poca efectividad del
sistema vigente: SHCP, Funcin Pblica, Congreso
Transicin poltica favorable para la introduccin de cambios
 DIAGNSTICO VENTAJAS

Elementos de M&E desarticulados y no alienados conceptual,

metodolgica ni operacionalmente
Alto costo de esquema actual: Cada evaluacin cuesta aprox. $1
milln: 170 programas: $170 millones al ao.
y con poca utilidad
Percepcin del sistema de M & E como instrumento de fiscalizacin,
y no de gestin y rendicin de cuentas
La medicin de Resultados no es una prioridad para el programa o la
dependencia.
Mucho nfasis en indicadores de ejercicio del recurso y de
cantidades de bienes y servicios entregados
No hay claridad en los objetivos estratgicos de las dependencia
Muchos indicadores que no se usan para una gestin por resultados
Lineamientos actuales poco flexibles
Seguimiento limitado a las recomendaciones generadas de la
evaluacin
 NUEVO MARCO NORMATIVO

2007: Una oportunidad para mejorar el marco normativo

CONEVAL (2005)
Evaluar y coordinar la evaluacin de la polticas y programas Sociales en el
Gobierno Federal
Los programas sociales: evaluaciones externas
Aprobacin de los indicadores definidos por los programas sociales
6 acadmicos independientes
Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006)
Todos los programas: evaluacin externa
Sistema de Evaluacin del Desempeo (SED)
Programa de Mejoramiento de la Gestin (SFP)
PEF 2007. Cmara de Diputados
Establecer Objetivos Estratgicos
Matriz de Indicadores, ligada a Objetivos Estratgicos
CONEVAL, SHCP y SFP coordinan el sistema de evaluacin y monitoreo
 MARCO NORMATIVO EVALUACIN

CONEVAL (2005-2006)

Ley de Presupuesto y Lineamientos

Responsabilidad Generales de
Hacendaria. SHCP
Evaluacin
(2006-7)
(Marzo 2007)

Sistema de
SFP
Evaluacin del
PEF 2007. Cmara de Desempeo (2007)
Diputados
 NUEVAS REGLAS DEL JUEGO

CONEVAL (2005)

SHCP:
Ley de Presupuesto y
Responsabilidad Hacendaria (2006)
SED y planes de una Reforma Fiscal Lineamient
os de
SFP: Evaluacin
Programa de Mejoramiento de la y Monitoreo
Gestin (Marzo
2007)
PEF 2007. Cmara de Diputados
 HERRAMIENTAS DE PLANEACIN

Diagnstico
PND
Programas
Sectoriales
Objetivos de las
Diseo Dependencias
Programas
Federales

Presupuesto
Rendicin
de cuentas
Operacin

Evaluacin y Monitoreo
(Indicadores)
 SISTEMA DE EVALUACIN Y MONITOREO

Planeacin Evaluacin

Programa Anual
Plan Nal. de Evaluacin
de Desarrollo
Evaluacin de Consistencia
y Resultados
Objetivos estratgicos:
Instituciones Resultados Evaluacin de
Impacto
Evaluacin de
Procesos
Matriz de Marco Lgico:
Programas Evaluacin de Polticas

Seguimiento de Recomendaciones

Evaluacin Especfica de Desempeo

 PLANEACIN INCOMPLETA SI NO SE LLEGA A
ROP Objetivos
Objetivos
Nacionales
Nacionales
Poltica de Desarrollo Social
Ejes
Ejes poltica
poltica
pblica
pblica
Nivel 1 Objetivos
Objetivos yy
Estrategias
Estrategias

Programas Sectoriales Objetivos

Objetivos de
de los
los
Programas
Programas
del
del PND
PND
Nivel 2 Estrategias
Estrategias
Lneas
Lneas de
de
accin
accin

Objetivos de las dependencias Objetivo

Objetivo
estratgico
estratgico de
de la
la
Nivel 3 Dependencia
Dependencia

Programas presupuestarios
Fin
Reglas
Reglas
Propsito de
de
Nivel 4 Component operaci
operaci
es n
n
Actividad
 PRINCIPALES INSTRUMENTOS DE ESTA NUEVA
GESTIN PARA RESULTADOS

Matriz de Indicadores (marco lgico). Permite focalizar la atencin y

los esfuerzos de una dependencia o entidad, as como apoyar los
procesos de planificacin, diseo, monitoreo y evaluacin
Lineamientos generales de evaluacin (DOF, marzo 2007) con varios
tipos de evaluaciones y mayor libertad para temas especficos
 NDICE

Antecedentes
Qu es el Coneval: Aspectos Institucionales
Sistema de Evaluacin y Monitoreo en
Mxico
Monitoreo, avances y usos de la
MML
Evaluacin de Consistencia y Resultados
Esquema de Seguimiento a
Recomendaciones
Retos a futuro
 MATRIZ DE INDICADORES (MARCO
LGICO)
Hoy en da es difcil conocer la lgica interna de los
programas y por lo tanto saber si su diseo es el adecuado para
alcanzar los objetivos planteados (resultados en la poblacin
objetivo)

Por otro lado, tenemos que reportar muchos indicadores, no

necesariamente tiles para medir el desempeo del programa y
tomar decisiones (medicin parcial: GESTIN)

Por lo anterior, en el 2007 los programas deben construir una

matriz de indicadores que permita la identificacin de sus
objetivos, sus relaciones causales, los indicadores y los
supuestos o riesgos que pueden influir en el xito o fracaso del
mismo.
 ESQUEMA LGICO DE UN PROGRAMA

Contribuir a que la poblacin

Fin desempleada en pobreza tenga un mejor
Resultado

acceso a empleos de calidad

Mejorar los conocimientos tcnicos de
s

los desempleados en situacin de

Propsito
pobreza extrema

1.- Capacitacin a individuos en

Implementacin

Componentes pobreza extrema desempleados

2.- Beca de apoyo a familias beneficiadas

- Focalizacin Geogrfica
Actividades 1.1 Identificacin y seleccin de
familias en pobreza extrema
2.1 Distribucin de las becas de apoyo
 MENOS Y MEJORES INDICADORES

Porcentaje de capacitados que obtienen

Fin
Resultado

un mejor trabajo
s

Porcentaje de beneficiarios capacitados

Propsito que efectivamente adquieren los
1.- Porcentaje detcnicos
conocimientos cursos yadecuados
talleres
realizados
2.- Porcentaje de becas repartidas
Implementacin

Componentes 3.- Monto total de las becas repartidas

4.- Porcentaje de desempleados
capacitados
1.- % del presupuesto ejercido
2.- Costo promedio x actividad
Actividades
3.- Costo promedio de distribucin de la
beca
 QUEREMOS PASAR DE ESTO

Resultado
s Propsito???

Componentes
Implementacin

Actividades
 A ESTO EN UN PRIMER MOMENTO

Resultado
s Propsito?

Componentes
Implementacin

Actividades
 Y A ESTO EN UN SEGUNDO MOMENTO
Objetivos
Nacionales

Resultad Fin
os

Propsito

Componentes

Actividades
 MATRIZ DE INDICADORES PARA RESULTADOS
Objetivo del Plan Nacional de Desarrollo:

Objetivo Estratgico de la Dependencia y/o Entidad:

Indicadores de Desempeo
Frmula Frecuencia Medios de
Resumen Narrativo Supuestos
Enunciado de de Verificacin
Clculo Medicin

Resultados

Fin:

propsito:

Productos y Servicios

Componentes:

Gestin

Actividades:
FICHA TCNICA DE INDICADORES
FICHA TCNICA DE INDICADORES
 APROBACIN DE INDICADORES

Ley General de Desarrollo Social

Artculo 77. El Consejo Nacional de Evaluacin, antes de

aprobar los indicadores a que se refiere este artculo, los
someter a la consideracin de la Secretara de Hacienda y
Crdito Pblico y a la Cmara de Diputados por conducto de
la Auditora Superior de la Federacin, para que emitan las
recomendaciones que en su caso estime pertinentes.
 APROBACIN DE INDICADORES

ETAPA III ETAPA V

Capacitacin y Capacitacin
ETAPA I
Asistencia Tcnica de bsica y asesora
Lineamientos de
Marco Lgico tcnica en
Evaluacin
Carga de MIR 2008 construccin
Lineamientos de la al PASH indicadores
matriz de Programas mejoran
Revisin de la
indicadores
consistencia de las sus MIR y
Matrices actualizan PASH
ETAPA IV*
ETAPA II Diagnstico de las ETAPA VI*
Capacitacin bsica MIR 2008
en Marco Lgico Aprobacin de
Carga de MIR 2007 Capacitacin en Indicadores
al PASH construccin
indicadores
 APROBACIN DE INDICADORES

Etapas
REPORTE
Diseo de Revisin de de
I. Validacin Ficha indicadores Criterios
integral de todos Tcnica de con FICHA Mnimos
los Indicadores Revisin TCNICA * por
General Programa

COMIT
*
II. Valoracin Seleccin Revisin de Reporte +
especifica de de Experto Indicadore VALORACI
Indicadores de Temtico s de N
Resultados indicadores
Resultado por Comit Resultado

Se turna Se turna DICTAMEN

III. Aprobacin de Dictamen a Dictamen a sobre
los indicadores Comisin Comit Indicadore
Ejecutiva Directivo s por
programa
 APROBACIN DE INDICADORES

Etapa I Revisin Integral de Indicadores

Etapa consistente en el diagnstico de caractersticas
mnimas que debe contener un indicador de desempeo

En esta etapa se identificar si el grado de calidad de los

indicadores en lo correspondiente a claridad, relevancia,
monitoreabilidad y adecuacin por medio de una serie de
preguntas contenidas en la Ficha de Revisin Integral de
Indicadores

Se realiz para la totalidad de los indicadores de 225

Matrices de Indicadores para Resultados (MIR)
Los resultados completos se tendrn en el mes de octubre
 REVISIN DE INDICADORES DE RESULTADOS

Etapa consistente en el diagnstico de los indicadores de

resultados de un conjunto de programas

La seleccin de 35 programas de la Administracin Pblica

Federal (APF) se llev a cabo considerando las siguientes
variables:

Calificacin de la MIR 2008

Calificacin de los indicadores contenidos en la MIR
2008

Presupuesto 2009
Programas estratgicos de la SHCP
Indicadores PEF
 REVISIN DE INDICADORES DE RESULTADOS

El Comit Tcnico estar conformado por los siguientes

participantes:

CONEVAL
Secretara de Hacienda y Crdito Pblico
Auditora Superior de la Federacin
Programa
Unidad de Evaluacin de la Coordinadora de Sector
Experto Temtico
Experto Estadstico
 SEMFORO GENERAL PRELIMINAR
ABRIL DE 2008

Las MI fueron analizadas considerando:

El cumplimiento de la definicin de sus elementos
(PND, Fin, Propsito, Componentes y Actividades)
La lgica que presenta cada uno de ellos (Vertical y
Horizontal)
Semaforizacin de las matrices de indicadores,
Abril 2008
 PRINCIPALES RESULTADOS: LGICA VERTICAL

El 70% de las MI tienen deficiencias en sus actividades

(principalmente porque no estn identificadas)

El 52% tiene mal definidos los componentes

El 28% de las MI tiene problemas en la definicin del

Propsito

En el 24% el Propsito no implica una contribucin

significativa al Fin

El 11% de las MI no presenta una clara vinculacin del Fin

con el OE

Casi el 32% presenta algn tipo de duplicidad en niveles

de objetivos
 CAMBIOS EN LA SEMAFORIZACIN
OCT-07 ABRIL 08

En la nueva semaforizacin se puede observar lo

siguiente:
47 Rojo Amarillo SAGARPA
SEDESOL
(25) SEMARNAT
Amarillo Verde SEP
(11)
Rojo Verde (11)

42

=
11 Amarillo Rojo (8) FOMMUR, PYME, Microempresario (SE)
Verde Amarillo IMSS-Oportunidades (IMSS)
(3) Caravanas de la Salud (SS)
Guarderas Infantiles (SEDESOL)
Oportunidades (SEDESOL)
 EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-
STPS
ANTES
Indicadores de Resultados de las Reglas de Operacin 2004

NOMBRE DESCRIPCIN PERIODICIDAD

Otorgamiento de becas Becas otorgadas/Becas

Trimestral
de capacitacin programadas

Participacin de Becas otorgadas por

beneficiarios en los cada esquema de
Trimestral
esquemas de atencin atencin/Total de becas
del Sistema otorgadas
Becarios que recibieron
apoyo
Pago efectivo de becas Trimestral
econmico/Becarios
inscritos
 EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-
STPS
ANTES
En el Informe de Labores 2006, la dependencia reporta como
resultados del Programa los siguientes:

De enero a junio de 2006 se atendieron a 180,390 personas

Se lograron colocar en un empleo 90,325 personas (50.1%)
Se comprometieron 324.6 millones de pesos

Los resultados de algunas estrategias en el 2005 fueron:

BCATE atendi a 207,118 personas y logr colocar al 54.5%
Empleo Formal atendi a 118,425 personas y logr colocar al 54.9%
Jornalero Agrcolas atendi a 47,936 personas y logr colocar al 42.9%
 EJEMPLO 1: PROGRAMA DE APOYO AL EMPLEO-
STPS
AHORA
Como resultado de la estrategia de capacitacin y de los comentarios
que el CONEVAL y la SHCP emitieron a la matriz de indicadores, el
programa ahora cuenta con los siguientes indicadores de RESULTADOS

PERIODICID
NOMBRE DESCRIPCIN
AD
Y-Yh

FIN: (Eficacia): Impacto neto del Y= Nmero de empleos

formales ocupados al final
programa en el total de empleos formales del periodo examinado
ocupados (equivalente al total de Trianual
trabajadores ocupados en empleos Y = Nmero de empleos
h

formales que hubieran

formales) estado ocupados al final del
periodo examinado si no
existiera el PAE

PROPSITO: (Eficacia):Porcentaje de
buscadores de empleo que se (VDC/VDA)*100
colocaron respecto del total de
buscadores de empleo enviados a
VDC= Buscadores de empleo
colocados
Mensual
VDA= Buscadores de empleo
vacante mediante Vinculacin Presencial enviados a vacantes
 EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL
ANTES

Indicadores de Resultados de las Reglas de Operacin 2008

NOMBRE DESCRIPCIN PERIODICIDAD

Nmero de proyectos
Porcentaje de
aprobados/Nmero de X Trimestral
aprobacin de proyectos
proyectos presentados100

Obras de infraestructura
Orientacin a obras de
social/ Trimestral
impacto social X
Total de proyectos aprobados100
Inversin Federal aplicada
Orientacin de recursos en localidades de muy
a localidades de muy alta y alta marginacin/ X Trimestral
alta y alta marginacin Inversin Federal del 100
programa
NOTA: El programa no ha actualizado los indicadores de las ROP
 EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL
ANTES

En el informe de labores 2007, la dependencia reporta como

resultados del programa lo siguiente:
Para el presente ejercicio, el Programa cuenta con un techo
presupuestal de 220 millones de pesos. A julio de 2007 se han
realizado un total de 696 proyectos, de los cuales:
40.9% son obras de pavimentacin, urbanizacin y mejoramiento
urbano;
12.5% son proyectos de agua potable;
9.9% son de drenaje, mientras que las electrificaciones fueron un
8.8% de los proyectos realizados;
10.6% son obras de infraestructura educativa, deportiva y de
salud;
2.2% son caminos rurales, y un 15.1% se destinaron a otro tipos
de proyectos (productivos, orfanatos, asilos, centros comunitarios,
centros culturales, rehabilitacin de edificios histricos y becas).
 EJEMPLO 2: 3X1 PARA MIGRANTES-SEDESOL
AHORA
Como resultado de la estrategia de capacitacin y de los comentarios que el
CONEVAL y la SHCP emitieron a la matriz de indicadores, el programa ahora
cuenta con los siguientes indicadores de RESULTADOS

PERIODICID
NOMBRE DESCRIPCIN
AD
FIN: (Eficacia): Porcentaje
de las localidades (Nmero de localidades que
X
intervenidas por el programa mejoraron 100
que mejoraron sus ndices su IML 2005/2010) Quinquenal
de Marginacin Absoluta /Nmero total de
(por localidad, IML) localidades intervenidas)

PROPSITO (Eficacia): X 100

Variacin de las variables
(Valor de la variable en el
de infraestructura social
ao que se evala-Valor
bsica y productiva que
de la variable Quinquenal
componen los ndices de
en el ao base) / (Valor del
marginacin y de rezago
indicador en el ao base)
social en las localidades
atendidas por el programa
 NDICE

Antecedentes
Qu es el Coneval: Aspectos Institucionales
Sistema de Evaluacin y Monitoreo en
Mxico
Monitoreo, avances y usos de la MML
Evaluacin de Consistencia y
Resultados
Esquema de Seguimiento a
Recomendaciones
Retos a futuro
 EVALUACIN DE CONSISTENCIA Y
Objetivo: RESULTADOS
Evaluar hasta qu punto los programas sociales tienen una clara
consistencia interna y una orientacin hacia resultados, basados en la
documentacin y procesos de los propios programas

Es un diagnstico sobre la capacidad institucional,

organizacional y de gestin de los programas para la
bsqueda de resultados.
Es un instrumento homogneo, cuantificable, para poder
comparar el desempeo entre programas.
La evaluacin se llev a cabo entre 2007 y 2008 para 119
programas (Sedesol, Sagarpa, IMSS, SEP, SS, Economa,
STPS, Reforma Agraria, )
 EVALUACIN DE CONSISTENCIA Y
RESULTADOS: OBJETIVOS
Busca medir, de manera homognea, el desempeo global de
los Programas (gestin y RESULTADOS)
Con base en los resultados de la evaluacin, se espera que los
programas mejoren su diseo y gestin; volvern a ser
evaluados en un futuro
En el 2007, ser un Diagnstico de la orientacin de los
programas hacia una gestin para RESULTADOS
En aos posteriores, la evaluacin deber contener
adicionalmente una comparacin con los resultados
encontrados en la evaluacin de consistencia y resultados que
se haya efectuado con anterioridad
 IMPORTANCIA DE LA EVALUACIN DE
CONSISTENCIA Y RESULTADOS
La evaluacin servir para tomar decisiones de poltica pblica con el
fin de mejorar la gestin y los resultados de los programas
Se desarrollarn seminarios entre evaluadores, junto con servidores
pblicos, para analizar conjuntamente los resultados de las
evaluaciones y metodologas aplicadas.
Los evaluadores presentarn al H. Congreso de la Unin, al CONEVAL,
a la SHCP y a la SFP, los resultados obtenidos de la evaluacin
Las evaluaciones sern difundidas pblicamente con el objetivo de
que los actores claves y la ciudadana en general, conozcan el
desempeo de los programas
El CONEVAL tendr un mecanismo de evaluacin del proceso de
evaluacin, que incluye la calidad de las evaluaciones
 EVALUACIN DE CONSISTENCIA Y
RESULTADOS. CARACTERSTICAS
Esta evaluacin es la lnea de base para analizar con qu tipo de
programas cuenta el nuevo Gobierno para lograr sus metas.
La evaluacin se compone de 100 preguntas en los temas de: Diseo,
Planeacin Estratgica, Operacin, Poblacin Objetivo y Cobertura,
Percepcin de los Beneficiarios y Resultados Finales.
Diseo
Identificacin correcta para solventar el problema o necesidad
Contribucin del programa federal a los objetivos estratgicos
Evidencia cientfica de que el programa contribuye positivamente a la
consecucin de su fin y propsito
Lgica vertical y horizontal de la matriz de indicadores
Poblacin potencial, padrn de beneficiarios, Reglas de Operacin,
Duplicidades
 EVALUACIN DE CONSISTENCIA Y
RESULTADOS CARACTERSTICAS
Planeacin Estratgica
Mecanismos y herramientas de planeacin
Mecanismos para establecer y definir metas e indicadores
Avance en el desarrollo de mecanismos de seguimiento y monitoreo
Herramientas enfocadas a implementar y desarrollar una gestin para
resultados
Impacto presupuestario y las fuentes de financiamiento

Cobertura y focalizacin
Cuantificacin de la poblacin potencial y objetivo
Poblacin atendida con respecto a la poblacin potencial y objetivo
Estrategia de cobertura y focalizacin
Funcionamiento de los mecanismos de seleccin y focalizacin aplicados
 EVALUACIN DE CONSISTENCIA Y
RESULTADOS CARACTERSTICAS
Operacin
Observancia de las reglas de operacin
Acciones de mejora y simplificacin regulatoria
Mecanismos de organizacin y administracin financiera
Eficacia, eficiencia y economa operativa
Rendicin de cuentas

Percepcin de la poblacin objetivo

Medicin del nivel de satisfaccin de la poblacin objetivo

Resultados
instrumentos disponibles que le permiten al programa federal medir los
resultados (MML)
calidad de las evaluaciones de impacto que se hayan realizado
difusin de los resultados y evaluaciones
 EVALUACIN DE CONSISTENCIA Y
RESULTADOS

Las evaluaciones fueron elaboradas por entidades

externas (universidades, centros de investigacin,
expertos)
En la evaluacin se pidi tener un resumen ejecutivo y un
documento de Fortalezas, Retos y Recomendaciones.
Las evaluaciones se entregaron a la Cmara de Diputados
en Marzo 2008 y pueden ser consultadas en
www.coneval.gob.mx .
 EVALUACIN DE CONSISTENCIA Y RESULTADOS

Tema Hallazgos
de los programas tienen propsitos y
67% objetivos que corresponden a la solucin del
problema que atienden
DISEO
de los programas definieron bienes y
50% servicios pblicos necesarios y suficientes
para el logro del su propsito

de los planes establecen los resultados que

21% se quieren alcanzar
PLANEACIN
ESTRATGICA de los programas cuentan con planes
25% estratgicos a corto, mediano y largo plazo

de los programas cuantifican su poblacin

POBLACIN 24% objetivo y potencial
OBJETIVO
Y COBERTURA de los programas cuentan con una estrategia
23% de cobertura a corto, mediano y largo plazo
 EVALUACIN DE CONSISTENCIA Y RESULTADOS

Tema Hallazgos
de los programas tienen procesos
72% estandarizados y adecuados para la seleccin
de proyectos y beneficiarios
OPERACIN
de los programas cuentan con indicadores de
84% eficacia en la operacin

de los programas cuentan con instrumentos

PERCEPCIN DE
54% para medir el grado de satisfaccin de la
BENEFICIARIOS poblacin objetivo

de los programas recolectan informacin veraz

42% y oportuna sobre los indicadores que miden
sus objetivos
RESULTADOS
de los programas han llevado a cabo
26% evaluaciones externas que le permiten medir
su impacto
 NDICE

Antecedentes
Qu es el Coneval: Aspectos Institucionales
Sistema de Evaluacin y Monitoreo en
Mxico
Monitoreo, avances y usos de la MML
Evaluacin de Consistencia y Resultados
Esquema de Seguimiento a
Recomendaciones
Retos a futuro
 SEGUIMIENTO DE RECOMENDACIONES

Son de aplicacin opcional de acuerdo con las

necesidades e intereses de las dependencias y entidades,
siempre y cuando no se encuentren previstas en el
Programa Anual de Evaluacin
En 2007-2008 las dependencias y entidades realizaron
Evaluaciones de Consistencia y Resultados y de Diseo a
los programas sujetos a reglas de operacin.
Sin embargo, no siempre haba sido claro cul es el
destino y el uso de los resultados de las evaluaciones
externas. El principal objetivo de las evaluaciones debe
ser mejorar sistemticamente los programas y las
polticas pblicas, en este caso las polticas sociales,
 SEGUIMIENTO DE RECOMENDACIONES

Objetivo de establecer el procedimiento general para

atender los resultados de las Evaluaciones de
Consistencia y Resultados y de Diseo 2007 de los
programas federales

Mejorar la poltica y programas sociales

Emisin del
Mecanismo para el Seguimiento a los Aspectos Suscept
ibles de Mejora derivados de los Informes y Evaluaci
ones Externas a Programas Federales 2008.
 SEGUIMIENTO A RECOMENDACIONES
Para la mayora de los programas no se haca nada de
manera explcita.
Se diseo un proceso para que los programas se
involucren en hacer compromisos de mejora, a partir de
las recomendaciones pertinentes.
Las recomendaciones finales se clasifican dependiendo de
qu institucin debe ser la responsable
Programa, dependencia, Comisin Intersecretarial, Congreso,
SHCP y SFP
Los programas tiene que dar:
Una opinin oficial, y
Una respuesta oficial sobre las acciones que implementarn.
 LO QUE SE ESPERA EN EL MEDIANO PLAZO

Promover la gestin y evaluacin basada en Resultados

Tener un sistema de Evaluacin y Monitoreo coordinado y
sistematizado
Menor nmero de indicadores a reportar, pero de mejor calidad
Que el sistema tenga nexos con el proceso presupuestario
Promover el uso sistemtico de la informacin de evaluacin y
monitoreo
Que la informacin se utilice para mejorar la gestin de los
programas y dependencias
Que se puedan evaluar polticas en su conjunto, especialmente
polticas sociales
Con esta informacin ms la evolucin de los indicadores de
pobreza nacionales, estatales y municipales, poder evaluar la
poltica social en su conjunto
Reforzar la transparencia y la rendicin de cuentas
 NDICE

Antecedentes
Qu es el Coneval: Aspectos Institucionales
Sistema de Evaluacin y Monitoreo en
Mxico
Monitoreo, avances y usos de la MML
Evaluacin de Consistencia y Resultados
Esquema de Seguimiento a
Recomendaciones
Retos a futuro
 TEMAS A CONSIDERAR

Diferencias entre:
Evaluacin: Las cosas que se hacen son las correctas?
Auditoria: Las cosas se estn haciendo correctamente?
Vnculo entre:
Gestin y evaluacin;
Resultados y presupuesto,
Coordinacin entre diferentes actores
Al interior y entre de las secretarias
Con el Jefe de Gobierno y el Congreso Local
Definir roles de los diferentes actores
Impulsar los resultados y mejorar la gestin (agenda poltica)
Implementacin gradual y/o aplicacin de pilotos
Temas, instrumentos, alcances, etc.
 TEMAS A CONSIDERAR

Iniciar por voluntad poltica y luego se impulsa

normativamente
Fortalecer capacidad tcnica de las secretarias
Fortalecer la oferta de evaluadores
Normatividad de adquisiciones
Diagnstico de lo existente y lo aprendido hasta el momento
Normatividad y prcticas actuales
Nomenclatura y conocimientos bsicos
Detectar prcticas exitosas ya existentes
Analizar la experiencia internacional
Pocos casos locales, ms experiencia federal
Definir con claridad lo que se busca
Evaluar constantemente los avances que se tengan
Apoyado con un organismo externo nacional o internacional
 FACTORES DE XITO DE LOS SE&M x
RESULTADOS
Considerable demanda gubernamental
Objetividad y calidad
Grado de utilizacin (oferta adecuada de instrumentos y
productos)
Importancia de los incentivos para generar informacin
Diagnstico del SE&M existente
Peligro de complejidad excesiva
Esfuerzo de largo plazo, impulso por etapas

Promotor influyente
Impulso de una secretaria competente
Normatividad (limitaciones y ventajas)

 DEFINIR OBJETIVOS CLAROS

Cules son los usos efectivos o previstos de la informacin

proporcionada a travs del SE&M?

Orientar las decisiones de asignacin de recursos en el proceso

presupuestario.
Contribuir a la preparacin de la planificacin nacional o
sectorial.
Favorecer la gestin y prestacin habitual de servicios pblicos.
Reforzar las relaciones de rendicin de cuentas.

 Muchas gracias

Mayor informacin y
comentarios

jdelmuro@coneval.gob.mx