Por qu evaluar impacto?

Magdalena Valds
Directora Ejecutiva J-PAL LAC
 Propiedad intelectual

El contenido de la siguiente clase es propiedad del Abdul

Latif Jameel Poverty Action Lab (J-PAL).

El material est destinado a su uso como material de

estudio del curso en lnea JPAL101SPAx Evaluacin de
Impacto de Programas Sociales y no debe ser utilizado
para otros medios sin la autorizacin expresa de J-PAL.
Cmo aumentar la participacin
escolar (matriculacin y asistencia)?
Trabajas como asesor en el Ministerio de
Educacin de tu pas.
Aumentar la participacin escolar ha sido
identificado como una de las prioridades del
nuevo gobierno.
Tu jefe te cuenta que hay US$ 10 millones
disponible para invertir en un programa para
lograr este objetivo
Te pregunta en qu intervencin recomiendas
invertir. Qu le respondes?
Cmo aumentar la participacin escolar
(matrcula y asistencia)?

Uniformes Becas al Mejorando salud

Escolares mrito

Transferencias Libros Informacin

Nuevas sobre retornos
Monetarias Escuelas gratuitos
 Evaluaciones en frica
Tiempo adicional de educacin por US $100

Uniformes Becas al Libros Mejorando salud

Escolares mrito gratuitos

0 meses 12
8 meses 2 meses
aos
Evaluaciones en Latinoamrica
Tiempo adicional de educacin por US $100

Transferencias Informacin
Monetarias sobre retornos

4 das 3 meses

Mxico Repblica
Dominicana
Objetivos

Entender qu es una evaluacin de impacto

Comprender la importancia de las evaluaciones de

impacto

Conocer los principales obstculos para la produccin y

el uso de las evaluaciones de impacto
Tipos de evaluacin
Qu es evaluar?

Evaluacin

Evaluacin
de
programas

Evaluacin
de impacto
Tipos de evaluacin de programas

Evaluacin de Necesidades

Evaluacin Terica

Evaluacin de Procesos

Evaluacin de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluacin Analysis
de Eficiencia
Evaluacin de necesidades

Evaluacin de Necesidades

Evaluacin Terica

Evaluacin de Procesos

Evaluacin de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluacin Analysis
de Eficiencia
Evaluacin de necesidades

Estudio sistemtico que:

Identifica la naturaleza, el Resultados
alcance y las causas de deseados
una necesidad.
Define y describe la Necesidad
poblacin objetivo a ser
atendida. Resultados
actuales
Determina la intervencin
que se necesita para
solucionar la necesidad.

Poblacin
Necesidad Solucin
Objetivo
Fuente: Basado en Banco Mundial 2012
Preguntas que requieren una
evaluacin de necesidades
El programa est basado en una buena
conceptualizacin del problema que busca solucionar?

Cul es la naturaleza y la magnitud del problema o

necesidad?
Cules son las posibles causas?
Cules son las caractersticas de la poblacin
objetivo?
Qu programas son los ms pertinentes para esta
poblacin?
Qu programas existen ya para responder el
problema?
Ejemplo: programa de Mejoramiento de
Viviendas
Encuesta Nacional de Campamentos

Fuente: CIS - TECHO 2015

Mapas de vulnerablidad territorial

Fuente: CIS - TECHO 2016

Evaluacin terica

Evaluacin de Necesidades

Evaluacin Terica

Evaluacin de Procesos

Evaluacin de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluacin Analysis
de Eficiencia
Evaluacin terica

Evala la teora que est detrs del programa:

Es viable y factible?
Cun bien responde a las necesidades de la
poblacin objetivo?

Describir la Marco Lgico

teora Teora de Cambio

Revisin de literatura
Determinar Panel de expertos
su calidad Entrevistas
Preguntas que requieren una
evaluacin terica
La teora detrs del programa es factible?

Cules son los resultado finales que se esperan lograr con el

programa?

Cmo se pretende llegar a esos resultados finales?

(A travs de qu insumos, actividades, productos y
resultados intermedios?)

Qu supuestos y riesgos hay implcitos en nuestra teora de

cambio?

Qu tan razonables son estos supuestos, y qu tan grandes

los riesgos?
Ejemplo de Teora de Cambio
Altos niveles de porbreza en
asentamientos precarios

Voluntariados Material de
Construccin

Viviendas
mejoradas

Mayor sensacin Mayor disposicin a

de seguridad acumulacin de activos

Mejores
Mayor Mayor
relaciones
Satisfaccin empleabilidad
interfamiliares
Evaluacin de procesos

Evaluacin de Necesidades

Evaluacin Terica

Evaluacin de Procesos

Evaluacin de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluacin Analysis
de Eficiencia
Del dicho al hecho

La teora de cambio nos dice cmo el programa

debera funcionar.

Pero implementar un programa segn lo planeado no

es fcil.

Importante estudiar qu pasa en la prctica.

Una evaluacin de procesos evala la implementacin

de un programa
Preguntas que requieren una
evaluacin de procesos
El programa se implementa de manera adecuada?
Se implementa segn lo planeado?
Cumple con los estndares relevantes?
Permite lograr los objetivos del programa?

Cuntas personas estn recibiendo el servicio? Son las

personas correctas?
El servicio recibido, es adecuado en trminos de cantidad,
calidad y tipo?
El personal que ejecuta el programa, cuenta con todas las
competencias requeridas?
Cmo se administran los recursos?
Encuesta de TECHO
Planes Implementados
90%
Porcentaje de campamentos donde se ha

80%

70%

60%
implementado

50%

40%

30%

20%

10%

0%
Tutoras Fomento Asesoras Talleres Plan de salud Bibliotecas Talleres de
educativas productivo jurdicas electivos aprendizaje
popular

Fuente: CIS - TECHO (2009)

Encuesta de TECHO
Aspectos que se debe mejorar del trabajo de los
voluntarios en campamentos
40%
Porcentaje de las mesas de trabajo que

35%
considera que se debe mejorar

30%

25%

20%

15%

10%

5%

0%
Coordinacin con Participacin en Constancia en lo Compromiso con Relacin con las
la mesa de trabajo las actividades de que hacen el campamento familias
campamento
adems de su
plan

Fuente: CIS - TECHO (2009)

Evaluacin de impacto

Evaluacin de Necesidades

Evaluacin Terica

Evaluacin de Procesos

Evaluacin de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluacin Analysis
de Eficiencia
Qu es impacto?

Resultado de los participantes del

programa despus de participar
en el programa

Resultado que esos mismos

participantes hubieran obtenido en
ese mismo momento, en el caso
hipottico de no haber participado

Contrafactual
IMPACTO
Preguntas que requieren una
evaluacin de impacto

El programa tiene los efectos esperados sobre los

beneficiarios?

Se mantienen estos efectos en el tiempo?

Todos los componentes del programa son necesarios para

lograr impacto?

Algunos grupos de beneficiarios estn ms afectados por la

intervencin que otros?

Existen efectos adversos no planificados?

Evaluacin de impacto de TECHO

Evaluacin de impacto de las mediaguas:

El Salvador
Uruguay
Mxico
Cul fue el impacto?

18% Satisfaccin con calidad de piso

Satisfaccin con la proteccin que ofrece

20% contra lluvia

Satisfaccin con calidad de vida

16%

No hubo impacto en:

Adquisicin de bienes
Mercado Laboral
Salud
Procesos vs. Impacto
Evaluacin de Procesos Cunto?
Cmo? Por qu? Evaluacin de Impacto

Mide si el progreso con

Mide el progreso con respecto a los objetivos es
respecto a los objetivos causado por el programa

Monitoreo continuo y Puntual, limitada en el

frecuente tiempo

Se realiza durante la Se disea antes de la

implementacin del implementacin, se
programa consiguen resultados
finales despus
Se puede realizar de
Preferentemente se realiza
manera interna o
externamente con apoyo
externa
de los equipos internos

Evidencia descriptiva Evidencia causal

Evaluacin de eficiencia

Evaluacin de Necesidades

Evaluacin Terica

Evaluacin de Procesos

Evaluacin de Impacto
Impact Evaluation

Cost-Effectiveness
Evaluacin Analysis
de Eficiencia
Evaluacin de eficiencia

Anlisis costo-beneficio: compara los beneficios del

programa con sus costos en una unidad comn
Implica monetizar los costos y beneficios
Se realiza generalmente ex-ante

Anlisis costo-efectividad: compara el cambio en la

variable de impacto principal con los costos del
programa
Permite comparar el impacto relativo de distintas
intervenciones
Se realiza generalmente ex-post
Preguntas que requieren una
evaluacin de eficiencia

Se logra el impacto de una manera eficiente?

Es el costo del programa razonable en relacin con la

magnitud del impacto?

Existen intervenciones alternativas que cumpliran los mismos

objetivos a menor costo?

Los recursos son usados de manera eficiente?

Anlisis costo-efectividad en mediaguas
Cambio en la medida de Impacto (tasa de pobreza)
dividido por medida de Costo (dlares).

Costo del
programa
$
En Resumen

El programa est basado en una buena

Evaluacin de
conceptualizacin del problema que
Necesidades busca solucionar?

Evaluacin Terica La teora detrs del programa es factible?

Evaluacin de El programa se implementa segn lo

Procesos planeado?

Evaluacin de El programa alcanz los objetivos para los

Impacto cuales fue diseado?

Evaluacin de Se logra el impacto de una manera

Eficiencia eficiente?
La importancia de evaluar
impacto
Por qu evaluar impacto?
Existen varios motivos por los cuales estamos
interesados en evaluar un programa:

1. Mejorar el programa

2. Hacer ms eficiente el gasto pblico

3. Contestar preguntas de relevancia general

1. Mejorar el programa

Generar informacin enfocada en el diseo o la

reformulacin del programa, con el fin de mejorar su
desempeo y resultados.
Encontrar soluciones concretas e implementarlas
en el corto plazo
Permite entender la importancia relativa de los
componentes y procesos del programa
Implica trabajar en colaboracin estrecha con los
responsables del programa
2. Hacer ms eficiente el gasto pblico

Emitir un juicio final en cuanto al uso eficiente de los

recursos y la contribucin real del programa a la
resolucin de los problemas.
til para tomar decisiones en cuanto a la
asignacin de recursos, continuidad del
programa, acciones legales.
Interesa a los tomadores de decisin de alto
nivel, financistas, legisladores.
Evaluaciones independientes.
3. Contestar preguntas de relevancia
general
Generar bienes pblicos contribuyendo al conocimiento
en ciencias sociales y econmicas
Genera conocimiento sobre mecanismos y efectos
de una intervencin
Sirve de base para innovaciones y nuevos enfoques,
con potencial para replicaciones y escalamientos
Interesa tanto a implementadores como a financistas
y comunidad de investigadores y hacedores de
poltica pblica.
Ejemplo: transferencias monetarias
condicionadas en Mxico
Ejemplo: transferencias monetarias
condicionadas en Mxico
Qu fue lo que permiti el xito del programa?
Empoderamiento poltico
Apoyo externo del BID
Avalado por evidencia cientfica
 Ejemplo: transferencias monetarias
condicionadas en Mxico
Cul fue el rol de la evidencia en el xito?
Dio sustentabilidad poltica al programa en el
tiempo.
Entreg informacin al mundo de la efectividad
de la innovacin (a muy bajo costo poltico y
financiero)
Ayud a mejorar el diseo del programa a lo largo
del tiempo
Inicio

Fuente: Banco Mundial (2017)

Gran crecimiento en 10 aos

Fuente: Banco Mundial (2017)

Falta de evaluaciones de
impacto y uso de sus resultados
Cmo decidimos cules programas
implementar?
Ideologa
Propia
Conocimiento Externa
Apoyo
Evidencia
Presupuesto
Experiencia
Personal Poltico
Colectiva Capacidad

Programas
/ Polticas
 Cmo decidimos cules programas
implementar?

Hacer poltica pblica Hacer poltica pblica

basndose en la opinin basndose en evidencia

Autor de la imagen: Brandon Reynolds. Encargado por University of Cape Town Graduate School of Development Policy and Practice
 Vamos por buen camino
Nmero de evaluaciones aleatorizadas publicadas en el rea de desarrollo internacional

Ao de publicacin

Fuente: Cameron et al (2016)

 Pero an queda mucho trabajo por
hacer
Evidencia en Medicina
234.107 estudios clnicos

Fuente: https://ClinicalTrials.gov
11 de enero 2017
Por qu existe tan poca evidencia?

1. Medir impacto fuera del laboratorio es complejo.

Problema de confiabilidad del impacto estimado
Importancia de una estrategia de identificacin
adecuada y bien justificada.
Estamos aislando el efecto del programa de otros
elementos relevantes?

Cul es la estrategia de identificacin causal?

Estamos comparando manzanas con manzanas?

Por qu existe tan poca evidencia?

2. Pensar en la evaluacin a tiempo

Necesidad de pensar en la evaluacin
antes de que se implemente el programa.

3. Problemas de Agencia
Temporalidad de los incentivos
Carcter de bien pblico de la evidencia
Aversin al riesgo y paradigma sobre el rol de la
evaluacin
Uso de evidencia

Incluso cuando existe evidencia rigurosa, muchas veces

no se usa sistemticamente para disear mejores
programas

Dificultad en identificar la evidencia rigurosa de la que

no lo es.
Baja credibilidad por su mal uso
Poco conocimiento de causalidad
Falta de cultura de evaluacin y aprendizaje
Validez externa
Cundo no evaluar impacto?

Cuando ya existe suficiente evidencia sobre la

efectividad de la intervencin
Cuando el programa no est maduro y el diseo
est sujeto a modificaciones
Cuando el pblico objetivo ya ha recibido el
programa
Cuando no es posible identificar un grupo de
comparacin vlido
Cundo evaluar impacto?

Cuando hay preguntas causales sin respuesta

Cuando existe incertidumbre sobre la mejor
estrategia de intervencin para atacar un problema
Cuando se est implementando un programa piloto
Cuando se prev escalar un programa
Cuando un programa se est implementando de
manera gradual
Cuando el programa incorpora nuevos servicios o
beneficiarios
Conclusiones
En resumen

Existen diferentes tipos de evaluaciones. En este curso

nos focalizaremos en evaluaciones de impacto, las
cuales responden preguntas sobre causa y efecto.

Evaluar impacto puede ayudar a mejorar el diseo de

los programas sociales, aumentar la eficiencia del gasto
pblico, y aprender.

Este potencial de las evaluaciones de impacto no se

est aprovechando lo suficiente, por falta de
produccin y uso.