Universidad de Santiago

Evaluacin de Impacto de Polticas Pblicas

Clase 13

Profesor: Francisco Pinto

Evaluacin de Impacto

Universidad de Santiago

2013

Diferencias en diferencias

Evaluacin de Impacto

Universidad de Santiago

2013

Introduccin
La seleccin aleatoria (oferta y promocin) y regresin discontinua estiman el contrafactual con reglas explcitas de asignacin del programa.
La estimacin del contrafactual es creble, haciendo pocas suposiciones e imponiendo pocas restricciones. Cuando es menos factible aplicar esas metodologas o cuando las reglas de asignacin son menos claras pueden utilizarse otros mtodos como diferencia en diferencia o pareamiento (matching). Ambos mtodos requieren de suposiciones ms requieren necesariamente de datos de lnea base. fuertes y

Evaluacin de Impacto

Universidad de Santiago

2013

Diferencias en diferencias
Consiste en aplicar una doble diferencia. Compara los cambios a lo largo del tiempo en la variable de inters entre una poblacin inscrita en un programa (GT) y una poblacin no inscrita (GC).
Ej: Programa construccin de carreteras que no se puede asignar aleatoriamente y no se asigna en funcin de un ndice claramente definido. Objetivo: Mejorar el acceso a los mercados laborales Indicador: Tasa de empleo. El simple cambio antes-despus no nos muestra un impacto causal(Otros factores pueden incidir en el empleo). Contrafactual falso 1.
4 Evaluacin de Impacto Universidad de Santiago 2013

Diferencias en diferencias
La comparacin entre reas que recibieron y no recibieron generar problemas si existen razones no observables por las que unas recibieron y otras no. Contrafactual falso 2.
Diferencia en diferencia (DD) compara los cambios antes-despus de un grupo inscrito en un programa y los cambios antes-despus de un grupo no inscrito. La primera diferencia corresponde a los resultados antes-despus del GT y considera los factores constantes en el tiempo de este grupo. La segunda diferencia corresponde a los resultados antes-despus del GC y considera los factores externos que varan con el tiempo. (Estando expuesto a las mismas condiciones ambientales).
5 Evaluacin de Impacto Universidad de Santiago 2013

Diferencias en diferencias
De esta forma se elimina la principal causa de sesgo que nos preocupaba en el caso de las comparaciones simples antesdespus.
DD combina los dos falsos contrafactuales. Lo que se estima es el cambio en los resultados del GT.
Los GT y GC no tienen que contar necesariamente con las mismas condiciones previas a la intervencin.

No obstante, para que el mtodo sea vlido, el grupo de comparacin debe representar el cambio en los resultados que habra experimentado el GT en ausencia del programa. Slo se requiere medir los resultados del GT y GC antes y despus.
No requiere que se especifiquen reglas para la asignacin del tratamiento.

Evaluacin de Impacto

Universidad de Santiago

2013

Diferencias en diferencias
Segundo contrafactual falso

Primer contrafactual falso

Impacto de DD = (B-A) (D-C)=(B-E)=(0,74-0,60)-(0,81-0,78)=0,11

7 Evaluacin de Impacto Universidad de Santiago 2013

Diferencias en diferencias
Pasos:
1.Se calcula la diferencia del resultado (Y) entre las situaciones antes y despus para el grupo tratamiento (B-A). 2.Se calcula la diferencia del resultado (Y) entre las situaciones antes y despus para el grupo de comparacin (D-C). 3.Se calcula la diferencia entre la diferencia en los resultados del grupo de tratamiento (B-A) y la diferencia del grupo de comparacin (D-C), o DD= (B-A)-(D-C).

Evaluacin de Impacto

Universidad de Santiago

2013

Utilidad del mtodo DD

Recordemos el primer contrafactual falso (comparacin inscritos vs no inscritos).
Problema: pueden tener caractersticas distintas que expliquen diferencias en resultados. Caractersticas no observables son particularmente preocupantes.

DD resuelve este problema. Supone que las caractersticas de las unidades o las personas son constantes en el tiempo.
Ej. observables: fecha nacimiento, ingreso regional, educacin. Ej. No-observables: motivacin, inteligencia, autodisciplina.

Si observramos a la misma persona antes y despus del programa se anulara el efecto de todas las caractersticas especficas de esa persona que son constantes.
9 Evaluacin de Impacto Universidad de Santiago 2013

Supuesto de igualdad de tendencias

DD permite tener en cuenta las caractersticas constantes en el tiempo entre GT y GC, no elimina el sesgo relacionado con caractersticas que varan a lo largo del tiempo entre GT y GC.
Ej: en el ejemplo de la carretera, qu ocurre si adems en una regin se construye un puerto martimo? Un contrafactual vlido supondra la inexistencia de diferencias en el tiempo entre GT y GC. El supuesto es que ambos grupos evolucionan paralelamente. Aumentan o disminuyen al mismo ritmo. Es necesario que los resultados reflejen tendencias iguales en ausencia de tratamiento.

10

Evaluacin de Impacto

Universidad de Santiago

2013

Supuesto de igualdad de tendencias

pero no existe forma de demostrar que las diferencias habran evolucionado paralelamente en ausencia del programa. No se puede observar lo que le habra pasado al grupo de tratamiento en ausencia del tratamiento. No se puede observar el contrafactual!. Suponemos avance paralelo.
Si las tendencias de los resultados son diferentes para los GT y GC, el efecto estimado ser invlido o sesgado. Por ejemplo, qu ocurre si los resultados del grupo de comparacin crecen ms lentos que los resultados del grupo de tratamiento en ausencia del programa?.
Habr una sobrestimacin del impacto del programa
11

Evaluacin de Impacto

Universidad de Santiago

2013

Diferencias en diferencias

12

Evaluacin de Impacto

Universidad de Santiago

2013

Comprobacin de igualdad de tendencias

Una buena manera de hacerlo es comparar el comportamiento en los GC y GT antes de la implementacin.
Si los resultados evolucionaron en paralelo antes del comienzo del programa, se tendr ms confianza en los resultados

Se necesitan al menos dos rondas de datos para los GT y GC antes del comienzo del programa. Esto significa que contaremos con al menos tres rondas de datos para la evaluacin.
Dos para analizar las tendencias previas al programa

Una posterior para evaluar el impacto mediante DD Otra forma de comprobar el supuesto de las tendencia iguales es por medio de la prueba placebo.
Se realiza una estimacin adicional de DD mediante un grupo de tratamiento falso (no afectado por el programa).
13 Evaluacin de Impacto Universidad de Santiago 2013

Comprobacin de igualdad de tendencias

Ejemplo: clases particulares para alumnos de 7mo. Queremos medir cmo inciden en la probabilidad de asistir a clases.
GC = Estudiantes de 8vo. GT_falso = Estudiantes de 6to. Entre GC y GT_falso deberamos tener un impacto nulo. De lo contrario el impacto obtenido debe explicarse por alguna diferencia fundamental en las tendencia de los alumnos de 8vo y 6to. Esto hace dudar de la posibilidad que los estudiantes de 7mo y 8vo registren tendencias paralelas en ausencia del programa.

14

Evaluacin de Impacto

Universidad de Santiago

2013

Comprobacin de igualdad de tendencias

Tambin se puede utilizar la prueba de placebo con un resultado falso.
Siguiendo el ejemplo de las clases y con los alumnos de 8vo como GC y estimando el impacto de las clases particulares sobre el nmero de hermanos de cada estudiantes. Si la DD produce impacto sabemos que debe haber fallos en nuestro grupo de comparacin. Una cuarta forma de corroborar es aplicar DD a distintos GC. Si ambos grupos de comparacin son vlidos, el impacto ser aproximadamente el mismo.

15

Evaluacin de Impacto

Universidad de Santiago

2013

DD para evaluar PSSS

Qu supuestos bsicos son necesarios para aceptar el resultado del sexto caso? De acuerdo a los resultados, se debera extender el PSSS a nivel nacional?

16

Evaluacin de Impacto

Universidad de Santiago

2013

Limitaciones
Es generalmente menos robusto que los mtodos de seleccin aleatoria.
Puede haber un sesgo en la estimacin incluso cuando las tendencias son paralelas al comienzo de la intervencin. Esto porque DD atribuye a la intervencin cualquier diferencia en las tendencias entre los GT y GC que se produzca desde el comienzo de la intervencin.

Si hay algn otro factor que afecte la diferencia la estimacin ser sesgada.
Ejemplo: Subsidio al arroz. GT afectado por sequa, mientras GC no se ve afectado.
17 Evaluacin de Impacto Universidad de Santiago 2013