Universidad Nacional de Colombia

Facultad de Ciencias Econmicas

Evaluacin de Impacto

Segundo Taller

Amy Baquero Beltrn

Nicols Arce Buitrago
Jos David Nio Muriel
Jess Cristbal Torres Ruz

1. Haga una tabla con las estadsticas descriptivas de la lnea base y el test de diferencia de medias.

Estadsticas Descriptivas primer periodo de observacin

Variable Grupo Control Grupo Tratado
Diferencia de medias
Obs. Media D.E. Obs. Media D.E.
mujer 503 0,300199 0,458801 497 1 0 -0,6998***
edad 503 13,07753 1,450358 497 13,01006 1,380268 0,067474
salario_padre 503 172,4672 43,41561 497 132,7867 39,90719 39,68048***
educ_padre 503 7,942346 1,989679 497 7,092555 2,56203 0,849791***
aprendizaje 503 0,092485 1,068661 497 -0,18573 1,070757 0,278219***

2. Discuta los resultados de la tabla del punto 1. Podemos decir que los dos grupos son iguales?

Para obtener los resultados del punto anterior, se obtuvieron las estadsticas descriptivas y las diferencias de
medias para los tres primeros perodos. En los 3 casos, todos los valores de las medias fueron las mismas a
excepcin de la variable de aprendizaje (aunque la diferencia de esta variable entre ambos grupos fue siempre
similar), que s vari, pero con la salvedad que fue siempre inferior en el grupo tratado. Adems, se observa
que las condiciones del grupo tratado, en promedio, fueron siempre inferiores -incluso desde el punto inicial
del experimento- a las del grupo control. Un dato interesante se encontr en la variabilidad de sexo dentro
de las poblaciones, pues solo el 30% del grupo control es mujer, mientras que en el grupo tratado todos sus
integrantes son femeninos. Finalmente, se concluye que los grupos "Tratados" y "No Tratados" son
significativamente diferentes en las siguientes caractersticas: mujer, salario del padre, educacin del padre y
aprendizaje.

3. Haga un grfico donde se observe el promedio de las pruebas de aprendizaje en cada periodo desagregada
entre tratados y no tratados. puede decir algo sobre el supuesto de tendencia paralela? se le ocurre una
forma de verificar esto?

Como se observa en el Grfico 1, y lo que a su vez corrobora la afirmacin del punto anterior, el grupo tratado
inicia el experimento con un aprendizaje, en promedio, inferior al del grupo control. Este aprendizaje crece a
la misma tasa durante los tres primeros periodos (t=0, 1, 2) en los cuales ningn nio recibi tratamiento. Por
el contrario, para los periodos en los que se aplica el tratamiento (t=3, 4) el aprendizaje de los nios tratados
(la variable media_trat de azul en la grfica) crece a una mayor tasa que el de los nios no tratados (la variable
media_no_trat de rojo). En especfico, la pendiente de ambas lneas es de 0,11 para los periodos
correspondientes a la lnea base, mientras que en los periodos en los que se presenta tratamiento la pendiente
de la variable media_trat es 0,17 mientras que la de media_no_trat permanece relativamente constante en
0,12.

1
 Este resultado, junto al que se mostrar en el punto 6, son evidencia a favor del supuesto de tendencias
paralelas requerido al momento de aplicar la tcnica de diferencias en diferencias.

Grfico 1. Promedio de las pruebas de aprendizaje desagregado por grupo tratado y no tratado

Supuesto tendencias paralelas

.6
.4
Aprendizaje

.2
0
-.2

0 1 2 3 4
Periodo

media_trat media_no_trat

Media_trat = promedio de aprendizaje del grupo tratado, media_no_trat = promedio de aprendizaje

del grupo no tratado. Se calcularon las pendientes de ambas rectas, para los periodos entre el 0 y el
2 la pendiente coincidi tomando un valor de 0,11, a partir del periodo dos, las pendientes difieren,
para el caso de la recta del grupo de tratados, esta toma un valor de 0,17, mientras que en el caso
de la recta de los no tratados la pendiente es igual a 0,12.

4. Haga la regresin aprendizaje contra tratamiento, con y sin controles. escriba la ecuacin que est
estimando. qu problema tiene esta estimacin? Qu se puede decir de los resultados?
En la columna (A) de la Tabla 2 se presentan los resultados de la regresin Aprendizaje contra el tratamiento
D sin variables control, donde D es una variable categrica con unos para los periodos en los que los nios
tuvieron la agenda (para los nios que recibieron tratamiento en los periodos que fueron tratados) y ceros en
cualquier otro caso (para los nios que recibieron tratamiento en los periodos que no fueron tratados y para
los nios no tratados en todos los periodos). La ecuacin estimada en este caso es:

= 0 + 1 +

Mientras que en la columna (B) de la misma tabla se presentan los resultados incluyendo las variables control
Mujer (variable categrica que toma el valor de 1 si es una nia y 0 si es un nio), Edad (edad en aos de
los nios), salario_padre (el salario que percibe el padre del nio en dlares), y educ_padre (aos de
escolaridad del padre). La ecuacin estimada en este caso es:

2
 = 0 + 1 + 2 + 3 + 4 + 5 _ +

De acuerdo a los resultados de la regresin sin controles, el efecto del programa es de 0,12 desviaciones
estndar, es decir, aquellos nios que recibieron agendas tuvieron un aprendizaje de 0,12 desviaciones
estndar mayor que los nios que no recibieron agenda.
En la regresin con controles, se verifica que las variables Mujer y educ_padre tienen un efecto
significativo sobre el aprendizaje de los nios (a un nivel de significancia del 1%) al igual que salario_padre
(a un nivel de significancia del 5%), mientras que la edad no es significativa. Usando esta regresin, los nios
que recibieron la agenda tuvieron un aprendizaje 0,19 desviaciones estndar mayor que los nios que no
recibieron agenda, que es un valor mayor que el obtenido en la regresin sin controles.
Sin embargo, existen problemas al utilizar estas regresiones. Primero, la regresin sin controles no est
teniendo en cuenta las caractersticas distintas que en promedio existen en el grupo tratado y el no tratado,
caractersticas que tienen influencia sobre la variable resultado Aprendizaje, y por ello este estimador puede
estar sobreestimando o subestimando el efecto verdadero del programa. E igualmente, la regresin con
controles no est teniendo en cuenta las diferencias preexistentes (en la lnea base) entre el grupo control y
el grupo tratado en estas caractersticas relevantes, diferencias demostradas en el punto 1, por lo que se
estara atribuyendo al programa resultados que se deben es a sus distintas caractersticas y puntos de partida.

5. Haga la regresin aprendizaje contra tratamiento usando efectos fijos de individuo y de tiempo, escriba la
ecuacin que est estimando. Compare estos resultados con los del punto 4.

En la Tabla 2 columna (C) se muestran tambin los resultados de la regresin de Aprendizaje contra el
tratamiento D usando efectos fijos de individuo y tiempo, cuya ecuacin es:

= 0 + 1 + 2 2 + + 1000 1000 + 1 1 + + 4 4 +

Los efectos fijos de individuo se representan con la variable donde = 2, , 1000 pues no se incluye 1
para que no existan problemas de colinealidad, y por la misma razn, no se incluye 0 en los efectos fijos de
tiempo (para = 1, 2, 3, 4).
Para esta regresin, el efecto del programa es de 0,075 desviaciones estndar, por lo que controlando por
todas aquellas variables constantes en el tiempo e intrnsecas a cada nio, se puede concluir que los nios
que recibieron agenda lograron un aprendizaje 0,075 desviaciones estndar mayor que los nios que no
recibieron agenda.
Dado que esta regresin no sufre de las falencias que tenan las presentadas en el punto 4, se puede decir que
las regresiones sin controles y con controles de ese punto estaban sobreestimando el verdadero efecto del
programa.

3
 Tabla 2. Regresiones: (A) Sin controles (B) Con controles (C) Con efectos fijos por individuo y tiempo

Regresiones
(A) (B) (C)
VARIABLES
aprendizaje aprendizaje Aprendizaje

D 0.1232*** 0.1929*** 0.0754***

(0.039) (0.042) (0.003)
Mujer -0.1349***
(0.036)
Edad -0.0167
(0.011)
salario_padre 0.0009**
(0.000)
educ_padre -0.0198***
(0.007)
t= 1 0.1008***
(0.001)
t=2 0.2220***
(0.001)
t=3 0.3305***
(0.002)
t=4 0.4761***
(0.002)
Constante 0.1706*** 0.4774*** -0.0458***
(0.017) (0.161) (0.001)

Observaciones 5 5 5
R-cuadrado 0.002 0.009 0.978
Number of id 1
Errores estndar en parntesis
*** p<0.01, ** p<0.05, * p<0.1

6. Construya un placebo. Suponga que el programa solo tiene tres periodos de observacin y que el
tratamiento se hace durante el tercer periodo (placebo). Qu resultados se obtiene y cul es la intuicin
detrs de ellos?

Los resultados obtenidos al construir un placebo, llamado P en el periodo 3 (de los tres periodos que
constituyen la lnea base) para el modelo se encuentran en la Tabla 3. Al observar los resultados de este
placebo, se puede observar que el efecto este tratamiento simulado no es significativo, dado que en
verdad no hubo ningn tratamiento aplicado en este periodo, por lo cual podra concluirse que no hay
diferencias significativas entre el grupo tratado y el no tratado adems de sus diferencias preexistentes, lo
cual confirma, como en el punto 3, el supuesto de tendencias paralelas.

4
 Tabla 3. Regresin Placebo

Placebo
(D)
VARIABLES aprendizaje

P 0.0006
(0.002)
1.t 0.1008***
(0.001)
2.t 0.2217***
(0.002)
Constante -0.0458***
(0.001)

Observaciones 3
Nmero de id 1
R-cuadrado 0.957
Errores estndar en parntesis
*** p<0.01, ** p<0.05, * p<0.1

7. Discuta los posibles resultados de esta evaluacin de impacto, mecanismo por los cuales esto puede estar
pasando, debilidades del modelo y posibles implicaciones de poltica pblica. No ms de 450 palabras.

Existen numerosos estudios de evaluacin de impacto centrados en distintos programas o acciones y sus
efectos en el nivel educativo de las personas. En esta ocasin, el enfoque que le da el autor a la evaluacin es
un poco complejo, ya que hay una serie de factores que inciden indirectamente en la variable de tratamiento,
pues la caracterizacin de la variable es excesivamente detallada: no solo participan los estudiantes, sino
tambin sus padres y maestros, y su participacin es fundamental. Por tal motivo, el seguimiento del efectivo
cumplimiento de las funciones de cada participante se vuelve realmente engorroso, y es probable que
eventualmente se le quite importancia.
Por otro lado, se detect una situacin en relacin a las caractersticas de los grupos tratados y control.
Como se expres en el segundo punto, el promedio del valor de las variables control (salario del padre,
educacin del padre, entre otros) era menor en el grupo de tratados, y aunque el efecto del tratamiento
disminuy la brecha, no se cerr en una magnitud importante.
Finalmente, las implicaciones polticas del resultado del tratamiento pueden ser importantes. El hecho de que
la asignacin de un cuadernillo donde los nios anoten tareas y trabajos aumente su nivel de aprendizaje, le
brinda la evidencia necesaria para la implementacin de una poltica pblica, a un gobierno que tenga a la
educacin como uno de sus principales puntos de su agenda.

8. Demostrar que la siguiente ecuacin recupera el estimador de diferencias en diferencias.

= 0 + 1 + 2 2 + + + 2 2 + + +
Partiendo de la ecuacin anterior, se tiene que: los perodos son t = 1, , f, , T donde f es el perodo en el
que se inicia el tratamiento. Entonces = 0 para todo = 1, , 1 y = 1 para todo = , , .

Entonces el estimador de diferencias en diferencias corresponde a 1 dado que:

5
 ( | = 1) = 0 + 1 + 2 2 + + + 2 2 + + +

( | = 0) = 0 + 2 2 + + + 2 2 + + +

( | = 1) ( | = 0) = 1 ,
mientras que:

( | = 1) = ( | = 0) = 0 + 2 2 + + + 2 2 + + + ,
debido a que = 0 para todo k, pues todava no se haba aplicado el tratamiento. Por lo que la diferencia
entre ( | = 1) y ( | = 0) es cero.

En conclusin, el estimador de diferencias en diferencias es

[( | = 1) ( | = 0)] [( | = 1) ( | = 0)] = 1