Instituto Nacional de Salud Pblica

Evaluacin externa de impacto del Programa Oportunidades 2004 Documento evaluacin Impacto de mediano plazo del Programa Oportunidades sobre la educacin y el trabajo de jvenes del medio rural que tenan de 9 a 15 aos de edad en 1997
Autores*

Susan W. Parker, Jere R. Behrman, Petra E. Todd.

Profesora investigadora de la Divisin de Economa del Centro de Investigacin y Docencia Econmica; investigadora especialista visitante del Mellon Foundation/Population Studies Center de la Universidad de Pennsylvania. Director del Mellon Foundation/Population Studies Center y titular de la ctedra WR Kenan Jr. del Departamento de Economa, Universidad de Pennsylvania. Profesora adjunta del Departamento de Economa e investigadora adjunta del Mellon Foundation/Population Studies Center, Universidad de Pennsylvania.

Nota: los puntos de vista expresados por los autores de este documento no reflejan la postura institucional del Instituto Nacional de Salud Pblica. Agradecemos la colaboracin del grupo evaluador de Oportunidades para la recoleccin de informacin y definicin de estrategias de anlisis. * Consultores del Instituto Nacional de Salud Pblica para la evaluacin del Programa Oportunidades 2004, con el apoyo adicional de la Mellon Foundation/Population Studies Center de la Universidad de Pennsylvania. Los autores desean expresar su agradecimiento a cuatro rbitros annimos por sus valiosos comentarios y a Bernardo Hernndez e Iliana Yaschine por sus tiles comentarios a los borradores de este trabajo.

Evaluacin e xterna de impacto del Programa Oportunidades 2004 Documento de evaluacin Impacto de mediano plazo del Programa Oportunidades sobre la educacin y el trabajo de jvenes del medio rural que tenan de 9 a 15 aos de edad en 1997 Primera Edicin, 2005 D.R. Instituto Nacional de Salud Pblica Av. Universidad 655 Sta. Ma. Ahuacatitln 62508 Cuernavaca, Morelos, Mxico Impreso y hecho en Mxico Printed and made in Mexico
Citacin sugerida: Parker SW, Behrman JR, Todd PE. Impacto de mediano plazo del Programa Oportunidades sobre la educacin y el trabajo de jvenes del medio rural que tenan de 9 a 15 aos de edad en 1997. Evaluacin externa de impacto del Programa Oportunidades 2004.Cuernavaca: Instituto Nacional de Salud Pblica, 2005.

Evaluacin externa de impacto 2004

Impacto de mediano plazo del Programa Oportunidades sobre la educacin y el trabajo de jvenes del medio rural que tenan de 9 a 15 aos de edad en 1997

Programa de Desarrollo Humano Oportunidades

Documento de evaluacin

Contenido
Presentacin 7

Resumen ejecutivo

I. Introduccin

13

II. Antecedentes del Programa

17

III. Diseo y prdida de la muestra

Diseo de la muestra Prdida de la muestra de jvenes en los hogares originales de los grupos T1998 y T2000 Temas de la muestra relacionados con los jvenes a los que se aplicaron pruebas de aprovechamiento Woodcock Johnson

19
19 20 23

IV. Estimaciones de impacto de la exposicin diferencial al Programa: T1998 contra T2000

Educacin Trabajo Matrimonio Migracin Impacto de caractersticas escolares seleccionadas sobre un resultado educacional clave

27
28 38 45 47 48

V. Estimaciones pareadas entre T1998 y el grupo de comparacin pareado C2003

Educacin Trabajo

53
59 63

V. Conclusiones y recomendaciones

67

Apndices
Apndice A. Construccin de variables Apndice B. Anlisis de la prdida de la muestra en T1998 y T2000 Apndice C. Estimaciones por diferencias en diferencias simples para el impacto de la exposicin diferencial Apndice D. Comparacin entre los grupos T1998 y C2003 en 1997 Apndice E. Pruebas de aprovechamiento Woodcock Johnson Apndice F. Apndice tcnico sobre el estimador de pareamiento utilizado en el anlisis

71
71 75 80 82 84 88

Referencias

93

Presentacin

l Programa de Desarrollo Humano Oportunidades es una iniciativa del Ejecutivo Federal que tiene como objetivo contribuir a que las familias en situacin de extrema pobreza salgan de esa condicin. Para ello, ha dirigido sus acciones a impulsar y fortalecer el desarrollo de las capacidades individuales y colectivas de la poblacin beneficiada, al igual que favorecer la vinculacin de sta con nuevos programas de desarrollo que propicien la mejora de sus condiciones socioeconmicas y de calidad de vida. Mediante transferencias de ingreso y la inversin en salud, nutricin y educacin, el programa busca, como fin ltimo, romper el crculo intergeneracional de la pobreza. Oportunidades representa una de las iniciativas ms importantes, si no es que la principal, que se haya puesto en marcha en Mxico para el combate a la pobreza, con un presupuesto, en 2004, de ms de 25 000 millones de pesos y una cobertura de 5 millones de familias, las que a su vez representan alrededor de 25 millones de beneficiarios. Desde su inicio, el programa consider la necesidad de contar con un componente de evaluacin que permitiera, por un lado, mejorar la implementacin de sus estrategias y acciones y, por otro, documentar los efectos que produce en la poblacin beneficiaria. Actualmente y de acuerdo con lo que establecen el Presupuesto de Egresos de la Federacin y las Reglas de Operacin del propio programa, Oportunidades debe ser evaluado por instituciones externas; por tal motivo ste ha resuelto encomendar al Instituto Nacional de Salud Pblica (INSP) y al Centro de Investigacin y Estudios Superiores en Antropologa Social (CIESAS) la coordinacin de la evaluacin de impacto* de sus diversos componentes, la cual involucra el desarrollo de estudios basados, tanto en metodologas cuantitativas (y que fueron coordinadas por el INSP), como en abordajes cualitativos (coordinados en su mayora por el CIESAS). Por parte del INSP han tenido un trabajo importante en dicha evaluacin Bernardo Hernndez, Lynnette Neufeld, Juan Rivera, Stefano Bertozzi, Gustavo Oliz, Juan Pablo Gutirrez, Fernando Meneses, Jos Urquieta, Carlos Oropeza y Manuel Castro, con sus respectivos equipos de trabajo; y por parte del CIESAS, Agustn Escobar y Mercedes Gonzlez de la Rocha, junto con su equipo de investigacin. A su vez ambas instituciones han trabajado en la evaluacin apoyndose en grupos asesores, constituidos por expertos en diferentes reas, con reconocimiento nacional e internacional, como: Susan Parker y Luis Rubalcava ,ambos del Centro de Investigacin y Docencia Econmicos (CIDE); Graciela Teruel, de la Universidad Iberoamericana; Fernando Corts, de El Colegio de Mxico; Enrique Valencia, de la Universidad de Guadalajara; Catalina Denman, de El Colegio de Sonora; Paul Gertler, de la Universidad de California, en Berkeley; Petra Todd y Jere Behrman, de la Univer-

* En el contexto de esta evaluacin, el trmino impacto se utiliza como sinnimo de efecto, para guardar consistencia con la anotacin empleada por Oportunidades en sus Reglas de Operacin.

sidad de Pennsylvania; Orazio Attanasio, del University College de Londres, y Bryan Roberts, de la Universidad de Austin. Asimismo, es importante reconocer el apoyo de Oportunidades para la conduccin de las actividades de evaluacin en sus distintas etapas, en especial el de Concepcin Steta, Mnica Orozco e Iliana Yaschine, as como el de sus equipos de trabajo. La colaboracin de los distintos sectores involucrados en la operacin de Oportunidades, especialmente de la Secretara de Salud, el Instituto Mexicano del Seguro Social y la Secretara de Educacin Pblica, ha sido fundamental en la conduccin de la presente evaluacin; esta ltima tambin se ha visto beneficiada de la interaccin con el grupo de trabajo de Carola Alvarez, del Banco Interamericano de Desarrollo. El presente documento forma parte de una serie de trabajos que conforman la evaluacin de los efectos de Oportunidades en el mediano plazo para zonas rurales y en el corto plazo para zonas urbanas. En ellos se describen los diferentes impactos del programa en las reas de inters principal: salud, educacin, alimentacin, vulnerabilidad y bienestar, entre otros temas Los documentos relacionados con el impacto del programa utilizan como insumo informacin derivada del trabajo cualitativo (muy especialmente de numerosos estudios de caso hechos entre hogares de comunidades seleccionadas, para representar la diversidad nacional), as como de distintas encuestas panel, diseadas especficamente para la evaluacin del programa. Tales encuestas se aplicaron tanto en reas rurales como en zonas urbanas, y se sustentaron en diseos metodolgicos cuasiexperimentales y experimentales; asimismo, contaron con la participacin de mas de 50 000 familias, a las cuales damos nuestro ms sincero agradecimiento por habernos permitido visitar sus hogares y por haber respondido de manera desinteresada nuestros cuestionarios. Las bases de datos generadas como parte de esta tarea constituyen, sin duda, una rica fuente de informacin que har posible mantener el ejercicio de evaluacin. Considerada como un proceso continuo, como una prctica sistemtica, la evaluacin de impacto permitir entender cada vez con mayor profundidad los factores multidimensionales que intervienen en la pobreza de numerosas familias mexicanas, as como identificar las acciones que, de manera ms efectiva, contribuyen a remontar esa situacin. Los investigadores participantes expresan que los resultados plasmados en este documento son producto de su trabajo profesional y acadmico, y que no reflejan una postura institucional. Este documento proporciona informacin relevante sobre la operacin o el impacto de Oportunidades hasta el presente. Los resultados encontrados son alentadores. No obstante, dado que se refieren a evaluaciones de corto y mediano plazo, en el futuro ser necesario continuar con las actividades de investigacin, para determinar si Oportunidades logra su cometido de romper el ciclo intergeneracional de la pobreza. Sin duda, la importancia de este programa en el contexto de la lucha que se da en Mxico para superar la pobreza, permitir contar con el fundamental apoyo de diversos sectores, de tal manera que sea posible continuar con esta importante tarea.

Dr. Mauricio Hernndez Avila Director General del INSP

Dr. Agustn Escobar Latap Investigador CIESAS

l Programa de Desarrollo Humano Oportunidades (antes Progresa) ha estado en operacin desde 1997, entregando subsidios en efectivo a las familias a cambio de la asistencia regular de nios y jvenes a la escuela, aunada a la asistencia regular a la clnica de salud. Este documento ofrece estimaciones de los impactos a mediano plazo sobre jvenes de reas rurales que tenan de nueve a 15 aos de edad en 1997 (15 a 21 aos en 2003), justo antes de la intervencin de Oportunidades, en variables como aprovechamiento escolar, resultados en el mercado laboral, matrimonio y migracin. Los resultados de este trabajo son una extensin de evaluaciones previas realizadas entre 1998 y 2000 con datos de la Encuesta de Evaluacin Rural (Encel). El anlisis se basa en nueva informacin obtenida de la Encuesta de Evaluacin Rural de 2003 (Encel 2003), que est ligada a datos anteriores, en particular de la Encuesta de Caractersticas Socioeconmicas de los Hogares (Encaseh) de 1997. La Encel 2003 brinda un nuevo conjunto de informacin sobre los hogares originales de tratamiento y control que empezaron a recibir los beneficios de Oportunidades en 1998 y 2000, respectivamente. La evaluacin original del programa se caracteriz por un experimento aleatorio con hogares de 320 comunidades asignadas para la recepcin de beneficios (el grupo inicial de tratamiento) y hogares de otras 186 comunidades que deban recibir los beneficios aproximadamente 18 meses ms tarde (grupo inicial de control o de tratamiento retardado). Como resultado de la incorporacin del grupo original de control que recibira los beneficios, los datos de la Encel 2003 tambin se aplicaron a un nuevo grupo de comparacin, construido a partir del pareamiento de comunidades en las que el programa todava no estaba disponible en la evaluacin Encel original. La estrategia de anlisis incluye la comprobacin directa de los impactos mediante el uso de dos aproximaciones distintas. Primero se calcula el efecto de las estimaciones de tratamiento por diferencias en diferencias, utilizando los grupos originales de tratamiento y control para nios en diferentes rangos de edad en 1997. Estas estimaciones recibieron el nombre de impactos de exposicin diferencial, ya que comparan a individuos en el grupo inicial de tratamiento que han recibido beneficios por cerca de cinco aos y medio con individuos en el grupo de control original que, para 2003, haban recibido beneficios durante aproximadamente cuatro aos. Por lo tanto, estas estimaciones se refieren al impacto de una exposicin diferencial de aproximadamente ao y medio. El segundo grupo de estimaciones se basa en la estimacin pareada entre quienes obtuvieron tratamiento en 1998 y el grupo de comparacin pareado de 2003, que no haba recibido los beneficios del programa en el momento de la encuesta, de modo que los estimadores pareados ofrecen estimaciones de impacto del programa luego de cinco aos y medio de tratamiento. Los dos grupos de resultados sugieren importantes impactos de Oportunidades en cuanto a grados de escolaridad completados. En relacin con las edades ms jvenes (es decir, nueve a 12 aos en 1997, 15 a 18 en 2003), los resultados basados en estimaciones de pareamiento sugieren en trminos generales impactos en el aprovechamiento escolar de aproximadamente un grado. Por lo que toca al nivel educativo de los individuos que nunca recibieron los beneficios de Oportunidades, en comparacin con los que s los recibieron desde 1998, las estimaciones implican un impacto estimado de 14%. Los impactos parecen ser ligeramente ms importantes para nios que para nias. Por ejemplo, los nios de 10 aos en 1997 (16 en 2003) alcanzan 1.14 grados ms de escolaridad frente al grupo de comparacin, en tanto que las nias de la misma edad slo obtienen 0.94 grados. En el caso de los nios mayores (es decir, de 14 a 15 aos en 1997 20 a 21 en 2003), se encontraron pocos efectos

Resumen Ejecutivo

 10
Impacto sobre la educacin y el trabajo de jvenes del medio rural

significativos en cuanto a grados de escolaridad completados, lo cual no resulta inesperado, ya que esos jvenes hubieran estado en el lmite superior de edad de elegibilidad para Oportunidades, y es probable que hubieran abandonado la escuela aos atrs. Los resultados de la exposicin diferencial tambin demuestran impactos positivos y significativos en grados de escolaridad completados. En comparacin con el grupo de control original (que recibi tratamiento desde 2000), los jvenes en el grupo original de tratamiento que han recibido en promedio 1.5 aos de beneficios adicionales, tienen aproximadamente 0.2 grados ms de escolaridad, tanto entre nios como entre nias, lo cual corresponde a un aumento de 2.5 por ciento. Los resultados en educacin tambin sugieren que los nios expuestos al programa estn progresando ms rpidamente en la escuela. Al medir la proporcin de nios que avanzan de grado oportunamente (es decir, los que en el intervalo de seis aos entre 1997 y 2003 completaron al menos cinco grados de escolaridad). Usando estimadores de pareamiento, los resultados muestran importantes efectos positivos para nios de nueve a 12 aos en 1997 (15 a 19 en 2003) y nias de nueve y 10 aos en 1997 (15 a 16 en 2003). Para los nios, estos impactos significativos implican incrementos en la proporcin de los que avanzan oportunamente de 38% a 64%, contra 30% a 39% para las nias, sin olvidar que los rangos reflejan estimaciones para edades diferentes. Los resultados de la exposicin diferencial muestran pequeos incrementos, nicamente significativos para nios de 9 a 15 aos en 1997 (15 a 21 en 2003), con un impacto promedio de 7.4 por ciento. Otra rea de impactos en educacin es la relacionada con las pruebas de aprovechamiento Woodcock Johnson, que se aplicaron para medir habilidades de lectura, matemticas y lenguaje escrito en adolescentes de 15 a 21 aos en 2003. En este caso, los resultados son menos concluyentes en comparacin con otros indicadores de educacin, aunque el anlisis est limitado por una muestra ms pequea y selecta, lo mismo que por falta de datos de un punto de partida inicial en pruebas de aprovechamiento anteriores al programa. Slo los resultados que se basan en el pareamiento muestran algunos impactos significativos, particularmente para nios ms jvenes (10 aos en 1997 y 16 en 2003) que se encontraban entre aquellos que alcanzaron mayores impactos en grados de escolaridad. Por ejemplo, los nios que tenan 10 aos en 1997 alcanzaron un incremento de 7.0% en sus calificaciones globales en matemticas, de 8.1% en lectura y de 10.4% en escritura, lo que se puede comparar con los incrementos observados en grados de escolaridad. Los coeficientes significativos para nias son ms escasos, excepto en las que tenan 12 aos en 1997 (18 en 2003), quienes mostraron un incremento de 7.6% en escritura. En cuanto a los resultados sobre el trabajo, el efecto terico de Oportunidades en la actividad laboral es ambiguo. Por un lado, como se mostr en evaluaciones anteriores, el programa tal vez reduzca el trabajo de nios que pasan ms tiempo en la escuela; por el otro, en el caso de los jvenes que han abandonado la escuela pero tienen ms educacin como resultado del programa, se podra esperar un efecto positivo en el trabajo. Hasta aqu, parece que el primer efecto domina al segundo en el caso de los nios, ya que ambos conjuntos de resultados muestran efectos generales negativos de Oportunidades sobre el empleo de nios y efectos insignificantes para nias. En el caso de los nios, las estimaciones pareadas para efectos de mediano plazo (5.5 aos de exposicin al programa) implican una reduccin en la probabilidad de trabajar para aquellos que tenan 10 y 14 aos en 1997 (16 y 20 en 2003) de alrededor de 35% y 29%, respectivamente. En cambio, se encuentran reducciones ms pequeas, de alrededor de 4%, en el grupo de nios de 9 a 15 aos en 1997 (15 a 21 en 2003) con base en los resultados de la exposicin diferencial. Tambin se encontraron efectos generales negativos y significativos en la probabilidad de participacin de los nios en el trabajo agrcola. En el caso de las nias, que antes del programa tendan a participar en tasas mucho menores dentro del mercado laboral, se observaron pocos efectos significativos del programa en cuanto al trabajo. Esto es congruente

 11
Resumen Ejecutivo

con evaluaciones previas que encontraron poco efecto sobre el trabajo en el caso de las nias, excepto en lo referente al trabajo domstico. Finalmente, los resultados de la exposicin diferencial sugieren algunos pequeos impactos en el matrimonio y la migracin.a A nivel individual, tanto los jvenes como las jovencitas dentro del grupo original de tratamiento muestran una probabilidad significativamente ms baja de dejar el hogar en comparacin con los jvenes del grupo original de control. Los varones de nueve a 15 aos de edad en 1997 (15 a 21 en 2003) tienen una probabilidad aproximadamente 6% menor de emigrar del hogar en comparacin con los del grupo original de control, mientras que los efectos para las muchachas son negativos pero escasamente significativos. Por lo que toca al matrimonio, las nias del grupo original de tratamiento parecen tener una probabilidad ligeramente ms baja de haberse casado en 2003; sin embargo, los efectos no son significativos si se toman en cuenta las variables de control. En cambio, los varones s muestran reducciones significativas en la proporcin en que han contrado matrimonio; para aquellos con cuatro aos completos de escolaridad en 1997, el Programa reduce la probabilidad de haber contrado matrimonio en 2003 en 2.7%, lo que equivale a un decremento del 13 por ciento.

Debido a cuestiones relacionadas con el manejo de datos que se describen en el texto, fue imposible realizar estimaciones de pareamiento sobre el impacto en la migracin y el matrimonio.

portunidades (antes Progresa) ha estado operando por ms de seis aos en pequeas comunidades rurales de Mxico. Su objetivo central de condicionar transferencias monetarias a inversiones en capital humano de nios pobres y miembros de sus familias, ha sido adoptado en varios pases de Amrica Latina. Al inicio del programa se implement una evaluacin externa rigurosa (cubriendo el periodo 1998-2000), que incluy varias rondas de datos de panel en un diseo experimental, lo mismo que otras aproximaciones al anlisis (como diseo de discontinuidad y estructural). Los resultados de la evaluacin mostraron impactos significativos en la reduccin del trabajo infantil, el mejoramiento de los resultados en salud y el incremento de la matrcula escolar, por mencionar algunos de corto plazo.1-4 Diversos estudios de la evaluacin inicial tambin han generado estimaciones de efectos de ms largo plazo condicionadas a supuestos tales como estabilidad en las matrices de transicin escolar o las relaciones estructurales que subyacen al comportamiento familiar.5-7 Gracias a la disponibilidad de la continuacin de la Encuesta de Evaluacin Rural 2003 (Encel 2003), ahora es posible comprobar de manera directa algunos efectos importantes de largo plazo del programa en general y del componente de becas en particular. El presente estudio examina los impactos de Oportunidades en jvenes de las zonas rurales en el mediano plazo en 2003, es decir, ms de cinco aos despus de que los hogares en el grupo original de tratamiento empezaran a recibir los beneficios. Se estudian los impactos en el aprovechamiento escolar, en los resultados dentro del mercado laboral, en el matrimonio y la migracin. Se consider el grupo de jvenes de nueve a 15 aos en 1997 (15 a 21 aos en 2003), justo antes de la intervencin del programa,b ya que los miembros de este grupo representan a quienes se encontraban en la transicin (o cerca de ella) entre la escuela primaria y la secundaria previo a la intervencin. Antes de Oportunidades, la decisin de continuar a la secundaria por parte de los graduados de primaria que ocurra para la mayora de los nios en el umbral de la adolescencia era un momento crucial en la trayectoria escolar dentro de las comunidades rurales pobres de Mxico (vanse las figuras 1 y 2, que muestran la relacin inversa de participacin en el mercado de trabajo e inscripcin en la escuela, especialmente para nios). Por lo tanto, los jvenes adolescentes con cuatro a seis aos de escolaridad completados dentro de los hogares elegibles en 1997 enfrentaron incentivos considerablemente diferentes para seguir en la escuela de acuerdo con su pertenencia a los pueblos originales de tratamiento o de control, incluso si se considera que las poblaciones originales de control fueron incluidas gradualmente en el programa, pues era probable que para entonces aquellos muchachos y muchachas estuvieran ms all de la edad para inscribirse a la escuela secundaria.c, d

I. Introduccin

c d

Este reporte complementa otros que no son parte de la evaluacin 2004 de Oportunidades del Instituto Nacional de Salud Pblica, especialmente en cuanto a impactos de mediano plazo sobre la educacin en reas rurales para nios de cero a seis aos de edad en 1997,8 y a impactos de corto plazo sobre la educacin en reas urbanas,9 pero tambin informes sobre otros temas como la definicin de la poblacin objetivo. Asimismo, complementa estudios previos sobre educacin. 5-6,10 Algunas evaluaciones previas han demostrado que los efectos ms importantes del programa ocurrieron precisamente en esa transicin entre la escuela primaria y la secundaria. 5-7 Los cambios en el programa tambin permiten otra comparacin entre las cohortes de quienes completaron la escuela secundaria en aos diferentes en las reas de tratamiento. El programa de becas inicialmente cubra del tercer grado de primaria al tercero de secundaria, pero en 2001 fue modificado para incluir hasta el tercer grado de preparatoria. Esto significa que los nios en reas de tratamiento que completaron el tercer grado de secundaria antes de 2001, comparados con los de reas de tratamiento que lo terminaron luego de este cambio, se encontraron con incentivos diferenciales para realizar la transicin de la secundaria a la preparatoria. Sin embargo, este estudio no se enfoca a dicha transicin, debido al nmero relativamente pequeo de estudiantes que terminaron el tercer grado de secundaria, puesto que sus edades variaban mucho en razn de una serie de decisiones previas y porque no haba ningn grupo de control para comparar.

 14
Impacto sobre la educacin y el trabajo de jvenes del medio rural

FIGURA 1.

Inscripcin escolar y participacin en la fuerza de trabajo de nios en comunidades de Progresa antes de la implementacin del programa11
Fuente: Parker SW, Skoufias E. The impact of PROGRESA on work, leisure and time allocation [report submitted to PROGRESA]. Washington, DC: International Food Policy Research Institute, octubre 2000. Disponible en: http:// www.ifpri.org/themes/ progresa.htm.11

Porcentaje 100 90 80 70 60 50 40 30 20 10 0

B B J J B J B

J
8

J
9

J
10

J
11

J
12

J
13 14 15 16

B
17

Edad (aos) Edad Inscritas en la escuela Inscritos en la escuela

Trabajando

FIGURA 2.

Inscripcin escolar y participacin en la fuerza de trabajo de nias en comunidades de Progresa antes de la implementacin del programa
Fuente: Parker SW, Skoufias E. The impact of PROGRESA on work, leisure and time allocation [report submitted to PROGRESA]. Washington, DC: International Food Policy Research Institute, octubre 2000. Disponible en: http:// www.ifpri.org/themes/ progresa.htm.11

Porcentaje 100 90 80 70 60 50 40 30 20 10 0

B B B B B J
15

J
8

J
9

J
10

J
11

J
12

J J

B J
16

J B
17

13 14 Edad (aos) Edad (aos)

Inscritos en la escuela Inscritas en la escuela

Trabajando

Se consideran los impactos de mediano plazo de Oportunidades en reas rurales sobre una serie de variables crticas relacionadas con la educacin, el trabajo, el matrimonio y la migracin:

Educacin: inscripcin actual, avance oportuno de grado escolar desde 1997, nmero de grados de escolaridad completados, resultados de pruebas de aprovechamiento. Trabajo: empleo actual y tipo de trabajo (agrcola o no agrcola), y salarios.. Matrimonio: estado civil actual. Migracin: migracin desde 1997.

Tambin se explora la posibilidad de que algunos resultados claves en educacin varen de acuerdo con caractersticas especficas de las escuelas.

 15
Introduccin

La informacin bsica utilizada corresponde a la Encuesta de Evaluacin Rural de 2003 (Encel 2003), junto con otros datos, en especial la Encuesta de Caractersticas Socioeconmicas de los Hogares (Encaseh 1997) previa al programa. La estrategia de anlisis incluye la comprobacin directa de los impactos a partir de la utilizacin de dos aproximaciones diferentes:e

Estimaciones por diferencias en diferencias del efecto del tratamiento utilizando los grupos originales de tratamiento (que empez a recibir beneficios en 1998) y control (que empez a recibir beneficios a fines de 1999 e inicios de 2000) para nios de diferentes rangos de edad en 1997, a fin de investigar el impacto de una exposicin diferencial al programa de alrededor de ao y medio para estos dos grupos. Estimaciones de pareamiento entre quienes recibieron el tratamiento en 1998 y el nuevo grupo de comparacin por pareamiento 2003 (que consta de hogares que nunca recibieron subsidios), a fin de investigar el impacto de la exposicin al programa durante cinco aos y medio frente a ninguna exposicin.

Asimismo, este trabajo ofrece nuevas estimaciones sobre el incremento de mediano plazo en educacin debido al programa. Mediante el anlisis de resultados iniciales en el mercado laboral, tambin se presenta parte de la primera evidencia directa de la magnitud en que los jvenes pobres del medio rural pueden tener acceso a mejores trabajos iniciales con mayores salarios como resultado de haber obtenido ms educacin a travs de Oportunidades. Adems, se ofrece parte de la primera evidencia directa sobre el impacto del programa en la probabilidad de que los jvenes se casen. Finalmente, en relacin con la educacin, el trabajo y el matrimonio, se ofrece evidencia sobre el impacto del programa en la migracin. El informe est organizado de la siguiente manera: el captulo II ofrece una breve descripcin del programa y de sus principales modificaciones a lo largo del tiempo. El captulo III presenta el diseo bsico y los datos de la muestra. Los captulos IV y V analizan los impactos estimados del programa utilizando las aproximaciones sealadas con anterioridad, en tanto que el captulo VI presenta las conclusiones.

Una tercera posibilidad sera utilizar el anlisis de discontinuidad de regresin para comparar a los nios tratados (pertenecientes a familias que no estn muy por debajo del lmite para incorporarse al programa), contra aquellos que no tienen derecho (pero que no estn muy por encima del lmite), dentro de los grupos originales de tratamiento y control. Aun cuando este enfoque resultaba apropiado de acuerdo con los criterios originales del programa, 12 los cambios en cuanto a parmetros para recibir los beneficios del programa y los procesos de incorporacin significaron que muchos hogares que originalmente no eran beneficiarios potenciales empezaran a recibir beneficios antes de 2000, as que este enfoque no resulta adecuado para el presente estudio.

portunidades (antes Progresa) empez a operar en pequeas comunidades rurales en 1997 y gradualmente se ha expandido a reas urbanas; en la actualidad beneficia a un total de cinco millones de familias, cerca de la cuarta parte de todas las familias mexicanas. A travs de su diseo, que condiciona el pago de cantidades en efectivo a la asistencia regular a la escuela y a servicios de salud, el programa ha atrado importante atencin internacional, y varios pases de Amrica Latina estn implementando programas gubernamentales similares.1-4 El cuadro 1 muestra los montos de la beca mensual disponibles durante el segundo semestre de 2003, para los nios que cursaban entre el tercer grado de primaria y el tercero de preparatoria. Originalmente, el programa ofreca becas nicamente para nios que cursaban entre el tercer grado de primaria y el tercero de secundaria, pero en 2001 se ampliaron a la preparatoria, y tanto en ese nivel como en secundaria se ofrecen cantidades mayores (en aproximadamente 13%) para nias que para nios. Tal como en su diseo original, el programa tambin ofrece becas para tiles escolares y una transferencia fija ligada a la asistencia regular a clnicas de salud. Todas las becas en efectivo se entregan a las madres de familia, a excepcin de las de preparatoria, que pueden ser recibidas por los jvenes. La asistencia regular a la escuela es un requisito para recibir la beca mensual, lo mismo que la asistencia a plticas mensuales sobre salud para los estudiantes de preparatoria. En lo que toca al xito en la terminacin de grados escolares, las reglas del programa permiten a los alumnos reprobar una vez cada grado, pero no se permite reprobar un mismo ao dos veces. En este caso se suspenden los beneficios del programa de manera permanente para el beneficiario. Ntese que esto tericamente le permite a un estudiante recibir beca durante dos aos para el mismo grado a lo largo de su trayectoria escolar. Adems de la introduccin de becas escolares en la preparatoria a partir de 2001, han ocurrido otros cambios en la operacin del programa en zonas rurales. En primer lugar, se introdujo un nuevo

II. Antecedentes del Programa

GRADO

NIOS

NIAS

CUADRO 1.

Primaria Tercero Cuarto Quinto Sexto Secundaria Primero Segundo Tercero Preparatoria Primero Segundo Tercero 510 545 580 585 625 660 305 320 335 320 355 390 105 120 155 210 105 120 155 210

Monto mensual de las becas escolares (en pesos) durante el segundo semestre de 2003

 18
Impacto sobre la educacin y el trabajo de jvenes del medio rural

componente del programa, llamado Jvenes con Oportunidades, que consiste en el depsito de cierta cantidad de puntos (iguales a pesos) por cada grado desde el tercero de secundaria hasta el final de la preparatoria en una cuenta a nombre del joven y no de la madre. Cuando el joven termina sus estudios de preparatoria (antes de los 22 aos de edad), puede escoger entre esperar dos aos y disponer de su saldo (ms intereses) para usarlo como mejor le parezca u obtener un acceso inmediato a los fondos, siempre y cuando los utilice en alguna de las siguientes iniciativas: a) inscribirse a la universidad; b) comprar un seguro de gastos mdicos; c) obtener un prstamo para iniciar un negocio, o d) usarlo para vivienda social. Este nuevo esquema se puso en marcha en 2003, y aunque podra incentivar la inversin en educacin, los autores consideran que no ser un factor importante sobre los impactos estimados en este estudio, ya que fue introducido apenas cuando se levantaba la Encel 2003. El segundo aspecto que es importante mencionar se relaciona con la elegibilidad continua del programa. En teora, todos los hogares deben ser recertificados despus de tres aos, mediante un proceso en que son visitados y se vuelven a evaluar sus caractersticas para determinar si siguen siendo o no elegibles para el programa. Aquellos hogares que ya no son elegibles para recibir beneficios son transferidos a una versin modificada del programa (Esquema Diferenciado de Apoyos, EDA), que tambin incluye becas escolares para secundaria y preparatoria, pero excluye las becas para primaria y las transferencias en efectivo para alimentacin. En la prctica muy pocos hogares de la muestra de inters para el presente estudio han sido transferidos al esquema modificado, de modo que el anlisis se concentr en los hogares inicialmente elegibles sin excluir los que pudieron haber sido transferidos al EDA.f

Un pequeo nmero de hogares originalmente elegibles nunca recibi los beneficios del programa, en gran medida porque sus miembros emigraron de la comunidad antes de que se les informara que tenan derecho al programa. Estos hogares se excluyeron del anlisis.

 19
Diseo y prdida de la muestra

Diseo de la muestra

La Encuesta de Evaluacin Rural de 2003 utiliza el diseo experimental original de tratamiento y control iniciado en 1997. El diseo original de la muestra comprenda 506 comunidades de las cuales 320 fueron seleccionadas al azar para recibir beneficios inmediatamente y otras 186 para recibirlos ms tarde.g Slo los hogares que se catalogaron como pobres a travs de procedimientos estadsticos, y cuyo estatus fue validado mediante retroalimentacin de las comunidades, fueron elegibles para recibir los beneficios.1-4 El anlisis que se presenta en los captulos III y IV corresponde a los hogares elegibles en el grupo original de tratamiento (T1998) y en el grupo original de control (T2000), y se enfoca a su exposicin diferencial de aproximadamente ao y medio. El captulo V presenta un anlisis comparativo entre T1998 y los hogares pareados de acuerdo con sus caractersticas en el grupo de comparacin de 2003 (C2003). Este ltimo se obtuvo de 152 nuevas comunidades pareadash que nunca recibieron beneficios del programa y que sirven para obtener estimaciones de cinco aos y medio de exposicin al programa frente a ninguna exposicin. Los hogares elegibles en las localidades originales de tratamiento (T1998) empezaron a recibir beneficios del programa en la primavera de 1998, mientras que los hogares elegibles en el grupo original de control (T2000) empezaron a recibir los beneficios del tratamiento a finales de 1999. Entre 1997 y 2000 se aplicaron encuestas de evaluacin a los hogares de T1998 y T2000 cada seis meses, con informacin detallada de indicadores como educacin, salud, ingreso y gastos. En 2003 se efectu una nueva ronda de seguimiento de la encuesta de evaluacin rural (Encel 2003). La muestra incluy hogares elegibles y no elegibles de los grupos originales de tratamiento (T1998) y de control (o de tratamiento retrasado, T2000) y una nueva muestra de hogares de comunidades de comparacin seleccionadas a travs de un pareamiento de comunidades que no haban entrado al programa en 2003 y que de otro modo seran similares a las comunidades con el Programa (C2003).i Se relacionaron los datos de T1998 y T2000 en 2003 con grupos anteriores de datos, especialmente los previos al programa de la Encaseh de 1997, para obtener datos longitudinales sobre nios que tenan de nueve a 15 aos de edad en 1997 y de 15 a 21 en 2003. Para C2003 se usaron datos retrospectivos para caracterizar su estatus en 1997 (descrito ms adelante en el captulo V). Al igual que en las anteriores encuestas Encel, la de 2003 ofrece datos sobre innumerables resultados del programa, incluyendo escolaridad, trabajo y gastos; adems, contiene nuevos mdulos, incluyendo las pruebas de aprovechamiento Woodcock Johnson (WJ) aplicadas a adolescentes y un cuestionario de nivel escolar aplicado a directores y profesores de las escuelas a las que asisten los beneficiarios de Oportunidades y a las que podran asistir los jvenes en la muestra de comparacin pareada (C2003).

III. Diseo y prdida de la muestra

h i

Debido a restricciones presupuestales, el programa se fue ampliando a lo largo del tiempo. La muestra incluy localidades incorporadas en 1998 en el caso del grupo original de tratamiento (T1998) y localidades incorporadas en 2000 para el grupo original de control (T2000). De las 152 nuevas localidades de control, una de ellas fue una respuesta negativa completa. Para una mayor descripcin de cmo se realiz el pareamiento a nivel de la comunidad, vase: Todd P. Technical note on using matching estimators to evaluate the Oportunidades program for six year follow-up evaluation of Oportunidades in rural areas.13 Estas comunidades pareadas que no haban recibido beneficios hasta 2003 fueron incorporadas a Oportunidades en 2004.

 20
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Para efectuar el anlisis que se presenta a continuacin, fue necesario tomar una serie de decisiones en cuanto a la precisin de algunos datos crudos y sobre la forma de construir variables de inters. El apndice A ofrece detalles sobre estos temas.

Prdida de la muestra de jvenes en los hogares originales de los grupos T1998 y T2000
En esta seccin se considera la prdida de la muestra original de evaluacin. Algunos investigadores se han preguntado si las ventajas que se obtienen al reunir datos longitudinales compensan su costo.14 Uno de los problemas que ms se han debatido es si la prdida de la muestra puede llevar a muestras selectivas y volver problemtica la interpretacin de las estimaciones. Muchos analistas estn de acuerdo en que la prdida tiende a ser selectiva en caractersticas tales como escolaridad, de modo que la prdida alta tiende a desviar las estimaciones realizadas a partir de datos longitudinales. La mayor parte de los trabajos anteriores sobre prdida en muestras longitudinales grandes se han realizado en economas desarrolladas (p. ej., los estudios publicados en una edicin especial de The Journal of Human Resources (JHR, primavera de 1998) Attrition in Longitudinal Surveys (hay literatura estadstica disponible con relacin a valores faltantes y respuesta nula en encuestas).15,16 El sorprendente resultado de los estudios presentados en esa edicin especial de JHR es que las desviaciones en relaciones socioeconmicas estimadas debidas a prdidas en la muestra son bajas, a pesar de tasas de prdida tan altas como 50% y diferencias importantes entre las personas que fueron reentrevistadas y las que se perdieron para el seguimiento de muchas caractersticas importantes. Por ejemplo: Para 1989 el Panel de Estudio de Michigan sobre Dinmica del Ingreso (PSID) experiment una prdida de muestra de aproximadamente 50% a causa de prdidas acumulativas de sus miembros originales de 1968 [p. 251].17 Descubrimos que si bien la PSID ha sido muy selectiva en muchas variables de inters importantes, incluyendo las que suelen considerarse como variables de resultados, la desviacin por prdida de cualquier modo es relativamente pequea en magnitud (la mayor parte de la prdida es aleatoria) [p. 252].17 A pesar de que una prdida de la muestra tan alta como la [experimentada] necesariamente reduce la precisin de las estimaciones, no existe una relacin obligada entre el tamao de la reduccin de la muestra debida a prdida y la existencia o la magnitud de la desviacin por prdida. Incluso una gran cantidad de causas de prdida de la muestra no provoca desviacin si es aleatoria [p. 256]. 17 Los otros estudios de esa edicin especial de JHR confirman an ms los descubrimientos para la PSID o llegan a conclusiones similares para otros datos de panel similares, como la Encuesta de Ingreso y Participacin en el Programa (SIPP), las Encuestas Longitudinales Nacionales de Experiencia del Mercado Laboral (NLS) y la Encuesta de Panel de Oferta de Trabajo en los Pases Bajos.18-22 Resultados similares se presentaron en conjuntos de datos longitudinales de pases en desarrollo.23 A pesar de que estos resultados hacen pensar que la prdida de la muestra quiz no sea una cuestin tan importante como se ha dicho, tambin sugieren que debe considerarse si representa un problema en cualquier estudio en particular. En el caso que nos ocupa, la prdida puede causar problemas para el anlisis si no es independiente de los efectos del programa, ya que en tal caso cambiara la composicin de la muestra de tratamiento de manera diferente a la composicin de la muestra de control.

 21
Diseo y prdida de la muestra

Para efectos del presente estudio, se ha considerado prdida de la muestra en el sentido de que algunas personas que se encuentran en la muestra de 1997 no estn en la muestra de 2003.j El cuadro 2 (panel A) resume algunas estadsticas sobre la prdida de la muestra en este periodo para los grupos originales de tratamiento (T1998) y control (T2000), enfocndose primero a todos los jvenes de la comunidad y luego a aquellos elegibles de acuerdo con la definicin original del programa (pobre) y segn la definicin modificada (pobreden).k Las cifras de este cuadro son sorprendentes. Bsicamente, dos quintas partes (41%) de los individuos que tenan nueve a 15 aos de edad en 1997 ya no
TRATAMIENTO CONTROL P>|Z|

T(1998) N MEDIA A. Proporcin total de la prdida (individuos u hogares) 9 a 15 aos (todos) 9 a 15 aos (pobres usando la definicin original) 9 a 15 aos (pobres usando pobreden) Por gnero Nios 9 a 15 aos (pobres usando la definicin original) Nias 9 a 15 aos (pobres usando la definicin original) B. Proporcin debida a prdida individual 9 a 15 aos (todos) 9 a 15 aos (pobres usando la definicin original) 9 a 15 aos (pobres usando pobreden) Por gnero Nios 9 a 15 aos (pobres usando la definicin original) Nias 9 a 15 aos (pobres usando la definicin original) C. Proporcin debida a prdida de hogares (individuos no encontrados porque el hogar se mud) 9 a 15 aos (todos) 9 a 15 aos (pobres usando la definicin original) 9 a 15 aos (pobres usando pobreden) Por gnero Nios 9 a 15 aos (pobres usando la definicin original) Nias 9 a 15 aos (pobres usando la definicin original) 0.142 0.140 0.159 0.141 0.143 0.213 0.282 0.247 0.246 0.254 5,269 4,831 0.355 0.422 15,126 10,102 12,773 0.406 0.388 0.397

T(2000) N MEDIA

CUADRO 2.

9460 6,155 7,912

0.409 0.392 0.396

0.589 0.563 0.859

Proporcin de prdida individual de la Encaseh original de 1997 (individuos de nueve a 15 aos en 1997)

3,115 3,039

0.368 0.417

0.231 0.644

0.260 0.267 0.269

0.022 0.003 0.016

0.239 0.296

0.006 0.181

0.149 0.125 0.127

0.044 0.003 0.001

0.129 0.120

0.092 0.014

Notas: La ltima columna muestra el nivel en que las diferencias medias entre T1998 y T2000 son significativas basada en pruebas-t. El nmero de casos para nios y nias no arroja el total de casos debido a la falta de algunas observaciones relacionadas con el gnero.

j k

Para otros propsitos puede resultar interesante considerar los detalles de la prdida de la muestra a lo largo de las rondas de datos panel recolectados, ya que pueden ser relevantes cuando un individuo ha salido de la muestra. Se usa la definicin original para todo el anlisis subsiguiente, pero en esta tabla se incluye algo de informacin que recoge la ltima definicin para ilustrar que las dos conducen a conclusiones similares sobre si la prdida de la muestra esta relacionada con la exposicin al programa.

 22
Impacto sobre la educacin y el trabajo de jvenes del medio rural

estaban en la muestra seis aos despus, lo que en definitiva es una proporcin suficientemente grande para sugerir que la prdida es relevante. Sin embargo, no existen diferencias grandes o estadsticamente significativas en la prdida global entre las muestras T1998 y T2000 (vanse las pruebas-t en la ltima columna de la tabla). Esta proporcin perdida para el seguimiento es un poco ms alta para nias (42%) que para nios (36%), aunque en ningn caso hay una diferencia estadsticamente significativa entre T1998 y T2000 para el total de la prdida. De modo que a nivel del conjunto global, parece que la prdida de la muestra no est significativamente asociada con el tratamiento. Sin embargo, la consideracin de una mayor desagregacin revela ciertos patrones sistemticos en la prdida asociada al tratamiento. La reduccin global de individuos de nueve a 15 aos de edad en 1997 incluye tanto individuos que se han separado de hogares que permanecen a la muestra de 2003 (cuadro 2, panel B) como individuos de hogares que ya no estn en la muestra de 2003 (cuadro 2, panel C). Alrededor de 62% de quienes se perdieron para el seguimiento son individuos que abandonaron hogares que s continuaron en la muestra.l Existen algunas diferencias significativas a nivel del 5% al considerar la prdida de individuos y de hogares por separado: hay mayor prdida individual en T2000 (para nios) y mayor prdida de hogares en T1998 (para nias). De este modo, aunque las diferencias por prdida al comparar T1998 contra T2000 no son significativas incluso en el nivel de 20%, una mayor desagregacin sugiere algunas diferencias. Por lo tanto, se ha analizado la probabilidad que los individuos de nueve a 15 aos en 1997 de hogares elegibles en los grupos T1998 y T2000 se pierdan para el seguimiento (nuevamente, en lo que concierne a prdida total, prdida por individuos y prdida por hogares). Se han estimado dos especificaciones para cada una de estas tres variables dependientes: 1) slo si forman parte del grupo T1998, y 2) si pertenecen al grupo T1998 con interacciones entre ser del grupo T1998, las caractersticas individuales, de los padres y de la vivienda previas al programa. Se han considerado estas estimaciones para nios y nias juntos y por separado. Las estimaciones se presentan en el apndice B. No es sorprendente que la primera especificacin (columna 1) replique los patrones que se advierten en el cuadro 2. La segunda especificacin indica que un nmero de caractersticas individuales, de los padres y vivienda previas al programa interactan de manera significativa con el tratamiento (es decir, la pertenencia a T1998) para afectar la prdida. As, aunque en el agregado no hay evidencia de impactos significativos de los tiempos diferenciales de tratamiento sobre la prdida de la muestra, los tiempos de tratamiento s parecen estar fuertemente asociados de manera negativa con la migracin individual y de manera positiva con la migracin de los hogares. Adems, existe una serie de interacciones significativas con las caractersticas individuales, de los padres y de vivienda, que en muchos casos difieren en lo que respecta a nios comparados con nias. De este modo, podran existir sesgos si no se corrige la prdida de muestra en las estimaciones en las dos secciones siguientes, por lo que se volvieron a ponderar observaciones a fin de contrarrestar los efectos de la prdida diferencial. En lo que se refiere a algunas de las variables de resultados, existe informacin para los migrantes individuales ya que es proporcionada por el informante de cada hogar. Para estas variables slo se vuelven a ponderar para tomar en cuenta la prdida de muestra a nivel del hogar.

El hecho de que la suma de las tasas de prdida para nias sea mayor que para nios se debe a que la prdida individual de nias fue mayor que la de nios (28% frente a 21%, en el grupo T1998 y 30% frente a 24% en el grupo T2000, respectivamente).

 23
Diseo y prdida de la muestra

Temas de la muestra relacionados con los jvenes a los que se aplicaron pruebas de aprovechamiento Woodcock Johnson
Como parte del trabajo de campo de la Encel 2003, se aplicaron pruebas de aprovechamiento, extradas de las pruebas Woodcock Johnson (WJ), en las reas de lectura, matemticas y lenguaje escrito, a una submuestra de adolescentes de 15 a 21 aos de edad en 2003. En esta seccin se describen los datos y algunos aspectos de la muestra relacionados con la estimacin de impacto de Oportunidades sobre los resultados de estas pruebas. La prueba WJ es una de las ms utilizadas en Estados Unidos para medir el aprovechamiento y es comnmente aplicada, ha sido validada para edades de dos a 90 aos. Hay una versin en espaol adaptada a contextos latinoamericanos.m Debe considerarse que los resultados de esta prueba no son comparables con los niveles de aprovechamiento de nios mexicanos fuera de la muestra Encel en la que fueron aplicadas las pruebas. Sin embargo, se pueden comparar de manera general con los niveles promedio de aprovechamiento de nios en Estados Unidos. Se aplicaron tres pruebas de la serie WJ: la prueba 22,consiste en la identificacin de letras y palabras (lectura); se muestra a quienes responden la prueba una serie de imgenes, letras y palabras cada vez ms difciles, pidindoles que digan lo que hay en la imagen y luego que pronuncien las letras y las palabras. En el caso de las palabras, el examinado debe pronunciarlas correctamente para que su respuesta se clasifique como correcta. La prueba 25, Problemas Aplicados, mide las habilidades del examinado para resolver problemas prcticos; comienza con aspectos tales como contar el nmero de pelotas en una pgina y avanza hacia problemas matemticos como el clculo de fracciones. La prueba 26, Dictado mide habilidades bsicas de escritura en el cual el examinador lee en voz alta letras y palabras y el examinado las debe escribir correctamente. Las figuras 3, 4 y 5 muestran los histogramas de densidad de cada una de estas pruebas aplicadas a una submuestra de adolescentes, donde la suma del rea de las barras equivale a uno. Vale la pena destacar la grfica de resultados de lectura, que muestra a la mayora de los examinados agrupados en el extremo derecho de la distribucin, lo cual implica que la mayora obtuvo resultados en el nivel mximo (o cerca de ste) permitido de resultado crudo. Esto resulta algo problemtico para el anlisis, ya que hay menos variacin en los resultados de lo que pudiera desearse y por tanto es potencialmente menor la probabilidad de observar los impactos del Programa. Aunque se reportan los resultados de estos rubros, sera conveniente explorar la posibilidad de aplicar pruebas alternativas en caso de que stas sean aplicadas en el futuro, aunque eso dificultara las comparaciones longitudinales entre pruebas.n Las otras dos pruebas de aprovechamiento en matemticas y escritura muestran una distribucin ms plausible y una dispersin mayor de resultados, lo cual sugiere mayor posibilidad de cambios en los resultados de las pruebas por efecto del programa. Por qu debe esperarse un impacto del programa en las pruebas de aprovechamiento? Una hiptesis obvia es que si los nios alcanzan mejor nivel de escolaridad como resultado de Oportunidades, ste debera mostrarse en mejores resultados en pruebas de aprovechamiento. Sin embargo, lo anterior
m Al desarrollar la versin en espaol, el equipo Woodcock Johnson reuni datos calibradores y ecualizadores de ms de 2 000 sujetos hispanohablantes monolinges o casi monolinges de seis pases (Mxico, Puerto Rico, Costa Rica, Espaa, Argentina y Per) y de cinco estados de Estados Unidos (Arizona, California, Florida, Nueva York y Texas). n El hecho de que la mayora de los resultados en lectura se encuentren cerca del mximo puede sugerir que la prueba fue demasiado fcil. Sin embargo, al comparar el promedio de los resultados de esta prueba de lectura con el promedio de aprovechamiento de acuerdo con los resultados del programa en Estados Unidos, resulta que el examinado promedio de la Encel tiene habilidades de lectura equivalentes a las de un graduado universitario promedio en ese pas. Una posible explicacin tiene que ver con el diseo de la prueba, en la cual los individuos deben pronunciar las palabras correctamente para que la respuesta sea considerada correcta. A diferencia del ingls, las reglas de pronunciacin del espaol son muy claras, de modo que es posible que los examinados pronuncien la palabra correctamente aunque nunca antes la hubieran visto. En este sentido, es probable que la prueba genere resultados mucho ms altos en espaol que en ingls.

 24
Impacto sobre la educacin y el trabajo de jvenes del medio rural

FIGURA 3.

Distribucin de resultados sobre nmero de preguntas contestadas de las pruebas Woodcock Johnson: lectura

Densidad 0.2

0.15

0.1

0.05

0 0 20 Resultados crudos FIGURA 4. Densidad 0.8 40 60

Distribucin de resultados sobre nmero de preguntas contestadas de las pruebas Woodcock Johnson: matemticas

0.6

0.4

0.2

0 0 20 Resultados crudos FIGURA 5. Densidad 0.1 40 60

Distribucin de resultados sobre nmero de preguntas contestadas de las pruebas Woodcock Johnson: escritura

0.08

0.06

0.04

0.02

0 0 20 Resultados crudos 40 60

 25
Diseo y prdida de la muestra

parte de la idea de que las pruebas WJ efectivamente reflejan los aos de escolaridad completados dentro del ambiente que se est estudiando, es decir, zonas rurales de Mxico. A fin de verificar que los niveles de escolaridad efectivamente estn asociados con mejores resultados en pruebas de aprovechamiento, se efectu un simple anlisis regresivo de las variables asociadas con niveles altos en las tres diferentes pruebas, incluyendo las variables individuales, de los padres y del hogar. Se model la escolaridad en trminos de aos totales de escolaridad (es decir, asumiendo una relacin lineal), as como una especificacin ms flexible en la que cada ao escolar es incluido como simulacin. El cuadro E1 del apndice E muestra la estimacin de las variables relacionadas con los resultados de las pruebas de aprovechamiento. El nmero de grados de escolaridad tiene relacin importante con los resultados de las tres pruebas de aprovechamiento realizadas, incluso en el caso de la lectura. En todo el anlisis se usaron los resultados brutos reportados en cada prueba.o En particular, un grado extra de escolaridad aumenta los resultados brutos (definidos como la cantidad de preguntas respondidas correctamente de un mximo de 58) en la prueba WJ: 1.3 en lectura, 1.05 en matemticas y 1.4 en lenguaje escrito. En el caso de la lectura, la relacin entre la escolaridad y las pruebas parece bastante lineal; sin embargo, en el caso de las matemticas y la escritura, la mayor parte del efecto positivo de la escolarizacin deriva de los aos de escuela secundaria y preparatoria, mientras que los aos de escuela primaria tienen pocos efectos significativos en relacin con los resultados de pruebas de aprovechamiento quienes no tienen educacin formal. Ahora corresponde describir la muestra y las pruebas de aprovechamiento en particular. El cuadro 3 muestra que un total de 7 666 individuos que tena 15 a 21 aos de edad en 2003 hicieron las pruebas. Como en el caso de las otras variables del impacto analizadas en este trabajo, estamos particularmente interesados en la muestra de estos jvenes originalmente elegibles para el programa en la Encaseh de 1997. El cuadro 3 muestra el nmero de jvenes con resultados en las pruebas dentro de

ADOLESCENTES 15 A 21 AOS EN 2003

GRUPO ORIGINAL DE TRATAMIENTO

GRUPO ORIGINAL DE CONTROL

NUEVO GRUPO DE COMPARACION

CUADRO 3.

T1998 Total de pruebas WJ aplicadas Nm. de pruebas WJ comparadas con la Encaseh 1997 Total de adolescentes comparadas con la Encaseh 1997 Porcentaje (nm. de pruebas WJ/total de adolescentes) Nm. de pruebas WJ aplicadas. Elegibles y comparadas con la Encaseh 1997 Total de adolescentes elegibles comparados con la Encaseh 1997 Porcentaje (elegibles WJ aplicadas/total de adolescentes elegibles) 23.1% 6,182 1,426 8 984 24.1% 2 170 2 918

T2000 2 605

C2003 2 143

1 878 5 591 33.6%

Tamao de la muestra de adolescentes que respondieron las pruebas Woodcock Johnson (Encel 2003)

1,216 3,742 32.4%

Las pruebas tambin se pueden puntuar para estandarizarlas por edad y facilitar la comparacin de los resultados de acuerdo con una poblacin basada en Estados Unidos, aunque para el contexto que aqu interesa, y dado que el anlisis siempre controla la edad, basta con usar los resultados del nmero de preguntas contestado correctamente.

 26
Impacto sobre la educacin y el trabajo de jvenes del medio rural

los grupos de edad que pueden compararse con sus caractersticas en 1997. Alrededor de 1 426 estudiantes de la muestra original T1998 pueden parearse con sus datos anteriores, en tanto que slo pueden parearse 1 216 de la muestra T2000. A pesar de que el tamao total de esta muestra no es pequeo, descomponer el anlisis por edades y gnero lleva a submuestras pequeas. El cuadro 3 muestra adems que los jvenes de T2000 tuvieron mayores probabilidades de someterse a las pruebas de aprovechamiento que los jvenes de T1998. Una limitacin importante para este anlisis es el hecho de que las pruebas slo se aplicaron en 2003, de modo que se carece informacin sobre pruebas de aprovechamiento en el punto de partida. Esto es especialmente problemtico para el anlisis comparativo. Si bien podra asumirse que en el caso de T1998 y T2000 las diferencias previas al programa fueron pequeas, no es posible decir lo mismo respecto a las diferencias entre los grupos T1998 y C2003. Como se muestra en el apndice E, en el cuadro E1, el nmero de aos de escolaridad es un excelente predictor de los resultados en las pruebas. El anlisis previo ha demostrado que las diferencias anteriores al programa en educacin entre los grupos T1998 y C2003 eran grandes y significativas; esto implica que el grupo C2003 tena un nivel ms alto de educacin en 1997 que el grupo T1998 (aproximadamente medio grado ms de educacin en la mayora de los rangos de edad). Por ello, en caso de que las pruebas WJ se hubieran realizado en 1997, es probable que el grupo C2003 hubiera obtenido resultados ms altos. La implicacin de no tener una lnea basal para la prueba WJ en 1997 es que al usar slo informacin posterior a la implementacin del Programa, es posible que subestimemos de forma significativa el impacto del mismo en las pruebas WJ. En las estimaciones comparadas se trata de explicar esta situacin prediciendo la diferencia probable en las pruebas de aprovechamiento WJ antes del programa y utilizando estos datos para hacer estimaciones por diferencias en diferencias. Los resultados de la exposicin diferencial no deberan presentar este problema, o al menos hacerlo en mucho menor grado, dada la asignacin aleatoria realizada. Sin embargo, en el caso de los resultados de la exposicin diferencial se vuelven a ponderar las observaciones de manera similar, a fin de tener en cuenta las diferentes probabilidades de estar en la muestra (es decir, hacer las pruebas) entre los grupos T1998 y T2000p (el cuadro E2 en el apndice E presenta el modelo utilizado para predecir la probabilidad de encontrarse en la muestra, en el que se bas la construccin de las ponderaciones).

Sin embargo, las estimaciones ponderadas son muy similares a las no ponderadas.

 27
Estimaciones de impacto

e presentan primero estimaciones por diferencias en diferencias del efecto del tratamiento, las cuales utilizan los grupos originales de tratamiento y control para nios en diferentes rangos de edad en 1997. La idea bsica es explotar el diseo experimental de asignar tratamiento en 1998 (T1998) contra la asignacin en 2000 (T2000), a fin de evaluar si la exposicin diferencial al tratamiento entre los dos grupos (de 1.5 aos) tuvo impactos en la educacin, el trabajo, el matrimonio y la migracin en 2003. Tal como se expuso en la introduccin, la medida de las diferencias en los impactos puede depender de manera crtica de las edades de los nios en 1997, antes de la iniciacin del programa para el grupo T1998. En especial, la hiptesis es que puede haber efectos sustanciales del tratamiento para nios que en 1997 estaban en una edad crtica para tomar decisiones marginales sobre la escolarizacin, es decir, en el rango de 11 a 13 aos de edad en el que se toman decisiones sobre la inscripcin a la secundaria o con cuatro a cinco aos de escolaridad terminados. En esta seccin se consideran de manera secuencial las estimaciones por diferencias en diferencias para los grupos de indicadores relacionados ya sea con educacin, trabajo, matrimonio o migracin. Posteriormente se exploran los impactos en los aos de escolaridad, para conocer si varan segn dos caractersticas especficas de escolaridad.q Se efectu un anlisis regresivo en el que se captura el impacto del programa a travs de la medicin de una variable dictoma que indica si el individuo reside en una localidad T1998 o T2000, en interaccin con el ao de los estimadores de diferencias en diferencias. Se realizaron las dos regresiones simples controlando slo las variables de impacto, as como especificaciones adicionales en las que se aadieron variables de control a la regresin, con lo que pueden reducirse los errores estndar de los efectos estimados del programa. Estas variables de control incluyen edad de los padres, su educacin, sus races indgenas y caractersticas del hogar (nmero de cuartos, electricidad, tipo de piso, sistema de agua y drenaje). La primera columna de todos los cuadros de esta seccin muestra el valor de la variable relevante para el grupo T2000 (la que interesa como estimacin de lo que hubiera ocurrido sin la exposicin extra al programa que tuvo el grupo T1998). La segunda y tercera columnas muestran el impacto estimado del tratamiento diferencial, es decir, el aumento o reduccin observada en el indicador estudiado, as como el error estndar en el grupo T1998 en comparacin con el grupo T2000. La cuarta columna presenta los cambios porcentuales del grupo T1998 en comparacin con T2000. Las notas de los cuadros indican otros controles de 1997 que fueron utilizados porque las muestras no estaban perfectamente balanceadas en todos los casos entre las muestras T1998 y T2000 en 1997.

IV. Estimaciones de impacto de la exposicin diferencial al Programa: T1998 contra T2000

Tal como se indica en las notas de los cuadros, todas las estimaciones presentadas en esta seccin sirven para controlar las caractersticas basales seleccionadas en 1997 (es decir, edad y educacin de los padres, races indgenas, caractersticas de la vivienda), ya que en ciertos casos esas caractersticas son predictores significativos de la diferencia en los cambios entre los resultados de 1997 y 2003 y para el grupo T1998 en comparacin con T2000. El apndice C presenta las estimaciones por diferencias en diferencias sin esos controles. La presencia o ausencia de esos controles no altera de manera importante las estimaciones de impacto. Se desagrega a los nios de nueve a 15 aos en tres grupos de edad: nueve a 10 aos (los que todava estaban en primaria en 1997), 11 a 12 (los que estaban por ingresar en la secundaria) y los de 13 a 15 aos (es decir, los que seguramente ya haban superado la transicin de la primaria hacia la secundaria).

 28
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Educacin
La hiptesis del programa es que la cantidad de educacin aumentar a travs de la reduccin de los costos escolares para las familias, ya que esto puede incidir en una variedad de conductas (inducir mayor inscripcin escolar, mejorar el progreso en los grados escolares a travs del tiempo, incrementar los grados de escolaridad completados y mejorar los resultados en el aprovechamiento).
Inscripcin escolar en 2003

En 1997, antes del programa, las tasas de inscripcin para los nios de nueve a 15 aos de edad en los grupos T1998 y T2000 no eran diferentes significativamente al nivel de 5%, aunque diferan al nivel de 10% para nias (0.82 para nios en T1998 y 0.81 para nios en T2000, 0.77 para nias en T1998 y 0.76 para nias en T2000) (cuadro 4).

CUADRO 4.

VALORES DE LAS MEDIAS EN 1997

Diferencias en las medias previas al programa (1997), entre T1998 y T2000 para indicadores considerados en el captulo IV (en los casos en que hay mediciones anteriores al programa)

P>|Z|, |T| DIFERENCIAS PREVIAS AL PROGRAMA ENTRE

T1998 Y T2000 Inscripcin en las escuelas* Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Aos de escolaridad completados Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Empleo Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Proporcin de quienes trabajan en el sector agrcola Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Ingreso promedio mensual por trabajo Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Matrimonio Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 0.821 0.773 0.807 0.757 0.182 0.085

4.514 4.580

4.513 4.610

0.967 0.568

0.179 0.078

0.164 0.054

0.040 0.000

0.160 0.044

0.137 0.027

0.002 0.000

33.341 12.609

46.213 11.561

0.260 0.832

0.002 0.007

0.002 0.014

0.868 0.077

Nota: la muestra incluye a todos los individuos de nueve a 15 aos de edad en 1997, que tambin fueron entrevistados en 2003, elegibles para el programa. Las pruebas t se utilizan para probar las diferencias de 1997previas al programa en las medias entre T1998 y T2000 (la columna 3 muestra los niveles en que las diferencias promedio de 1997 son significativas). En este cuadro no hay entradas para la progresin en el tiempo ni migracin, ya que ambas variables se refieren a cambios entre 1997 y 2003, no a condiciones en 1997 y 2003. * Proporcin actualmente inscritos. Proporcin que trabaja actualmente. Pesos. Proporcin casados o cohabitando actualmente.

 29
Estimaciones de impacto

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: ADOLESCENTES DE 9 A 15 AOS DE EDAD EN 1997 T1998 VS. T2000 PROPORCION INSCRITA EN 2003 DEL GRUPO T2000 NIAS TODAS LAS NIAS DE 9 A 15 EN 1997 0.26 -0.017 [0.014] -6.6% COEFICIENTE IMPACTO ERROR ESTANDAR PORCENTAJE DE CAMBIO RELATIVO AL GRUPO T2000

CUADRO 5.

Impacto de la exposicin diferencial a Oportunidades en las proporciones de alumnos inscritos en la escuela

Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por aos de escuela completados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 0.24 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por grados de escuela completados en 1997 <=3 4 5 6 7+ 0.37 0.25 0.19 0.11 0.11 -0.030 -0.015 0.000 -0.054 0.032 [0.023] [0.029] [0.031] [0.032]* [0.035] -8.1% -6.1% 0.0% -49.1% 28.5% 0.48 0.21 0.08 -0.001 -0.029 -0.015 [0.024] [0.023] [0.022] -0.2% -13.9% -18.2% -0.012 [0.014] -5.0% 0.37 0.33 0.24 0.10 0.15 -0.007 -0.018 -0.048 -0.040 -0.052 [0.024] [0.032] [0.031] [0.029] [0.038] -1.9% -5.5% -20.4% -40.0% -35.2% 0.48 0.24 0.10 -0.040 -0.003 -0.007 [0.024]* [0.025] [0.023] -8.3% -1.2% -7.3%

Nota: estimadores basados en estimaciones de regresin por diferencias en diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para una prueba t en el nivel de 10%.

A corto plazo se espera que el programa aumente la inscripcin escolar para nios en edad escolar (p. ej., de nueve a 15 aos en zonas rurales), mediante la reduccin directa de los costos de escolarizacin. En 2003, los nios de la muestra tenan de 15 a 21 aos de edad, de modo que los efectos son ms ambiguos. Para un determinado nivel de grados de escolaridad completados, el programa facilit el avance a travs de los grados de manera ms rpida (aumentando las tasas de progresin y reinscripcin y reduciendo las tasas de desercin y repeticin de grados). Por lo tanto, aun cuando el programa aument los aos de escolaridad completados tal como se pretenda (y en este sentido tuvo xito,

 30
Impacto sobre la educacin y el trabajo de jvenes del medio rural

FIGURA 6.

Proporcin 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 9 10 11 12 Edad en 1997 13

Proporcin de nios que asistan a la escuela en 1997 y 2003, por edades en 1997

J B F H

B J

B J

J B

B J

B J B J

F H

F H

F H

H F H F

F H
14 T1998 en 2003 T2000 en 2003

H F
15

B J

T1998 en 1997 T2000 en 1997

como se explica ms adelante), tambin pudo haber reducido la probabilidad de que los nios de 15 a 21 aos estuvieran en la escuela en 2003 si tenan la tendencia a completar su escolarizacin ms temprano. Adems, las nuevas becas para preparatoria entraron en vigor en 2001, pero segn el ao de escolaridad anterior a 1998, esto quiz fue posterior a que muchos de los integrantes de T1998 terminaran su escuela secundaria y/o tomaran decisiones respecto de la escuela secundaria. En 2003, las tasas de inscripcin para el grupo T2000 fueron de 0.24 para nios y 0.26 para nias.r Las estimaciones por diferencias en diferencias en la segunda columna del cuadro 5 indican en promedio que no hay ningn impacto diferencial de exposicin al programa sobre la inscripcin en 2003 para nios ni para nias; sin embargo, aunque no hay un efecto promedio significativo, pueden existir efectos significativos que difieren por edades o grados de escolaridad completados en 1997. No sorprende que las tasas de inscripcin sean bastante ms altas para los nios de T2000 en el lmite inferior del rango de edades, los cuales tenan menor escolaridad en 1997. Las tasas de inscripcin en 2003 fueron 0.48 para nias y nios que tenan nueve y 10 aos en 1997 (15 a 16 en 2003); 0.24 para nias y 0.21 para nios de 11 a 12 aos en 1997 (17 a 18 en 2003), y 0.10 para nias y 0.08 para nios de 13 a 15 aos en 1997 (19 a 21 en 2003). Las tasas de inscripcin en 2003 declinaron monotnicamente de acuerdo con el mayor nmero de aos de escolaridad completados en 1997 (para nias, de 0.37 para tres grados a 0.10 para seis grados, con un leve incremento a 0.15 para siete grados y ms, y para nios de 0.37 para tres grados a 0.11 para seis o ms grados). Segn estos patrones, podra esperarse una mayor probabilidad de impacto de la exposicin diferencial al programa entre los nios que estaban relativamente pequeos y/o tenan relativamente poca escolaridad en 1997, pues al parecer una mayor proporcin de ellos estaba a punto de inscribirse en la escuela. Sin embargo, las estimaciones por diferencias en diferencias por grupos de edad indican slo un efecto significativo y negativo para nias de nueve y 10 aos en 1997, lo cual implica un decremento de 8.3% en 2003 en cuanto a tasas de inscripcin (aunque todas las estimaciones son negativas; vase la figura 6). Las

Se ofrecen las tasas para T2000 en la primera columna del cuadro porque este grupo tiene menos tratamiento que T1998. La segunda columna muestra la diferencia entre las tasas para T1998 y T2000.

 31
Estimaciones de impacto

estimaciones por diferencias en diferencias segn los grados de escolaridad terminados en 1997 indican slo un efecto significativo: un descenso para T1998 frente a T2000 para nios con seis aos de escolaridad terminados en 1997, lo que implica un descenso de 49.1% en las tasas de inscripcin de 2003. Aunque generalmente son poco significativos, los resultados sugieren que los hogares que recibieron tratamiento ms tarde tenan nios con mayores probabilidades de seguir en la escuela en 2003, tal vez porque los jvenes de T1998 progresaron ms rpido en la escuela.
Proporcin que avanza de grado escolar a tiempo

Esta variable se define como la proporcin de estudiantes que informan haber terminado al menos cinco grados escolares entre 1997 y 2003, lo cual sugiere una tasa de progreso que evita la desercin y la reprobacin. Por lo tanto, este indicador refleja una combinacin de inscripcin continua, as como eliminacin de la desercin, repeticin y reprobacin de grados.s Los resultados muestran impactos positivos importantes en la proporcin de nios que progresan de grado escolar, los que implican un incremento de 7.4% para los nios de todas las edades incluidos en la muestra. Los nios de 11 y 12 aos en 1997, y cercanos al paso crtico para ingresar a secundaria, muestran incrementos significativos de 14.1% en la proporcin de quienes avanzan de grado a tiempo. Los nios que tenan cuatro a cinco grados de escolaridad completados en 1997 muestran incrementos de 8.4% y 28.8%, respectivamente. Sin embargo, resulta interesante que en el caso de las nias los coeficientes no son significativos, aunque generalmente son positivos. Al comparar estos resultados con los que se presentan ms adelante, resulta interesante notar que los efectos sobre el nmero de grados de escolaridad completados son similares para nios y nias, aunque los efectos en el avance oportuno de grados escolares son mucho mayores para nios. Estos resultados parecen sugerir que buena parte del incremento de la escolaridad en nias pudiera derivarse de una inscripcin previa incrementada, en tanto que los impactos para nios pueden derivarse en mayor medida de las reducciones en las tasas de desercin y reprobacin. Esto es consistente con lo descubierto por evaluaciones anteriores, las cuales sugieren que el programa tiene un efecto mayor sobre los nios en trminos de mejora de las tasas de permanencia en la escuela.5
Grados de escolaridad completados

En 1997 no haba diferencias significativas entre los grados de escolaridad terminados, tanto para nios como para nias de nueve a 15 aos de edad, entre los grupos T1998 y T2000 (cuadro 6). Para 2003, las estimaciones en el cuadro 7 sugieren que tanto en nios como en nias se presentaron diferencias significativas de aproximadamente una quinta parte de grado en promedio (0.18 para nios y 0.20 para nias). De este modo, se observa un impacto significativo de la mayor exposicin al programa en T1998, que increment los grados escolares completados en cerca de 2.4% para nios y 2.7% para nias por encima de los grados completados para T2000 en 2003.

Podra parecer viable aproximarse al impacto del programa sobre la reprobacin o desercin observando, por ejemplo, el nmero de grados reprobados o si un individuo ha reprobado algn grado. Sin embargo, es necesario que la persona est inscrita para que pueda reprobar. Si, como han sugerido estudios de evaluacin anteriores, Oportunidades incide en la inscripcin,5-7 la estimacin del efecto sobre la reprobacin implica condicionamiento sobre una variable endgena, que es la inscripcin. Podra pensarse que el programa aumenta las tasas de reprobacin en estudiantes que fueron inducidos a inscribirse en grados ms avanzados que en ausencia del programa, o en ciertos grados cuando son ms jvenes y menos maduros de lo que hubieran sido sin el programa. Medido de esta manera, el impacto observado de Oportunidades sobre la reprobacin reflejara cambios en quienes se inscriben en la escuela, lo mismo que efectos directos de la menor reprobacin en el caso de nios cuya inscripcin no result afectada por el programa. Estos dos efectos no pueden ser fcilmente separados y de hecho tienen signos esperados opuestos. El indicador de progresin en el tiempo es conceptualmente ms atractivo porque evita estos problemas, que son particularmente relevantes para el grupo de adolescentes que estudia este trabajo, para quienes investigaciones previas han mostrado importantes efectos sobre la inscripcin.

 32
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 6.

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES 9 A 15 AOS EN 1997 IMPACTO PROPORCION DE T2000 QUE PROGRESO A TIEMPO EN 2003 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000 NIAS

Impacto de la exposicin diferencial a Oportunidades sobre el avance de grado oportuno (definido a partir de la terminacin de cinco o ms grados entre 1997 y 2003)

Todas las nias 9 a 15 en 1997 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15

0.308

0.008

[0.009]

2.6%

0.606 0.303 0.090

-0.008 0.020 0.012

[0.018] [0.018] [0.010]

-1.3% 6.6% 13.4%

Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 19970.312 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 0.619 0.298 0.099 0.020 0.042 0.012 [0.018] [0.017]** [0.010] 3.2% 14.1% 12.1% 0.023 [0.008]*** 7.4% 0.491 0.521 0.191 0.093 0.121 0.013 0.020 0.010 0.012 -0.007 [0.017] [0.024] [0.020] [0.013] [0.017] 2.6% 3.8% 5.2% 12.9% -5.8%

Por grados de escolaridad terminados en 1997 <=3 4 5 6 0.103 0.018 [0.014] 7 + 0.103 0.009 [0.016] 0.493 0.522 0.1560.045 17.4% 8.8% 0.010 0.044 [0.019]** 28.8% [0.017] [0.023]* 2.0% 8.4%

* Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%. Notas: estimadores basados en regresiones de diferencias (de si progresaron al menos cinco grados entre 1997 y 2003). Se controla por edad y educacin de los padres, origen indgena y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistemas de agua y drenaje).

La desagregacin por grupos de edad en 1997 y por grados de escolaridad terminados en 1997 adems de por sexo resulta informativa. En el caso de las nias, los impactos estimados por diferencias en diferencias se incrementan con la edad en 1997 y son significativos para el grupo de 11 y 12 aos (con un incremento de 2.3%) y el de 13 a 15 aos (con un incremento de 4.3%). Para los nios, los impactos estimados por diferencias en diferencias alcanzan su mximo para el grupo intermedio de edad en 1997 y son significativos para los tres rangos de edad, con un aumento de 2.7% para el grupo de 9 y 10 aos en 1997, de 3.1% para el de 11 y 12 aos y de 1.8% para el de 13 a 15 aos

 33
Estimaciones de impacto

Proporcin 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 9

B J

FIGURA 7.

B J B J B J B J
13 T2000

Avance de grado oportuno en 2003 por edad en 1997

B J
14

B J
15

10

11

12 Edad en 1997

T1998

(vase tambin la figura 8). Hay impactos positivos significativos para casi todos los nios y nias que tenan menos de siete grados de escolaridad terminados en 1997 (con la sola excepcin de los nios que slo tenan tres grados de escolaridad terminados en 1997), pero en ambos casos el mayor efecto fue el registrado por los que tenan cinco grados de escolaridad terminados en 1997 (de 6.8% para nias y de 4.4% para nios). De modo que hay algunas pequeas diferencias entre los patrones para nias y para nios. No obstante, en ambos casos se registran efectos positivos de mayor exposicin al programa en T1998 en comparacin con T2000. Estos efectos fueron especialmente importantes para quienes ingresaron en el ltimo ao de primaria al inicio del programa.
Resultados de las pruebas de aprovechamiento

Los cuadros 8 a 10 presentan los principales resultados del impacto de Oportunidades en las pruebas de aprovechamiento. En trminos generales, los resultados basados en una exposicin de ao y medio no permiten encontrar impactos significativos en los resultados de aprovechamiento. En las tres pruebas de aprovechamiento los resultados muestran resultados generalmente no significativos, independientemente de la edad o de los grados de escolaridad en 1997. De hecho, en el caso de las habilidades en matemticas y escritura, algunos grupos de edad presentan de manera inesperada impactos negativos y significativos del programa sobre los resultados en aprovechamiento. Estos resultados son imprevistos dado el pequeo pero significativo incremento en grados de escolaridad total asociado con el programa que se mencion antes. Era plausible esperar un incremento en los resultados en aprovechamiento, o al menos no un descenso. Aqu se exploran algunas posibles explicaciones en relacin con el anlisis. En este contexto, lo mismo que para los estimadores pareados que se describen ms adelante en este documento, hubiera sido til contar con una encuesta de punto de partida de los resultados en aprovechamiento, ya que posiblemente hubieran podido observarse algunas diferencias previas al programa en este grupo. Es importante recordar que slo una submuestra de jvenes que tenan 15 a 21 aos en 2003 realizaron las pruebas de aprovechamiento, de modo que esta submuestra podra presentar impactos ms bajos en escolaridad que la muestra completa. Para probar lo anterior, se volvieron a correr las estimaciones de impacto de Oportunidades en los grados de escolaridad terminados, nicamente para la submuestra de jvenes que hicieron las pruebas de aprovechamiento. Estos resultados se presentan en el apndice E cuadro E3. Es interesante notar que los resultados arrojan resultados similares a los anteriormente reportados para nios (cuadro 7); es decir, que los nios promedio de T1998 que hicieron las pruebas

 34
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 7.

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES DE 9 A 15 AOS EN 1997 T1998 CONTRA T2000 IMPACTO GRADOS DE ESCOLARIDAD COMPLETADOS EN 2003 PARA T2000 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000 NIAS

Impacto de la exposicin diferencial a Oportunidades sobre los grados de escolaridad terminados

Todas las nias de 9 a 15 en 1997 7.52 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 7.54 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 7.38 7.68 7.56 6.03 7.76 7.75 7.37 9.68 7.43 7.75 7.44

0.201

[0.047]***

2.7%

0.075 0.181 0.320

[0.076] [0.091]** [0.077]***

1.0% 2.3% 4.3%

0.057 0.180 0.529 0.304 0.117

[0.083] [0.106]* [0.113]*** [0.097]*** [0.121]

0.9% 2.3% 6.8% 4.1% 1.2%

0.180

[0.045]***

2.4%

0.197 0.241 0.139

[0.075]*** [0.088]*** [0.074]*

2.7% 3.1% 1.8%

Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ 5.97 7.63 7.89 7.67 9.62 0.137 0.196 0.347 0.204 0.047 [0.074]* [0.102]* [0.111]*** [0.103]** [0.111] 2.3% 2.6% 4.4% 2.7% 0.5%

Notas: Los estimadores se basan en estimaciones de regresin por diferencias en diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (Nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 35
Estimaciones de impacto

Grados de escolaridad completados 8 7 6 5 4 3 2

H F

H F

H F

FIGURA 8.

H F

H F B J

H F B J

H F B J

Grados de escolaridad completados en 1997 y 2003, por edad en 1997

B J
9

B J
10

B J

J B

B J

12 Edad en 1997 T1998 en 1997 T2000 en 1997

11

13

14 T1998 en 2003 T2000 en 2003

15

H F

tienen alrededor de 0.21 grados adicionales de escolaridad que los nios de T2000 que hicieron las pruebas de aprovechamiento. No obstante, en el caso de las nias, los resultados muestran en general diferencias no significativas en grados de escolaridad terminados entre los grupos T1998 y T2000 para la submuestra a la que se aplicaron las pruebas. Esto implica que los resultados no significativos para las nias son consistentes con los impactos observados en los resultados de aprovechamiento para este grupo, aunque los pocos coeficientes negativos significativos son difciles de explicar. Sin embargo, los resultados para nios siguen siendo sorprendentes; a pesar de que el anlisis est limitado por la carencia de un punto de partida para comparar las pruebas de aprovechamiento, aparentemente en esta muestra el aumento de escolaridad alcanzado por el grupo T1988 no ha llevado a un incremento en los resultados de las pruebas de aprovechamiento. Claro est que la explicacin de lo que parece ser una ausencia de resultados o presencia de resultados negativos al menos para nios, puede no ser producto de las carencias de datos que limitan el anlisis. En cambio, la baja calidad de ciertas escuelas puede ocasionar que algunos alumnos progresen de grado escolar sin mejorar su desempeo en las pruebas de aprovechamiento. Las inscripciones inducidas por Oportunidades tambin pueden haber incidido en la baja calidad de las escuelas, tanto por saturacin como por la inclusin de estudiantes marginales que quiz desviaron recursos y atencin de alumnos que podran haber estado en la escuela en ausencia del programa.t La exploracin de tales posibilidades va ms all de los objetivos de este estudio y los datos disponibles. Pero sin duda plantean importantes preguntas para futuras investigaciones.

Por otro lado, los resultados que reportamos no reflejan la situacin hipottica en la cual los resultados promedio de las pruebas de aprovechamiento se redujeron porque los estudiantes marginales que fueron inducidos a inscribirse en la escuela como resultado del programa hicieron bajar los promedios debido a sus malos resultados a pesar del mejoramiento en el desempeo de los estudiantes que de todos modos hubieran estado en la escuela. Dado que hacemos el seguimiento de estudiantes individuales a lo largo del tiempo, no de resultados promedio, nuestro anlisis no est contaminado por semejantes cambios en la composicin.

 36
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 8.

ESTIMACIONES POR DIFERENCIAS: NIOS Y ADOLESCENTES DE 9 A 15 AOS EN 1997- T1998 CONTRA T2000 IMPACTO RESULTADO BRUTO DE LA PRUEBA WJ EN 2003 PARA T2000 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000 NIAS

Impacto de la exposicin diferencial a Oportunidades en las pruebas de aprovechamiento Woodcock Johnson (WJ): habilidades de lectura

Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por aos de escolaridad en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 53.64 Por grupo de edad 9 a 10 11 a 12 13 a 15 53.60 54.36 53.35 0.112 -0.544 0.491 [0.780] [0.680] [1.134] 0.2% -1.0% 0.9% 0.199 [0.496] 0.4% 51.50 54.55 54.83 54.70 55.11 -1.339 0.259 0.651 0.379 1.11 [1.160] [0.771] [0.666] [0.735] [1.086] -2.6% 0.5% 1.2% 0.7% 2.0% 53.74 54.04 53.58 -1.244 0.016 0.191 [0.882] [0.745] [0.898] -2.3% 0.0% 0.4% 53.56 -0.11 [0.483] -0.2%

Por aos de escolaridad en 1997 <=3 4 5 6 7+ 51.94 54.82 54.94 54.66 54.68 0.85 -1.365 -1.164 0.055 1.118 [0.994] [0.927] [1.151] [0.648] [1.462] 1.6% -2.5% -2.1% 0.1% 2.0%

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 37
Estimaciones de impacto

ESTIMACIONES POR DIFERENCIAS: NIOS Y ADOLESCENTES DE 9 A 15 AOS EN 1997 -T1998 CONTRA T2000 IMPACTO RESULTADO BRUTO DE LA PRUEBA WJ EN 2003 PARA T2000 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000 NIAS

CUADRO 9.

Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por aos de escolaridad 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por aos de escolaridad 1997 <=3 4 5 6 7+ 31.87 33.42 34.27 34.62 35.42 -0.829 -0.548 -1.219 -0.258 1.334 [0.595] [0.661] [1.192] [0.662] [1.476] -2.6% -1.6% -3.6% -0.7% 3.8% 32.79 34.20 33.31 -0.228 -1.145 -0.744 [0.545] [0.635]* [0.765] -0.7% -3.3% -2.2% 33.27 -0.574 [0.366] -1.7% 30.67 32.25 32.84 33.02 33.38 -1.042 -0.106 -0.311 0.022 2.037 [0.619]* [0.632] [0.713] [0.807] [1.100]* -3.4% -0.3% -0.9% 0.1% 6.1% 32.27 32.04 31.85 -0.725 -0.186 0.078 [0.573] [0.575] [0.638] -2.2% -0.6% 0.2% 32.01 -0.225 [0.326] -0.7%

Impacto de la exposicin diferencial a Oportunidades en las pruebas de aprovechamiento Woodcock Johnson (WJ): habilidades de matemticas

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 38
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 10.

IMPACTO DE LA EXPOSICIN DIFERENCIAL A OPORTUNIDADES EN LAS PRUEBAS DE APROVECHAMIENTO WOODCOCK JOHNSON (WJ): HABILIDADES DE LENGUAJE ESCRITO IMPACTO RESULTADO BRUTO DE LA PRUEBA WJ EN 2003 PARA T2000 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000

Impacto de la exposicin diferencial a Oportunidades en las pruebas de aprovechamiento Woodcock Johnson (WJ): habilidades de lenguaje escrito

Nias Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 199736.19 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad 1997 <=3 4 537.44 0.032 [1.094] 6 36.62 1.052 [0.715] 7 + 39.53 0.72 [1.377] 34.55 36.72 0.1% 2.9% 1.8% -0.644 -0.636 [0.737] [0.733] -1.9% -1.7% 36.32 36.49 36.18 -0.454 0.177 -0.549 [0.617] [0.641] [0.832] -1.3% 0.5% -1.5% -0.011 [0.393] 0.0% 34.48 36.98 36.61 36.91 38.10 -1.541 -0.294 0.242 0.722 1.607 [0.848]* [0.795] [0.832] [0.871] [1.398] -4.5% -0.8% 0.7% 2.0% 4.2% 36.93 35.83 36.22 -1.361 0.186 -0.501 [0.725]* [0.678] [0.801] -3.7% 0.5% -1.4% 36.12 -0.301 [0.410] -0.8%

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%. ** al nivel de 5% *** al nivel de 1%.

Trabajo
El trabajo en actividades econmicas es una de las maneras en que ms se usa el tiempo y en ciertos casos aparece como alternativa a la educacin, aunque en ocasiones se combina con sta. Tambin suele conjeturarse que conforme los grados de escolaridad terminados sean ms elevados, se incrementan las recompensas de trabajo y las probabilidades de trabajar. Por lo tanto el impacto del programa sobre el trabajo en 2003 parecera depender de su impacto en la inscripcin escolar en 2003 y/o en los

 39
Estimaciones de impacto

aos de escolaridad terminados antes de 2003. Este documento considera tres indicadores del trabajo: la probabilidad de trabajar, la probabilidad de participar en el sector agrcola y el impacto en los ingresos mensuales provenientes del trabajo.
El empleo en 2003

El efecto terico de Oportunidades sobre la probabilidad de trabajar es ambiguo. Por un lado, como lo muestran evaluaciones anteriores,11 el programa podra reducir el trabajo para los nios que pasan ms tiempo en la escuela. Por otro lado, en el caso de los jvenes que ya han dejado la escuela, pero tienen ms educacin como resultado del programa, se podra esperar un efecto positivo sobre el trabajo. Estos dos efectos operan en direcciones opuestas, de tal modo que la magnitud del impacto esperado es ambigua. Antes del programa, en 1997, 0.18 de los nios del grupo T1998 y (significativamente menos a nivel del 5%) 0.16 de los nios del grupo T2000 estaban trabajando. Tambin en 1997, 0.08 de las nias de T1998 y (significativamente menos a nivel del 1%) 0.05 de las nias de T2000 estaban empleadas (cuadro 4). Debido a los patrones de trabajo relacionados con el ciclo de vida, las proporciones de jvenes empleados en 2003 eran mucho ms altas, por ejemplo 0.65 para los nios de T2000 y 0.26 para las nias de T2000 (cuadro 4.8). Las diferencias relacionadas con el gnero en el trabajo son sustanciales tanto para 1997 como para 2003. El impacto estimado por diferencias en diferencias de una exposicin diferencial al programa sobre quienes estn trabajando provoca un descenso significativo de 4.1% en la proporcin para los nios, sin efecto significativo para las nias (cuadro 11). Mientras que los signos de las estimaciones del impacto por diferencias en diferencias son en gran medida negativos para las desagregaciones por grupos de edad y grados de escolaridad terminados en 1997, tanto para nios como para nias, ninguna de las estimaciones es significativa para nias. En el caso de los nios hay descensos estimados significativos en las proporciones de los que trabajaban en 2003 de -5.5% para los de 13 a 15 aos en 1997 (19 a 21 en 2003) y -15.9% para los que tenan siete grados ms de escolaridad completada en 1997.

Proporcin 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0

FIGURA 9.

F H F H H F B J
9

F H

F H

F H J B

Proporcin que trabajaba en 1997 y en 2003, por edad

Fuente: Encaseh 1997, Encel 2003.

H F B J
13

B J

B J
10

B J
11 T1998 en 1997 T2000 en 1997

J B
12 Edad en 1997

14 T1998 en 2003 T2000 en 2003

15

B J

H F

 40
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 11.

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES DE 9 A 15 AOS EN 1997 - T1998 CONTRA T2000 IMPACTO PROPORCION DE QUE TRABAJA EN 2003 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO RELATIVO AL GRUPO T2000

Impacto de la exposicin diferencial a Oportunidades sobre la probabilidad de trabajar

Nias Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 0.14 0.34 0.40 -0.008 -0.010 -0.020 [0.019] [0.024] [0.025] -5.6% -2.9% -5.0% 0.26 -0.013 [0.013] -5.0%

Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 0.40 0.67 0.83 -0.015 -0.007 -0.046 [0.024] [0.026] [0.025]* -3.8% -1.0% -5.5% 0.65 -0.027 [0.015]* -4.1% 0.18 0.24 0.25 0.34 0.35 -0.010 -0.016 -0.032 -0.006 0.005 [0.020] [0.031] [0.033] [0.034] [0.044] -5.5% -6.8% -12.7% -1.8% 1.4%

Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ 0.53 0.61 0.70 0.79 0.85 -0.013 0.010 -0.041 0.011 -0.136 [0.023] [0.034] [0.037] [0.036] [0.041]*** -2.5% 1.6% -5.9% 1.4% -15.9%

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%. ** al nivel de 5% *** al nivel de 1%.

 41
Estimaciones de impacto

Proporcin de individuos que trabajaban en la agricultura en 2003

En general se piensa que la escolarizacin rinde mejores frutos en lo que se refiere a la actividad laboral no agrcola, de modo que de haber sido eficaz, Oportunidades habra inducido cierto desplazamiento hacia afuera del sector agrcola. Se examina la probabilidad incondicional de que los individuos participen en el trabajo agrcola.u Antes del programa, en 1997, 0.16 de los nios del grupo T1998 (significativamente menos a nivel del 1%) y 0.14 de los del grupo T2000 trabajaban en la agricultura; tambin en 1997, 0.04 de las nias de T1998 (significativamente menos a nivel del 1%) y 0.03 de las de T2000 estaban empleadas en la agricultura (cuadro 4). Como consecuencia de los patrones de trabajo de los ciclos de vida y debido a que dentro de las comunidades de inters un muy alto porcentaje de los individuos que trabajan se encuentran en la agricultura, en 2003 las proporciones empleadas en ese sector fueron mucho ms elevadas para los nios de T2000 (0.42) y similares para las nias de T2000 (0.05) (vase el cuadro 12). Por lo tanto, los diferenciales por gnero en el trabajo reportado dentro del sector agrcola son sustanciales tanto para 1997 como para 2003. En tanto que las estimaciones de impacto por diferencias en diferencias con controles para las caractersticas previas al programa, son considerablemente negativas para las desagregaciones por grupos de edad y segn los grados de escolaridad completados en 1997, tanto para nias como para nios, ninguna de las estimaciones es significativa para las nias. Esto quiz se deba a las tasas de participacin considerablemente bajas de las nias en el trabajo agrcola que se mencion antes. En el caso de los nios hay un decremento estimado significativo (-22.4%) en la proporcin de los que trabajaban en la agricultura en 2003, pero slo para aquellos que tenan siete aos o ms de escolaridad que en 1997 (cuadro 12).v De modo que la evidencia de que el programa induce a la gente a abandonar la agricultura en favor de actividades en que los beneficios de la escolarizacin son mayores es marginal.

Proporcin 0.3 0.25 0.2 0.15 0.1 0.05 0

FIGURA 10.

H F

F H

H F

H F

H F B J

H F B J

J B H F

Proporcin de quienes trabajaban en el sector agrcola en 1997 y en 2003, por edades

Fuente: Encaseh 1997, Encel 2003

B J
9

B J
10

B J
11

B J

B J
u

12 Edad en 1997 T1998 en 1997 T2000 en 1997

13

14 T1998 en 2003 T2000 en 2003

15

H F

No se condiciona sobre el trabajo, ya que en s mismo es un indicador de impacto sujeto a cambios producidos por el programa, tal como demostraron los resultados anteriores en este documento. As pues, los impactos en la proporcin de individuos en la agricultura puede cambiar dentro del programa como resultado de que los individuos que trabajan pasen a otras actividades y porque entren o salgan del mercado de trabajo. Por el contrario, el impacto estimado simple por diferencias en diferencias sobre los que estaban trabajando consiste en reducir la proporcin de manera significativa para los nios y las nias (Apndice C, cuadro C1). Sin embargo, como ya se ha mencionado, se prefieren las estimaciones presentadas en esta seccin con control de las caractersticas previas al programa.

 42
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 12.

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES 9 A 15 AOS EN 1997 - T1998 VS. T2000 IMPACTO PROPORCION DE TRABAJDORES AGRICOLAS DE T2000 NIAS TODAS LAS NIAS DE 9 A 15 EN 1997 0.39 -0.009 [0.012] -2.3% COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000

Impacto de la exposicin diferencial a Oportunidades sobre la probabilidad de trabajar en el sector agrcola

Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ 0.18 0.28 0.36 0.46 0.58 0.008 -0.037 -0.033 -0.030 -0.079 [0.016] [0.026] [0.031] [0.030] [0.038]** 4.6% -13.0% -9.2% -6.5% -13.5% 0.12 0.30 0.51 0.014 -0.025 -0.051 [0.015] [0.021] [0.021]** 12.1% -8.4% -10.0% 0.32 -0.020 [0.011]* -6.2% 0.28 0.31 0.41 0.54 0.55 -0.034 0.022 0.002 -0.014 0.031 [0.019]* [0.030] [0.032] [0.029] [0.040] -12.3% 7.1% 0.5% -2.6% 5.6% 0.21 0.36 0.57 -0.035 0.021 -0.014 [0.018]* [0.023] [0.022] -16.7% 5.8% -2.5%

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 43
Estimaciones de impacto

Ingreso mensual promedio proveniente del trabajo

Se esperaba a priori que el programa aumentara la productividad a travs de una mayor escolaridad (la cual se increment como se explic antes), y que esto tendera a incrementar los salarios y los ingresos provenientes del trabajo. Nuevamente, en este trabajo no se establecen condicionamientos sobre el trabajo una variable endgena as los impactos sobre los salarios pueden reflejar cambios en la proporcin de individuos trabajando y en los ingresos de individuos que trabajan. Antes del programa, en 1997, no haba diferencias significativas en el ingreso promedio mensual de los nios en comparacin con las nias entre los jvenes de T1998 y T2000 (cuadro 4). Las estimaciones por diferencias en diferencias del cuadro 13 indican un impacto positivo y significativo sobre los salarios promedio mensuales de las nias en un promedio de 25.2%, pero ningn efecto significativo para los nios. Esto ofrece una interpretacin interesante de los resultados previos sobre el trabajo. Dado que la exposicin diferencial al programa redujo de manera significativa la probabilidad de trabajar en nios (vase el cuadro 11), no es sorprendente que el ingreso promedio proveniente del trabajo de los nios disminuya como resultado de la exposicin diferencial al programa (aunque no de manera significativa a nivel del 10%). De hecho la cada proporcional de los salarios (-5.2%) es similar al decremento proporcional del empleo (-4.1%), lo cual sugiere que el decremento proporcional de los salarios de los nios tiene su origen en la reduccin de la actividad laboral. Sin embargo, en el caso de las nias, para quienes no hubo un incremento significativo en el empleo, el impacto significativo sobre los salarios sugiere que la exposicin diferencial al programa ha aumentado los ingresos globales de las que trabajan. Esto es congruente con el aumento en la escolaridad para las nias de T1998, aunque los resultados tambin podran reflejar incrementos en los das y horas trabajados. Las estimaciones desagregadas indican que el impacto promedio para las nias se debe a impactos sobre las nias que antes del programa eran las ms jvenes (un incremento significativo de 36.4% para las de 9 y 10 aos de edad en 1997) y con menos escolaridad (un aumento significativo de 60.3% en aquellas nias con tres aos de escolaridad terminados en 1997). En cambio, para los nios no hay impactos estimados significativos para ninguno de los tres grupos de edad considerados para 1997, pero s hay efectos estimados negativos y significativos en el caso de los grupos con menor y mayor escolaridad en 1997, de -11.2% y -30.7%, respectivamente.

Pesos 500

400

300

H F H F B J
9

H F

H F

H F

H F H F

FIGURA 11.

Ingreso mensual proveniente del trabajo en 1997 y 2003, por edad en 1997
Fuente: Encaseh 1997, Encel 2003

200

100

J B B J

10

B J

J B
12 Edad en 1997

J B
13

J B
14 T1998 en 2003 T2000 en 2003

J B
15

11

T1998 en 1997 T2000 en 1997

H F

 44
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 13.

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES 9 A 15 AOS EN 1997 - T1998 CONTRA T2000 IMPACTO INGRESO MENSUAL POR TRABAJO EN T2000 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000

Impacto de la exposicin diferencial a Oportunidades sobre los salarios mensuales (en pesos)
Nias Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15

154.36

38.951

[15.458]**

25.2%

120.75 160.37 179.03

43.925 20.019 50.375

[18.253]** [30.857] [36.295]

36.4% 12.5% 28.1%

Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ 407.72 570.54 610.92 604.71 541.39 -45.469 -25.701 38.267 32.605 -166.253 [26.486]* [46.436] [58.640] [63.351] [83.984]** -11.2% -4.5% 6.3% 5.4% -30.7% 384.91 619.51 550.39 -31.062 -19.287 -22.664 [26.323] [37.501] [45.087] -8.1% -3.1% -4.1% 519.71 -26.636 [20.093] -5.1% 100.81 148.87 164.95 215.15 199.58 60.774 24.7 31.639 10.396 36.519 [21.230]*** [32.136] [42.019] [46.827] [69.032] 60.3% 16.6% 19.2% 4.8% 18.3%

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%. ** al nivel de 5% *** al nivel de 1%.

 45
Estimaciones de impacto

Matrimonio
El matrimonio es una transicin importante en el ciclo de vida en la que puede incidir el programa, en parte a travs de efectos sobre educacin, trabajo y migracin, o mediante interacciones con estos factores. Para este anlisis se defini como individuos casados tanto a los que informaron estar legalmente casados como a los que vivan juntos (cohabitacin). La literatura sugiere que el aumento en la escolaridad tiende a conducir a menores tasas de matrimonio entre jvenes dentro del rango de edad que aqu se estudia, lo cual les ofrecera mejores oportunidades antes de establecer relaciones matrimoniales.

Proporcin de casados en 2003

Antes del programa, en 1997, las proporciones de nios de nueve a 15 aos de edad que estaban casados eran muy bajas (<0.02 para nias, <0.01 para nios vase el cuadro 4), aunque con proporciones significativamente ms altas (a nivel del 10%) para las nias de T2000 que para las de T1998. En 2003, 26% de las nias y 10% de los nios de T2000 estaban casados (cuadro 14). Las estimaciones por diferencias en diferencias del cuadro 14 implican que la proporcin de nias casadas no se afect de manera significativa incluso a nivel del 10%, aunque las estimaciones son negativas en promedio para todas las nias y para cada uno de los grupos desagregados por edades y por grados de escolaridad completados en 1997. El impacto general estimado para los nios de nueve a 15 aos de edad en 1997 tampoco es significativo, incluso a nivel del 10%. La desagregacin por grupos de edad en 1997 y por grados de escolaridad terminados en 1997 conduce a estimaciones de impacto negativo significativas slo para nios con pocos (cuatro) o relativamente muchos (siete o ms) aos de escolaridad en 1997. Estas estimaciones implican una reduccin de -12.9% en la proporcin de casados en 2003 en el primer caso, y de -25.4% en la proporcin de casados en 2003 para el segundo caso. De este modo, se encontr evidencia marginal de que el matrimonio para jvenes en este rango de edad se redujo, lo cual implica probablemente mejores opciones para ellos antes de establecer compromisos matrimoniales.

Proporcin 0.4

0.3

F H F H H F

F H

FIGURA 12.

Proporcin de individuos casados en 1997 y 2003, por edad

Fuente: Encaseh 1997, Encel 2003

0.2

0.1

H F J B
9

F H J B B J
10

F H B J
11

12 Edad en 1997 T1998 en 1997 T2000 en 1997

B J

B J
13

B J

14

B J

15

H F

T1998 en 2003 T2000 en 2003

 46
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 14.

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES 9 A 15 AOS EN 1997 - T1998 CONTRA T2000 IMPACTO PROPORCION DE CASADOS DE T2000 EN 2003 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000

Impacto de la exposicin diferencial a Oportunidades sobre el matrimonio

Nias

Todas las nias de 9 a 15 en 1997 0.26 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 0.10 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ 0.05 0.19 0.30 0.40 0.21 0.01 0.07 0.19 0.17 0.19 0.30 0.39 0.33 0.09 0.22 0.43

-0.010

[0.011]

-3.9%

-0.007 -0.008 -0.019

[0.013] [0.020] [0.022]

-7.7% -3.6% -4.4%

-0.005 -0.006 -0.039 -0.020 0.046

[0.015] [0.024] [0.028] [0.028] [0.039]

-3.0% -3.2% -13.1% -5.1% 13.9%

-0.006

[0.007]

-6.2%

0.008 -0.014 -0.013

[0.006] [0.011] [0.016]

60.0% -20.3% -6.8%

0.012 -0.024 -0.027 0.006 -0.053

[0.009] [0.014]* [0.020] [0.023] [0.028]*

25.8% -12.9% -9.0% 1.5% -25.4%

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 47
Estimaciones de impacto

Migracin
Los modelos estndar de migracin proponen que sta se presenta cuando el incremento en el bienestar esperado de quien toma la decisin es positivo si el individuo emigra hacia algn destino. Tal incremento puede explicarse por diversas razones, incluyendo mejores perspectivas en inversin de capital humano, mejores perspectivas en mercados de trabajo y mejores perspectivas en los mercados de matrimonio.w En general, la migracin puede implicar desplazamiento de individuos o de unidades familiares. La literatura temprana sobre el tema se enfoc a los incentivos individuales para la migracin, donde el tomador de la decisin es el migrante potencial o real.25,26 La literatura ms reciente se ha enfocado a las estrategias familiares, en las que, por ejemplo, uno de los hijos puede ser enviado a otra regin, en parte para diversificar el riesgo, de modo que la unidad tomadora de la decisin no es el migrante potencial o real, sino su familia.18,27 Claro est que las ganancias esperadas en el bienestar como resultado de la migracin tienden a depender de las caractersticas del individuo y la familia. Las ganancias que se obtienen al emigrar de comunidades rurales pobres y pequeas como las que constituyeron el primer objetivo de Oportunidades son mucho mayores para los individuos con mayor escolaridad si las ganancias de sta son mejores en reas ms urbanizadas que en las comunidades del programa, como suele pensarse. De qu manera se espera que un hogar elegible en un rea de tratamiento sea afectado por la migracin? Desde la perspectiva de los hogares parecera que el efecto dominante sera reducir la migracin por el incremento en el ingreso producto del programa en la comunidad de origen. Sin embargo, podra ocurrir que la migracin aumentara si antes del programa las limitaciones de liquidez en presencia de mercados de capital imperfectos obstruyeran la migracin deseada, pero el aumento en el ingreso permitiera superar esa obstruccin. En el caso de jvenes considerados de manera individual, se podra esperar que el programa redujera los incentivos personales (y de la familia) para migrar mientras estuvieran en la escuela dentro de los grados cubiertos por el programa. Sin embargo, una vez que han terminado la escuela, si la escolaridad es mayor de la que hubieran tenido sin el programa y las ganancias posibles por dicha escolaridad son ms importantes en trminos de mercados de trabajo y matrimonio (o para continuar los estudios) en reas ms urbanizadas, el efecto dominante parecera ser el incremento de la migracin.
Proporcin de migrantes individuales en 2003

La proporcin de jvenes que emigraron individualmente desde sus hogares paternos entre 1997 y 2003 es grande: cerca de un tercio de los nios (0.32 de T2000, cuadro 15) y casi cuatro dcimas de las nias (0.39 de T2000). Las estimaciones por diferencias en diferencias en el cuadro 15 implican que la proporcin de nios que emigraron se redujo en un significativo -6.2% como resultado de la exposicin diferencial al programa. Las estimaciones desagregadas indican que esta cada se debi en primera instancia a reducciones significativas para los mayores (-10.0% para los nios entre 13 y 15 aos de edad en 1997) y los de mayor escolaridad (-13.5% para los nios con siete aos ms de escolaridad completados en 1997). La proporcin de nias que emigraron en promedio no cambi de manera significativa por la exposicin diferencial al programa, pero la desagregacin por grupos de edad en 1997 lleva a estimaciones de un impacto negativo y significativo de -16.7% para las tasas de

w Por ejemplo, analcese la medida en que los flujos migratorios de mujeres en Nicaragua son congruentes con las diferencias en los mercados de trabajo y de matrimonio entre tres regiones definidas segn su nivel de urbanizacin, con las ganancias que ofrece cada regin segn el nivel de escolaridad de la propia mujer.24

 48
Impacto sobre la educacin y el trabajo de jvenes del medio rural

FIGURA 13.

Proporcin de individuos que dejaron el hogar en 2003, por edad en 1997

Proporcin 0.6 0.5 0.4 0.3 0.2 0.1 0 9 10 11

J B J B J B J B

J B

J B

B J B

12 Edad en 1997

13 T2000

14

15

T1998

migracin de nias en el grupo de menor edad (de las que cerca de la mitad estaban en la escuela todava en 2003). Por otra parte, hubo una importante cada de -12.3% en la proporcin de nias con hasta tres grados de escolaridad terminados en 1997 que emigraron en 2003. La diferencia por gnero en el impacto de la exposicin diferencial al programa sobre la migracin es sorprendente, e incide especialmente en las nias ms jvenes y con menor escolaridad, por un lado, y en los nios de mayor edad y escolaridad. La diferencia de gnero tambin puede reflejar mayor tendencia de las nias a emigrar por razones de matrimonio y de los nios por trabajo.

Impacto de caractersticas escolares seleccionadas sobre un resultado educacional clave

Adems del tiempo que los alumnos pasan en la escuela, se piensa que las caractersticas de la escuela (o calidad escolar) afectan de manera importante los resultados educativos.29-42 Esto mueve a preguntar si el impacto de la exposicin diferencial al tratamiento de Oportunidades puede depender de las caractersticas de las escuelas. La hiptesis subyacente es que posiblemente los padres respondan de manera positiva a las becas de Oportunidades, enviando a sus hijos a la escuela, si perciben que la calidad escolar es alta, y por lo tanto los beneficios de hacerlo (aparte de recibir las becas) tambin son altos. Una hiptesis de ms largo plazo sobre los impactos de Oportunidades y la calidad de las escuelas se relaciona con los beneficios de la escolarizacin: si stos son mayores cuando la calidad de la escuela es alta, los ingresos a mediano y largo plazo de los estudiantes de Oportunidades que estudian en escuelas de mayor calidad, podran presentar mayores incrementos al ingresar al mercado de trabajo, en comparacin con otros estudiantes cuya educacin es similar pero que asisten a escuelas de menor calidad. En este sentido, los impactos en el trabajo y el ingreso pueden verse afectados por la calidad de las escuelas, aunque slo podran observarse en el futuro, dado el periodo relativamente corto de tiempo de exposicin al programa.

 49
Estimaciones de impacto

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES 9 A 15 AOS EN 1997 - T1998 CONTRA T2000 IMPACTO PROPORCION QUE EMIGRO DE T2000 HASTA 2003 COEFICIENTE ERROR ESTANDAR PORCENTAJE DE CAMBIO EN COMPARACION CON T2000

CUADRO 15.

Nias Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por grados de escolaridad terminados en 1997 <=3 4 5 6 7+ 407.72 570.54 610.92 604.71 541.39 -45.469 -25.701 38.267 32.605 -166.253 [26.486]* [46.436] [58.640] [63.351] [83.984]** -11.2% -4.5% 6.3% 5.4% -30.7% 384.91 619.51 550.39 -31.062 -19.287 -22.664 [26.323] [37.501] [45.087] -8.1% -3.1% -4.1% 519.71 -26.636 [20.093] -5.1% 100.81 148.87 164.95 215.15 199.58 60.774 24.7 31.639 10.396 36.519 [21.230]*** [32.136] [42.019] [46.827] [69.032] 60.3% 16.6% 19.2% 4.8% 18.3% 120.75 160.37 179.03 43.925 20.019 50.375 [18.253]** [30.857] [36.295] 36.4% 12.5% 28.1% 154.36 38.951 [15.458]** 25.2%

Impacto de la exposicin diferencial a Oportunidades sobre la migracin a partir de 1997 (abandono de hogar de origen)

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%. ** al nivel de 5% *** al nivel de 1%.

 50
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Para investigar esta cuestin, se seleccion una serie de caractersticas de las escuelas que constituyen medidas potenciales de su calidad y que no parecen haber sido afectadas por Oportunidades.x En la encuesta Encel 2003 se incluy un cuestionario detallado sobre la calidad de las escuelas, que se aplic a directores y a dos maestros escogidos al azar en cada plantel escolar. Los datos son de gran calidad y utilidad para evaluar el nivel de calidad disponible en las escuelas a las que asisten los estudiantes de Oportunidades, lo mismo que para comparar esa calidad con la disponible a nivel nacionaly (vase el apndice A para ms detalles sobre la construccin de los datos). El presente estudio se enfoc a medidas de calidad de las escuelas a nivel secundaria, pues se trata del nivel escolar ms relevante para el grupo de edad estudiado y el nmero relativamente bajo de jvenes de la muestra que rebasan ese nivel. Se eligieron dos variables: el tipo de escuela secundaria disponible para los jvenes y la tasa estudiantes/maestro en las escuelas de inters. Claro que existen muchas medidas potenciales de calidad escolar, pero aqu slo se analizan analizamos dos que se consideran importantes dentro del contexto mexicano. Futuros estudios sobre la calidad escolar debern considerar otras variables, tales como infraestructura escolar y calificacin de los maestros. La estrategia de estimacin aplicada consisti en replicar las estimaciones de impacto de Oportunidades sobre los grados de escolaridad completados, dividiendo la muestra entre jvenes que slo tienen acceso a telesecundaria y jvenes que tienen acceso al menos a una escuela de otro tipo (general o tcnica), y entre las escuelas que tenan (antes del programa) una tasa estudiantes/maestro alta y las que tenan una tasa baja. Las telesecundarias difieren de las otras escuelas mexicanas en la medida en que dependen de videos de diferentes temas transmitidos va satlite que se muestran durante las clases, acompaados por un tiempo de clase destinado a ejercicios. Slo hay un maestro para todas las materias. Estas escuelas pretenden ser un mtodo efectivo con relacin a los costos para llevar la escuela secundaria a las reas rurales de Mxico. Las escuelas secundarias generales cuentan con ms infraestructura y cada materia es impartida por un instructor especializado; las tcnicas tambin tienen un instructor especializado para cada materia, pero la enseanza se enfoca a la educacin tecnolgica, generalmente relacionada con actividades econmicas particulares de la regin. El presente anlisis se enfoc slo a las estimaciones de impacto sobre grados de escolaridad completados. Las cuadros 16 y 17 muestran las estimaciones de exposicin diferencial segn las caractersticas de las escuelas. El cuadro 16 muestra que los impactos parecen ser mayores cuando los estudiantes tienen acceso a escuelas secundarias generales o tcnicas. Utilizando los resultados de la exposicin diferencial que representan el impacto del programa luego de 1.5 aos para nios y nias, se observa que el impacto sobre los grados de escolaridad, si bien es significativo para ambos grupos, en general es ms de dos veces mayor para estudiantes que tienen acceso a escuelas generales o tcnicas frente a los que slo tienen acceso a telesecundarias. El cuadro 17, por su parte, muestra los impactos de acuerdo con las tasas estudiantes/maestro de las escuelas secundarias disponibles antes del programa. En este caso simplemente se dividieron las escuelas disponibles de acuerdo con las que estn por arriba o por debajo del promedio de la tasa estudiantes/maestro de la muestra: tasas altas estudiantes/maestro son las mayores a 20, en tanto que las bajas son las menores a esa cifra. En general, a nivel internacional se considera que las tasas menores estudiantes/maestro se asocian de manera positiva con la calidad escolar. Los resultados sugieren que los estudiantes que tienen acceso a escuelas con tasas

Las estimaciones no podran interpretarse si condicionaran sobre las caractersticas de las escuelas afectadas por Oportunidades, ya que sera imposible distinguir entre el impacto de la intervencin y las caractersticas de la escuela afectada por la misma. Por ejemplo, los datos podran usarse para analizar el nivel de calidad escolar disponible en las escuelas a las que asisten los beneficiarios de Oportunidades frente a otras escuelas a nivel nacional, a travs de una comparacin de la encuesta escolar de la Encel2003 contra la encuesta escolar en la Encuesta de Vida Familiar (2002).

 51
Estimaciones de impacto

estudiantes/maestro ms bajas tienden a mostrar mejores impactos del programa, aunque stos sean significativos para ambos grupos. Por ejemplo, en el caso de los nios que tenan nueve a 15 aos de edad en 1997, el impacto del programa cuando tienen acceso a escuelas secundarias con tasas bajas estudiantes/maestro es de 0.25, y de 0.17 cuando las tasas estudiantes/maestro son altas. Los resultados correspondientes para las nias de nueve a 15 aos de edad en 1997 son de 0.18 en escuelas con tasas bajas estudiantes/maestro y de 0.12 en escuelas con tasas altas. Es probable que existan muchas dimensiones por explorar en cuanto a calidad escolar, pero los dos indicadores examinados aqu son congruentes con la posibilidad de que la calidad de las escuelas o la calidad percibida de las mismas se encuentre relacionada con el impacto de Oportunidades. Este trabajo ofrece slo un vistazo inicial a dichas reas; la relacin potencial del impacto de Oportunidades con la calidad escolar deber ser un tema central de trabajos futuros.
ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES 9 A 15 AOS EN 1997 - T1998 CONTRA T2000 ACCESO SOLO ACCESO A ESCUELAS A TELESECUNDARIAS GENERALES Y AGRICOLAS DE T2000 TECNICAS COEFICIENTE NIAS ERROR ESTANDAR COEFICIENTE ERROR ESTANDAR CUADRO 16.

Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 19970.162 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 <=3 4 5 6 7+ 0.169 0.186 0.145 0.118 0.247 0.231 0.242 0.123 [0.075]** [0.085]** [0.072]** [0.085] [0.102]** [0.107]** [0.099]** [0.094] -0.092 1.022 0.178 -0.067 0.107 0.186 0.587 0.255 [0.184] [0.255]*** [0.200] [0.225] [0.284] [0.288] [0.274]** [0.311] [0.044]*** 0.25 [0.122]** 0.103 -0.048 0.379 0.178 0.08 [0.088] [0.107] [0.111]*** [0.093]* [0.105] 0.214 0.187 0.441 0.635 0.238 [0.263] [0.313] [0.343] [0.251]** [0.319] 0.019 0.186 0.176 [0.075] [0.091]** [0.073]** 0.069 0.349 0.566 [0.231] [0.261] [0.209]*** 0.131 [0.046]*** 0.353 [0.132]***

Impacto de la exposicin diferencial a Oportunidades sobre los grados de escolaridad completados, por tipo de secundaria disponible

Por grados de escolaridad en 1997

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 52
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 17.

ESTIMACIONES POR DIFERENCIAS EN DIFERENCIAS: NIOS Y ADOLESCENTES 9 A 15 AOS EN 1997 - T1998 CONTRA T2000 <20 ANTES DEL PROGRAMA COEFICIENTE ERROR ESTANDAR >=20 ANTES DEL PROGRAMA COEFICIENTE ERROR ESTANDAR

Impacto de la exposicin diferencial a Oportunidades sobre grados de escolaridad completados, por tasa estudiantes/ maestro en escuelas secundarias disponibles antes del programa.

Nias Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 0.250 Por grupo de edad en 1997 9 a 10 11 a 12 13 a 15 Por aos de escolaridad 1997 <=3 4 5 6 7+ -0.067 0.107 0.186 0.587 0.255 [0.225] [0.284] [0.288] [0.274]** [0.311] 0.185 0.121 0.300 0.132 0.327 [0.092]** [0.116] [0.122]** [0.115] [0.114]*** -0.092 1.022 0.178 [0.184] [0.255]*** [0.200] 0.189 0.087 0.228 [0.084]** [0.095] [0.082]*** [0.122]** 0.172 [0.050]*** 0.013 0.217 0.290 0.035 0.016 0.435 0.376 0.142 [0.102] [0.121]* [0.098]*** [0.121] [0.140] [0.154]*** [0.121]*** [0.133] 0.029 0.184 0.130 0.037 0.078 0.500 0.170 -0.055 [0.085] [0.100]* [0.084] [0.095] [0.119] [0.125]*** [0.106] [0.134] 0.183 [0.061]*** 0.120 [0.052]** Tasa estudiantes/maestro Tasa estudiantes/maestro

Por grados de escolaridad 1997

Nota: estimadores basados en estimaciones de regresin por diferencias. Se controla por edad y educacin de los padres, races indgenas y caractersticas de la vivienda (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 53
Estimaciones pareadas

n el captulo IV se presentaron las estimaciones de impacto de la exposicin diferencial de alrededor de ao y medio a Oportunidades entre el grupo original de tratamiento (T1998) y el grupo original de control (T2000). En esta seccin se presentan estimaciones de impacto de la exposicin diferencial a Oportunidades entre el grupo original de tratamiento (T1998), con cinco aos y medio de exposicin, y el grupo pareado de comparacin (C2003), sin ninguna exposicin. Puesto que el grupo C2003 no fue escogido al azar en un diseo experimental (a diferencia de los grupos T1998 y T2000), aqu se emplea una estrategia diferente para evaluar los impactos del programa a travs de mtodos de pareamiento. Para cada individuo del grupo original de tratamiento (T1998), este mtodo selecciona otro individuo comparable del grupo externo de comparacin (C2003), que incluye hogares de reas rurales donde Oportunidades no estaba todava disponible en 2003. Estas localidades fueron seleccionadas mediante el pareamiento del puntaje de propensin (con base en datos agregados a nivel de la localidad) para comparar las caractersticas de las localidades en que el programa s estaba disponible.13,z Como para el grupo de comparacin se utilizan datos de hogares de localidades donde Oportunidades an no est disponible, estos hogares tienen pocas probabilidades de haber recibido los efectos del programa. No obstante, los datos se obtuvieron en diferentes reas geogrficas de un grupo de tratamiento, de modo que los hogares de control pueden estar sujetos a efectos diferentes debidos al rea particular (condiciones del mercado de trabajo, calidad escolar, calidad de las clnicas de atencin a la salud, precios) que podran ser relevantes en los resultados que aqu interesan. Los mtodos de comparacin pareada por diferencias en diferencias permiten considerar determinadas caractersticas no observadas de las localidades. Estos mtodos comparan el cambio en los resultados dentro del grupo de tratamiento (posteriores al programa menos el punto de partida) con los cambios en los resultados del grupo de control.aa De manera similar al anlisis previo del impacto de la prdida de muestra para los grupos T1998 y T2000, ahora se examina el papel potencial de la prdida de muestra/migracin. El nuevo grupo de comparacin se seleccion y entrevist por primera vez en 2003. Sin embargo, en un esfuerzo por reconstruir los datos del punto de partida de la Encaseh para los nuevos hogares de comparacin de C2003, se pregunt sobre todos los individuos que pertenecan al hogar en 1997 y se aplic una encuesta similar a la Encaseh respecto de sus caractersticas retrospectivas en 1997. Tericamente, esa informacin podra usarse para estudiar los efectos del programa en la prdida de muestra individual, definida como los individuos presentes en el hogar en 1997 y ausentes en 2003. bb

V. Estimaciones pareadas entre T1998 y el grupo de comparacin pareado C2003

El hecho de que se utilizara la comparacin pareada a nivel de localidades para crear la muestra C2003 no debe confundirse con el uso de la comparacin pareada en esta seccin a nivel de hogares para estimar los impactos del programa. aa Hay varios mtodos alternativos para seleccionar un individuo comparable en el grupo de control. Se exploraron las opciones y se descubri que los resultados bsicos son consistentes con ellas. Por lo tanto, para las estimaciones reportadas en este trabajo, se us el mtodo del referente ms cercano, ya que es el ms simple y se encuentra disponible al menos en un software ampliamente utilizado (Stata). Un estudio reciente13 ofrece una amplia discusin al respecto y sobre mtodos alternativos de pareamiento, as como de la forma en que se pueden implementar dentro del contexto especfico del proyecto de evaluacin de Oportunidades. Sin embargo, debido a una crtica tambin reciente43 sobre el mtodo de anlisis de remuestreo (bootstrapping) para obtener errores estndar para los estimadores de pareamiento de referente ms cercano, se han estimado nuevamente esas relaciones utilizando regresiones lineales de tipo kernel/locales. Tambin se ha utilizado un estimador alternativo de la varianza.44 En general, las estimaciones obtenidas no son muy diferentes de las que se presentan en este trabajo.

 54
Impacto sobre la educacin y el trabajo de jvenes del medio rural

El cuadro 18 presenta las proporciones de la muestra que ya no se encontraban en el hogar en 2003, tanto para el grupo original de tratamiento (T1998) como para el nuevo grupo de comparacin (C2003). Las diferencias son notables, especialmente para nias. Las tabulaciones descriptivas sugieren que mucho menos jvenes dejan el hogar en el nuevo grupo de comparacin que en el grupo original de tratamiento (y estas tendencias se mantienen en los resultados de pareamiento que no se reportan aqu, los cuales sugieren que las nias de mayor edad en el programa tienen ms probabilidades de salir de la muestra en 25 a 30 puntos porcentuales que las nias comparables que no reciben el programa). Estos resultados son congruentes con la posibilidad de que el programa efectivamente haya tenido un enorme efecto positivo en la emigracin de los jvenes. Sin embargo, una opcin inquietante es que al pedir a los informantes que recordaran el padrn de miembros del hogar seis aos antes, stos hayan olvidado algn miembro, de tal modo que los registros de 1997 basados en recuerdos en 2003 pueden estar incompletos en algunos casos para el nuevo grupo de comparacin. Los efectos son mayores para nios ms grandes, lo que es congruente con la mayor probabilidad de que hayan dejado el hogar, y por lo tanto tienen un potencial ms alto de generar subreportes. Dado el tamao de las estimaciones y los resultados de los captulos III y IV que sugieren pocos impactos importantes en la prdida de la muestra y la migracin debidos a la exposicin diferencial al programa, se piensa que las estimaciones son demasiado altas para ser realistas. As que probablemente el nuevo grupo de comparacin haya dado un subreporte en 2003 de los individuos presentes en el hogar en 1997 (los cuales emigraron posteriormente).cc

CUADRO 18.

T1998 Nias 9 10 11 12 13 14 15 Nios 9 10 11 12 13 14 15 0.065 0.102 0.163 0.245 0.352 0.408 0.483 0.099 0.163 0.274 0.375 0.470 0.483 0.576

C2003 0.043 0.087 0.088 0.131 0.201 0.264 0.288 0.031 0.026 0.116 0.193 0.211 0.259 0.308

Proporcin de individuos que dejaron el hogar entre 1997 y 2003. T1998 contra C2003

bb Ntese, sin embargo, que no es posible hacer lo mismo para el nivel de migracin de los hogares, ya que no existe informacin en la encuesta acerca de los hogares en las nuevas localidades de comparacin que hubieran podido migrar entre 1997 y 2003.

 55
Estimaciones pareadas

El impacto que lo anterior pudiera tener sobre las estimaciones pareadas por diferencias en diferencias realizadas aqu (que dependen de la informacin sobre los individuos tanto en 1997 como en 2003) no es obvio. Ntese que a diferencia de los resultados basados en la exposicin diferencial, en los que puede corregirse la prdida de muestra diferencial volviendo a ponderar las observaciones, no es claro cmo se podra llevar a cabo tal ejercicio en el contexto actual. Cualquier desviacin potencial de los resultados considerados en esta seccin puede, no obstante, reducirse en la medida en que el pareamiento logre equilibrar la muestra anterior al programa. Se presenta en primer trmino la estimacin de la propensin al tratamiento basada en las caractersticas previas al programa observadas para T1998 que estn disponibles, con informacin retrospectiva, para el grupo C2003. En el caso de las comunidades de T1998, slo se utilizaron las que eran inicialmente elegibles bajo los criterios originales del programa, ya que son los nicos hogares de la muestra que podan haber recibido los beneficios durante ms de cinco aos y, por lo tanto, son los ms relevantes para realizar estimaciones de los efectos del programa a mediano plazo. En el caso del grupo C2003, el anlisis se restringi a los hogares elegibles de acuerdo con la nueva definicin del modelo basada en las caractersticas de 2003.dd Las variables utilizadas para el pareamiento incluyen los siguientes datos para 1997: caractersticas demogrficas de los hogares, grados de escolaridad terminada del jefe de familia y su cnyuge, si stos hablaban lengua indgena, si estaban empleados, algunas caractersticas del hogar y bienes durables de consumo y produccin, el puntaje de Oportunidades para la elegibilidad en el programa, los ingresos y el estado de residencia. El cuadro 19 presenta la relacin probit estimada, que es significativa a nivel del 0.1% de acuerdo con una prueba Chi2, y tiene un poder de prediccin bastante alto (pseudo R cuadrada = 0.58). La relacin estimada se usa entonces para generar puntajes de propensin para los hogares en la muestra C2003. Las figuras 14 y 15 presentan la distribucin de los puntajes de propensin en el grupo original de tratamiento (T1998) y la distribucin de los puntajes de propensin en el grupo de comparacin C2003. A pesar de que las caractersticas de muchos hogares de C2003 los hacen inadecuados para la comparacin con T1998 (esto es, tienen puntajes de propensin muy bajos), existen suficientes argumentos en el sentido de que hay muchos hogares de C2003 que s tienen puntajes de propensin similares a los del grupo T1998, aunque los hogares de comparacin con altos puntajes tienden a ser usados varias veces como pares. Mientras que el puntaje de propensin se realiza a nivel del hogar, el pareamiento se logra al condicionar por edad y sexo (p. ej., nios de ocho aos en el grupo T1998 son pareados nicamente con nios de ocho aos del grupo de comparacin C2003 que viven en hogares con puntajes de propensin similares).ee

cc Este subreporte parece ser mayor para nias que para nios, lo cual es congruente con el hecho de que ms nias dejan el hogar a edades tempranas para casarse. Una razn importante (que da cuenta de ms de 50% de los casos) para el abandono del hogar en esta muestra es el matrimonio. Dados los problemas con la informacin que se describen en el texto esto es, que el subreporte de emigrantes probablemente ocurri en el grupo C2003, en esta seccin no se presentan estimaciones del impacto en lo que se refiere a la migracin y el matrimonio. Claro est que tambin puede haber desviaciones en las estimaciones de escolaridad y trabajo, pero al parecer son menos importantes. dd Desafortunadamente, el modelo original utilizado para determinar quin era elegible en 1997 no pudo reproducirse, de modo que hasta ahora no ha sido aplicar el modelo original al nuevo grupo de comparacin C2003. Esto sera ventajoso pues nos permitira empezar con muestras semejantes antes de hacer el pareamiento para los dos grupos (p. ej., todos los hogares que hubieran sido clasificados como elegibles en 1997 de acuerdo con el viejo modelo). El gran nmero de hogares de C2003 con valores muy bajos en la calificacin de la propensin pudiera reflejar la inclusin de muchos hogares que hubieran sido inelegibles para el programa en 1997. ee Se utiliz Stata para las estimaciones. Con ese software no es posible parear la edad y combinar edades como se hizo en el captulo IV.

CUADRO 19.

Modelo probit para la probabilidad de participar en Oportunidades en zona rural

56

D=1 HOGARES POBRES ORIGINALES EN EL GRUPO DE TRATAMIENTO 1998

D=0 HOGARES ELEGIBLES BAJO EL NUEVO MODELO EN EL NUEVO GRUPO DE COMPARACIN

VARIABLE ERROR ESTNDAR Z VARIABLE COEFICIENTE

COEFICIENTE

ERROR ESTNDAR

Edad del jefe del hogar 1.640 0.101 Ingreso total del hogar al cuadrado 0.000 -0.011 0.183 0.576 0.250 0.109 0.150 0.304 0.603 -0.098 0.048 1.144 Estado2 Estado3 Estado4 Estado5 0.630 0.768 0.341 0.382 0.003 -1.650 Licuadora Refrigerador Estufa de gas Calentador de gas Radio Televisin Video Lavadora Auto Camin Estado1 7.170 4.160 3.720 -7.320 -15.100 -7.230 -8.300 -16.900 -10.950 1.190 2.480 1.500 -2.160 -8.450 0.090 0.066 0.072 0.008 0.009 0.075 0.054 0.023 0.024 0.030 0.024 0.058 0.048 0.045

0.002

0.000 0.052 0.091 0.065 0.129 0.035 0.043 0.142 0.154 0.177 0.126 0.116 0.080 0.084 0.080 0.080

1.320 -0.210 2.020 8.910 1.950 3.070 3.450 2.140 3.920 -0.550 0.380 9.820 7.870 9.150 4.270 4.790

Edad del o la cnyuge

-0.004

Gnero del jefe del hogar

0.644

Jefe del hogar habla una

lengua indgena

0.274

Cnyuge habla una

lengua indgena

0.267

Grados de escolaridad

del jefe del hogar

-0.058

Grados de escolaridad

del cnyuge

-0.129

Jefe del hogar empleado

-0.542

Cnyuge empleado

-0.445

Hijo(a)s 0 a 5

-0.393

Hijo(a)s 6 a 21

-0.265

Hijo(a)s 13 a 15

0.036

Hijo(a)s 16 a 20

0.060

Mujeres 20 a 39

0.086

Mujeres 40 a 59

-0.104

Mujeres 60+

-0.379

Impacto sobre la educacin y el trabajo de jvenes del medio rural

contina /

/ continuacin

Hombres 20 a 39 0.038 0.560 Estado6 -0.463 0.075 -6.130 -26.970 -20.240 1.100 -0.630 1.420 0.470 0.409 0.468 0.522 0.371 -2.203 -0.609 0.824 -1.658 Pseudo R2 Probabilidad Log 0.345 0.762 0.534 0.523 0.242 0.584 -3771.644 2.660 -0.720 0.770 1.070 -2.890 -1.140 1.570 -6.870 0.080 0.116 0.853 1.321 1.387 2.219 -2.156 -2.352 0.937 -0.836 1.974 1.045 1.087 -0.336 0.404 Grados faltantes de escolaridad jefe del hogar 0.056 -13.100 Grados faltantes de escolaridad cnyuge 0.020 12.020 Edad faltante jefe del hogar Edad faltante cnyuge Lengua indgena faltante jefe del hogar 0.048 -12.050 Empleado faltante jefe del hogar 0.043 4.610 Empleado faltante cnyuge Agua faltante Electricidad faltante Cuartos faltante Ingreso faltante Poseen animales faltante Poseen tierra faltante Constante 2.940 4.960 6.080 15.120 -7.630 -16.480 0.046 0.040 0.037 0.108 0.015 0.000 -6.100 -9.430 0.040 0.039 -9.810 0.050

0.021

Estimaciones pareadas

Hombres 40 a 59

-0.495

Hombres 60+

-0.727

Nm. de cuartos

0.238

Electricidad en el hogar

-0.242

Agua en el hogar

-0.367

Piso de tierra

-0.583

Material de los cuartos

(inferior)

0.197

Material de paredes (inferior)

0.135

Poseen animales

0.198

Poseen tierra

0.223

Calificacin

1.632

Calificacin al cuadrado

-0.115

Ingreso total del hogar

0.000

Nmero de observaciones

13336

LR chi2(60)

10591

Prob > chi2

0.000

57

 58
Impacto sobre la educacin y el trabajo de jvenes del medio rural

FIGURA 14.

Fraccin 0.547929

Distribucin de puntajes de propensin para el grupo original de tratamiento (T1998)

0 0.00027 Puntaje de propensin Fraccin 0.588899 1

FIGURA 15.

Distribucin de puntajes de propensin para el nuevo grupo de comparacin (C2003)

0 0 Puntaje de propensin 0.99554

Antes de presentar los principales resultados del pareamiento por diferencias en diferencias, tambin se efectu un anlisis comparativo de las diferencias previas al programa (1997). Idealmente, esta comparacin hubiera equilibrado la muestra (p. ej., con diferencias poco significativas entre los grupos de tratamiento T1998 y de comparacin T2000). Sin embargo, dependiendo del indicador, se encontraron algunas diferencias significativas anteriores al programa. En particular, el grupo de comparacin tiende a mostrar niveles ms altos en grados de escolaridad completados antes del programa, tanto para nios como para nias. Desafortunadamente, la inscripcin escolar en 1997 no fue capturada para los hogares de C2003, de modo que las estimaciones slo pueden basarse en la comparacin de las diferencias de 2003, las cuales pueden presentar desviaciones debidas a diferencias previas al programa. Por esta causa, no se incluye la comparacin de estimaciones para la inscripcin. Los resultados sobre diferencias previas al programa para las variables del impacto se presentan en el apndice D.

 59
Estimaciones pareadas

Educacin
Proporcin de alumnos que avanzan de grado oportunamente

El programa muestra efectos significativos en lo que se refiere a la proporcin de jvenes que avanzan de grado a tiempo (cuadro 20). En especial, los nios que tenan nueve a 12 aos en 1997 (15 a 18 en 2003) muestran incrementos significativos en la probabilidad de avanzar a tiempo a travs de los grados escolares, lo mismo que las nias de nueve y 10 aos en 1997. Los efectos sobre los nios de nueve a 12 aos en 1997 (15 a 18 en 2003) implican que la proporcin de jvenes que avanzan de grado a tiempo se incrementa de manera sustancial: de 0.16 a 0.23, lo que corresponde a un incremento de 38% a 64% en comparacin con el grupo C2003 en 2003. El efecto sobre las nias de nueve y 10 aos en 1997 (15 y 16 en 2003) implica que la proporcin de jvenes que avanzan de grado a tiempo tambin se incrementa sustancialmente: de 0.15 a 0.20, lo que corresponde a un incremento de 30 a 39% respecto del grupo C2003 en 2003. En comparacin con los resultados de la exposicin diferencial, los impactos pareados son mucho ms grandes, tal como podra esperarse, ya que representan resultados de un periodo de tiempo ms largo. Los resultados de la exposicin diferencial en el captulo IV sugieren un impacto positivo de 7% para los nios. Tal como ocurri en los resultados del captulo IV, basados en la exposicin diferencial al programa, los efectos sobre los nios por lo general parecen ser ms grandes y significativos que sobre las nias, y son aproximadamente iguales para los dos gneros nicamente para el grupo que tena nueve aos en 1997 (15 en 2003). Los resultados sugieren no slo que el programa est elevando los niveles de escolaridad, sino que los nios lo estn haciendo ms rpidamente, con menos retrasos en el avance de grados por reprobacin, repeticin de aos o desercin.
ESTIMACIONES PAREADAS T1998 CONTRA C2003* EDAD EN 1997 PROPORCION DE C2003 QUE AVANZO A TIEMPO ESTIMACION DE IMPACTO ERROR ESTANDAR NUMERO DE OBSERVACIONES PORCENTAJE DE CAMBIO RELATIVO AL GRUPO C2003 CUADRO 20.

Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15 0.558 0.453 0.350 0.296 0.280 0.259 0.266 0.210 0.233 0.223 0.155 0.058 -0.007 -0.056 [0.085]* [0.084]* [0.053]* [0.053]* [0.049] [0.045] [0.054] 915 880 826 821 566 669 579 37.7% 51.5% 63.6% 52.3% 20.6% -2.7% -21.2%

Impactos de mediano plazo de Oportunidades sobre la proporcin de alumnos que avanzan de grado escolar a tiempo

0.527 0.500 0.413 0.338 0.333 0.295 0.308

0.204 0.152 0.113 -0.008 -0.046 -0.061 -0.187

[0.075]* [0.066]* [0.082] [0.071] [0.071] [0.057] [0.087]*

866 829 909 645 652 560 462

38.8% 30.4% 27.3% -2.3% -13.9% -20.7% -60.8%

Estimador pareado de la diferencia del referente ms cercano (pero como el resultado es indicador de un cambio en grados completados igual o mayor a cinco entre 1997 y 2003, esto se relaciona con una estimacin por diferencias en diferencias para los aos terminados) que impone apoyo comn. Observaciones de tratamiento y control. Errores estndar basados en remuestreo (bootstrap) con 500 rplicas. * Estimaciones significativas al 10%.

 60
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Grados de escolaridad completados

El cuadro 21 presenta los resultados pareados del impacto de Oportunidades sobre los grados de escolaridad completados por nios y nias. Los resultados muestran efectos importantes en los grados terminados para ambos, especialmente para los de menor edad. En trminos generales, los nios que tenan nueve a 13 aos de edad en 1997 (15 a 19 en 2003) acumulan en promedio cerca de un ao ms de escolaridad en comparacin con los nios que no tienen acceso al programa, con efectos significativos para todas las edades excepto 14 y 15 aos. Las nias de nueve a 12 aos de edad en 1997 (15 a 18 en 2003) acumularon en promedio casi un grado ms de escolaridad, aunque las de 14 aos acumularon slo 0.7 grados ms de escolaridad. En comparacin con los grados de escolaridad completados en el nuevo grupo de comparacin en 2003 (siete aos en promedio para nios y nias menores de 12 aos de edad en 1997 y menores de 19 en 2003), este impacto representa un incremento de alrededor de 14% en el conjunto de grados escolares completados, en comparacin con el grupo de comparacin C2003 que nunca recibi beneficios de Oportunidades. De este modo, los resultados sugieren impactos importantes en la acumulacin de escolaridad. Es interesante anotar que los resultados son ms o menos congruentes con las estimaciones de exposicin diferencial del captulo IV, que mostraban alrededor de 0.2 grados ms de escolaridad luego de ao y medio de beneficios adicionales del programa. Los efectos generalmente no son significativos para nios y nias de ms edad (excepto para las nias de 14 aos), lo cual es congruente con las evaluaciones anteriores que mostraban pocos impactos sobre la educacin para estos jvenes, como poda esperarse, dada su edad relativamente avanzada en 1997 frente a la posibilidad de asistir a la escuela secundaria.

CUADRO 21.

Impactos de mediano plazo de Oportunidades sobre los grados de escolaridad completados

EDAD EN 1997

GRADOS DE

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 ESTIMACION ERROR ESTANDAR NUMERO DE DE IMPACTO OBSERVACIONES

PORCENTAJE DE CAMBIO RELATIVO AL GRUPO C2003

ESCOLARIDAD TERMINADOS EN 2003 PARA C2003

Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15

6.98 6.95 7.25 7.35 7.17 7.16 7.21

0.952 1.142 1.307 1.108 0.872 0.344 0.329

[0.285]* [0.274]* [0.313]* [0.303]* [0.280]* [0.373] [0.303]

881 846 795 777 527 624 531

13.6% 16.4% 18.0% 15.1% 12.2% 4.8% 4.6%

6.83 7.12 7.51 7.71 7.65 7.27 6.9

0.961 0.935 0.869 0.740 0.273 0.668 0.225

[0.293]* [0.321]* [0.413]* [0.358]* [0.442] [0.267]* [0.458]

826 796 744 608 600 492 396

14.1% 13.1% 11.6% 9.6% 3.6% 9.2% 3.3%

Pareamiento del referente ms cercano, estimador por diferencias en diferencias, impone apoyo comn. Errores estndar basados en remuestreo (bootstrap) con 500 rplicas. Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

 61
Estimaciones pareadas

Resultados de las pruebas de aprovechamiento (cuadros 22 a 24)

Como se expuso antes, la estimacin del impacto de Oportunidades por pareamiento es problemtica en el caso de las pruebas de aprovechamiento, ya que no se cuenta con ningn punto de referencia de resultados en ese campo y no puede realizarse el pareamiento por diferencias en diferencias. Esto es muy inquietante, ya que el apndice E en el cuadro E.1 se mostraron efectos importantes de la escolarizacin sobre las pruebas de aprovechamiento y resultados anteriores de pareamiento mostraron que el grupo C2003, luego del pareamiento, segua teniendo niveles ms altos de escolaridad en 1997 que sus pares de tratamiento, lo cual significa que probablemente hubieran tenido mejores resultados en las pruebas WJ de haber sido aplicadas en 1997. Se trat de controlar para esta probable desviacin de dos maneras similares. En el primer mtodo se ajust directamente el resultado de los jvenes del grupo de tratamiento para explicar el nivel ms alto de escolaridad en el grupo C2003; para ello se ajustaron los resultados usando la diferencia promedio anterior al programa (1997) en escolaridad por edad y gnero (vase el cuadro D.1 del apndice D) y los coeficientes de los grados de escolaridad del cuadro E.1 del apndice E. En el segundo mtodo, se predijo el nivel de los resultados de las pruebas de aprovechamiento en 1997 con base en los coeficientes estimados en el modelo reportado en el cuadro E.1 del apndice E y las caractersticas de los jvenes en 1997; de este modo se consider la diferencia en escolarizacin entre 1997 y 2003. Despus se rest esto de los resultados reales de aprovechamiento de 2003, efectuando as una estimacin por diferencias en diferencias. En la prctica, los dos mtodos arrojan resultados similares, aunque aqu slo se reportan los del segundo mtodo. Un ltimo aspecto se relaciona con el tamao de las muestras. Tal como se dijo antes, la muestra a la que se aplicaron las pruebas de aprovechamiento es menor que toda la muestra, de modo que en el caso del pareamiento, donde se condiciona por gnero y edad, los tamaos de muestra de algunos grupos se vuelven considerablemente pequeos. As que se realizaron unos cuantos ajustes. En primer

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 EDAD EN 1997 RESULTADO BRUTO EN 2003 PARA C2003 ESTIMACION DE IMPACTO ERROR ESTANDAR NUMERO DE OBSERVACIONES PORCENTAJE DE CAMBIO RELATIVO AL GRUPO C2003

CUADRO 22.

Nios 9 10 11 12 13 Nias 9 10 11 12 13

52.38 53.04 53.16 52.41 53.31

1.613 4.288 0.489 0.164 1.706

[1.806] [2.021]* [1.342] [1.351] [3.111]

268 341 232 179 106

3.1% 8.1% 0.9% 0.3% 3.2%

Impactos de mediano plazo de Oportunidades sobre la prueba de lectura Woodcock Johnson

51.64 52.86 54.42 53.19 50.69

0.897 -0.431 -0.805 2.316 3.569

[1.258] [0.798] [0.917] [2.150] [3.012]

275 330 312 223 148

1.7% -0.9% -1.5% 4.4% 7.2%

Pareamiento del referente ms cercano, estimador por diferencias en diferencias, impone apoyo comn. Errores estndar basados en remuestreo (bootstrap) con 500 rplicas. Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

 62
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 23.

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 EDAD EN 1997 RESULTADO BRUTO EN 2003 PARA C2003 ESTIMACION DE IMPACTO ERROR ESTANDAR NUMERO DE OBSERVACIONES PORCENTAJE DE CAMBIO RELATIVO A C2003

Impactos de mediano plazo de Oportunidades sobre la prueba de matemticas Woodcock Johnson

Nios 9 10 11 12 13 Nias 9 10 11 12 13

32.51 33.38 32.99 32.78 33.66

-0.506 2.337 -0.967 -0.585 1.014

[1.287] [1.327]* [1.900] [1.229] [2.579]

269 337 229 178 104

-1.6% 7.0% -2.9% -1.8% 3.0%

31.32 31.85 31.91 31.99 31.63

-0.186 -1.117 -0.082 0.268 0.134

[1.331] [1.065] [0.874] [0.962] [1.446]

268 329 311 222 148

-0.6% -3.5% -0.3% 0.8% 0.4%

Pareamiento del referente ms cercano, estimador por diferencias en diferencias, impone apoyo comn. Errores estndar basados en remuestreo (bootstrap) con 500 rplicas. Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

CUADRO 24.

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 EDAD EN 1997 RESULTADO BRUTO EN 2003 PARA C2003 ESTIMACION DE IMPACTO ERROR ESTANDAR NUMERO DE OBSERVACIONES PORCENTAJE DE CAMBIO RELATIVO A C2003

Impactos de mediano plazo de Oportunidades sobre la prueba de lenguaje escrito Woodcock Johnson

Nios 9 10 11 12 13 Nias 9 10 11 12 13

35.15 35.67 35.62 36.23 34.88

0.011 3.707 0.443 -0.529 4.374

[1.232] [1.402]*** [1.726] [1.685] [2.225]*

264 339 233 178 106

0.0% 10.4% 1.2% -1.5% 12.5%

34.76 35.84 35.72 35.40 34.40

-0.609 -0.693 1.535 2.674 1.848

[1.497] [0.966] [1.685] [1.656]* [1.779]

274 329 311 221 146

-1.8% -1.9% 4.3% 7.6% 5.4%

Pareamiento del referente ms cercano, estimador por diferencias en diferencias, impone apoyo comn. Errores estndar basados en remuestreo (bootstrap) con 500 rplicas.. Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%. ***Estimaciones significativas al nivel de 1%.

 63
Estimaciones pareadas

lugar, para este anlisis se incluyeron junto con los pobres originales de la muestra T1998, los pobres originales de la muestra T2000. Esto aumenta en 70% la muestra tratada e implica que los resultados captan los efectos de cuatro aos a cinco aos y medio de beneficios de Oportunidades frente al grupo de comparacin no tratado (C2003). Incluso con esta muestra adicional, los resultados para jvenes de 14 y 15 aos fueron muy variables en relacin a algunos supuestos del anlisis pareado, lo cual se atribuye al nmero ms pequeo de casos para sujetos de 14 y 15 aos (en 1997). As pues, los resultados de las pruebas de aprovechamiento se reportan slo para jvenes de nueve a 13 aos en 1997 (15 a 19 en 2003). Los cuadros 22 a 24 presentan los resultados. Comenzando por las pruebas de aprovechamiento de lectura (cuadro 22), los resultados muestran en general coeficientes positivos en los resultados, aunque los impactos son significativos slo para nios de 10 aos en 1997 (16 en 2003). Los nios de 10 aos lograron un incremento en los resultados sobre el nmero de preguntas contestadas de lectura en 8.1%. Las nias no muestran impactos significativos. Los resultados de las pruebas de aprovechamiento en matemticas son variados. La mayora de los coeficientes son insignificantes, aunque nuevamente hay un impacto positivo y significativo para nios de 10 aos en 1997 (16 en 2003), lo cual implica un incremento en los resultados sobre el nmero de preguntas contestadas en matemticas de 7%. Para las nias todos los coeficientes de impacto son insignificantes. Finalmente, en las pruebas de aprovechamiento de lenguaje escrito, hay ms resultados positivos (cuadro 24). Los nios de 10 y 13 aos de edad en 1997 (16 y 19 en 2003) muestran resultados significativamente ms altos en escritura, al igual que las nias de 12 aos en 1997 (18 en 2003). En especial, los nios de 10 y 13 aos alcanzaron un aumento en sus resultados sobre nmeros de preguntas contestadas de 10.4% y 12.5%, mientras que las nias de 12 aos lograron in incremento significativo en sus resultados brutos de 7.6%. En cuanto a los impactos significativos, su tamao es ligeramente ms pequeo, aunque en general concuerdan con los impactos en educacin presentados previamente y con las estimaciones regresivas del impacto general de ao y medio de escolaridad en los resultados de las pruebas WJ. No obstante, en trminos generales estos impactos no son tan positivos (o significativos) como se hubiera esperado, dados los importantes impactos observados en los grados de escolaridad a travs de las estimaciones pareadas. Nuevamente, debe destacarse que los resultados estn limitados por la falta de una encuesta de lnea basal en pruebas de aprovechamiento, la cual hubiera permitido controlar la posibilidad de que el grupo C2003 tuviera mejores resultados previos al programa que los obtenidos por los grupos T1998 y C2000. Es ampliamente recomendable que esas pruebas se repliquen en el futuro, lo cual permitira hacer estimaciones por diferencias en diferencias, y por esa va captar mejor los impactos potenciales del programa.

Trabajo
Empleo en 2003

Tal como se expuso en el captulo IV, existen al menos dos impactos potenciales del programa sobre el trabajo. Para los jvenes que an estn en la escuela, el programa tiende a reducir el trabajo; sin embargo, para los que no estn en la escuela, pero que han logrado terminar grados ms elevados de escolaridad gracias a Oportunidades, el programa tiende a incrementar el trabajo. En el caso de los nios, al igual que en los resultados de la exposicin diferencial, el efecto negativo del trabajo parece predominar. El cuadro 25 muestra efectos negativos importantes sobre la probabilidad de trabajar para los jvenes del grupo T1998, especialmente para los varones. Para todos los grupos de menor edad el coeficiente asociado con el trabajo es negativo, y lo es de manera significativa para los de 10 y 14 aos en 1997 (16 y 20 en 2003), que muestran reducciones en la proporcin de individuos que

 64
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO 25.

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 EDAD EN 1997 RESULTADO BRUTO EN 2003 PARA C2003 ESTIMACION DE IMPACTO ERROR ESTANDAR NUMERO DE OBSERVACIONES

Impactos de mediano plazo de Oportunidades sobre la probabilidad de trabajar

PORCENTAJE DE CAMBIO RELATIVO AL GRUPO C2003

Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15

0.387 0.618 0.652 0.756 0.734 0.846 0.864

-0.132 -0.217 -0.021 -0.118 0.054 -0.242 0.030

[0.084] [0.084]* [0.077] [0.077] [0.081] [0.077]* [0.108]

902 868 813 799 556 656 558

-34.0% -35.1% -3.2% -15.5% 7.3% -28.7% 3.4%

0.163 0.191 0.263 0.334 0.336 0.302 0.321

-0.090 0.033 0.082 -0.039 -0.023 0.067 0.157

[0.062] [0.056] [0.071] [0.066] [0.097] [0.077] [0.139]

853 817 769 631 638 553 457

-55.2% 17.0% 31.0% -11.6% -6.8% 22.2% 49.0%

Pareamiento del referente ms cercano, estimador por diferencias en diferencias, impone apoyo comn. Errores estndar basados en remuestreo (bootstrap) con 500 rplicas. Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

trabajan de -35.1% y -28.7%, respectivamente, en comparacin con los jvenes de C2003 que nunca recibieron beneficios. Ntese que los efectos negativos tienden a corresponder a los grupos de edad con mayores incrementos en grados escolares terminados. Esto refuerza la interpretacin de que el efecto ms importante sobre el trabajo para nios est relacionado con el hecho de que stos sustituyen el trabajo con la escuela, en particular en los grupos ms jvenes. En comparacin con los resultados de la exposicin diferencial, estos efectos son significativamente mayores, lo cual otra vez es congruente con los efectos mucho ms altos para grados de escolaridad terminados, que se describen en la seccin Educacin de este captulo con relacin a las estimaciones de pareamiento. En el caso de las nias, al igual que en los resultados de la exposicin diferencial (seccin Trabajo del captulo IV), no hay impactos significativos, positivos ni negativos, sobre la probabilidad de trabajar. Esto puede reflejar en parte las bajas tasas generales de trabajo entre las nias dentro de las comunidades de inters (cuando menos en los tipos de trabajo capturados por la encuesta). Sin embargo, tambin puede reflejar que el trabajo y la escolaridad tienden a ser menos conflictivos en el caso de las nias, lo cual podra ocurrir si el trabajo que realizan las nias es ms compatible con su asistencia a la escuela que el de los nios. En evaluaciones previas del impacto a corto plazo de Oportunidades sobre el trabajo, no se encontraron impactos significativos sobre la probabilidad de trabajo comercial o agrcola en nias;11 no obstante, s se observaron efectos negativos y significativos del programa sobre la participacin y el tiempo dedicado al trabajo domstico.

 65
Estimaciones pareadas

Trabajo agrcola en 2003

En el caso de los nios, la probabilidad de trabajar en el sector agrcola es negativa para todas las edades y de manera significativa para los que tenan 10 y 12 a 14 aos de edad en 1997 (cuadro 26). Los efectos negativos son considerablemente grandes. Por ejemplo, los nios de 10 aos en 1997 (16 en 2003) muestran una reduccin de -55.8% en la probabilidad de participar en el trabajo agrcola. Esto sugiere no slo que los nios han reducido en general su trabajo, sino que los que estn trabajando tienden a hacerlo menos en la agricultura como resultado del programa. Los jvenes que trabajan aparentemente estn dejando las labores agrcolas. En el caso de las nias, no existen patrones consistentes de los impactos estimados del programa, lo que refleja en parte el bajo porcentaje de nias que participa en el trabajo agrcola. El nico impacto significativo para nias es positivo (138.8% de aumento) en el caso de las nias de nueve aos en 1997 (16 en 2003); pero en todas las dems edades los efectos son negativos aunque con errores estndar suficientemente grandes como para no ser significativos al nivel de 10%.

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 EDAD EN 1997 RESULTADO BRUTO EN 2003 PARA C2003 ESTIMACION DE IMPACTO ERROR ESTANDAR NUMERO DE OBSERVACIONES PORCENTAJE DE CAMBIO RELATIVO AL GRUPO C2003

CUADRO 26.

Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15

0.366 0.473 0.481 0.481 0.494 0.507 0.471

-0.079 -0.264 -0.112 -0.216 -0.167 -0.391 -0.011

[0.081] [0.079]* [0.091] [0.086]* [0.089]* [0.105]* [0.157]

892 856 798 783 535 625 514

-21.6% -55.8% -23.4% -44.8% -33.8% -77.1% -2.3%

Impactos de mediano plazo de Oportunidades sobre la probabilidad de trabajar en el sector agrcola

0.035 0.075 0.092 0.079 0.095 0.049 0.030

0.048 -0.058 -0.016 -0.006 -0.039 -0.052 -0.014

[0.019]* [0.047] [0.030] [0.041] [0.055] [0.037] [0.032]

840 796 746 605 615 492 395

138.8% -76.5% -17.5% -8.1% -40.7% -105.3% -46.7%

Pareamiento del referente ms cercano, estimador por diferencias en diferencias, impone apoyo comn Errores estndar basados en remuestreo (bootstrap) con 500 rplicas. Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

Ingresos mensuales por trabajo en 2003

Finalmente, el cuadro 27 muestra el impacto del programa en los ingresos mensuales. Como se describi en el captulo IV, el impacto sobre los salarios podra ser negativo si los jvenes que estn en la escuela reducen su participacin en la fuerza de trabajo (como parece ocurrir sobre todo en nios). El impacto tambin podra ser positivo si los jvenes que dejan la escuela (y han adquirido un nivel de educacin ms elevado como resultado del programa) tienen mayores posibilidades de encontrar trabajo con mejores salarios. Los resultados muestran en general coeficientes negativos en las estimaciones del programa sobre ingresos para los nios y nias ms jvenes, lo que coincide con los efectos negativos sobre la participacin en el trabajo descritos en las cuadros 25 y 26. Sin embargo, los impactos se estimaron de manera imprecisa, ya que los errores estndar son grandes con relacin a las estimaciones puntuales, y ninguno es significativo al nivel de 10%.

CUADRO 27.

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 EDAD EN 1997 RESULTADO BRUTO EN 2003 PARA C2003 ESTIMACION DE IMPACTO ERROR ESTANDAR NUMERO DE OBSERVACIONES PORCENTAJE DE CAMBIO RELATIVO AL GRUPO C2003

Impactos a mediano plazo de Oportunidades sobre los ingresos mensuales por trabajo

Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15

358.67 645.88 806.50 885.50 717.46 872.93 907.49

-33.194 -49.672 -263.606 -104.598 50.376 9.783 -141.294

[113.913] [149.024] [250.168] [251.486] [195.290] [250.224] [317.377]

859 802 646 619 382 407 330

-9.3% -7.7% -32.7% -11.8% 7.0% 1.1% -15.6%

194.38 253.88 302.40 441.63 395.97 407.30 334.79

-149.939 -6.055 -1.185 -118.626 74.228 170.021 180.944

[97.952] [74.149] [95.743] [124.453] [179.790] [166.494] [162.486]

799 709 627 471 382 343 262

-77.1% -2.4% -0.4% -26.9% 18.7% 41.7% 54.0%

Pareamiento del referente ms cercano, estimador por diferencias en diferencias, impone apoyo comn. Errores estndar basados en remuestreo (bootstrap) con 500 rplicas. Observaciones de tratamiento y control.

* Estimaciones significativas al nivel de 10%.

ste informe ha presentado una evaluacin de los impactos de mediano plazo de Oportunidades sobre jvenes adolescentes rurales luego de cinco aos y medio de beneficios.ff En lo que se refiere a la educacin, los resultados apuntan a importantes incrementos. Los resultados de la exposicin diferencial al programa sugieren que los nios con ao y medio ms de beneficios alcanzan 0.2 grados ms de escolarizacin. Con excepcin de los nios mayores (esto es, los que tenan 14 o 15 aos en 1997), las estimaciones pareadas indican que los nios que recibieron en promedio cinco aos y medio de beneficios del programa lograron cerca de un grado ms de escolarizacin que quienes no han recibido el programa. Considerando que los efectos de la escolaridad son relativamente constantes con relacin al tiempo dentro del programa, la extrapolacin de resultados de la exposicin diferencial produce estimaciones similares para los impactos pareados de mediano plazo. De este modo, ambos grupos de resultados reflejan un incremento sustancial en los grados de escolarizacin de los nios que reciben beneficios de Oportunidades. Los efectos de mediano plazo equivalentes a un incremento de alrededor de un grado de escolaridad sugieren un incremento de aproximadamente 14% frente a los que no recibieron el programa en trminos de la totalidad de grados de escolaridad terminados. Este trabajo tambin analiz el impacto de Oportunidades sobre pruebas de aprovechamiento en las reas de lectura, matemticas y lenguaje escrito. Existen ciertos efectos positivos sobre las pruebas de aprovechamiento, especialmente para los nios: aquellos que tenan 10 y 13 aos en 1997 (16 y 19 en 2003), muestran incrementos de 7a 12.5% en los resultados brutos. Las nias de 12 aos de edad tambin muestran un incremento significativo en las pruebas de aprovechamiento de escritura (7.6%). Tal como se dijo antes, la ausencia de un punto de referencia para las pruebas de aprovechamiento ha sido una limitacin para el anlisis, aunque se ha intentado ajustar por posibles diferencias previas al programa. Otra limitacin ms fue el tamao considerablemente menor de la muestra a la que se aplicaron las pruebas de aprovechamiento en comparacin con la muestra total; esto implica que los efectos significativos son ms difciles de encontrar. Otro tema analizado en este documento con relacin a la escolaridad es la calidad de las escuelas. Si bien se incluye slo una breve exploracin de la manera en que los impactos del programa en la educacin pueden variar de acuerdo con las caractersticas de las escuelas, los resultados muestran que los impactos del programa varan por estas razones. En particular, cuando los estudiantes tienen acceso a escuelas diferentes de las telesecundarias y cuando la relacin estudiantes/maestro tiene una tasa reducida, los impactos del programa sobre la educacin parecen ser ms altos. Esto puede reflejar

VI. Conclusiones y recomendaciones

ff

Los crticos potenciales podran preguntar si el hecho de que el diseo del programa (por ejemplo, condicionar las becas a la inscripcin y la asistencia) necesariamente implique efectos positivos, y en este sentido no resulten interesantes ni sorprendentes. Sin embargo, este argumento soslaya el hecho de que, incluso si se espera que los impactos sean positivos (p. ej., que aumente la escolaridad), esa hiptesis no orienta respecto al tamao potencial de los impactos. La participacin total no es obligatoria; por ejemplo, muchas familias pueden no enviar a sus hijos a la escuela. En realidad, mientras que la corresponsabilidad bsica para Oportunidades es la inscripcin en la escuela y la asistencia al menos 85% del tiempo, los mayores impactos no se han encontrado en la inscripcin sino en el avance a travs de los diferentes grados escolares, as como en grados escolares terminados. Claro est que estos resultados se relacionan con el marcador de la inscripcin como cumplimiento de las corresponsabilidades; pero no son idnticos (p. ej., si se reprueba un ao, el programa permite la reinscripcin en el mismo grado). Adems, se consideran otros resultados que estn menos relacionados con la inscripcin: desempeo en pruebas de aprovechamiento, en el mercado de trabajo, en el matrimonio y la migracin. Las estimaciones de estos impactos son menos extensivas y sustanciales, pero de cualquier modo muestran algunos impactos importantes de Oportunidades.

 68
Impacto sobre la educacin y el trabajo de jvenes del medio rural

que los padres tienden a responder ms a las becas cuando esperan mayor beneficio (proveniente de una mejor calidad de las escuelas) por educacin adicional para sus hijos. En lo que se refiere al trabajo, el programa muestra algunos impactos significativos, especialmente en los nios, que tienden a presentar tasas de participacin laboral mucho ms altas que las nias en las comunidades rurales estudiadas. Los dos grupos de resultados muestran en nios una reducida probabilidad de trabajar, y en el caso de las nias no arrojan ningn efecto significativo sobre el trabajo. Tal como se afirm antes, el efecto terico del programa sobre el trabajo es ambiguo. Por un lado existe la tendencia a que los nios que ya estn en la escuela muestren reducida participacin en el trabajo; por otra parte, una vez que han terminado la escuela, el incremento en escolaridad debera repercutir en mejores empleo y salarios. Al menos en el caso de los nios dentro del grupo de edad aqu estudiado, el aparente efecto dominante es que la escolaridad sustituye al trabajo, lo que no parece ser sorprendente para el grupo de edad estudiado. En el caso de las nias no hay algn efecto significativo sobre el trabajo; sin embargo, la participacin en el mercado de trabajo sigue siendo reducida para las mujeres en estas comunidades rurales, y las evaluaciones anteriores no encontraron reducciones en el trabajo de las nias, excepto por lo que se refiere al tiempo dedicado al trabajo domstico.11 Resulta muy interesante estudiar el impacto de Oportunidades sobre las trayectorias laborales y sobre el ingreso de los jvenes al mercado laboral una vez que han terminado su educacin escolar. Sin embargo, en el contexto actual, este tema todava parece prematuro. Muchos de los jvenes de la muestra siguen en la escuela, e incluso la mayora de los que han terminado su educacin escolar apenas estn empezando a ingresar en la fuerza de trabajo. Por otra parte, los nios aqu estudiados slo pueden haber recibido un mximo de cinco aos y medio de becas escolares, aun cuando el programa ofrece este tipo de becas para 10 grados (de tercero de primaria hasta tercero de preparatoria). Ser necesario contar con rondas adicionales de datos y evaluacin para medir el efecto de Oportunidades sobre el empleo futuro y los ingresos de los actuales beneficiarios. Qu sugieren los resultados actuales acerca del desempeo del programa luego de ms de cinco aos de operacin? Los dos conjuntos de resultados que se ofrecen en este documento son congruentes con efectos continuos e importantes en la acumulacin de grados de escolarizacin para nios y nias. Este objetivo bsico del programa parece mostrar incrementos importantes y significativos en la escolaridad de los jvenes mexicanos del medio rural. El incremento estimado de un grado escolar es importante en comparacin con el total de grados de escolaridad terminados por individuos que no han recibido los beneficios del programa, especialmente en el contexto rural. Los resultados de las pruebas de aprovechamiento, en el caso de los nios ms jvenes, muestran incrementos significativos comparables con los incrementos obtenidos en los grados de escolaridad. Sin embargo, en el caso de otros grupos de edad, los impactos son insignificantes, aunque muchos de los coeficientes estimados en general son positivos y podran llegar a ser significativos con una muestra ms grande. Es fundamental la obtencin de evidencias ms concluyentes en las pruebas de aprovechamiento. Los resultados presentados en este trabajo sugieren impactos ms bajos y menos difundidos de lo que se podra esperar, dados los impactos encontrados en grados de escolaridad. No obstante, estos resultados pueden reflejar la falta de datos previos al programa (los cuales s se tenan para el resto de los indicadores de educacin analizados) y el pequeo tamao de la muestra. Es necesario contar con ms datos para examinar este tema. Las pruebas de aprovechamiento constituyen una de las medidas ms objetivas del nivel en que los nios estn aprendiendo en la escuela como resultado de su mayor escolarizacin, y parecen estar estrechamente relacionados con las ganancias obtenidas por la escolarizacin una vez que se ingresa en la fuerza de trabajo. En caso de que evidencias futuras muestren que los impactos en las pruebas de aprovechamiento en realidad son significativamente menos importantes que los impactos en grados de escolarizacin, esto representara un descubrimiento pre-

 69
Conclusiones y recomendaciones

ocupante para el Programa y obligara a realizar ciertos cambios en su diseo (por ejemplo, relacionar las becas con el desempeo en lugar de la inscripcin), a dar mayor importancia a las caractersticas de las escuelas o cuando menos a realizar exploraciones a fondo en torno a las posibles explicaciones.gg En trminos del anlisis futuro a realizarse, se sugiere que una segunda ronda de pruebas de aprovechamiento Woodcock Johnson sea aplicada a los estudiantes de la muestra rural. Esto permitira observar estimaciones reales por diferencias en diferencias del impacto del programa sobre los resultados en el aprovechamiento, lo que constituye una prueba ms rigurosa que la efectuada en el contexto actual. El programa tambin podra considerar el monitoreo riguroso de los resultados en pruebas de aprovechamiento dentro de un contexto ms amplio, quiz trabajando en mayor coordinacin con la Secretara de Educacin Pblica. Se podra seleccionar una muestra ms grande y las pruebas de aprovechamiento se aplicaran en ese grupo, por ejemplo, cada dos aos. La relacin entre pruebas de aprovechamiento, impactos del programa y calidad de las escuelas tambin debe estudiarse de manera directa. Se adelanta la hiptesis de que las escuelas con menor calidad mostraran menores impactos de Oportunidades sobre los resultados del desempeo que las escuelas con mayor nivel de calidad. Sin embargo, esto es algo que debe probarse de manera directa. Las evidencias muestran que los jvenes (y/o sus padres) parecen responder de manera distinta al programa de acuerdo con las caractersticas de las escuelas disponibles en su rea de residencia. Existen importantes interacciones entre los indicadores de calidad escolar y los impactos del programa, y esto tambin debe explorarse. Otra rea potencial de investigacin es la relacin del programa con la migracin, para determinar si los jvenes que incrementan su nivel educativo tienen mayor tendencia a emigrar de la comunidad y posiblemente a obtener mayores ganancias y beneficios gracias al aumento en su educacin escolar. Esta parece ser un rea crtica de investigacin para los impactos a ms largo plazo del programa y seguramente requerir nuevas visitas a las comunidades de inters, as como la posibilidad de dar seguimiento personal a los migrantes. Si bien la Encel 2003 incorpora algo de informacin recopilada directamente del informante sobre el nivel de educacin de los migrantes, es muy difcil capturar informacin de variables tales como ingresos y salarios de migrantes, stas seran las variables ms importantes para analizar el impacto total del programa. Para terminar, se ofrece un breve anlisis de los resultados por gnero. Las evaluaciones anteriores de impactos de corto plazo del programa presentaban un panorama variado de efectos por gnero. Mientras que los estudios que se concentraban en los efectos sobre la inscripcin a nivel de secundaria tendan a mostrar efectos de mayor inscripcin para las nias,6,10,43 los estudios que se enfocaban a objetivos como reprobacin y repeticin de grados tendan a encontrar impactos ms altos para nios, especialmente a nivel primaria.5,hh Los resultados de este trabajo, que se centran en los impactos de mediano plazo del programa, muestran que para el grupo de edad analizado (nueve a 15 aos de edad

gg Ntese que una de las explicaciones posibles se relaciona con las caractersticas de los estudiantes que ms se benefician del programa. Si los estudiantes que reciben mayores impactos del programa en trminos de inscripcin y asistencia a la escuela, son los que tuvieron peores resultados en la escuela o menores capacidades antes del programa, resulta potencialmente congruente que se observen impactos menores en el desempeo que en los grados de escolaridad completados. hh El estudio ms reciente10 evala el programa mediante el anlisis por diferencias en diferencias a nivel escolar para estimar los impactos del programa sobre la inscripcin en la secundaria y la preparatoria, as como la reprobacin y la desercin en primaria. Mientras que se encontraron impactos mucho ms altos para nias en la inscripcin en escuelas secundarias de reas rurales, los impactos a nivel de preparatoria fueron ms altos para los varones. En el nivel de la primaria los impactos ms altos se observaron para nias en lo que se refiere a reprobacin, pero fueron mucho ms altos para nios en cuanto a reduccin de la desercin escolar. Los impactos en el avance a travs de los grados y en aos de escolaridad representan el efecto neto de cierta cantidad de variables distintas, de modo que es difcil decidir si los de dicho estudio son sustancialmente diferentes en trminos de resultados por gnero de los que presentamos aqu. Ntese que el estudio en cuestin se bas en una muestra a nivel nacional y us una metodologa ms agregada, en comparacin con este estudio, que se basa en el anlisis de una muestra representativa de las primeras fases de Oportunidades (por lo tanto no es representativa de impactos a nivel nacional) y provee un anlisis a nivel individual.

 70
Impacto sobre la educacin y el trabajo de jvenes del medio rural

en 1997 o 15 a 21 en 2003) el resultado neto hasta ahora es similar o quiz un poco mayor en los impactos sobre los nios en trminos de grados de escolaridad terminados y pruebas de aprovechamiento. Mientras que la totalidad de grados de escolaridad terminados antes del programa era similar para nios y nias en este grupo de edad, los resultados presentados aqu pueden ser sorprendentes dadas las becas ms altas disponibles para nias tanto en secundaria como en preparatoria. La conveniencia o inconveniencia de que las becas para las nias se hayan fijado en un nivel ms alto que para los nios, ha originado controversia sustancial en las evaluaciones anteriores. Sin embargo, hasta ahora los resultados sugieren que esas becas ms altas no parecen provocar efectos ms importantes para nias que para nios en las reas rurales estudiadas.

Apndice A. Construccin de variables

Construccin de la muestra

Apndices

El anlisis usa jvenes que tenan nueve a 15 aos de edad en 1997, es decir, 15 a 21 aos en 2003. En la prctica existen inconsistencias en las edades reportadas; por ejemplo, no todos los jvenes reportados en el grupo de nueve a 15 aos de edad en 1997 se encuentran en el rango (o ligeramente fuera del rango) de 15 a 21 aos en 2003. Otra preocupacin es si las inconsistencias en edad a lo largo del tiempo lo mismo que en otros indicadores pueden reflejar errores de clculo provocados por el pegado incorrecto de individuos. A fin de corregir algunos errores y garantizar que el pegado de individuos a lo largo de seis aos sea correcto, se elimin de la muestra a cualquier individuo que en 2003 estuviera ms de dos aos fuera del rango de la que debera ser su edad correcta de acuerdo con lo reportado en 1997. Adems se eliminaron todos aquellos individuos que reportaron cambios de gnero en el periodo. Tambin se suprimieron de la muestra los individuos que reportaron cambios imposibles en grados de escolaridad terminados a lo largo del tiempo; esto es, los que reportaron cambios negativos o haber completado ms de 8 grados de escolaridad en seis aos.
Definicin de los indicadores de resultados

Grados de escolaridad completados

Este indicador se construye para 1997 y 2003 usando informacin sobre el nivel y grado. Los aos en preescolar no se tomaron en cuenta. Se permiti que la escuela primaria tuviera un mximo de seis aos, la secundaria tres y la preparatoria otros tres. La educacin universitaria poda alcanzar cinco aos y el trabajo de posgrado cinco aos ms.

Progreso a travs de la escuela

Se define como 1 si la diferencia entre los grados de escolaridad terminados en 1997 y los terminados en 2003 es al menos de cinco; de otro modo se define como 0. Se asume que el grado universitario comienza despus de la preparatoria, de modo que inicialmente se cuenta como 15 aos de escolaridad ms el nmero de aos de universidad reportados, que pueden ser hasta un mximo de cinco. Para los que reportaron maestras y doctorados, se consider que tenan 17 aos de educacin y el lmite superior para estos grados se defini en tres aos.

Empleo
Se considera que un individuo est empleado en cualquiera de los dos aos si reporta haber trabajado la semana anterior o haber tenido trabajo la semana anterior aunque no hubiera trabajado por encontrarse enfermo o de vacaciones.

 72
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Trabajo agrcola
Se define a los trabajadores agrcolas tanto en 1997 como en 2003 de acuerdo con su posicin ocupacional variable. Desafortunadamente, en la encuesta de 2003 es imposible distinguir a quienes trabajan en tierras familiares de los que trabajan en un negocio propiedad de otra familia; de modo que tanto los jornaleros (o peones) como quienes trabajan en negocios familiares se reportan como trabajadores agrcolas. Por lo tanto, la clasificacin del trabajo agrcola que aqu se presenta puede incluir algunos individuos que en realidad no realizan un trabajo agrcola, aunque tienden a ser relativamente pocos.

Ingreso mensual producto del trabajo

Se construye con informacin de la encuesta sobre pagos por empleo y los periodos de dichos pagos. Se elimin el 1% ms alto de los ingresos mensuales reportados para manejar a los que se salen del rango. Los individuos que no tienen ingreso se codificaron con un ingreso mensual producto del trabajo igual a 0 pesos.

Matrimonio
Se definen como individuos casados los que reporten estar legalmente casados o simplemente que viven juntos (cohabitacin).

Prdida de la muestra y migracin

Es importante ofrecer aqu una explicacin de las definiciones y diferencias entre prdida de individuos de la muestra y migrantes, dadas algunas particularidades del diseo de la encuesta. En general, la mayor prdida de muestra se debe a la migracin, ya sea del individuo dentro de un hogar en particular o porque la totalidad del hogar sale de la muestra. Otras razones potenciales para la prdida de muestra son la negativa a responder (slo relevante a nivel de hogares, ya que slo hay un informante por hogar) o por muerte. En lo que se refiere a la prdida a nivel de hogares, de los 24 077 hogares de la muestra original Encaseh 1997, 3 989 no completaron la encuesta socioeconmica de 2003, lo cual arroja una tasa de prdida de alrededor de 16%. En la mayora de los casos hay alguna informacin de la razn por la cual no fue entrevistado el hogar, pero no en todos. Slo un pequeo porcentaje de hogares se neg a responder la encuesta, y la mayor parte de prdida a nivel de hogares parece deberse a la migracin. En cuanto a la prdida individual, de acuerdo con la definicin de la encuesta se considera como prdida de individuos de la muestra a aquellos que han estado fuera del hogar al menos por un ao, as como los que han fallecido. De este modo, casi todos los individuos que se han perdido de la muestra son migrantes, dado que las tasas de mortalidad en este grupo de edad son muy bajas. Los individuos que salieron del hogar menos de un ao antes de la encuesta se consideran como residentes (p. ej., los no migrantes), y la encuesta se conduce como si fueran residentes. Slo los individuos que dejaron el hogar ms de un ao antes de la encuesta se consideran como migrantes. Se captura toda la informacin de la encuesta para todos los individuos excepto los migrantes y los que han fallecido (p. ej., los individuos perdidos), y se recopila cierta informacin limitada sobre los individuos que se han perdido en la muestra. Para el anlisis de la migracin se considera como migrante a cualquier individuo reportado como que sali del hogar (incluyendo los que salieron de ste menos de un ao antes de la encuesta).

 73
Apndices

Relacin de las caractersticas de las escuelas con los individuos

En esta subseccin se describe la forma en que se construyeron y relacionaron los datos de caractersticas de las escuelas con los estudiantes de la muestra. La informacin recopilada presenta ciertos retos para el anlisis, ya que contiene datos sobre las caractersticas de las escuelas en 2003 y no se cuenta con un punto de referencia equivalente previo al programa. Considerar que las caractersticas de las escuelas en 2003 son ajenas a los avances en educacin escolar tal vez no sea correcto, ya que cuestiones como la tasa estudiantes/maestro, al igual que otros indicadores de inversin escolar, sin duda estn afectadas por el programa. En este contexto es decir, analizar si los impactos del programa en escolaridad varan segn la calidad disponible de la escuela las medidas ms apropiadas son los niveles previos al programa, ya sea con datos obtenidos antes del programa o a partir de datos sobre las caractersticas en 2003 que no parecen haber cambiado a lo largo del tiempo. Se utilizan datos administrativos previos al programa de la Secretara de Educacin Pblica (SEP) provenientes de escuelas en 1997 y tambin datos de la encuesta de directores realizada como parte de la Encel 2003. El anlisis se enfoca al tipo de escuela secundaria disponible para los jvenes y a las tasas estudiantes/maestro con informacin de la SEP anterior al programa. El tipo de escuela tiende a no cambiar a lo largo del tiempo, de modo que utilizar informacin de 2003 sobre el tipo de escuela debera ser ajeno a los impactos del programa, a menos que como respuesta a Oportunidades se hayan construido algunas escuelas posteriores al inicio del programa. Por esta razn, para los resultados de la exposicin diferencial se utiliza el tipo de escuela disponible, tal como fue definido en los datos previos al programa de la SEP, con lo que se obtienen resultados muy similares. La definicin de acceso a la escuela secundaria se construy con base en la informacin de la Encel 2003 (es decir, informacin sobre la escuela real a la que asisten los individuos en 2003). Como esa informacin no est disponible para algunos de los individuos inscritos y para casi todos los no inscritos, se estableci el siguiente procedimiento: para cada comunidad se hizo una lista de todas las escuelas secundarias a las que asisten los jvenes, y se asume que la oferta disponible de escuelas refleja esa lista de escuelas a las que se asiste. Entonces se uni la lista con las escuelas efectivamente encuestadas y de esa manera se determin la oferta de escuelas a nivel de la comunidad. En este sentido, se construyeron indicadores de la oferta potencial de escuelas a nivel de la comunidad.ii A travs de este mtodo se logr fusionar las caractersticas de las escuelas disponibles para 79.2% de los individuos de T1998 y 78.9% de T2000.jj

ii

jj

Ntese, sin embargo, que estos indicadores de la oferta de escuelas a nivel de las comunidades pueden relacionarse con otras variables al mismo nivel que afectan la escolarizacin, como los mercados locales de trabajo. Por ejemplo, si el acceso exclusivo a telesecundarias se correlaciona con pocas opciones potenciales en el mercado laboral, los impactos estimados aqu pueden confundir la calidad de la escuela con las opciones del mercado. En este sentido, los resultados que se presentan en esta seccin no deben considerarse como definitivos en relacin con la calidad de la escuela, sino simplemente como una sugerencia de diferencias potenciales. Sin embargo, slo fue posible relacionar 58.5% de los de C2003. Este efecto menor en el grupo C2003 refleja el diseo de la muestra para los cuestionarios de las escuelas. Esto se debi a que el diseo de la muestra para las escuelas frecuentadas por los grupos T1998 y C2000 pudo tomar en cuenta informacin ms precisa sobre dnde asistan a la escuela los beneficiarios de Oportunidades, mientras que esto, por definicin, no fue posible para C2003. Lo anterior es bastante problemtico para analizar los efectos de la calidad de las escuelas en el anlisis comparativo. Primero, reduce el tamao de las muestras, ya que no se cuenta con las caractersticas de las escuelas para una importante minora de la muestra. Adems, la tasa ms baja de xito en la captura de escuelas frecuentadas por el grupo C2003 implica que la muestra de aquellos con caractersticas de las escuelas puede variar en formas importantes no observadas que podran estar correlacionadas con esas estimaciones de impacto. Por ello en este anlisis slo se reportan estimaciones de los impactos por caractersticas de las escuelas a travs de la exposicin diferencial.

 74
Impacto sobre la educacin y el trabajo de jvenes del medio rural

En lo que se refiere a los datos de la SEP, se utiliza informacin administrativa de 1997 para construir los indicadores relevantes. A cada comunidad se asigna la escuela secundaria pertinente, para que sea la que corresponde al interior de la comunidad o la que se encuentra ms cercana a sta, en caso de que no cuente con escuela. La realizacin de este procedimiento permiti relacionar aproximadamente 85% de los estudiantes con la oferta potencial de escuelas. En la prctica, el uso de los dos conjuntos de datos arroja estimaciones similares; en este trabajo se presentan las que se derivan de las estimaciones de la SEP de 1997.

 75
Apndices

Apndice B. Anlisis de la prdida de muestra en T1998 y T2000

Este apndice presenta las estimaciones y otros detalles de fondo que subyacen a la discusin sobre la prdida de muestra del captulo III. El cuadro B1 ofrece estimaciones probit para la probabilidad de perderse para el seguimiento general para individuos que tenan de nueve a 15 aos en 1997 de hogares elegibles en los grupos T1998 y T2000 (nuevamente, para todos los individuos y hogares que se han perdido en la muestra). En cada una de estas tres variables dependientes se tienen estimaciones para dos especificaciones: 1) si slo estaba en el grupo T1998, y 2) si estaba en el grupo T1998 ms las interacciones entre el hecho de haber sido tratado y las caractersticas individuales, de los padres y de vivienda previas al programa. Los cuadros B2 y B3 presentan estimaciones similares, pero separadamente para nios y nias. La primera especificacin (columna 1), tal como podra esperarse, replica los patrones anotados con relacin al cuadro 2. La segunda especificacin (columna 2) indica que cierto nmero de caractersticas individuales, de los padres y de vivienda previas al programa interactan de manera significativa con T1998 para afectar la prdida de muestra.kk Entre las caractersticas individuales previas al programa estn las siguientes:

La edad en 1997 interacta negativamente de manera significativa con T1998 en lo que se refiere a la prdida de muestra por hogares en las nias. Hablar una lengua indgena interacta negativamente de manera significativa para la prdida del hogar en conjunto y para los nios y nias considerados por separado. La escolaridad previa del individuo interacta positivamente de manera significativa con T1998 para la prdida en conjunto del hogar y para las nias. Entre las caractersticas de los padres previas al programa se encuentran:

El nivel de escolaridad alcanzado por el padre interacta positivamente de manera significativa con la prdida de muestra en conjunto de T1998 y para la prdida individual de nios, e interacta negativamente de manera significativa con T1998 en conjunto y para la prdida de hogares y nios. La edad del padre interacta positivamente de manera significativa con T1998 para la prdida de muestra total e individual de las nias. Que el padre hable una lengua indgena interacta positivamente de manera significativa con T1998 para la prdida de muestra total en conjunto y para la prdida de nias y hogares en conjunto y de nias y nios por separado. Que el padre sea bilinge interacta negativamente de manera significativa con T1998 para el total de la prdida de muestra en conjunto y de nias, y para la prdida individual de nias. La edad de la madre interacta negativamente de manera significativa con T1998 para la prdida de muestra total y para la prdida individual de nias.

kk Aqu no tratamos de adelantar interpretaciones sobre las razones por las que estos efectos son significativos en trminos, por ejemplo, de efectos sobre precios e ingresos, dado que la prdida de muestra puede deberse a diversos comportamientos y el inters principal de este trabajo es describir la prdida para corregir las estimaciones de las siguientes secciones. Sin embargo, en el captulo IV s se ofrecen algunas interpretaciones para un elemento muy importante de la prdida de muestra, a saber, la migracin individual.

 76
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO B1.

TOTAL DE PRDIDAS

PRDIDAS INDIVIDUALES

HOGARES PERDIDOS

Probabilidad de prdida de muestra entre 1997 y 2003 como funcin de las caractersticas en 1997. Jvenes de nueve a 15 aos elegibles para los beneficios en 1997

(1)
T1998=1; T2000=0 Interacciones T1998*edad T1998*gnero T1998*indgenas -0.004 [0.008]

(2)
0.001 [0.095] -0.009 [0.006] -0.026 [0.016] -0.044 [0.034]

(1)
-0.021 [0.007]***

(2)
-0.073 [0.087] -0.002 [0.005] -0.014 [0.014] 0.039 [0.031] -0.002 [0.005] 0.044 [0.042] 0.011 [0.004]*** 0.001 [0.001] 0.018 [0.055] -0.05 [0.044] -0.003 [0.004] -0.002 [0.001] -0.014 [0.041] 0.024 [0.032] 0.009 [0.005]* 0.007 [0.016] 0.028 [0.017]* 0.004 [0.017]

(1)
0.016

(2)
0.046

[0.005]*** [0.058] -0.004 [0.004] -0.013 [0.011] -0.065 [0.018]*** 0.008 [0.004]* 0.002 [0.030] -0.008 [0.003]*** 0.001 [0.001] 0.166 [0.061]*** -0.049 [0.032] -0.001 [0.003] 0 [0.001] -0.035 [0.029] 0.043 [0.028] 0.003 [0.006] -0.022 [0.012]* -0.015 [0.012] -0.017 [0.013] 16257 16117

T1998*escolaridad T1998*inscritos T1998*educacin del padre

0.005 [0.006] 0.058 [0.048] 0.003 [0.004]

T1998*edad del padre T1998*padre indgena

0.002 [0.001] 0.172 [0.065]***

T1998*padre bilinge T1998* educacin de la madre T1998*edad de la madre T1998* madre indgena T1998 *madre bilinge T1998*cuartos T1998*electricidad T1998*agua T1998* piso de tierra Observaciones 16257

-0.112 [0.052]** -0.004 [0.004] -0.001 [0.001] -0.055 [0.047] 0.067 [0.037]* 0.014 [0.007]** -0.016 [0.018] 0.011 [0.019] -0.016 [0.019] 16117 16257

16117

Nota: los errores estndar se anotan entre corchetes. * Significativo al 10%; ** significativo al 5%; *** significativo al 1%. La prdida individual se refiere a individuos que salen de la muestra pero el hogar original permanece en la muestra de 2003. La prdida de hogares se refiere a individuos que salen de la muestra porque todo el hogar sale de la muestra de 2003.

 77
Apndices

TOTAL DE PRDIDAS

PRDIDAS INDIVIDUALES

HOGARES PERDIDOS

CUADRO B2.

(1)
T1998=1; T2000=0 Interacciones T1998*edad T1998*indgena T1998*escolaridad T1998*inscritos T1998*educacin del padre T1998*edad del padre T1998*padre indgena T1998*padre bilinge T1998* educacin de la madre T1998*edad de la madre T1998* madre indgena T1998 *madre bilinge T1998*cuartos T1998*electricidad T1998*agua T1998*piso de tierra Observaciones 8384 -0.013 [0.011]

(2)
0.016 [0.130] -0.008 [0.008] -0.057 [0.046] -0.002 [0.008] 0.059 [0.067] 0.003 [0.006] 0 [0.002] 0.121 [0.089] -0.06 [0.073] 0 [0.006] 0 [0.002] -0.023 [0.065] 0.02 [0.049] 0.012 [0.009] -0.029 [0.025] 0.049 [0.027]* -0.028 [0.027] 8311

(1)
-0.026 [0.010]***

(2)
0.007 [0.110] -0.005 [0.006] 0.011 [0.039] -0.006 [0.006] 0.032 [0.056] 0.013 [0.005]*** -0.001 [0.002] -0.043 [0.064] 0.007 [0.064] -0.001 [0.005] 0 [0.002] 0.032 [0.057] -0.016 [0.039] 0.009 [0.007] 0.002 [0.021] 0.071 [0.024]*** -0.003 [0.022]

(1)
0.013 [0.008]*

(2)
-0.016 [0.088] 0 [0.005] -0.055 [0.027]** 0.004 [0.005] 0.018 [0.042] -0.01 [0.004]** 0 [0.001] 0.181 [0.085]** -0.055 [0.043] 0.002 [0.004] 0.001 [0.001] -0.044 [0.039] 0.036 [0.038] 0.001 [0.008] -0.027 [0.017] -0.018 [0.016] -0.024 [0.017]

Probabilidad de prdida de muestra entre 1997 y 2003 como funcin de las caractersticas en 1997. Nios de nueve a 15 aos en 1997 elegibles para beneficios en 1997

8384

8311

8384

8311

Nota: los errores estndar se anotan entre corchetes * Significativo al 10%; ** significativo al 5%; *** significativo al 1%. La prdida individual se refiere a individuos que salen de la muestra pero el hogar original permanece en la muestra de 2003. La prdida de hogares se refiere a individuos que salen de la muestra porque todo el hogar sale de la muestra de 2003.

 78
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO B3.

TOTAL DE PRDIDAS

PRDIDAS INDIVIDUALES

HOGARES PERDIDOS

Probabilidad de prdida de la muestra entre 1997 y 2003 como funcin de las caractersticas en 1997. Nias de nueve a 15 aos en 1997 elegibles para beneficios en 1997

(1)
T1998=1; T2000=0 0.006 [0.011] Interacciones T1998*edad T1998*indgena

(2)
-0.016 [0.139]

(1)
-0.013 [0.011] [0.057]

(2)
-0.142 [0.131] [0.054] 0 [0.007] 0.075 [0.047] 0.004 [0.008] 0.051 [0.063] 0.008 [0.006] 0.004 [0.002]** 0.092 [0.089] -0.11 [0.061]* -0.005 [0.006] -0.004 [0.002]* -0.067 [0.059] 0.07 [0.050] 0.006 [0.008] 0.013 [0.024] -0.012 [0.024] 0.014 [0.026]

(1)
0.019 [0.008]**

(2)
0.095 [0.078] [0.031] -0.009 [0.005]* -0.071 [0.024]*** 0.011 [0.006]** -0.019 [0.044] -0.005 [0.004] 0.001 [0.001] 0.149 [0.088]* -0.045 [0.047] -0.005 [0.004] 0 [0.001] -0.03 [0.042] 0.054 [0.041] 0.006 [0.009] -0.016 [0.017] -0.011 [0.017] -0.011 [0.018]

-0.012 [0.008] -0.019 [0.050]

T1998*escolaridad T1998*inscritos T1998*educacin del padre T1998*edad del padre T1998*padre indgena T1998*padre bilinge T1998* educacin de la madre

0.014 [0.009] 0.047 [0.071] 0.002 [0.006] 0.005 [0.002]** 0.227 [0.092]** -0.173 [0.073]** T1998* educacin de la madre [0.006]

T1998*edad de la madre T1998* madre indgena T1998 *madre bilinge T1998*cuartos T1998*electricidad T1998*agua T1998*piso de tierra 7870

-0.004 [0.002]* -0.099 [0.069] 0.119 [0.053]** 0.014 [0.011] -0.002 [0.027] -0.025 [0.027] -0.002 [0.028] 7806 7870

7806

7870

7806

Los errores estndar se anotan entre corchetes * Significativo al 10%; ** significativo al 5%; *** significativo al 1%. La prdida individual se refiere a individuos que salen de la muestra pero el hogar original permanece en la muestra de 2003. La prdida de hogares se refiere a individuos que salen de la muestra porque todo el hogar sale de la muestra de 2003.

 79
Apndices

Que la madre sea bilinge interacta positivamente de manera significativa con T1998 para la prdida de muestra total en conjunto y para la prdida individual de nias. Entre las caractersticas de la vivienda previas al programa se encuentran:

El nmero de cuartos con que cuenta la casa interacta positivamente de manera significativa con T1998 en lo que se refiere a la prdida de muestra total en conjunto y a la prdida individual en conjunto. Que la casa cuente con electricidad interacta negativamente de manera significativa con T1998 para la prdida de hogares en conjunto. Que la casa cuente con agua en el interior interacta positivamente de manera significativa con T1998 en lo que toca a la prdida individual en conjunto y para nios, y para la prdida total en nios.

As, aunque en el agregado no hay evidencia de impactos significativos del tiempo en que se inicia el tratamiento sobre la prdida de muestra, ese tiempo parece estar negativamente asociado de manera significativa con la migracin individual y positivamente asociado de manera significativa con la migracin de los hogares, y existe cierta cantidad de interacciones significativas con las caractersticas individuales, de los padres y de la vivienda (que difieren en muchos casos entre nios y nias). Por lo tanto, pueden presentarse desviaciones en caso de que no se corrija la prdida de muestra en las estimaciones. Por este motivo se corrigi mediante una reponderacin de las observaciones a fin de contrarrestar los efectos de la prdida diferencial. En el caso de algunas de las variables de resultados, se tiene informacin sobre migrantes individuales provista por el informante del hogar. En el caso de esas variables slo se hizo una reponderacin a fin de tomar en cuenta la prdida de muestra a nivel de hogares.

 80
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Apndice C. Estimaciones por diferencias en diferencias simples para el impacto de la exposicin diferencial
El captulo IV presenta estimaciones por diferencias en diferencias del impacto de la exposicin diferencial a Oportunidades en el grupo T1998 en comparacin con el grupo T2000, con un control para las caractersticas previas al programa (1997) seleccionadas (como se indic en las notas de los cuadros). El cuadro C1 resume estimaciones similares sin esos controles; presenta los valores medios de las variables de inters en 1997 (antes del programa) para T1998 y T2000ll y prueba la significancia de la diferencia; muestra los valores medios de las variables de inters en 2003 (posteriores al inicio del programa) para T1998 y T2000, y ofrece las estimaciones simples por diferencias en diferencias y las pruebas de significancia. Dado que las pruebas estadsticas indican que algunas de estas caractersticas previas al programa son significativas para algunos resultados de los cuadros del captulo IV, se prefirieron las estimaciones por diferencias en diferencias de esos cuadros a las del cuadro C1. Sin embargo, las diferencias en general no son muy grandes.

CUADRO C1.

Exposicin diferencial a Oportunidades. Hogares que recibieron beneficios en 1998 contra los de 2000

PREVIA AL PROGRAMA 1997 T98 T00 VALORES PROM.

ESTIMACIONES PAREADAS: T1998 CONTRA C2003 POSTERIOR AL P>|Z|, |T| DIFERENCIA DIFERENCIAS PROGRAMA 2003 PREVIA AL PROGR. EN DIFERENCIAS T98 T00 T1998 VS. T2000 VALORES PROM.

P>|Z|,

INSCRIPCION ESCOLAR Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Grados de escolaridad completados Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Progreso a tiempo Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Resultados en pruebas de aprovechamiento Nios 9 de a 15 en 1997 Nias 9 a 15 en 1997
contina /

0.821 0.773

0.807 0.757

0.248 0.257

0.240 0.260

0.182 0.085

-0.007 -0.018

0.838 0.129

4.514 4.580

4.513 4.610

7.740 7.680

7.520 7.510

0.967 0.568

0.219 0.200

0.000 0.000

0.340 0.321

0.312 0.308

0.028 0.014

0.004 0.165

ll

Como avance de grados escolares en el tiempo y las variables de migracin slo se definen para el periodo 1997-2003, no existen valores para estas variables en las primeras dos columnas para 1997.

 81
Apndices

/ continuacin

Empleo Nios 9 a 15 en 1997 Nias de 9 a 15 en 1997 0.179 0.078 0.164 0.054 0.631 0.270 0.654 0.259 0.040 0.000 -0.039 -0.013 0.001 0.226

Proporcin que trabaja en sector agrcola Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 0.160 0.044 0.137 0.027 0.441 0.070 0.458 0.064 0.002 0.000 -0.040 -0.010 0.011 0.061

Ingreso promedio mensual del hogar Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Matrimonio Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 Migracin* Nios de 9 a 15 en 1997 Nias de 9 a 15 en 1997 0.313 0.377 0.339 0.387 -0.027 -0.010 0.008 0.361 0.002 0.007 0.002 0.014 0.087 0.230 0.096 0.252 0.868 0.077 -0.009 -0.015 0.161 0.060 33.341 46.213 12.609 11.561 805.815 330.703 798.483 286.561 0.260 0.832 20.203 43.094 0.421 0.079

Nota: Se usaron pruebas t para probar las diferencias de 1997 (previas al programa) en los promedios entre T1998 y T2000 (la columna 5 presenta los niveles en los que las diferencias promedio en 1997 son significativas) y para las diferencias en cambios en los promedios entre 1997 y 2003 para T1998 frente a T2000 (la columna 7 presenta los niveles en los que las diferencias en diferencias de la columna 6 son significativos). No existen entradas en las columnas 1,2 y 5 para el progreso en el tiempo y la migracin, ya que ambas variables se refieren a cambios acaecidos entre 1997 y 2003, no a condiciones en 1997. Las diferencias en cada una de estas variables en 2003, por lo tanto, tambin son estimaciones por diferencias en diferencias. La muestra incluye todos los individuos elegibles para el programa de nueve a 15 aos de edad en 1997 que tambin fueron entrevistados en 2003. Todos los coeficientes fueron ponderados para corregir la prdida de muestra diferencial (vase el captulo III y el apndice B). Proporcin actualmente inscrita. Proporcin que actualmente trabaja. Pesos. Proporcin actualmente casados o cohabitando. * Proporcin de individuos que dejan el hogar.

 82
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Apndice D. Comparacin entre los grupos T1998 y C2003 en 1997

CUADRO D1. EDAD DIFERENCIA EN PROMEDIOS ERROR ESTANDAR NUMERO DE OBSERVACIONES

Diferencias en grados de escolaridad completados en 1997 (previas al programa) entre los grupos pareado original de tratamiento (T1998) y pareado de comparacin (C2003)

T1998-C-2003 Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15 -0.411 -0.629 -0.427 -0.655 0.008 -0.701 1.221 0.199* 0.164* 0.251* 0.288* 0.256 0.308* 0.626* 883 846 797 778 528 625 531

-0.343 -0.352 -0.312 -0.584 -0.580 -0.375 0.756

0.207* 0.130* 0.230 0.221* 0.342* 0.278 0.460*

827 799 744 609 600 494 396

Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

CUADRO D2.

EDAD

Diferencias en la proporcin de individuos que trabajaban en 1997 (antes del programa) entre los grupos pareado original de tratamiento (T1998) y pareado de comparacin (C2003)

DIFERENCIA EN PROMEDIOS

ERROR ESTANDAR

NUMERO DE OBSERVACIONES

T1998-C-2003 Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15 0.019 -0.002 0.022 -0.011 0.028 0.135 -0.088 0.020 0.034 0.037 0.055 0.057 0.076* 0.105 911 875 824 816 564 667 578

0.009 -0.004 -0.028 0.024 0.065 0.010 -0.056

0.016 0.018 0.049 0.029 0.025* 0.064 0.091

861 827 782 643 646 559 463

Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

 83
Apndices

EDAD

DIFERENCIA EN PROMEDIOS

ERROR ESTANDAR

NUMERO DE OBSERVACIONES

CUADRO D3.

T1998-C-2003 Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15 0.021 0.023 0.045 0.009 0.023 0.202 -0.065 0.017 0.021 0.031 0.050 0.049 0.061* 0.107 900 863 809 798 544 636 531

0.015 0.013 0.021 0.016 0.048 0.055 0.063

0.014 0.012 0.014 0.027 0.023* 0.033* 0.025*

848 806 759 617 623 498 400

Diferencias en la proporcin de trabajadores agrcolas en 1997 (antes del programa) entre los grupos pareado original de tratamiento (T1998) y pareado de comparacin (C2003)

Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

EDAD

DIFERENCIA EN PROMEDIOS

ERROR ESTANDAR

NUMERO DE OBSERVACIONES

CUADRO D4.

T1998-C-2003 Nios 9 10 11 12 13 14 15 Nias 9 10 11 12 13 14 15 0.649 3.840 0.704 -9.960 3.116 74.385 31.339 0.545 2.544 8.187 32.197 20.891 21.034* 58.453 911 874 822 811 562 660 568

Diferencias en ingreso mensual por trabajo en 1997 (antes del programa) entre los grupos pareado original de tratamiento (T1998) y pareado de comparacin (C2003)

0.036 -1.040 2.400 9.863 13.444 -63.348 -58.227

0.034 2.825 2.045 5.747* 7.987* 64.035 85.035

861 827 781 643 644 555 455

Observaciones de tratamiento y control. * Estimaciones significativas al nivel de 10%.

 84
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Apndice E. Pruebas de aprovechamiento Woodcock Johnson

En los cuadros E1 y E2 se han estimado, para cada variable dependiente, dos especificaciones: 1) si slo estaba en el grupo T1998, y 2) si estaba en el grupo T1998 ms las interacciones entre estar en el grupo T1998 y las caractersticas individuales, de los padres y de la vivienda previas al programa.

CUADRO E1.

JOVENES ELEGIBLES PARA EL PROGRAMA DE 15 A 21 AOS DE EDAD EN 2003 VARIABLE DEPENDIENTE: RESULTADO DE PREGUNTAS CONTESTADAS LECTURA (1) LECTURA (2) MATEMATICAS MATEMATICAS (1) (2) ESCRITURA (1) ESCRITURA (2)

Relacin entre las pruebas de aprovechamiento Woodcock Johnson y los grados de escolaridad

Total de grados de escolaridad 1 grado de escolaridad 2 grados 3 grados 4 grados 5 grados 6 grados 7 grados 8 grados 9 grados 10 grados 11 grados 12 o ms grados Edad Gnero Indgena

1.311 [0.063]*** -5.451 [2.269]** 3.316 [1.636]** 3.477 [1.313]*** 4.302 [1.386]*** 8.186 [1.328]*** 12.325 [0.963]*** 11.697 [1.193]*** 13.287 [1.071]*** 14.493 [0.954]*** 15.255 [1.098]*** 15.52 [1.110]*** 13.802 [1.089]*** 0.022 [0.031] -0.548 [0.302]* -3.648 [1.048]*** 0.045 [0.031] -0.443 [0.301] -3.789 [1.048]***

1.05 [0.047]*** 0.139 [1.729] 2.683 [1.242]** 1.714 [0.987]* 0.579 [1.045] 2.422 [1.002]** 4.419 [0.723]*** 4.432 [0.897]*** 5.522 [0.806]*** 7.284 [0.716]*** 10.463 [0.826]*** 11.578 [0.836]*** 9.339 [0.818]*** 0.036 [0.023] 0.829 [0.228]*** -3.622 [0.792]*** 0.029 [0.024] 0.852 [0.228]*** -3.927 [0.795]***

1.416 [0.052]*** 1.748 [2.013] 1.034 [1.402] 1.7 [1.098] 1.667 [1.170] 3.183 [1.122]*** 6.023 [0.807]*** 7.7 [0.998]*** 9.579 [0.897]*** 10.816 [0.799]*** 13.265 [0.919]*** 13.833 [0.930]*** 12.4 [0.911]*** 0.013 [0.026] -0.391 [0.249] -4.674 [0.876]*** 0.019 [0.026] -0.416 [0.252]* -4.849 [0.888]***
contina /

 85
Apndices

/ continuacin

Indgena, habla espaol Educacin del padre Edad del padre Padre indgena Padre habla espaol Educacin de la madre Edad de la madre Madre indgena Madre habla espaol Cuartos Electricidad Agua Piso de tierra R-al cuadrado

4.251 [0.922]*** -0.001 [0.078] 0.049 [0.025]** -2.381 [1.264]* 1.977 [1.158]* 0.04 [0.079] -0.053 [0.027]* -0.567 [1.020] 0.124 [0.794] -0.036 [0.053] 0.582 [0.373] -0.7 [0.328]** -0.081 [0.333] 0.2

3.962 [0.921]*** 0.061 [0.078] 0.037 [0.024] -1.198 [1.260] 1.613 [1.155] 0.162 [0.079]** -0.024 [0.027] -0.438 [1.017] -0.042 [0.792] -0.032 [0.052] 0.768 [0.372]** -0.731 [0.326]** -0.115 [0.330] 0.22

2.632 [0.700]*** 0.138 [0.059]** 0.016 [0.019] -0.783 [0.968] 0.599 [0.890] 0.193 [0.060]*** 0.003 [0.021] 0.711 [0.767] -0.481 [0.598] -0.039 [0.039] 0.555 [0.282]** 0.245 [0.247] -0.185 [0.250] 0.25

2.827 [0.701]*** 0.125 [0.059]** 0.002 [0.018] -0.257 [0.969] 0.35 [0.892] 0.205 [0.059]*** 0.017 [0.020] 0.628 [0.768] -0.601 [0.598] -0.036 [0.040] 0.558 [0.282]** 0.34 [0.246] -0.216 [0.250] 0.26

3.599 [0.773]*** 0.105 [0.065] 0.041 [0.020]** -1.646 [1.057] 1.898 [0.971]* 0.223 [0.065]*** -0.011 [0.023] 0.404 [0.841] 0.113 [0.655] 0.002 [0.043] 0.944 [0.308]*** 0.146 [0.270] 0.113 [0.274] 0.32

3.58 [0.783]*** 0.114 [0.065]* 0.029 [0.020] -1.068 [1.069] 1.715 [0.983]* 0.246 [0.066]*** 0.009 [0.022] 0.281 [0.851] 0.106 [0.663] 0.001 [0.044] 0.919 [0.311]*** 0.249 [0.272] 0.021 [0.276] 0.31
*

Nota: los errores estndar se anotan entre corchetes. Significativo al 10%; ** significativo al 5%; *** significativo al 1%.

 86
Impacto sobre la educacin y el trabajo de jvenes del medio rural

CUADRO E2.

TODOS LOS JOVENES TODOS LOS JVENES DE 9 A 15 AOS EN 1997 (1) (2) (1)

NIAS (2) (1)

NIOS (2)

Probabilidad de estar en la muestra de jvenes que hicieron las pruebas de aprovechamiento Woodcock Johnson en la Encel 2003, como funcin de las caractersticas en 1997

T1998=1, T2000=0 T1998*edad T1998*gnero T1998*indgena T1998*escolaridad T1998*inscritos T1998*educacin del padre T1998*edad del padre T1998 padre indgena T1998*padre bilinge T1998*educacin de la madre T1998*edad de la madre T1998*madre indgena T1998* madre bilinge T1998* cuartos T1998*electricidad T1998* agua T1998*piso de tierra Observaciones

-0.055 [0.006]*** 0.003 [0.002] 0.003 [0.011] 0.012 [0.026] -0.007 [0.003]** -0.014 [0.016] -0.006 [0.003]** 0 [0.001] -0.032 [0.046] 0.043 [0.050] 0.003 [0.003] 0 [0.001] 0.038 [0.039] -0.032 [0.023] 0.001 [0.002] 0.007 [0.013] 0.018 [0.014] 0.015 [0.013] 16435 16179

-0.055 [0.009]*** 0.003 [0.003]

-0.054 [0.008]*** 0.006 [0.003]*

-0.016 [0.036] -0.01 [0.005]** -0.001 [0.023] -0.002 [0.004] -0.001 [0.001] -0.09 [0.059] 0.036 [0.054] 0.005 [0.004] 0.001 [0.002] 0.106 [0.066] -0.085 [0.029]*** 0.002 [0.003] 0.022 [0.020] 0.012 [0.020] 0.029 [0.020] 7968 7852 8463

0.031 [0.036] -0.005 [0.004] -0.02 [0.023] -0.008 [0.004]** 0 [0.001] 0.022 [0.070] -0.02 [0.057] 0.002 [0.004] -0.002 [0.001] -0.015 [0.046] 0.022 [0.037] 0.002 [0.003] -0.004 [0.018] 0.022 [0.019] 0.003 [0.018] 8327

Nota: los errores estndar se anotan entre corchetes. * significativo al 10%; ** significativo al 5%; *** significativo al 1%

 87
Apndices

ADOLESCENTES DE 9 A 15 EN 1997 QUE HICIERON LAS PRUEBAS DE APROVECHAMIENTO WOODCOCK JOHNSON IMPACTO T1998 CONTRA T2000 COEFICIENTE ERROR ESTANDAR

CUADRO E3.

Nias Todas las nias de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad en 1997 <=3 4 5 6 7+ Nios Todos los nios de 9 a 15 en 1997 Por grupo de edad 9 a 10 11 a 12 13 a 15 Por grados de escolaridad en 1997 <=3 4 5 6 7+ 0.392 0.303 -0.119 0.107 0.493 [0.173]** [0.222] [0.252] [0.274] [0.294]* 0.322 0.141 0.205 [0.137]** [0.189] [0.230] 0.212 [0.113]* -0.076 -0.052 0.206 0.37 -0.141 [0.200] [0.214] [0.269] [0.253] [0.298] -0.064 -0.118 0.298 [0.155] [0.191] [0.205] 0.067 [0.121]

Impacto de la exposicin diferencial a Oportunidades sobre los grados de escolaridad

Nota: los estimadores se basan en estimaciones de regresin por diferencias. Se controla por edad, educacin y origen indgena de los padres, y caractersticas del hogar (nmero de cuartos, electricidad, tipo de piso y sistema de agua y drenaje). * Significativo para prueba t al nivel de 10%; ** al nivel de 5%; *** al nivel de 1%.

 88
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Apndice F. Apndice tcnico sobre el estimador de pareamiento utilizado en el anlisis

Este apndice describe los mtodos de pareamiento utilizados para estimar los impactos del programa en este reporte. Primero es necesario introducir cierta notacin: Y0 denota el resultado para personas que reciben el tratamiento. Y1 denota el resultado sin tratamiento. D=1 si las personas reciben tratamiento, D=0 si no lo reciben. X denota otras caractersticas usadas como variables condicionantes. P(X)=Pr(D=1|X) denota la probabilidad condicional de participar en el programa. Oportunidades se ofrece a los hogares si: a) se ubican en reas donde opera el programa, y b) son elegibles para el programa de acuerdo con los criterios de elegibilidad (sistema nico de puntajes). Los hogares reciben el programa si satisfacen los incisos a y b, adems de ser elegidos para participar dentro del mismo. Los estimadores alternativos de pareamiento difieren en trminos de las premisas necesarias para justificar su aplicacin y en trminos de los mtodos usados para parear a los individuos/hogares. Pueden ser clasificados de manera muy general en dos tipos de estimadores:

Estimadores de pareamiento de corte transversal (CS), los cuales comparan los resultados del programa para los participantes y los no participantes, en cuyo caso los resultados se miden en algn periodo de tiempo posterior al programa. Estimadores de pareamiento por diferencias en diferencias (DID), los cuales comparan el cambio en los resultados por tratamiento con el cambio en resultados para los miembros del grupo de comparacin, donde el cambio se mide con relacin a un periodo de tiempo de referencia previo al programa (punto de referencia).

La ventaja de usar el estimador por diferencias en diferencias en vez del estimador de cruce seccional es que el primero permite el surgimiento de diferencias no observables que no varan en el tiempo entre los resultados de los participantes y los no participantes, como las diferencias regionales. Otra importante ventaja de tener un punto de referencia o datos previos al programa es que permiten la utilizacin de la estrategia por diferencias en diferencias. Los estimadores de pareamiento especficos analizados aqu son: a. Estimador de pareamiento de corte transversal del referente ms cercano. b. Estimador de pareamiento por diferencias en diferencias (DID) del referente ms cercano.
Identificacin de supuestos de los diferentes estimadores

Un parmetro clave de inters en las evaluaciones es el impacto promedio del tratamiento sobre quienes lo reciben (TT) (donde el tratamiento se define como la participacin en el programa), el cual arroja el impacto promedio del programa para la gente que participa en l. TT puede definirse como condicionado por algunas caractersticas X (TT(X)). Por ejemplo, en este informe presentamos los impactos del tratamiento condicionados por la edad y el gnero:

 89
Apndices

TT(X)=E(Y1-Y0|X,D=1) Un parmetro promediado puede definirse sobre cierto apoyo de X, SX TT = E(Y1-Y0|X,D=1) f(X|D=1) dX donde f(X|D=1) es la densidad de X

A. Pareamiento de corte transversal

En este estudio se utilizan estimadores de pareamiento de calificaciones de propensin.15 Este estimador de pareamiento de corte transversal supone: (CS.1) E(Y0t|P(X),D=1)=E(Y0t|P(X),D=0) (CS.2) 0<Pr(D=1|X)<1 en algn periodo de tiempo posprograma t. Bajo estas condiciones, TT puede ser estimado por D=1=(1/n1)iY1i (P(Xi)) - E(Y0i | P(Xi),D=0), donde la sumatoria est por arriba de n1, el nmero de individuos tratados con valores X que satisfacen CS.2. Se asume tambin que la distribucin de X no vara con el tratamiento (por ejemplo, la edad y el gnero del nio o nia no varan con el tratamiento). E(Y0i | P(Xi),D=0) representa el resultado pareado para cada individuo tratado. El resultado pareado puede estimarse a travs de una regresin no paramtrica por el referente ms cercano, kernel o lineal local. En este reporte se emplea el mtodo del referente ms cercano.

B. Estimador de pareamiento por diferencias en diferencias (DID)

El estimador de pareamiento por diferencias en diferencias requiere cortes transversales repetidos de los datos (o datos longitudinales) en participantes del programa y no participantes. Se consideran t y t como dos periodos de tiempo, uno anterior a la fecha de inicio del programa y otro posterior. Y_{0t} es el resultado observado en el tiempo t. Las condiciones necesarias para justificar la aplicacin del estimador son: (DID.1) E(Y0t - Y0t |P(X),D=1)=E(Y0t- Y0t |P(X),D=0) (DID.2) 0<Pr(D=1|X)<1 donde t corresponde a un periodo de tiempo posterior al programa y t a un periodo de tiempo previo al programa. El estimador de pareamiento DID est dado por D=1=(1/n1t)iY1it (P(Xi)) - E(Y0it | P(Xi),D=0) -[(1/n1t)iY0it (P(Xi)) - E(Y0it | P(Xi),D=0)] donde n1t y n1t corresponden al nmero de observaciones tratadas en dos periodos de tiempo. Obsrvese que en el periodo de tiempo del punto de referencia se observa Y0it (resultados de no tratamiento) para los grupos D=1 y D=0.

 90
Impacto sobre la educacin y el trabajo de jvenes del medio rural

Implementacin de estimadores de pareamiento

Primer paso: estimacin de un modelo para la participacin en el programa

La probabilidad condicional de participacin en el programa (tambin llamada puntaje de propensin) juega un papel importante en la implementacin de ambos, pareamiento y otros tipos de estimadores de evaluacin. Cuando la probabilidad de participacin en el programa puede estimarse a travs de un procedimiento paramtrico (de tipo logit o probit),46 lo cual reduce el problema de pareamiento al parear sobre una variable aleatoria unidimensional. De este modo, el problema se reduce a la estimacin de E(Y0it|D=0,P(X)) - en lugar de un problema dimensional de k - el de estimar E(Y0it|D=0,X). La estimacin de las calificaciones de propensin P(X) primero requiere escoger un conjunto X de variables condicionantes. Es importante restringir la eleccin de variables X a variables que no sean influenciadas por la presencia del programa. Por esto las variables X suelen escogerse para ser las caractersticas del punto de referencia de las personas u hogares que son medidas antes del inicio del programa. Como se describe en el captulo V, estimamos las probabilidades condicionales de participacin en el programa a travs de regresiones probit. El conjunto o serie de variables utilizadas se presenta en el captulo V.

B. Segundo paso: construir los resultados pareados

Construir resultados pareados exige estimar E(Y0t|P(X),D=0) para el estimador de pareamiento de corte transversal y E(Y0t|P(X),D=0) y E(Y0t|P(X),D=0) para el estimador por diferencias en diferencias. Es posible utilizar varios estimadores no paramtricos para la estimacin de estas medias condicionales. En este reporte se utiliza el ms sencillo de estos mtodos: el estimador del referente ms cercano. Los resultados del impacto que se presentan en este reporte estn basados en estimadores de los cinco referentes ms cercanos, lo cual se implementa de la siguiente manera: a. Formar |P(Xi)-P(Xj)| para la observacin tratada i y para todas las observaciones de grupos de comparacin j. b. Clasificar las observaciones j en trminos de |P(Xi)-P(Xj)| de la ms baja a la ms alta. c. Asignar el ndice AX al conjunto de 5 D=0 observaciones con los valores ms bajos de |P(Xi)P(Xj)|. Estos son los llamados referentes ms cercanos. d. Construir los resultados pareados como un simple promedio de los resultados de los referentes ms cercanos. E(Y0i|P(Xi),Di=0)=(1/5)jY0j Una preocupacin acerca de la implementacin de estimadores de pareamiento de referente ms cercano es que los pareamientos pueden estar muy lejos en el sentido que |P(Xi)-P(Xj)| puede ser demasiado grande. Esto representara un fracaso para el requerimiento de apoyo comn (las condiciones CS.2 y DID.2 expuestas con anterioridad).mm

mmEn este trabajo se define el soporte de P(X) como los valores para los que fx(P(X)|D=1)>0 y f x (P(X)|D=0)>0 (la regin de apoyo superpuesto). La implementacin de estimadores pareados requiere que se determine para cada valor de P(Xi), si es que cae dentro de la regin de soporte de la sobreposicin. El impacto de la media del programa solo puede obtenerse para personas del grupo de tratamiento que estn en la regin de superposicin.

 91
Apndices

Una de las formas de determinar cules observaciones caen en el rea de apoyo superpuesto consiste simplemente en graficar el histograma de los valores P(Xi) para los grupos de tratamiento y comparacin, e identificar visualmente los rangos de P(Xi) en los que no haya pares cercanos. Otra manera frecuente de abordar el problema es utilizar una variante de la regla del vecino ms prximo llamada caliper matching donde los pares son seleccionados nicamente si |P(Xi)-P(Xj )|<, para algunos valores previamente especificados, llamados caliper o calibradores. Otra manera ms rigurosa de determinar la regin de apoyo superpuesto es calcular directamente la densidad f(P(Xi)|D=0) en cada uno de los valores observados P(Xi) para las observaciones Di=1, utilizando un estimador no paramtrico de la densidad kernel: f(P(Xi)|D=0)= i K(((P(Xi)-P(Xk))/(hn)))

donde K es una funcin kernel, hn el parmetro del ancho de banda, y la sumatoria son las observaciones no tratadas en general para quienes Dj=0. Una vez que se han obtenido las estimaciones de densidad en cada punto, jerarquizar las estimaciones de densidad y encontrar el cuantil de 1% de las estimaciones de densidad positiva. Todos los valores de P(Xi) para los cuales las estimaciones de densidad exceden este umbral se consideran dentro de la regin apoyo superpuesto. Los valores por debajo de este umbral estn fuera de la regin y se excluyen de la estimacin.

Referencias

1. Behrman JR, Skoufias E. Evaluation of PROGRESA/Oportunidades: Mexicos anti-poverty and human resource investment program. En: Behrman JR, Massey D, Sanchez M, ed. The Social Consequences of Structural Adjustment in Latin America [manuscrito]. 2004. 2. Skoufias E. PROGRESA and its impacts on the human capital and welfare of households in rural Mexico: a synthesis of the results of an evaluation by IFPRI [mimeo]. Washington, DC: International Food Policy Research Institute, 2001. 3. Skoufias E, McClafferty B. Is PROGRESA working? Summary of the results of an evaluation by IFPRI [report submitted to PROGRESA]. Washington, DC: International Food Policy Research Institute, 2001. Disponible en: http://www.ifpri.org/themes/progresa.htm. 4. Parker SW. Case study: the Oportunidades program in Mexico [mimeo]. Trabajo presentado en la Shanghai Poverty Conference on Scaling up Poverty Reduction. 2003. 5. Behrman JR, Sengupta P, Todd P. Progressing through PROGRESA: an impact assessment of a school subsidy experiment. Philadelphia: University of Pennsylvania, 2004. [Revisin del documento de abril de 2001]. Washington, DC: International Food Policy Research Institute. Disponible en: http://www.ifpri.org/themes/ progresa.htm. 6. Schultz, TP. School subsidies for the poor: evaluating a Mexican strategy for reducing poverty. Journal of Development Economics 2004. [Revisin del informe de junio de 2000 presentado a PROGRESA]. Washington, DC: International Food Policy Research Institute. Disponible en: http://www.ifpri.org/themes/progresa.htm. 7. Todd P, Wolpin K. Using a social experiment to validate a dynamic behavioral model of child schooling and fertility: assessing the impact of a school subsidy program in Mexico [en prensa]. Philadelphia: University of Pennsylvania, 2003. 8. Behrman JR, Parker SW, Todd PE. Medium-term effects of the program package, including nutrition, on education of children age 0-8 in 1997. Technical Document Number 3 on the Evaluation of Oportunidades 2004 conducted by INSP. Filadelfia, 2004. 9. Todd PE, Gallardo-Garcia J, Behrman JR, Parker SW. Program impacts on education in urban areas. Philadelphia (PA); 2004. Technical Document Number 2 on the Evaluation of Oportunidades 2004 conducted by INSP. 10.Parker SW. Evaluacin del impacto de Oportunidades sobre la inscripcin, reprobacin y abandono [mimeo]. 2004. 11.Parker SW, Skoufias E. The impact of PROGRESA on work, leisure and time allocation. Report submitted to PROGRESA. Washington, DC: International Food Policy Research Institute, octubre 2000. Disponible en: http:// www.ifpri.org/themes/progresa.htm. 12.Buddelmeyer H, Skoufias E. An evaluation of the performance of regression discontinuity design on PROGRESA. IZA Discussion Paper No. 827. Bonn: Institute for the Study of Labor (IZA), julio 2003. 13.Todd P. Technical note on using matching estimators to evaluate the Oportunidades program for six year followup evaluation of Oportunidades in rural areas [mimeo]. Filadelfia: Universidad de Pennsylvania; 2004. 14.Ashenfelter O, Deaton A, Solon G. Collecting panel data in developing countries: does it make sense? LSMS Working Paper 23. Washington, DC: The World Bank, 1986. 15.Little RJA, Rubin DB. Statistical Analyses with Missing Data. Nueva York: Wiley, 1987. 16.Ahlo JM. Adjusting for non-response bias using logistic regression. Biometrika 1990;77(3):617-624. 17.Fitzgerald J, Gottschalk P, Moffitt R. An analysis of sample attrition in panel data. The Journal of Human Resources 1998;33(2):251-99. 18.Falaris EM, Peters HE. Survey attrition and schooling choices. The Journal of Human Resources 1998;33(2):531554. 19.Lillard LA, Panis CWA. Panel attrition from the panel study of income dynamics. The Journal of Human Resources 1998;33(2):437-457. 20.Van den Berg GJ, Lindeboom M. Attrition in panel survey data and the estimation of multi-state labor market models. The Journal of Human Resources 1998;33(2):458-478. 21.Zabel JE. An analysis of attrition in the panel study of income dynamics and the survey of income and program participation with an application to a model of labor market behavior. The Journal of Human Resources 1998;33(2):479-506.

22.Ziliak JP, Kniesner TJ. The Importance of Sample Attrition in Life Cycle Labor Supply Estimation. The Journal of Human Resources 1998;33(2):507-530 23.Alderman H, Behrman JR, Kohler HP, Maluccio J, Watkins S. Attrition in longitudinal household survey data: some tests for three developing country samples. Demographic Research [en lnea] 2001 noviembre;5(4):79123. Disponible en: http://www.demographic-research.org 24.Behrman JR, Wolfe BL. Micro determinants of female migration in a developing country: Labor market, demographic marriage market, and economic marriage market incentives. En: Schultz TP, Wolpin KI, ed. Research in Population Economics, vol 5. Greenwich, CT: JAI Press, 1984:137-166. 25.Sjaastad LA. The costs and returns to migration. Journal of Political Economy 1962;70 suppl 5 (part II):80-92. 26.Todaro M. A model of labor migration and urban unemployment in less developed countries. American Economic Review 1969;59(1):138-148. 27.Lucas REB, Stark O. Motivations to remit: evidence from Botswana. Journal of Political Economy 1985;93:901918. 28.Rosenzweig MR, Stark O. Consumption smoothing, migration, and marriage: evidence from rural India. Journal of Political Economy 1989;97(4):905-926. 29.Alderman H, Behrman JR, Ross D, Sabot R. Decomposing the gender gap in cognitive skills in a poor rural economy. Journal of Human Resources 1996b;31(1):229-254. 30.Alderman H, Orazem P, Paterno EM. School quality, school cost and the public/private school choices of lowincome households in Pakistan. Journal of Human Resources 2001;36(2):304-326. 31.Behrman JR, Birdsall N. The quality of schooling: quantity alone is misleading. American Economic Review 1983;73:928-946. 32.Behrman JR, Birdsall N, Kaplan R. The quality of schooling and labor market outcomes in Brazil: some further explorations. En: Birdsall N, Sabot R, ed. Opportunity foregone: education in Brazil. Baltimore: The Johns Hopkins University Press, Inter-American Development Bank, 1996:245-266. 33.Behrman JR, Khan S, Ross D, Sabot R. School quality and cognitive achievement production: a case study for rural Pakistan. Economics of Education Review 1997;16(2):127-142. 34.Behrman JR, Rosenzweig MR, Taubman P. College choice and wages: estimates using data on female twins. Review of Economics and Statistics 1996;73(4):672-685. 35.Behrman JR, Ross D, Sabot R. Improving the quality versus increasing the quantity of schooling: evidence for rural Pakistan. Topics in the Economics and Growth of Developing Areas of The B.E. Journals of the Economics and Growth of Developing Areas [en preparacin]. 2004. 36.Betts JR. Does school quality matter? Evidence from the National Longitudinal Survey of Youth. Review of Economics and Statistics 1995;77(2):231-250. 37.Betts JR. Is there a link between school inputs and earnings? Fresh scrutiny of an old literature. En: Burtless G, ed. Does money matter? The effect of school resources on student achievement and adult success. Washington, DC: Brookings Institution, 1996b:141-191. 38.Card D, Krueger AB. Does school quality matter? Returns to education and the characteristics of public schools in the United States. Journal of Political Economy 1992a;100(1):1-40. 39.Card D, Krueger AB. School quality and black-white relative earnings: A direct assessment. Quarterly Journal of Economics 1992b;107(1):151-200. 40.Grogger J. School expenditures and post-schooling earnings: evidence from high school and beyond. Review of Economics and Statistics 1996a;78(4):628-637. 41.Heckman J, Layne-Farrar A, Todd P. Human capital pricing equations with an application to estimating the effect of schooling quality on earnings. Review of Economics and Statistics 1996;78(4):562-610. 42.Lloyd CB, Mensch BS, Clark WH. The effects of primary school quality on school dropout among Kenyan girls and boys. Comparative Education Review 2000;44(2):113-147. 43.Abadie A, Imbens GW. On the Failure of the Bootstrap for Matching Estimators [mimeo]. 2004. 44.Abadie A, Drucker D, Herr JL, Imbens GW. Implementing Matching Estimators for Average Treatment Effects in Stata. The Stata Journal 2004;4(3):290-311. 45.Coady D, Parker SW. A cost-effectiveness analysis of demand and supply-side education interventions: the case of PROGRESA in Mexico. Revision of discussion paper No. 128. Washington, DC: Food Consumption Nutrition Division, International Food Policy Research Institute, 2002. Disponible en: http://www.ifpri.org/divs/fcnd/ fcnpubs.htm] 46.Rosenbaum P, Rubin D. The central role of the propensity score in observational studies for causal effects. Biometrika 1983;70:41-55.