Вы находитесь на странице: 1из 40

ESTUDIOS

Estudios sobre calidad de


la educacin en Colombia
Working paper

Evaluacin del impacto del


Proyecto Restaurantes Escolares
del municipio de Medelln en el
rendimiento acadmico
de los estudiantes

Mnica Patricia Ospina Londoo


Jos David Garcs Ceballos
Presidente de la Repblica
Juan Manuel Santos Caldern

Ministra de Educacin Nacional


Gina Mara Parody dEcheona

Viceministra de Educacin Superior


Natalia Ariza Ramrez

Directora General
Ximena Dueas Herrera

Secretaria General
Maria Sofa Arango Arango

Director de Evaluacin
Julin Patricio Mario von Hildebrand
La elaboracin de este documento estuvo a
Director de Produccin y Operaciones cargo de los autores de las investigaciones,
Edgar Rojas Gordillo ganadores de la convocatoria de estudiantes
2010, con la revisin de la Oficina Asesora
Subdirectora de Anlisis y Divulgacin de Gestin de Proyectos de Investigacin del
Silvana Godoy Mateus ICFES, y el apoyo de la Oficina de Divulgacin
del ICFES.
Jefe Oficina Asesora de Comunicaciones y Mercadeo
Sandra Milena Garca Villamizar
Elaboracin del documento:
Jefe Oficina Asesora de Gestin de Proyectos de Investigacin
Adriana Molina Mantilla Mnica Patricia Ospina Londoo
Profesora e investigadora de la Escuela de
Revisin de estilo Economa y Finanzas,
Fernando Carretero Socha Universidad EAFIT, Medelln
mospina6@eafit.edu.co
Diagramacin
Johana Angel Murcia Jos David Garcs Ceballos
Alejandra Guzmn Escobar Estudiante de Maestra en Economa,
Universidad EAFIT, Medelln
Bogot, D.C., Noviembre de 2014 jgarces3@eafit.edu.co

ICFES. 2014. Todos los derechos de autor reservados .


Todo el contenido es propiedad exclusiva y reservada del ICFES y es el resultado de investigaciones y obras protegidas por la legislacin nacional e
internacional. No se autoriza su reproduccin, utilizacin ni explotacin a ningn tercero. Solo se autoriza su uso para fines exclusivamente acadmicos.
Esta informacin no podr ser alterada, modificada o enmendada.
ESTUDIOS

Resumen

Este estudio evala el impacto del programa Restaurantes escolares en el rendimiento


acadmico de los estudiantes beneficiados por el programa, para lo cual utiliza informacin
de 2.159 estudiantes de instituciones educativas pblicas de la ciudad de Medelln, quienes
presentaron la prueba SABER 11 en el ao 2010. En razn de la aleatoriedad en la asignacin
al tratamiento en las diferentes variables observables que lo determinan, se opt por usar la
tcnica de probabilidad de pareo por similitud. En general, los resultados indican la ausencia
de un efecto claro del programa sobre el logro acadmico de los estudiantes, aunque estos
resultados deben revisarse usando fuentes de datos longitudinales que permitan identificar
la intensidad del tratamiento sobre los participantes.

Palabras claves: rendimiento acadmico, nutricin, poltica pblica, evaluacin de impacto,


probabilidad de pareo por similitud.

Clasificacin JEL: C21, I25, I38.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 3
en el rendimiento acadmico de los estudiantes
Abstract

This study aims to evaluate the impact of Programa de Restaurantes Escolares on the
beneficiaries academic achievement, for which uses information of 2159 students from the
Medelln public Educational Institutions at 2010, who presented the SABER 11 test. Given the
randomness in the treatment allocation in different observable variables, it was decided to
use the Propensity Score Matching technique. Overall, the results indicate that there are no
clear effects of the program on the academic achievement, although these results should be
checked using longitudinal data sources to identify the intensity of treatment on the treated.

Key words: academic achievement, nutrition, public policy, impact evaluation, propensity
score matching

JEL clasification: C21, I25, I38.

4
ESTUDIOS

Introduccin

Algunos estudios han sugerido que el estado nutricional puede tener implicaciones directas e
indirectas en el progreso cognitivo1(Pertz y Putnam, 1982), socioemocional y fsico de los individuos.
Segn la teora econmica, el efecto de la nutricin sobre el desempeo econmico de los agentes
se enmarca dentro de la teora del capital humano, y se fundamenta desde Schultz (1961 , 1982),
para quien invertir tanto en educacin como en salud (nutricin) es invertir en capital humano.
Esto se da porque una buena nutricin reduce las prdidas de productividad y rendimiento por
enfermedad (desnutricin), lo cual genera detrimentos en el ingreso a largo plazo.

Aunque se ha enfatizado que invertir en la nutricin de individuos en edad escolar,


especialmente en educacin primaria, trae mayores retornos que las inversiones nutricionales
en la edad adulta, debido al mayor tiempo de recuperacin de la inversin (Rojas D., et al.,
2003; Cueto y Chinen, 2008; Kleinman, et al., 2002; Wisniewski, 2010), algunos programas de
nutricin se han extendido a toda la poblacin escolar justificndose en que la desnutricin
moderada puede alterar otros procesos asociados como competencias comportamentales
(Beryl, 1986), y han establecido la posibilidad de una relacin indirecta entre el estado
nutricional, las polticas pblicas de alimentacin escolar, el rendimiento acadmico obtenido,
la retencin y la asistencia.

Es decir, los programas de nutricin en estudiantes mayores pueden no tener efectos directos
en el desarrollo cognitivo del estudiante, pero s pueden mejorar la asistencia del estudiante
y la atencin en clase, con posibles resultados en su rendimiento acadmico (Vegas y
Santibez, 2010). Por esto, se espera que los programas de alimentacin escolar puedan
obtener mejoras nutricionales y acadmicas (Soto-Baquero, 2009; Vivero y Ramrez, 2009),
adems de que disminuyen la prdida de recursos invertidos en educacin, pues el bajo
retorno de esta debido a problemas nutricionales se convierte en un impuesto escondido
para la comunidad (Brown, et al., 2008).

En general, se espera que las intervenciones nutricionales consigan mejoras educativas,


entre otras cosas, porque (Gruber, 2005):

1. Con programas de este tipo, se corrigen fallas de mercado relacionadas con la incapacidad de
algunas familias de acceder a mejores niveles de alimentacin y de educacin, y esto genera
externalidades en la educacin por la interaccin de los beneficiarios con los no beneficiarios.

1 En relacin directa con el consumo diario de desayuno, Lien (2007) encuentra que si bien dejar de consumirlo
tiene efectos negativos en el rendimiento, este es diferente segn el gnero y procedencia tnica.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 5
en el rendimiento acadmico de los estudiantes
2. Es una forma de redistribuir el ingreso nacional, aumentar la seguridad social y sacar
personas de trampas de pobreza, donde una alimentacin deficiente lleva a un bajo
desarrollo mental, lo cual impide un mayor aprovechamiento de la educacin y, por
ende, el alcance de mejores niveles de vida.

3. Individuos mejor alimentados y educados alcanzarn mayores niveles de acumulacin


de capital humano, mayor productividad (Cardona, et al., 2007), tendrn mejor calidad
de vida y pagarn ms impuestos.

4. Desde el punto de vista de la evaluacin de polticas pblicas, aumenta la eficacia de


otras polticas encaminadas a aumentar la movilidad social, mejorar la calidad de vida y
alcanzar mayores niveles de calidad educativa.

De acuerdo con este ltimo punto, los programas de alimentacin escolar se deben evaluar
porque: (1) es deseable determinar si la poltica tuvo los efectos esperados, y as permite
identificar relaciones entre el programa y los resultados obtenidos y (2) porque, dependiendo
de la eficiencia en los resultados, se determina si el gasto pblico tiene mejores usos
alternativos (Aedo, 2005).

Por tanto, este estudio tiene como objetivo evaluar el impacto del Programa de Restaurantes
Escolares (PRE) en la ciudad de Medelln en el rendimiento acadmico de los estudiantes,
medido por los resultados de la prueba SABER 11 para el ao 2010. Para identificar a los
beneficiarios del Programa en cada una de las IE oficiales de la ciudad de Medelln se us
informacin proveniente del sistema Matrcula en lnea de la Secretara de Educacin de
Medelln y se cre una base de datos nica que tiene, adems de la informacin de cada
estudiante, sus resultados en pruebas SABER 11 y sus condiciones de vulnerabilidad medidas
por el SISBEN2.

Debido a la forma de asignacin al tratamiento, se estim el efecto del programa en el


rendimiento acadmico a travs de la tcnica de pareo por probabilidad de similitud (PSM,
por sus sigla en ingls), controlando por otras variables observables que puedan afectar el
resultado escolar de los alumnos beneficiarios. Los resultados muestran que no hay efectos
positivos de la participacin del programa en los resultados de las pruebas SABER 11 usando
diferentes algoritmos de distancias para el pareo. Para cumplir el objeto de este estudio
se evaluaron otras tcnicas de evaluacin de efecto como regresin discontinua usando el
2 Sistema de Identificacin de Beneficiaros potenciales para los programas sociales, que mediante encuesta clasifica
a las personas en funcin de las caractersticas fsicas de las viviendas donde habitan y de sus caractersticas
sociodemogrficas y econmicas. Est compuesto por un conjunto de reglas, normas y procedimientos, que
permiten obtener informacin socioeconmica confiable y actualizada de grupos especficos de poblacin en
los distritos y municipios del pas, con el fin de focalizar el gasto social. El SISBEN es administrado por el alcalde
municipal con la colaboracin de las direcciones de salud correspondientes. Tomado de: http://www.medellin.gov.
co/irj/portal/ciudadanos?NavigationTarget=navurl://bc6e3c6301ca52ef7f58249ae85bfde9

6
ESTUDIOS

puntaje del estudiante en SISBEN, pero no se encontr evidencia de discontinuidad en el


tratamiento por el nivel de vulnerabilidad del individuo.

Aunque los resultados son consistentes en las diferentes estimaciones, se reconocen las
limitaciones de los datos de corte transversal para estimar el impacto de este programa.
Futuros estudios deben usar datos panel del estudiante con informacin de participacin en
el programa en cada una de sus modalidades, ya que por un lado es importante conocer la
intensidad del programa, es decir, el nmero de aos que cada estudiante ha sido beneficiario
del programa, y, en segundo lugar, es importante estimar los efectos a largo plazo en los
estudiantes beneficiados durante la primaria. El supuesto de efectos inmediatos usado para
fines de este estudio explican los resultados encontrados.

Evaluar el efecto del programa Restaurantes escolares es importante en trminos de poltica


pblica, dado que compromete un porcentaje importante de los recursos en educacin y
en bienestar social. Estos programas adems pueden afectar otras variables asociadas a
educacin como asistencia y continuidad en el estudio y, por tanto, tener efectos en trminos
de equidad a largo plazo; no obstante, el efecto final depende de otras variables contextuales
y externalidades debidas al mismo programa (Adelman, et al., 2008).

El desarrollo del documento es como sigue: primero, se presenta el estado del arte; luego,
se caracteriza de programa de Restaurantes escolares de la ciudad de Medelln; despus, se
plantea un modelo conceptual sobre el cual se soporta este estudio; en seguida se describen
la metodologa utilizada y los datos con los que se llev a cabo el estudio; finalmente, se
presentan y discuten los resultados.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 7
en el rendimiento acadmico de los estudiantes
I. Estado del arte

Mucho se ha estudiado de la relacin entre el estado nutricional del individuo, la existencia de


polticas pblicas que lo afecten y el desempeo acadmico; no obstante, la relacin de causalidad
no ha sido demostrada claramente en el campo emprico, aunque el avance metodolgico y
terico es notable. En general, la evidencia es poco fuerte dadas las metodologas usadas para
identificar los efectos de los programas y, por tanto, los resultados son contradictorios.

La dificultad de establecer una relacin causal entre la salud y la nutricin con el rendimiento
acadmico se debe principalmente a problemas metodolgicos como sesgos de seleccin,
de autoseleccin y las variables omitidas que afectan muchas investigaciones (Behrman,
1996; Behrman, et al., 2000), y el uso de instrumentos no adecuados que puedan sobrevalorar
el efecto de la nutricin sobre el logro acadmico (Hobbs y Vignoles, 2007).

Entre los estudios que han encontrado una relacin directa y positiva entre el estado de salud,
el nutricional y el rendimiento acadmico asociados principalmente a la niez, se pueden
encontrar los de Pertz y Putnam (1982), Mitchelmore y Clarke (1993), Wisniewski (2010) y
Vegas y Santibez (2010). Esta relacin se ha hallado igualmente en la evaluacin de impacto
de programas de alimentacin escolar como el programa Desayunos escolares del Per (PDE)
(Rojas D., et al., 2003 y Cueto y Chinen, 2008) y Feed Me Better, un programa de mejoramiento
de los almuerzos escolares de las escuelas de Greenwich, Inglaterra (Belot y James, 2011).

Las evaluaciones de los programas antes mencionados, si bien difieren en la metodologa


utilizada pruebas de medias, de independencia y anlisis de varianza; modelos jerrquicos
lineales y diferencias en diferencias, respectivamente, concluyen que los efectos son
diferentes segn el contexto. As, Rojas D., et al. (2003) y Cueto y Chinen (2008) afirman que
(1) existen efectos positivos del consumo reciente y regular de la racin del PDE sobre el
rendimiento y (2) en escuelas donde no hay estudiantes de diferentes grados en un mismo
saln, el programa trae beneficios en el rendimiento, pero los beneficiados sustituyeron
tiempo en el aula por tiempo en el receso. Finalmente, Belot y James (2011) encuentran
evidencia de que la proporcin de tratados que obtuvieron resultados altos aument entre
un 3 % y un 8 % segn el rea, pero estas mejoras son mayores entre las nias y entre los
estratos medio y alto.

De la misma manera, Gomes-Neto, et al. (1997) busc probar la complementariedad de


los estados de salud y nutricional con el rendimiento acadmico con los participantes del
programa EDURURAL del nordeste de Brasil, haciendo un Probit multivariado con correccin

8
ESTUDIOS

de sesgo de seleccin. Con este procedimiento encontr que los individuos dentro del 60 %
de la normalidad del grosor del pliegue cutneo estn casi 6 puntos por encima de aquellos
por debajo de tal porcentaje en una prueba diseada para el proyecto.

Igualmente Glewwe, et al. (2001) evaluaron el efecto de una intervencin alimentaria sobre
el rendimiento acadmico de los estudiantes de la ciudad de Ceb en Filipinas, utilizando
datos de parejas de hermanos intervenidos desde su nacimiento seguidos hasta finalizar
su primaria, y mnimos cuadrados con variables instrumentales como estimadores. Como
resultado del estudio establecieron que dado el tratamiento, una desviacin estndar en la
altura de los individuos implica un aumento de 8, 9 en el puntaje de una prueba estandarizada
diseada para la investigacin, lo cual implica una tercera parte de la desviacin estndar de
25,5 puntos de la prueba.

En el pas se han hecho diferentes evaluaciones de intervenciones que afectan la nutricin


de los escolares, mas estas intervenciones difieren en su objetivo y mecanismo de
accin. Sin embargo, algunos de estos estudios se interesan en identificar los efectos del
programa en el estado nutricional o en otros resultados como la asistencia, y no siempre
en el rendimiento acadmico3. Entre estos cabe resaltar los hechos sobre los programas
del Instituto Colombiano de Bienestar Familiar (ICBF) (Attanasio y Vera-Hernndez, 2004) y
sobre el programa Familias en Accin (Attanasio, et al., 2005; Attanasio y Gmez, 2006; DNP,
2008; Garca y Hill, 2009; Aguilar y Siza, 2010), los cuales encuentran efectos positivos sobre
la asistencia de los estudiantes entre 12 y 17 aos, pero solamente el estudio de Garca y Hill
(2009) busca efectos en el rendimiento, y encuentra que en los adolescentes es negativo.

Para el programa Restaurantes escolares del municipio de Medelln (PRE), se han realizado
tres evaluaciones: una por la CEPAL con el apoyo de Comfama (Cohen, et al., 2001) y otras
por la Veedura al Plan de Desarrollo de Medelln antes de que la gestin de estos restaurantes
pasara a manos de las instituciones educativas (V. al P. de D. de Medelln, 1997 y 1999). En
la primera, se identific que, si bien el objetivo del programa es mejorar el estado nutricional
de los menores en edad escolar, tambin hay objetivos latentes como mejorar el rendimiento
acadmico; en las segundas, como parte del seguimiento a los planes de desarrollo de la
poca, se realizaron anlisis de seguimiento y evaluacin basados en resultados interesados
en la ejecucin presupuestaria.

Aparte de estas evaluaciones, Barrientos (2008), con el objetivo de estimar los factores
individuales y escolares sobre el desempeo acadmico de los estudiantes de Medelln,
incluy una variable indicadora del efecto del PRE en este, utilizando una regresin
intercuantlica sobre datos de las bases de datos de matrcula en lnea (ML), los resultados

3 Para una mejor contextualizacin de la situacin nutricional en Colombia y el marco jurdico en el que se desarrollan
polticas sobre nutricin y seguridad alimentaria, vase Neufeld, Rubio, Pinzn y Tolentino (2010); para esta
informacin, especficamente para la primera infancia, vase Rubio, et al. (2010).

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 9
en el rendimiento acadmico de los estudiantes
de la prueba SABER 11 y el formulario DANE C-600, y concluy que no parece que haya un
efecto positivo de los alimentos; de hecho, los resultados para estos individuos son peores:
obtienen dos puntos menos en el puntaje total y casi medio punto menos en lenguaje y
matemticas, por lo que plantea que no son solo los efectos de una mala alimentacin, sino
otros relacionados con la condicin de pobreza de los estudiantes los determinantes de sus
bajos resultados.

As mismo, Tobn, et al. (2008) analizan los determinantes del logro acadmico en Medelln,
utilizando una funcin de produccin que caracteriza la educacin y la organizacin jerrquica
escolar a travs de los resultados de una encuesta dirigida a 723 profesores y directivos de
105 colegios de la ciudad. Respecto al programa de nutricin de la ciudad y su relacin con
el rendimiento, encuentra que

el 94,9 % de los colegios con desempeo inferior posee el programa y cerca del 50 %
de los niveles alto y mediosin embargo, este programa puede resultar un incentivo a la
permanencia y en el mediano plazo al logro, ya que el desempeo est fuertemente ligado
a la situacin socioeconmica de los estudiantes (Tobn, et a.l, 2008, pp. 160 y 161).

Dado todo lo anterior, es pertinente realizar un estudio que pruebe el efecto causal del PRE
en el rendimiento acadmico utilizando mtodos de evaluacin de impacto, pues los estudios
anteriores no utilizan las tcnicas indicadas para ello.

10
ESTUDIOS

II. Caracterizacin del programa


Restaurantes escolares
del municipio de Medelln

En 1961 se cre el Patronato Escolar como entidad pblica en la cuidad4, el cual se conocer
como Programa de Nutricin Escolar desde 1971. Este programa se desarrollar desde
entonces segn los lineamientos internacionales de la Carta de la Organizacin de los
Estados Americanos (art.34), el pacto de San Jos de Costa Rica en su captulo tres y el
Protocolo de San Salvador en sus artculos 10 y 12. Igualmente, con la entrada en vigencia
de la Constitucin poltica de 1991, tambin entr con el ordenamiento de su artculo 44.

Igualmente, con el artculo 76.16 de la Ley 715 de 2001, el Estado estableci que corresponde
a los distritos y municipios garantizar el servicio de restaurante para los estudiantes de
su jurisdiccin, frente a lo cual el Municipio de Medelln realiz al menos tres cambios
fundamentales en los suyos: (1) estableci un comit tcnico para el control y vigilancia del
programa y vincul en su ejecucin a toda la comunidad educativa; (2) adicional al alimento
ofrecido por los restaurantes escolares, se cre el programa Vaso de Leche Escolar como
complemento (Acuerdo 33 de 2002 del Concejo) reglamentado con el Decreto 070 de 2003
de la Alcalda; y (3) regul el funcionamiento de los Restaurantes Escolares (Resolucin 1411
de 2002 de Alcalda), a lo que se le adicion la obligacin de prestar el servicio en periodos
de vacaciones (Resolucin 1456 de 2003).

Un hito en la consolidacin del PRE fue el establecimiento de la poltica pblica de Seguridad


y Soberana Alimentaria y Nutricional en Medelln (Acuerdo 038 de 2005 del Concejo), segn
la cual el PRE fue reconocido internacionalmente como una buena prctica en el Concurso
Internacional de Buenas Prcticas de Dubai, en 2006.

No obstante esto, el PRE tuvo que readaptarse al nuevo marco jurdico nacional y municipal,
representados en el Documento CONPES 113 de 2008 y en el Plan de Desarrollo Municipal
2008-2011, que buscaba, entre otras cosas, garantizar la nutricin y salud de los jvenes
de la ciudad y mantener y fortalecer los Restaurantes Escolares, lo que est plasmado
en su lnea nmero dos Desarrollo y bienestar para toda la poblacin con el Programa
Complementacin Alimentaria y Macro Proyecto Complementacin Alimentaria. A lo anterior
se le sum, en el 2009, la Ley 1355, lo que implic tambin que los Restaurantes Escolares

4 El Programa de Restaurantes Escolares de Medelln naci como una iniciativa privada en 1935, con la finalidad de
aumentar el desempeo escolar y ha dependido de los recursos del municipio desde que es iniciativa pblica.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 11
en el rendimiento acadmico de los estudiantes
deben implementar estrategias para promover una alimentacin sana y saludable, y la
Resolucin 2656 del mismo ao, que aclara y complementa la informacin sobre quines
son los beneficiarios.

Segn este nuevo CONPES, que reemplaz la anterior poltica nacional de nutricin, el
ICBF en el 2010, junto al Ministerio de la Proteccin Social, se encargaron de plantear los
lineamientos tcnico y administrativo para el funcionamiento del Programa de Alimentacin
Escolar en el 2010. Asimismo, el municipio ha venido ampliando la cobertura del PRE, pues
en el 2010 pas a subsidiar al 50 % de la poblacin beneficiaria y actualmente al 100 % con
la Resolucin 159 de 2010.

Sobre este marco legal, tcnico y administrativo expuesto (vase anexo), cabe resaltar que:

1. Por los lineamientos tcnico y administrativo planteados por el ICBF y el Ministerio de la


Proteccin Social, se estableci como objetivo general el aumento del desempeo acadmico.

2. Las modalidades de aplicacin del programa son Desayuno, Almuerzo Vveres,


Desayuno Preparado y Vaso de Leche Escolar.

3. De igual forma, se establece que la poblacin en situacin de desplazamiento tendr


cubrimiento prioritario debido a regulacin de la Corte Constitucional.

4. Al igual que en la Resolucin 1411 de 2002, la 2656 de 2009 identifica como beneficiarios
a la poblacin entre 5 y 17 aos de edad que se encuentre estudiando en las instituciones
pblicas de la ciudad, incluidas las de cobertura educativa y aquellas que tengan contrato
de cooperacin con el municipio, dando prioridad a los ms pequeos en el acceso al
almuerzo escolar. Los estudiantes que no alcancen el almuerzo en general los alumnos
mayores sern cubiertos con el Vaso de Leche sujetos a la existencia de cupos.

5. As mismo, la Resolucin 2656 tambin establece en su artculo 3 que la seleccin de


los beneficiarios del PRE la harn los profesores de las IE, de acuerdo con los siguientes
criterios de seleccin, adicionales a los mencionados en los numerales 3 y 4: (i) estar en
SISBEN 1, 2 o 3; (ii) estar en el estrato 1, 2 o 3; (iii) haber sido diagnosticado con riesgo
nutricional (bajo peso/talla para la edad); y (iv) haber sido certificado por el rector de la
IE o su delegado para ello como individuo socialmente vulnerable.

6. La poblacin atendida antes de 2010 no era beneficiaria de la cobertura universal.

Teniendo como base este marco, y dado el inters del trabajo, se seleccionarn para el
estudio aquellos individuos que hayan formado parte del programa en 2010, se encuentren en
l desde 2004 y hayan formado parte de cualquier modalidad. De igual manera, y para hacer

12
ESTUDIOS

comparaciones validas, se tomarn las personas que renan las caractersticas anteriormente
mencionadas pero que solo se diferencien por ser o no tratados. Finalmente, cabe notar que
si bien se han presentado cambios normativos a nivel nacional, sustantiva y legalmente el
funcionamiento de los Restaurantes Escolares de Medelln sigue con la regulacin creada en
el 2002; por tanto, es posible el estudio del efecto sobre el rendimiento en este periodo sin
efectos graves, debidos al cambio de normatividad.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 13
en el rendimiento acadmico de los estudiantes
III. Modelo conceptual

El modelo conceptual sigue una funcin de produccin de educacin basada en el diseo


de Olivera (2003), con la que evalu el efecto de la poltica educativa Desayuno escolar en
la retencin estudiantil del sistema educativo pblico en Cochabamba, Bolivia. Igual que l,
se reconoce que este modelo terico tiene limitaciones como los incentivos de los actores
involucrados en la poltica, la informacin asimtrica entre ellos, la suposicin de una funcin
homognea para todos los alumnos con un nico e independiente producto, etctera.

El modelo a continuacin describe el comportamiento maximizador de la funcin de


produccin de educacin por un actor el gobierno municipal, sujeto al presupuesto. En este
caso, el producto ser el resultado obtenido en las pruebas estandarizadas que presentan
los estudiantes en ltimo grado como aproximacin al rendimiento acadmico del individuo,
el cual se detallar en la seccin de datos. Al ser esta variable continua de cero a cien, se
supone que la funcin es creciente a tasas constantes.

Max (R) (1)

Donde R es el rendimiento acadmico de la poblacin y se relaciona con la calidad de


todo el proceso educativo,Q. Esta ltima es un fenmeno multi causal en el que confluyen
aspectos de los oferentes y de los demandantes de educacin. As, la calidad depender de
los insumos utilizados en el proceso de formacin que son de la oferta,Xi, y las caractersticas
socioeconmicas y culturales de las familias de los estudiantes y de ellos mismos, que
describen la demanda, Yi:

Q= f (Xi, Yi) (2)

Ahora bien, un programa de alimentacin escolar, aunque implica la provisin de un recurso


a toda la comunidad educativa, su efecto se da a travs del mejoramiento de un aspecto
endgeno como el estado nutricional, en especial de los individuos que se consideren
objetivo del programa. Adems, al establecerse unos criterios de seleccin de individuos
beneficiarios de la poltica, el programa se focaliza a una parte de la poblacin, por lo que la
ecuacin se re escribe

R= f (Q(Xi, (S)) (3)

14
ESTUDIOS

Donde S Y, tal que S={y|y= individuos elegibles para el programa}. As, la funcin por
maximizar es:
Max (Q(Xi,(S)) (4)

Desde el punto de vista presupuestario, el Estado colombiano establece en la Ley Orgnica


de Ordenacin del Gasto Pblico (Decreto 11 de 1996) que el gasto del Estado se ordena al
inicio de cada ao, por lo que los ajustes presupuestarios son escasos y deben responder
al equilibrio presupuestario. As, los ingresos del municipio destinados al PRE, I, deben ser
iguales al monto destinado por l para el programa,, y al aporte de los padres de familia, .

I = + (5)

As mismo, el costo del programa depende del costo,Pq, y la cantidad de insumos por utilizar
en l, segn el nmero de alumnos beneficiarios:

C*(Q(Xi(S), Pq) = ni =1 Yi(S) * Pq = I (6)

Entonces, el proceso de maximizacin se puede plantear como:

Max(Xi) (Q(Xi(S)) s.a ( I C* (Q(Xi(S)), Pq) (7)

Sea X* la cantidad ptima de insumos necesarios para el proceso educativo que debe brindar
el municipio. Si se supone que X* = Xi y W (Xi,Yi), entonces se puede decir que Q = f(W). Al
aplicar una expansin de Taylor en primeras diferencias, se tiene que:

f (W) = f (W0) + f (W0) * (W-W0) (8)

Si se tiene que = f(W0) + f( W0)* W0 y = f( W0), entonces el rendimiento acadmico se


puede redefinir como:

Ri = a + Wi + i (9)

Donde: es la constante y el punto inicial desde el que se evalan los datos; es el efecto
unitario tanto de los insumos educativos como de las caractersticas propias y del entorno
del individuo i; es un error aleatorio producto de la aproximacin finita a los valores de W
luego de la expansin.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 15
en el rendimiento acadmico de los estudiantes
IV. Metodologa y datos

Para evaluar el efecto del PRE del municipio de Medelln sobre el rendimiento acadmico de
sus beneficiarios, se utilizaron como insumos los resultados de la prueba SABER 11 en el
2010, la informacin contenida en el sistema Matrcula en lnea de la Secretara de Educacin
del Municipio de Medelln de ese mismo ao y el puntaje de los alumnos en el Sisben5, con
base en la encuesta de 2008.

Para utilizar la informacin de las tres bases de datos se realizaron cuatro procesos: (1)
identificacin de los individuos en Matrcula en lnea en el 2010; (2) identificacin de todos los
individuos en la base de datos de SABER 11; (3) identificacin de los individuos en la base de
datos del Sisben 2008; y (4) unin de la base de datos de SABER 11 con las de Matrcula en
lnea y Sisben a nivel de individuo a travs de las variables de identificacin de los estudiantes.
La base de datos de Sisben se incluy con el fin de evaluar si era posible usar el puntaje Sisben
del estudiante como variable que identifique el grupo tratado y el no tratado por el PRE, adems
por la conveniencia de usar una medida de pobreza ms precisa y confiable que la variable de
estratificacin de la vivienda del hogar registrada en las base de Matricula en Lnea y SABER 11.

Para logra hallar la mayor cantidad de individuos entre las bases de datos dado que no
existe un identificador nico para cada estudiante, se tuvieron en cuenta por lo menos 18
algoritmos basados en primero y segundo nombre, primero y segundo apellido, documento
de identidad, tipo de documento y fecha de nacimiento. Finalmente, se hizo una limpieza de
valores atpicos con base en la edad de los individuos, eliminando aquellos que por su edad
no pueden haber presentado la prueba o no se encuentran en un colegio, lo cual limita la
muestra a individuos en edades entre los 15 y 19 aos de edad.

La base de datos creada para este estudio es de corte transversal a nivel de individuo para
los estudiantes en grado 11 en el ao 2010, en instituciones educativas oficiales del municipio
de Medelln, incluidas variables de identificacin del estudiante, puntaje obtenido en las
diferentes reas de la prueba SABER 11, junto a variables socioeconmicas del estudiante y
su hogar recolectadas en las pruebas SABER, el puntaje del estudiante en Sisben en el ao
2008 como medida de pobreza, si el estudiante es vctima de desplazamiento, y una variable
que identifica si el estudiante participa o no en cualquiera de las modalidades del PRE.

De 2907 estudiantes en grado 11 en el sistema Matrcula en lnea se encuentran 2.184


estudiantes en la base de datos de SABER 11 del ao 2010 (75,13 %, el resto son estudiantes
5 ndice construido con base en el Sistema de identificacin de beneficiarios(Sisben) de programas pblicos.

16
ESTUDIOS

que con discrepancias en el grado reportado en las bases de datos). De estos se encontraron
2.159 estudiantes en la base de Sisben 2008, y se conform una muestra con informacin
completa, incluido el puntaje Sisben. La variable que identifica el tratamiento se define como
una variable dicotmica, que toma el valor de 1 si el estudiante es beneficiario de por lo menos
una de las modalidades de restaurantes escolares, y cero de lo contrario. Las estadsticas
descriptivas de las variables incluidas en la base de datos creadas para fine de este estudio
se presentan en la tabla 1.

Tabla 1. Estadsticas descriptivas de las variables de seleccin

Con valores atpicos Sin valores atpicos


(n = 2.843) (n = 2.159)
Variable
Tratado No tratado Tratado No tratado
(n =656) (n = 2.187) (n = 513) (n = 1.646)
SISBEN 1 (%) 28,20 26,84 24,56 31,29
SISBEN 2 (%) 57,01 35,77 62,18 56,99
SISBEN 3 (%) 7,32 2,67 8,97 4,07
No SISBEN (%) 7,47 8,48 4,29 7,65
Estrato 1 (%) 19,97 24,80 16,57 26,55
Estrato 2 (%) 73,63 49,60 75,63 69,62
Estrato 3 (%) 6,40 2,39 7,80 3,65
Estrato 4 6 (%) 0 0,14 0 0,18
Vctima desplazamiento (%) 1,37 0 1,36 0
Edad promedio 15,2 18,3 16,5 16,7
Puntaje promedio SISBEN 15,7 13,3 15,1 13,4
rea donde vive (Urbano = 0) 636 2.060 499 1.594
Rural 20 127 14 54
Tamao promedio del grupo familiar 5 5 5 5

Se debe anotar que aunque la base de datos creada para fines de estudio es muy interesante
en la medida que pega las variables de los dos sistemas de informacin ms importantes
a nivel de estudiantes en bsica y media en el pas, esta no es la base ideal para medir
el impacto del PRE en rendimiento acadmico de los estudiantes. Los datos ideales para
realizar la evaluacin de impacto de este programa tendran que incluir informacin sobre
los estudiantes que participaron en el PRE mientras estaban en la primaria y el nmero de
aos que lo recibi. Los datos existentes en la Secretaria de Educacin de Medelln(SEM)
a nivel de estudiante estn a partir del ao 2004, o sea que un estudiante de grado 11 en
el ao 2010, debi estar en grado 5 en el ao 2004, si no repiti ningn ao o se ausent.
Para los fines de este estudio se identific el tratamiento como los estudiantes que en el ao
2004 eran beneficiarios del programa y que se haban encontrado en la base de datos de

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 17
en el rendimiento acadmico de los estudiantes
pruebas SABER 11, en el ao 2010. Infortunadamente, solo se encontraron 43 estudiantes
que estaban en 2004 en el grado 5 y presentaron sus pruebas en el ao 2010, por lo que no
se pudo realizar la evaluacin de impacto usando esta variable de tratamiento.

Como tampoco se pudo acceder a datos de beneficiarios del programa para los aos 2005
a 2009, aunque fueron solicitados varias veces a la SEM y existen, se realiz el ejercicio
usando informacin de solo un ao, suponiendo de este modo efectos a corto plazo del
programa. En este orden de ideas, la hiptesis de los efectos del programa sobre rendimiento
acadmico se da a travs de mayor asistencia del estudiante durante el ao escolar, lo que
puede resultar en mejores resultados.

Los resultados presentados en la tabla 1 muestran que la mayor parte de la poblacin se


encuentra en estrato y Sisben 2, no obstante, hay poblacin atendida por el programa en
todos los niveles socioeconmicos, lo cual implica que la disponibilidad de cupos para el
programa en secundaria es relativamente aleatoria por nivel socioeconmico del estudiante.
De hecho, en la grfica 1 se observa que no hay una discontinuidad entre la poblacin tratada
y de control respecto al puntaje Sisben. De acuerdo con esto se puede concluir que si bien el
mecanismo de asignacin al tratamiento est claramente focalizado a poblacin vulnerable,
al revisar el puntaje de Sisben 2008 se observa que en promedio los no tratados tienen un
puntaje menor, lo que puede reflejar fallas en el proceso de seleccin de la poblacin objetivo
de la poltica. En el resto de las variables socioeconmicas se observa que no hay diferencias
significativas entre el grupo tratado y de control en la edad promedio, nmero de hermanos,
educacin de la madre, ocupacin del jefe de familia, etctera.

Grfica 1. Distribucin de los individuos tratados segn el puntaje en el SISBEN 2008

18
ESTUDIOS

Ri = a + Wi + P(Xi (S))+ i

Dada esta aleatoriedad en la asignacin al tratamiento en las diferentes variables observables,


el uso de regresin discontinua para evaluar el efecto del programa no se puede usar. De este
modo se opt por usar tcnicas de pareo por probabilidad de verosimilitud (PSM) para estimar
el efecto del programa. Esta tcnica de evaluacin de efecto parte del cumplimiento de por lo
menos dos supuestos: que los individuos sean seleccionables para el tratamiento de manera
aleatoria a partir solo de variables observables (supuesto de independencia condicional) y que
los no tratados no cambien sus caractersticas dado el tratamiento (supuesto de ignorabilidad)
(Cameron y Trivedi, 2005; Khander, et al., 2010; Bernal y Pea, 2011).

La implementacin del PSM implica la comparacin entre individuos similares diferenciados


por la participacin o no en el tratamiento con base en caractersticas estables en el tiempo.
As, un individuo ser comparable con otro en la medida en que estos sean similares en
sus caractersticas observables, de forma que ambos tengan la misma probabilidad de ser
tratados. Esta probabilidad se incluye en la funcin de produccin de la siguiente manera:

Donde P(Xi (S)) es la probabilidad de asignacin al tratamiento. Para el clculo de tal


probabilidad, se eligi el algoritmo de emparejamiento por vecino ms cercano (Abadie,
et al., 2004) con remplazo y sin este, para comparar la sensibilidad de los resultados al
aumento en la varianza. La calidad del emparejamiento fue probada incluida la probabilidad
de asignacin como regresor adicional del tratamiento en una regresin auxiliar, buscando
que las dems variables independientes no fueran estadsticamente diferentes de cero.

Dado lo anterior, para calcular el efecto del PRE sobre el logro escolar es necesario encontrar
primero la probabilidad de participacin de todos los individuos para luego calcular el efecto
del tratamiento sobre los tratados (ATT), al incluir tal probabilidad en una regresin de mnimos
cuadrados ordinarios, lo que aumenta la robustez de la estimacin al remover la correlacin
entre posibles variables omitidas y entre ellas y las observadas (Imbens y Wooldridge,
2009; Abadie, et al., 2004), lo cual permite controlar por otras variables observables, lo que
modificara la expresin final del modelo conceptual as:

Ri = a + P(Xi (S)) + Ci + i E [ i | Wi, P ( Xi (S)), Ci ]}

Donde Ci incluye otras variables que pueden afectar al resultado y la probabilidad de


asignacin al tratamiento, como la jornada escolar o la educacin de los padres (Garca, et
al., 2010).

Con el fin de asegurar que los resultados hallados no son sensibles a criterio de distancia
seleccionado para calcular el efecto promedio del tratamiento sobre los tratados, se utilizaron

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 19
en el rendimiento acadmico de los estudiantes
otros criterios de distancia. Igualmente, para comprobar el cumplimiento del supuesto de
independencia condicional se realiz una prueba de pseudotratamiento (Imbens y Rubin,
2010, citado por Bernal y Pea, 2011). Para ello se busc un grupo de individuos elegibles
pero no tratados (estudiantes de colegios oficiales) como grupo de tratamiento, y otro similar
al grupo de tratamiento pero que no era elegible (estudiantes de colegios no oficiales),
buscando que el efecto promedio del tratamiento sobre los tratados no sea estadsticamente
diferente de cero.

20
ESTUDIOS

V. Resultados

Los resultados de las estimaciones del efecto del PRE en el logro acadmico de los beneficiarios
se presentan en dos partes: primera, el clculo de la probabilidad de participacin en el
tratamiento y luego el efecto del PRE controlando variables observables que influyen en el
resultado final. En general, no se puede asegurar la existencia de un efecto del PRE sobre el
logro escolar.

A. Clculo de la probabilidad de participacin

Como primer paso para evaluar el impacto del PRE sobre el logro escolar, se hizo una
comparacin de los resultados promedio en las reas seleccionadas para los grupos de
tratamiento y control, buscando diferencias significativas entre ellos. Los resultados,
presentados en la tabla 2, muestran que no existen diferencias estadsticamente significativas
entre los puntajes obtenidos por los beneficiarios del programa y aquellos que no lo son.
Este resultado, sin embargo, fue obtenido mediante la comparacin de individuos no
necesariamente comparables, por lo que se busc generar un grupo de comparacin ms
preciso a travs del clculo de la probabilidad de participacin de los diferentes individuos.

Tabla 2. Resultados en SABER 11 segn estado de tratamiento

Sin valores atpicos


(n = 2.159)
Variable
Tratado No tratado
t
(n =513) (n = 1646)
Promedio Lenguaje 45,53 45,78 0,74
Promedio Matemtica 43,24 42,58 -1,47
Promedio Sociales 43,54 44,3 1,79
Promedio Filosofa 40,13 40,16 0,08
Promedio Biologa 44,38 44,61 0,7
Promedio Qumica 43,23 43,14 -0,28
Promedio Fsica 42,9 42,23 -1,85

*** p < 0,01;** p < 0,05 , * p < 0,1.

Para hallar la probabilidad de participacin en el tratamiento se hicieron dos procedimientos:


(1) se tuvieron en cuenta las indicaciones encontradas en la etapa de caracterizacin del

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 21
en el rendimiento acadmico de los estudiantes
programa, es decir, se probaron variables como el estrato socioeconmico, incluidos como
variables dicotmicas que identifican si el individuo est o no en los estratos 1, 2, 3 o mayor, el
nivel del Sisben, incluido de forma semejante a la de los estratos, el puntaje del Sisben 2008 y si
el potencial beneficiario ha sido o no vctima de desplazamiento forzado. Igualmente, se incluy
la edad; (2) en un segundo pareo, se incluyeron otras variables que pueden afectar la asignacin
al tratamiento, como el gnero del estudiante, el rea donde vive (1 = rural, 0 = urbano), el nivel
educativo de los padres y la cantidad de miembros del hogar centrada en cuatro.

En general, se puede afirmar que estas son variables que no cambian rpidamente ni
dependen de la condicin de tratamiento, pues ello implicara una alta movilidad social o
representan un fenmeno discreto como en el caso del desplazamiento . Como resultado
de este proceso, se hall que esta probabilidad se encuentra predicha por la edad y el
puntaje del Sisben, lo cual da como producto unos grupos de tratamiento y control similares
en ambas caractersticas. Igualmente, variables como el rea de habitacin y la cantidad
de miembros del hogar determinan la asignacin, como se puede apreciar en la tabla 3, la
que muestra adems unos valores promedio para ambos conjuntos ms similares que los
expuestos en la tabla 1, lo que asegura una comparacin ms precisa. De hecho, al observar
el histograma de la probabilidad de participacin para los grupos de tratamiento y control,
presente al inicio de las Grficas 2 y 3 en el primer y segundo pareo, se puede apreciar un
amplio soporte comn.

Tabla 3. Estadsticas descriptivas de las variables del pareo (promedio para todas las reas)

Base pareada sin reemplazo Base pareada con reemplazo


Variable (n =661) (n =1696)
Tratado No tratado Tratado No tratado
Edad promedio 16,5 16,5 16,4 16,4
Puntaje promedio Sisben 14,7 14,6 14,9 14,9
Tamao promedio del grupo familiar 5 5 5 5
rea donde vive (Urbano = 0) 536 536 1.525 1.525
Rural 14 14 42 42

22
ESTUDIOS

Grfica 2. Histograma de la probabilidad de participacin para los tratados y los no


tratados, antes y despus del pareo (remplazo = 1)

Primer pareo

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 23
en el rendimiento acadmico de los estudiantes
Segundo pareo

24
ESTUDIOS

Grfica 3. Histograma de la probabilidad de participacin para los tratados y los no tratados


antes y despus del pareo (remplazo = 3)

Primer pareo

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 25
en el rendimiento acadmico de los estudiantes
Segundo pareo

Para comprobar la calidad del emparejamiento, en la tabla 4 se encuentra el resultado de un


modelo Probit con la participacin en el programa como variable dependiente y las variables
de seleccin, junto a la probabilidad de tratamiento, como variables independientes. All se
observa que al controlar por la probabilidad de asignacin al tratamiento, las dems variables
no resultan significativas para explicar la participacin, por lo cual se puede asegurar que la
probabilidad contiene toda la informacin relevante para explicar la asignacin.

26
ESTUDIOS

Tabla 4. Prueba de calidad del emparejamiento

Tratamiento Coeficiente Intervalo (95 %)


Primer pareo
Edad -0,097 [-0,49; -0,29]
Puntaje SISBEN 0,0175 [-0,06; 0,09]
Probabilidad de tratamiento 0,3524 [-11,76; 12,46]
Constante 0,5678 [-7,75; 8,88]
Segundo pareo
Edad -0.01 [-0,4; 0,37]
Puntaje SISBEN 0.0005 [-0,08; 0,08]
rea donde vive (urbano = 0 ) -0.013 [-0,48; 0,45]
Tamao grupo familiar 0.001 [-0,07; 0,07]
Probabilidad de tratamiento 3,03 [-8,66; 14,72]
Constante -1,26 [-9,32; 6,81]

*** p<0.01, ** p<0.05, * p<0.1.

B. Efecto promedio del tratamiento sobre los tratados

El clculo del ATT se efectu teniendo en cuenta la posible presencia de otras variables
observables que afecten el resultado acadmico e indirectamente la participacin en el
programa. Entre estas variables se revis de nuevo el estrato, pero adems se tuvo en
cuenta el nmero de personas en el hogar centrado, la zona donde vive el individuo, el nivel
educativo de los padres (alto = algn nivel de educacin superior; medio = secundaria;
bajo = primaria o menos) y una variable contextual como la jornada del colegio, incluida
como variables dicotmicas que identifican si se est o no en una institucin de jornada
completa, maana, tarde o nochesabatina. De estas variables, resultaron significativas para
la estimacin estar o no en estrato 3, el nivel educativo bajo y medio de ambos padres y la
jornada sabatinanocturna.

Los resultados de esta estimacin se muestran en la tabla 5 y son estables frente al uso o
no de remplazo entre los individuos del grupo de control. En general, los resultados tienen
sentido negativo, por lo cual la participacin en el programa, una vez se ha controlado por las
otras variables observables, parece que disminuyera del puntaje en pruebas estandarizadas.
En especial, estar en el programa disminuye el puntaje en el rea de Lenguaje entre 0,77 y
1,14 puntos; en Ciencias Sociales, entre 1,33 y 2,12 unidades y en Biologa casi una unidad.
Respecto al uso del primero o segundo pareo, los resultados no difieren significativamente,
salvo que en Lenguaje, al usar el segundo pareo sin remplazo, se pierde la significancia.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 27
en el rendimiento acadmico de los estudiantes
Adems, al efectuar una inspeccin visual sobre la calidad de la estimacin con las grficas 2
y 3, se encuentra que para todas las reas del conocimiento bajo observacin, los individuos
del grupo de tratamiento y el de control son altamente comparables.

Tabla 5. Efecto promedio del PRE sobre los tratados (vecino ms cercano con ajuste de
sesgo por observables)

Reemplazo = 1 Reemplazo = 3
Variables
Coeficiente Intervalo (95 %) Coeficiente Intervalo (95 %)
Primer pareo
Lenguaje -1,14 ** [-2,01; -0,26] -1,14 *** [-1,87; -0,41]
Matemtica -0,43 [-1,56; 0,69] -0,16 [-1,15; 0,83]
Ciencias Sociales -1,67*** [-2,78; -0,56] -2,12 *** [-3,04; -1,19]
Filosofa -0,52 [-1,53; 0,5] -0,81 [-1,66; 0,046]
Biologa -0,98 ** [-1,82; -0,14] -0,997 *** [-1,71; -0,28]
Qumica -0,14 [-0,98; 0,7] -0,51 [-1,21; 0,2]
Fsica 0,12 [-0,83; 1,07] -0,17 [-0,95; 0,61]
Segundo pareo
Lenguaje -0,53 [-1,45; 0,38] -0,77** [-1,52; -0,03]
Matemtica -0,1 [-1,24; 1,04] -0,36 [-1,35; 0,63]
Ciencias Sociales -1,33** [-2,5; -0,17] -1,81*** [-2,76; -0,87]
Filosofa -0,65 [-1,71; 0,41] -0,83 [-1,69; 0,03]
Biologa -0,88** [-1,73; -0,03] -0,95*** [-1,65; -0,25]
Qumica -0,35 [-1,15; 0,45] -0,55 [-1,23; 0,13]
Fsica 0,66 [-0,33; 1,65] 0,11 [-0,69; 0,91]

*** p < 0,01; ** p < 0,05; * p < 0,1.

Para asegurar lo que se vio grficamente, se llev a cabo una prueba de pseudotratamiento,
de la cual se reportan los resultados en la tabla 6. En esta se puede observar que, en general,
salvo para Lenguaje, Biologa y Fsica, luego de hacer reemplazos en el grupo de control,
para los grupos de tratamiento y control all utilizados no hay efectos significativos debidos
al programa. En este sentido, se puede asegurar que no hay variables no observables u
omitidas en el clculo del efecto promedio sobre los tratados; no obstante, pueden haber
otros aspectos no tenidos en cuenta para explicar el efecto del tratamiento en estas reas
del conocimiento.

28
ESTUDIOS

Tabla 6. Prueba de pseudotratamiento

Reemplazo = 1 Reemplazo = 3
Variables
Coeficiente Intervalo (95 %) Coeficiente Intervalo (95 %)
Primer pareo
Lenguaje 0.67 [-0,28; 1,62] 0,57 [-0,29; 1,43]
Matemtica 0,42 [-0,99; 1,82] 0,51 [-0,73; 1,75]
Ciencias Sociales 0,41 [-0,94; 1,78] 0,65 [-0,51; 1,81]
Filosofa -0,15 [-1,47; 1,16] 0,27 [-0,85; 1,39]
Biologa 0,7 [-0,37; 1,77] 1,08** [0,16; 2,01]
Qumica 0,4 [-0,55; 1,35] 0,62 [-0,19; 1,42]
Fsica 0,54 [-0,66; 1,75] 1,17** [0,13; 2,22]
Segundo pareo
Lenguaje 0,78 [-0,29; 1,85] 0,91** [0,02; 1,79]
Matemtica 0,82 [-0,62; 2,26] 0,71 [-0,49; 1,9]
Ciencias Sociales 0,24 [-1,02; 1,5] 0,73 [-0,4; 1,86]
Filosofa 0,86 [-0,46; 2,18] 0,39 [-0,69; 1,47]
Biologa 0,94 [-0,07; 1,96] 1,2*** [0,32; 2,09]
Qumica 0,97** [0,1; 1,85] 0,78 [-0,001; 1,56]
Fsica 0,94 [-0,22; 2,1] 0,93 [-0,09; 1,95]

*** p < 0.01; ** p < 0,05; * p < 0,1.

Finalmente, como prueba de robustez de los resultados se utilizaron otros criterios de medida
para estimar el ATT, como se puede observar en las tablas 7 (Kernel) y 8 (Mahalanobis).
Como se observa en estas tablas, no se puede asegurar que la participacin en el PRE afecte
de alguna forma el desempeo acadmico de sus beneficiarios.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 29
en el rendimiento acadmico de los estudiantes
Tabla 7. Efecto promedio del PRE sobre los tratados (Kernel)

Reemplazo = 1 Reemplazo = 3
Variables
Coeficiente Intervalo (95%) Coeficiente Intervalo (95%)
Primer pareo
Lenguaje -0,03 [-1,02; 0,95] -0,31 [-1,33; 0,72]
Matemtica 0,27 [-0,98; 1,53] 0,07 [-1,16; 1,31]
Ciencias Sociales -1,64 [-2,74; -0,55] -1,48 [-2,71; -0,25]
Filosofa -0,22 [-1,3: 0,86] -0,4 [-1,54; 0,75]
Biologa -0,61 [-1,66; 0,43] -0,68 [-1,63; 0,28]
Qumica 0,18 [-0,72; 1,05] -0,01 [-0,88; 0,86]
Fsica 0,46 [-0,55; 1,47] 0,36 [-0,47; 1,19]
Segundo pareo
Lenguaje -0,59 [-1,63; 0,44] -0,37 [-1,29; 0,54]
Matemtica 0,26 [-1,17; 1,69] 0,19 [-1,06; 1,29]
Ciencias Sociales -1,2 [-2,36; -0,05] -0,91 [-1,94; 0,11]
Filosofa -0,38 [-1,68; 0,91] 0,05 [-1,11; 1,21]
Biologa -0,41 [-1,49; 0,68] -0,57 [-1,35; 0,2]
Qumica 0,35 [-0,52; 1,21] 0,15 [-0,69; 0,99]
Fsica 0,02 [-1,15; 1,19] 0,2 [-0,84; 1,23]

Tabla 8. Efecto promedio del PRE sobre los tratados (Mahalanobis)

Reemplazo = 1 Reemplazo = 3
Variables
Coeficiente Intervalo (95 %) Coeficiente Intervalo (95 %)
Primer pareo
Lenguaje -0,68 [-1,59; 0,23] -0,78 [-1,68; 0,12]
Matemtica -0,32 [-1,61; 0,97] 0,34 [-0,69; 1,36]
Ciencias Sociales -1,36 [-2,83; 0,10] -1,47 [-2,62; -0,32]
Filosofa 0,05 [-1,16; 1,25] -0,68 [-1,62; 0,27]
Biologa -0,7 [-1,73; 0,32] -0,69 [-1,61; 0,24]
Qumica 0,22 [-0,77; 1,22] -0,08 [-0,98; 0,82]
Fsica 0,34 [-0,87; 1,56] -0,06 [-0,99; 0,87]
Segundo pareo
Lenguaje -0,31 [-1,52; 0,9] -0,41 [-1,33; 0,51]
Matemtica 0,52 [-0,93; 1,97] 0,07 [-1,38; 1,51]
Ciencias Sociales -0,78 [-1,97; 0,41] -1,34 [-2,6; -0,09]
Filosofa -0,23 [-1,56; 1,1] -0,56 [-1,66; 0,54]
Biologa -0,4 [-1,38; 0,58] -0,6 [-1,4; 0,19]
Qumica 0,11 [-0,71; 0,92] -0,22 [-1,14; 0,7]
Fsica 0,62 [-0,48; 1,71] 0,44 [-0,73; 1,61]

30
ESTUDIOS

VI. Discusin

Este estudio evalu el efecto del PRE en el rendimiento acadmico de los estudiantes
beneficiados por este. El logro escolar se midi a travs de resultados de la prueba SABER
11 para el ao 2010, y para identificar los beneficiarios en cada una de las IE oficiales de
la ciudad de Medelln se us informacin proveniente del sistema Matrcula en lnea de la
Secretara de Educacin de Medelln. Para cumplir tal objetivo, se caracteriz el proyecto y
sus usuarios a travs de estadstica descriptiva e informacin legal, y se estim el efecto del
PRE en el rendimiento acadmico.

El proceso de caracterizacin permiti contrastar lo que el gobierno municipal, en su poltica


Alimentacin escolar, declara formalmente como objetivo y poblacin potencialmente
beneficiaria en los documentos legales que regulan el funcionamiento del PRE, con lo que
ocurre en realidad. As, si bien el programa busca aumentar la retencin escolar, su principal
meta es mejorar el rendimiento acadmico, en especial en la poblacin en edad escolar con
mayores riesgos socioeconmicos.

Respecto al cumplimiento de su objetivo, la estimacin del efecto del programa no muestra


resultados concluyentes de la poltica, pues luego de seguir las recomendaciones de
Behrman (1996) y Behrman, et al., (2000), respecto al control por variables omitidas, observar
la aleatoriedad del proceso de asignacin y controlar por el posible sesgo en variables
observables, los efectos obtenidos son sensibles al cambio en el criterio de distancia y a
la varianza de la distribucin de probabilidad de tratamiento, mientras que la prueba de
pseudotratamiento presenta efectos en el puntaje de algunas reas que en realidad no
existen, pues la poblacin sobre la que se hizo esta prueba no recibe tratamiento alguno.

Este resultado debe revisarse teniendo en cuenta las caractersticas poblacionales y las del
programa, tanto en lo relacionado con su operacin como con su mecanismo de focalizacin.
En este sentido, lo primero es recordar que el PRE se divide en las modalidades de desayuno
preparado, desayuno, almuerzo y vaso de leche. La que contiene el mayor contenido
energtico es la tercera (30 % de las recomendaciones diarias de energa y nutrientes; ICBF,
2010, p. 38), mientras que el vaso de leche tiene el menor.

Los datos anteriores recuerdan que la racin que se ofrece en el restaurante tiene como funcin
complementar la alimentacin diaria del beneficiario o, en casos extremos, permite mitigar el
estado de desnutricin aguda, con lo que se espera proteger otras capacidades del estudiante
asociadas al rendimiento escolar, como la concentracin o la atencin, pero es posible que

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 31
en el rendimiento acadmico de los estudiantes
la racin energtica no sea suficiente para afectar positivamente al logro acadmico de los
estudiantes, en especial cuando se identifica que la mayora de los tratados est en vaso de leche.
Otra posible explicacin es que cualquier efecto positivo asociado a pertenecer al PRE se
compense por efectos no deseados de este, como los encontrados por Cueto y Chinen
(2008) en el programa Desayunos escolares del Per, donde los beneficiados sustituyeron
tiempo en el aula por tiempo en el receso.

Desde el punto de vista de la operacin y focalizacin de la poltica, se hallaron dos fenmenos:


(1) la probabilidad de participacin depende, efectivamente, de lo que diferentes actores
institucionales -tanto el municipio de Medelln como estudiantes, profesores y observadores
externos- declaran como los principales mecanismos de asignacin la edad y el SISBEN,
pero tambin se afecta por el rea donde vive el estudiante y la cantidad de personas que
componen su hogar; y (2) al menos descriptivamente se hall que existe un problema de
asignacin al haber individuos con menores condiciones socioeconmicas que estaban fuera
del programa. En este sentido, se puede esperar que individuos con mejores condiciones
socioeconmicas perciban menores beneficios de pertenecer al PRE, lo cual anula su efecto.
Este ltimo aspecto era un problema grave en el diseo, si se tiene en cuenta no solo
que la focalizacin del programa atent contra su objetivo principal, sino que tambin se
comprometen recursos anuales por $70.000.000.000 provenientes en el 80 % del Municipio
de Medelln y en un 20 % del ICBF. Se espera que con la cobertura universal, este problema
haya desaparecido.

Ahora bien, aunque los resultados son consistentes en las diferentes estimaciones, se
reconocen las limitaciones de los datos de corte transversal para estimar el efecto de
este programa. Futuros estudios deben usar datos panel del estudiante con informacin
de participacin en el programa en cada una de sus modalidades, ya que, por un lado,
es importante conocer la intensidad del programa, es decir, el nmero de aos que cada
estudiante ha sido beneficiario del programa, y por el otro, estimar los efectos a largo plazo
en los estudiantes beneficiados durante primaria. El supuesto de efectos inmediatos usado
para fines de este estudio pueden explicar los resultados encontrados.

32
ESTUDIOS

VII. Anexo

Normatividad relacionada con el funcionamiento de los programas de nutricin escolar en


el municipio de Medelln

Fuente: elaboracin propia con informacin brindada por la Secretara de Bienestar Social del Municipio de Medelln.

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 33
en el rendimiento acadmico de los estudiantes
VIII. Agradecimientos

Los autores expresan su agradecimiento a las secretaras de Bienestar Social y Educacin


del municipio de Medelln, a Santiago Bohrquez por su apoyo en la unin de bases de
datos, a la profesora Luz Marina Arboleda y a la estudiante Vanessa Echeverri Monsalve por
las entrevistas concedidas.

34
ESTUDIOS

Referencias

Abadie, A. Drukker, D., Herr, J.L., e Imbens, G.W. (2004). Implementing matching
estimators for average treatment effects in Stata. The Stata Journal, 4(3), pp.290 -311.

Adelman, S. W., Gilligan, D. O., y Lehrer, K. (2008). How Effective are Food for
Education Programs? A Critical Assessment of the Evidence from Developing Countries
(1st ed., p. 69). Washington, DC: International Food Policy Research Institute (IFPRI).
doi:10.2499/0896295095FPRev9

Aedo, C. (2005). Evaluacin del impacto. manuales de la CEPAL (Vol. 47, p. 78). San.
Recuperado de http://www.eclac.cl/publicaciones/xml/7/24337/lcl2442e.pdf

Aguilar, W. M., y Siza, O. J. (2010). Familias en accin: evaluacin de impacto de


evaluacin de impacto de un programa piloto en Medelln , Colombia (p. 128). Washington,
DC. doi:NEP-ALL-2011-10-15

Attanasio, O., y Gmez, L. C. (2006). Evaluacin del impacto del Programa Familias
en Accin - Subsidios condicionados de la Red de Apoyo Social. Informe final (p. 170).
Bogot DC. Recuperado de http://www.accionsocial.gov.co/documentos/INFORME
FINAL EVALUACION DE IMPACTO PFA.pdf

Attanasio, O., y Vera-Hernndez, M. (2004). Medium and Long Run Effects of Nutrition
and Child Care: Evaluation of a Community Programme in Rural Colombia. London.
Recuperado de http://www.ifs.org.uk/edepo/wps/ewp0406.pdf

Attanasio, O., Vera-Hernndez, M., Battistin, E., Fitzsimons, E., y Mesnard, A.


(2005). How Effective are Conditional Cash Transfers? Evidence From Colombia. London.
Recuperado de http://www.ifs.org.uk/bns/bn54.pdf

Barrientos M., J. (2008). Calidad de la educacin pblica y logro acadmico en Medelln


2004-2006. Una aproximacin por regresin intercuartil. Lecturas de Economa, 68(Enero-
junio), 121144. Recuperado de http://aprendeenlinea.udea.edu.co/revistas/index.php/
lecturasdeeconomia/article/view/267/214

Behrman, J. R. (1996). The impact of Health and Nutrition on Education. The World Bank
Research Observer, 11(1), 2337. Recuperado de http://www.jstor.org/stable/3986477

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 35
en el rendimiento acadmico de los estudiantes
Behrman, J. R., Sengupta, P., y Todd, P. E. (2000). El impacto de Progresa sobre el
rendimiento escolar durante el primer ao de operacin (p. 54). Recuperado de http://
www.ifpri.org/sites/default/files/publications/behrman_rendimiento.pdf

Belot, M., y James, J. (2011). Healthy school meals and educational outcomes. Journal
of Health Economics, 30(3), 489504. doi:10.1016/j.jhealeco.2011.02.003

Bernal, R., y Pea, X. (2011). Gua prctica para la evaluacion de impacto (1st ed., p.
326). Bogot DC: Universidad de los Andes.

Beryl, L. (1986). School Feeding Programs in Developing Countries: An Analysis of Actual


and Potential Impact (p. 125). Washington, DC. Recuperado de http://www.eric.ed.gov/
PDFS/ED296785.pdf

Brown, J. L., Beardslee, W. H., y Prothrow-Stith, D. (2008). Impact of school breakfast


on children s health and learning: An Analisys of the Scientific research. Public Health
(p. 20). Recuperado de http://www.breakfastfirst.org/pdfs/HarvardAssessmentSchoolBre
akfast[Sodexo2008].pdf

Cameron, C., y Trivedi, P. (2005). Microeconometrics Methods and applications. Analysis


(1st ed., p. 1058). New York: Cambridge University Press.

Cardona, M., Montes, I. C., Vsquez, J. J., Villegas, M. N., y Brito, T. (2007). Capital
humano: una mirada desde la educacin. Cuadernos de Investigacion, 40. Recuperado
de http://bdigital.eafit.edu.co/Journal/HRU100/Cuaderno56.pdf

Cohen, E., Tapia, L., Machado, O., Agudelo, M. A., Cadavid, M., y Villegas, G. R.
de. (2001). Gestin de programas sociales en Amrica Latina. Anlisis de casos. Vol.
III: El Programa de Restaurantes Escolares Comunitarios de Medelln, Colombia (p.
76). Santiago de Chile. Recuperado de http://www.eclac.cl/publicaciones/xml/3/6873/
lcl1470add2e.pdf

Cueto, S., y Chinen, M. (2008). Educational impact of a school breakfast programme in


rural Peru. International Journal of Educational Development, 28(2), 132148. doi:10.1016/j.
ijedudev.2007.02.007

DNP (Departamento Nacional de Planeacin) (2008). Evaluacin de polticas pblicas


No 6: Programa Familias en accin: Impactos en capital humano y evaluacin beneficio-
costo del Programa (p. 122). Bogot DC. Recuperado de http://www.dnp.gov.co/
Portals/0/archivos/documentos/DEPP/Evaluacion_Politicas_Publicas/Serie_Reportes_
de_Evaluacion_No_6_Familias en accion.pdf

36
ESTUDIOS

Garca, S., y Hill, J. (2009). The Impact of Conditional Cash Transfers on Childrens
School Achievement: Evidence from Colombia. Bogot DC. Recuperado de http://
economia.uniandes.edu.co/investigaciones_y_publicaciones/CEDE/Publicaciones/
documentos_cede/2009/The_Impact_of_Conditional_Cash_Transfers_on_Children_s_
School_Achievement_Evidence_from_Colombia

Garca S., Sarmiento, O., y Velasco, T. (2010). Socioeconomis inequality in malnutrition


among children and adolescents in Colombia: the role of houesehold and contextual
characteristics. Documentos de trabajo EGOB, 2(2010).

Glewwe, P., Jacoby, H. G., y King, E. M. (2001). Early childhood nutrition and academic
achievement: a longitudinal analysis. Journal of Public Economics, 81(3), 345368.
doi:10.1016/S0047-2727(00)00118-3

Gomes-Neto, J. B., Hanushek, E., Hlio, R., y Frota-Bezzera, C. (1997). Health and
Schooling: Evidence and Policy Implications for Developing Countries. Economics
of Education Review, 16(3), 271282. Recuperado de http://www.sciencedirect.com/
science/article/B6VB9-3SWXYHK-7/2/bab7b23fc1cbc05e2e4052233202d7f6

Gruber, J. (2005). Public Finance and Public Policy (3rd ed., p. 860). New York:
Worth Publishers.

Hobbs, G., &y Vignoles, A. (2007). Is Free School Meal Status a Valid Proxy for Socio-
Economic Status (in Schools Research)? London. Recuperado de http://cee.lse.ac.uk/
ceedps/ceedp84.pdf

ICBF (Instituto Colombiano de Bienestar Familiar - Cecilia de la Fuente Lleras).


(2010). Lineamientos tcnico administrativos y estndares del programa de alimentacion
escolar PAE (p. 186).

Imbens, G.W. y Wooldridge, J.M. (2009). Recent Developments in the Econometrics of


Program Evaluation. Journal of Economic Literature, 47(1), pp. 5 86. Recuperado de:
http:www.aeaweb.org/articles.php?doi=10.1257/jel.47.1.5

Khander, S. R., Koolwal, G. B., y Samad, H. A. (2010). Handbook on Impact


Evaluation: Quantitative Methods and Practices. Learning (1st ed., p. 239). Washington,
DC: The World Bank. Recuperado de http://www-wds.worldbank.org/external/default/
WDSContentServer/IW3P/IB/2009/12/10/000333037_20091210014322/Rendered/PDF/5
20990PUB0EPI1101Official0Use0Only1.pdf

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 37
en el rendimiento acadmico de los estudiantes
Kleinman, R. E., Hall, S., Green, H., Korzec-Ramirez, D., Patton, K., Pagano, M. E., y
Murphy, J. M. (2002). Diet, Breakfast, and Academic Performance in Children. Annals of
Nutrition and Metabolism, 46(Suppl. 1), 2430. doi:10.1159/000066399

Lien, L. (2007). Is breakfast consumption related to mental distress and academic


performance in adolescents? Public Health Nutrition, 10(4), 4228. doi:10.1017/
S1368980007258550

Mitchelmore, M. C., y Clarke, N. (1993). Gender, nutrition and school achievement in


Jamaica. Social and Economic Studies, 42(2-3), 117 134. Recuperado de http://www.
jstor.org/stable/27865897 .

Neufeld, L., Rubio, M., Pinzn, L., y Tolentino, L. (2010). Nutricin en Colombia:
estrategia de pas 2011-2014 (p. 62). Recuperado de http://idbdocs.iadb.org/wsdocs/
getdocument.aspx?docnum=35791560
Olivera, M. (2003). Efectos del desayuno escolar en la tasa de retencin del Sistema
Escolar Pblico. Pontificia Universidad Catlica de Chile. Recuperado de http://www.
economia.puc.cl/docs/tesis_molivera.pdf

Pertz, D. L., y Putnam, L. R. (1982). An Examination of the Relationship between Nutrition


and Learning. The Reading Teacher, 35(6), 702706. Recuperado de http://www.jstor.org/
stable/20198075 .

Rojas D., C., Montes J., C., Segura G., S., Angel, R. A., Llanos-Zavalaga, F., Baltasar
S., G., Asenjo L., P., et al. (2003). Aproximacin al efecto del programa de desayunos
escolares sobre el rendimiento intelectual en alumnos de educacin inicial y primaria
del Per. Revista Peruana de Medicina Experimental y Salud Pblica, 20(1), 3138.
Recuperado de http://www.scielo.org.pe/pdf/rins/v20n1/a07v20n1.pdf

Rubio, M., Pinzn, L., y Gutirrez, M. (2010). Primera infancia en Atencin integral a
la primera infancia en Colombia: estrategia de pas 2011-2014 (p. 83). Recuperado de
http://idbdocs.iadb.org/wsdocs/getdocument.aspx?docnum=35807166

Schultz, T. W. (1961). Investment in Human Capital. The American Economic Review,


51(1), 117. Recuperado de http://www.jstor.org/pss/1818907

Schultz, T. W. (1982). Investing in People, the Economics of Population Quality (p. 173).
California: University of California Press. ISBN: 0520047877, 780520047877

Soto-Baquero, F. (2009). Polticas pblicas de corto y largo plazo en respuesta a la crisis


alimentaria en Amrica Latina. In J. L. Vivero y X. Erazo (eds.). Derecho a la alimentacin,
polticas pblicas e instituciones contra el hambre (1st ed., pp. 189216). Santiago de
Chile: LOM ediciones.

38
ESTUDIOS

Tobn, D., Valencia, G., Ros, P., y Bedoya, F. (2008). Organizacin jerrquica y logro
escolar en Medelln: un anlisis a partir de la funcin de produccin educativa. Lecturas
de Economa, 68, 145173. Recuperado de http://aprendeenlinea.udea.edu.co/revistas/
index.php/lecturasdeeconomia/article/view/268/215

Vegas, E., y Santibez, L. (2010). The Promise of Early Childhood Development in


Latin America and the Caribbean (1st ed., p. 188). Washington, DC: The World Bank.
doi:10.1596/978-0-8213-7759-8.

Veedura al Plan de Desarrollo de Medelln (1997). Restaurantes escolares


y comunitarios (pp. 18). Medelln. Recuperado de http://www.google.com/
url?sa=tyrct=jyq=restaurantes escolares y comunitariosysource=webycd=1ysqi=2yve
d=0CCYQFjAAyurl=http://veeduriamedellin.org.co/apc-aa-files/9eab3531de2c5b3c94fe
5391c9495b98/VPDM_Bal1995_1997_06RestaurantesEscolares_Comunitarios.pdfyei=V
ShUT9WDE4HQgAeW46nxBQyusg=AFQjCNEGhtno_jR7eTFbnsgFVheP4Zi6rQ

Veedura al Plan de Desarrollo de Medelln (1999). Los restaurantes escolares en
Medelln. Medelln.

Vivero, J. L., y Ramrez, P. (2009). Leyes, polticas e instituciones contra el hambre en el


contexto latinoamericano. In Jos Luis Vivero y X. Erazo (eds.). Derecho a la alimentacin,
polticas pblicas e instituciones contra el hambre (1st ed., pp. 123172). Santiago de
Chile: LOM ediciones.

Wisniewski, S. L. W. (2010). Child Nutrition, Health Problems, and School Achievement


in Sri Lanka. World Development, 38(3), 315332. doi:10.1016/j.worlddev.2009.09.009

Evaluacin del impacto del Proyecto


Restaurantes Escolares del municipio de Medelln 39
en el rendimiento acadmico de los estudiantes
Calle 17 No. 3-40 Telfono:(57-1)338 7338 Fax:(57-1)283 6778 Bogot - Colombia
www.icfes.gov.co

40

Вам также может понравиться