Estrategia de

evaluacin de impacto
y resultados
Medicin continua de resultados educativos
para mejorar el desempeo de los alumnos

Nuestro programa
educativo y visin

Nuestra misin es crear soluciones de tecnologa educativa para reducir la

brecha digital y educativa en comunidades de bajos recursos en Mxico.

La brecha digital

Educacin

56.5% 13%

Falta de Habilidades

42%

de la poblacin
no tiene acceso
a Internet

de los alumnos de primaria

terminarn una carrera
universitaria

de los empleadores
mexicanos tienen dificultad
para encontrar candidatos
con las habilidades adecuadas

*Fuente: INEGI, 2014

*Fuente: UNAM, 2013

*Fuente: OCDE

Nuestros principales proyectos la RIA y las Bibliotecas Digitales

actualmente cuentan con 95 centros educativos con tecnologa
en 50 municipios del Estado de Mxico.

Ofrecemos soluciones de tecnologa educativa

para ms de 500,000 mexicanos.

Los proyectos principales resultan de una colaboracin trisectorial entre los

sectores pblico, social y privado.

Sector Social
Alianzas y OSC

Sector Pblico

Gobierno de Mxico

Sector Privado

Alianzas con empresas privadas

Nuestro programa educativo est diseado para alumnos con habilidades

educativas y tecnolgicas limitadas.

Aunque un 41% de nuestros usuarios

son adultos, slo el 30% terminaron
preparatoria o universidad.
!

68% de nuestros usuarios jams han

usado una computadora.

Desarrollo de programas
de capacitacin para
todas las edades
enfocadas en fomentar
habilidades bsicas a
travs de tecnologa y
clases personalizadas

Nuestra estrategia de
evaluacin para la
brecha digital

Nuestros proyectos atienden a ms de 500,000 usuarios que buscan servicios

educativos y tecnolgicos.

Acceso a Internet
Desarrollo de habilidades digitales
Desarrollo de habilidades bsicas educativas
Acceso a libros digitales y enciclopedias

Ms de 97,500 se han graduado de nuestros cursos de ciudadana digital.

RUTA BSICA DE APRENDIZAJE

COMPUTACIN

OFIMTICA

CIUDADANOS DIGITALES

El programa se basa en estndares nacionales e internacionales de competencias

digitales de acuerdo a las necesidades del mercado local

El progreso del estudiante se registra mediante un seguimiento a travs

de evaluaciones y actividades de formacin continua.

Diagnstico
de la
evaluacin

Sistema de
de gestin del
aprendizaje

Evaluacin
final

Actividades
de formacin
continua

Desarrollo de habilidades digitales

Nuestra estrategia
de evaluacin de
impacto

Desde 2011, la evaluacin de desempeo del estudiante ha sido un elemento

clave de nuestra estrategia.

2011: C230 Consultores

Dirige una evaluacin de impacto (randomized controlled trial o RCT) del
aprendizaje en matemticas y lectura para nios de primaria inscritos
en los centros RIA.

2013: Laboratorio de Evaluacin y Desempeo

Se establece el Laboratorio de Evaluacin y Desempeo, un equipo
multidisciplinario dedicado a la evaluacin del impacto.
Realiza una evaluacin de series de tiempo con economistas especializados para
evaluar el aprendizaje en matemticas de nios en primaria inscritos en la RIA.
Realiza un RCT del aprendizaje en lectura y matemticas, evaluando a ms de
1,000 alumnos.
Instrumentos de evaluacin automatizada y sistema de reportes.

2014: Laboratorio de Evaluacin y Desempeo

Dirigir 2 RCTs y evaluaciones de series de tiempo del aprendizaje en
matemticas y lectura de nios de primaria inscritos en los centros RIA.

El Laboratorio es una iniciativa pionera que integra la evaluacin de impacto a la

prctica educativa en el da a da.
El objetivo principal del Laboratorio es determinar el impacto de nuestros cursos en el
aprendizaje del alumno e identificar qu acciones nos llevaran a mejorar resultados.

El Lab consiste en un equipo multidisciplinario de economistas, educadores y

expertos en tecnologa dedicados a medir el impacto y mejorar las prcticas de
evaluacin.

Economistas

Creacin de la
metodologa de
evaluacin.
Anlisis y evaluacin de
los resultados de los
experimentos.

Educacin

Interpretacin y
estrategia de cmo
mejorar resultados.
Capacitacin de
evaluadores.

Tecnologa

Automatizacin de
instrumentos de
evaluacin y resultados.

Nuestros colaboradores externos incluyen una red experimentada de profesionales.

Firma de consultora especializada en estrategias de polticas pblicas y soluciones. A travs de anlisis cuantitativos
rigurosos, la firma ofrece soluciones innovadoras a clientes pblicos y privados. Su socio y cofundador, Ral Abreu, es
Maestro en Administracin Pblica y Desarrollo Internacional por la Universidad de Harvard e Ingeniero Industrial y de
Sistemas por el ITESM. Cuenta con amplia experiencia en evaluaciones y monitoreo de programas sociales, incluyendo
una colaboracin con la Fundacin Bill and Melinda Gates y Mckinsey and Co.

Armando Chacn y Pablo Pea

Socios de la empresa Microanaltica, un
grupo de consultora especializado en
estudios basados en evidencia y en
evaluaciones de soluciones para mejorar la
educacin. Armando cuenta con una
licenciatura en economa del ITAM y MBA
de la Universidad de Georgetown; Pablo
cuenta con un doctorado en economa de
la Universidad de Chicago y licenciatura
en economa del ITAM.

Rodimiro Rodrigo
Economista del ITAM, cuenta con
una maestra de especializacin en
economa de la Universidad de
Pennsylvania. Actualmente es el
Director de Desarrollo de Polticas
Publicas para la Productividad en la
Secretaria de Hacienda.

Carolina Garayzar
Economista del ITAM, con una Maestra
en Polticas Pblicas de la Universidad de
Chicago. Anteriormente, trabaj como
asesora econmica en la Subsecretara
de Competitividad y Normatividad de la
Secretara de Economa y actualmente,
es asesora tcnica de la Presidenta en la
Comisin Federal de Competencia
Econmica (COFECE).

La estrategia del Laboratorio se basa en evaluaciones rpidas y continuas a

travs de experimentos y procesos de evaluacin rigurosos.

Integracin rpida
Los experimentos son realizados cada semestre, permitiendo una integracin
rpida de los resultados a las prcticas educativas.
!

Aprendizaje
Los resultados de los alumnos son evaluados a travs de RCTs y evaluaciones de
series de tiempo, permitiendo determinar que tratamientos funcionan y si los
alumnos obtienen mejor aprendizaje despus de tomar un curso.

Las prcticas de evaluacin del Laboratorio actualmente estn enfocadas en

evaluar La Expedicin, un programa educativo para nios en la primaria.

El programa
El programa incluye 72 horas (dentro de 3 meses) de aprendizaje de matemticas,
ciencias, lectura y valores a travs de tecnologa e instruccin personalizada.
!

Graduados
El programa grada aproximadamente 1,500 alumnos por semestre,
representando una muestra aunque pequea, significativa.

La Expedicin fue lanzada en 2011, mejorando continuamente las

caractersticas del programa.

Facilitadores
Los facilitadores tienen el soporte por supervisores y mentores pedaggicos
responsables de asistir y compartir sus conocimientos. Adems, reciben
entrenamiento en cmo ensear el curso.

Estudiantes
Los estudiantes pueden recibir soporte adicional a travs de clases personalizadas
con facilitadores.

Padres
Los padres reciben actualizaciones de las actividades estudiantiles y
recomendaciones de cmo ayudar a sus hijos en casa.

Midiendo el impacto: Los estudiantes de La Expedicin mejoran sus

resultados?

Resultados por
materia

Resultados prueba de
espaol

Resultados prueba de
matemticas

El estudiante comienza con*

Periodo del examen

Medicin del impacto**

Matemticas

Lectura

Antes del Mdulo 1

L0

l0

Despus del Mdulo 1

L1

l1

(L1-L0) - (l1-l0)

Despus del Mdulo 2

L2

l2

(r2-r1) - (L2-L1)

Antes del Mdulo 1

m0

M0

Despus del Mdulo 1

m1

M1

(M1-M0) - (m1-m0)

Despus del Mdulo 2

m2

M2

(m2-m1) - (M2-M1)

* Los 70 centros son asignados aleatoriamente para empezar el curso con un mdulo de
matemticas o lectura.
** Los resultados son analizados a travs de mtodo diferencias en diferencias.

El impacto es medido a travs de experimentos de series de tiempo y RCT.

Series de tiempo
Mejora el rendimiento medio en matemticas y lectura
despus de tomar un curso?
Diagnstico

Final del mdulo 1

Final del mdulo 2

RCT
El rendimiento del estudiante medio en matemticas (o lectura) es mayor despus de
completar un curso de matemticas (o lectura) una vez comparado con estudiantes
que no toman el curso?
Grupo de lectura matemticas
Grupo de
matemticas lectura

Diagnstico

Fin del mdulo de lectura

Fin del mdulo de matemticas

Diagnstico

Fin del mdulo de matemticas

Fin del mdulo de lectura

Nuestros instrumentos de evaluacin han sido implementados con xito en

los centros RIA y en otros programas internacionales.

Early Grade Math Assessment (EGMA)

Early Grade Reading Assessment (EGRA)
!
Evaluaciones de 15 minutos de habilidades bsicas de comprensin lectora y
matemticas desarrollados por la Agencia de los Estados Unidos para el
Desarrollo Internacional (USAID) con el objetivo de comparar habilidades
bsicas a nivel internacional.
Ms de 50 pases han implementado dichas evaluaciones en diferentes
programas educativos.
Ambas evaluaciones fueron fcilmente adaptadas a las necesidades de los
alumnos en la RIA y los evaluadores (a travs de traducciones en espaol e
instrucciones amigables).
La corta duracin permite el uso continuo de las evaluaciones a lo largo del
programa (3 meses).

La metodologa de evaluacin ha demostrado ser muy efectiva en los centros.

!
Como todos los alumnos toman los mdulos de matemticas y lectura, nuestro
experimento no encuentra la problemtica tica de negar un servicio a un usuario.
!
Aunque podran existir algunas diferencias entre grupos*, creemos que nuestra
asignacin aleatoria garantiza la comparabilidad entre grupos.
!
Hemos logrado automatizar EGMA, reduciendo los costos y aumentando la
eficiencia en aplicacin de las evaluaciones.
!
La mayora de las evaluaciones y resultados han indicado que el nivel de dificultad
de EGRA y EGMA es adecuado para nuestra poblacin de alumnos de inters.
!
* Las diferencias entre grupos pueden ser medidas a travs de comparaciones iniciales de los
resultados de EGRA y EGMA y entre indicadores demogrficos y socioeconmicos.

Resultados de
evaluaciones
y conclusiones

El primer estudio de impacto en 2011 concluy que La Expedicin conlleva un

aumento en los resultados de ENLACE* de alumnos en el 4 ao de primaria.
!
El estudio aplic un RCT entre 1,081 alumnos, de los cuales 854 recibieron una
beca para La Expedicin (grupo de tratamiento) y 227 fueron considerados como
el grupo de control.
Ambos grupos fueron considerados estadsticamente equivalentes segn los
resultados de ENLACE de 2010 de los alumnos en la muestra.
LECTURA

Grupo de control
Grupo de tratamiento

Grupo de control
Grupo de tratamiento

EFECTO RIA

525525

525

525

30 555

MATEMTICAS

EFECTO RIA

516525

516

516

34 549

* Examen nacional de la Secretaria de Educacin Pblica para nios de primaria y secundaria (2006 2013).

+6%

+7%

El estudio de impacto no encontr resultados significativos para los alumnos en otros

grados escolares (3, 5 y 6 ao de primaria). La dificultad en la implementacin del
curso y la evaluacin pueden haber influenciado dichos resultados.
!
Una baja participacin de alumnos puede haber minimizado los resultados
potenciales del programa.*
- Slo el 67% de los estudiantes (567) que reciben una beca eligen inscribirse en
La Expedicin.
- De los que se inscriben, el 26% no atendi a las clases.
La muestra tiene limitaciones estadsticas debido al pequeo nmero de
observaciones en el grupo de tratamiento (227 alumnos).
Los alumnos que aplicaron para el programa tenan un promedio de + 20 puntos
de diferencia en los resultados de ENLACE en comparacin con los dems alumnos
en el Estado de Mxico (auto-seleccin). Por lo tanto, es posible que el programa
no sea capaz de mejorar todava sus resultados.
El programa estaba siendo implementado por primera vez en los centros e
inicialmente no tena objetivos claros y prcticas acadmicas homogneas.
* Al considerar una tasa de inscripcin del 67%, el aumento en los resultados de ENLACE para nios de 4o de
primaria incrementan en 38 puntos (vs 30) para lectura y en 42 puntos (vs 33) para matemticas.

En una evaluacin de series de tiempo de La Expedicin en 2013, el

Laboratorio midi un aumento significativo de los resultados de
matemticas para nios en 3 y 4 de primaria.
Ms de 300 alumnos en 67 centros fueron evaluados a travs de la prueba EGMA

Aunque la metodologa de evaluacin no puede determinar causalidad, los resultados

indican una fuerte correlacin entre La Expedicin y el incremento de los resultados
de matemticas.

Un profesor de alto desempeo, localizado en el percentil 84

en relacin a sus colegas, tiene un impacto entre 0.2 a 0.3
desviaciones estndares en sus alumnos en un ao escolar.
Eric A. Hanushek
La Expedicin logr causar un impacto similar
en un periodo de 30 horas de instruccin.

El Laboratorio realiz exitosamente un RCT y evaluacin de series de tiempo para

matemticas y lectura en el segundo semestre de 2013.

!
Los alumnos (en el 3 y 4 ao de primaria) fueron evaluados a travs de EGRA y
EGMA despus de concluir el primero y segundo mdulo del curso (30 horas
por modulo).
!
Los resultados fueron comparados entre grupos* y periodos de tiempo**.
!
La muestra incluy 1,224 observaciones (801 para EGRA y 423 para EGMA).***

* El Grupo 1 empez el programa con el Mdulo de matemticas; El Grupo 2 inici el programa con el Mdulo de lectura.
** Las evaluaciones fueron aplicadas al final de Mdulo 1 y Mdulo 2.
*** El 27.2% de las pruebas EGMA automatizadas fueron eliminadas del estudio porque las evaluaciones tenan
respuestas en blanco.

Los resultados de la evaluacin de series de tiempo indican que los alumnos mejoran
de manera significativa los resultados de matemticas con 30 horas de instruccin.
Nmero de
respuestas correctas
en EGMA

Grupo 1
antes

Grupo 1
despus

Diferencia de
desviacin estndar
(antes-despus)

P-value (clsters
por centro)

Discriminacin de
nmeros*

9.57

9.63

.055

.175

-.1357

.2458

Nmero faltante

6.8

7.71

.459

.2626

.6543

Sumas - nivel 1

13.57

15.86

.497

.2999

.6934

Sumas - nivel 2

3.54

4.24

.437

.2412

.6320

Restas - nivel 1

10.59

12.11

.354

.004

.1601

.5477

Restas - nivel 2

2.45

3.36

.593

.3931

.7916

Problemas verbales

4.09

4.63

.327

.1335

.5202

Intervalo de confianza 95%

* Ningn impacto significativo

Fueron medidos un impacto promedio de 0.381 desviaciones

estndares y una mejora de 11.7% en respuestas.

Sin embargo, los resultados de comprensin lectora fueron menos significantes.

Nmero de
respuestas
Grupo 2 antes
correctas en EGRA

Grupo 2
despus

Diferencia de
desviacin estndar
(antes-despus)

P-value
(clsters por
centro)

Intervalo de confianza 95%

Reconocimiento
de letras

73.64

68.46

-.262

.003

-.4050

-.1255

Reconocimiento
del sonido de las
letras *

27.13

31.36

.307

.009

.1666

.4469

Lectura de
palabras simples

44.52

45.45

.094

.247

-.0446

.2327

Lectura de
palabras simples nivel 2

36.84

37.09

.023

.837

-.1156

.1614

Lectura y
comprensin

1.88

1.9

.011

.929

-.1273

.1496

Comprensin oral

2.03

2.05

.013

.948

-.1260

.1510

Escritura *

10.61

13.32

.560

.000

.4156

.7033

* Mejora estadstica significativa medida.

Una mejora promedio en respuestas correctas de 8.83%

fue medida en 2 secciones de la prueba.

Aunque una gran mejora fue medida a travs de la evaluacin de series de tiempo,
no se detect ningn impacto significativo a travs del RCT. Las dificultades en la
evaluacin pueden haber influenciado dichos resultados.

!
Aunque los 70 centros fueron asignados de manera aleatoria a los grupos de
tratamiento y control, es posible que haya diferencias significativas entre ambos
grupos. Esto tiende a ser cierto con grupos de muestras pequeos.*
El nivel de capacitacin y aptitudes de los evaluadores variaba, por lo que pudo
influenciar en la calidad de la implementacin de las pruebas.
La automatizacin de las pruebas EGRA tuvo dificultades tcnicas que llevaron a
la anulacin del 27.2% de dichas pruebas y potencialmente amenazaban la
validez de los resultados.
Los alumnos pueden estar aprendiendo un contenido similar en las escuelas, lo
que puede explicar la falta de diferencias significativas entre los dos grupos.
* No fuimos capaces de implementar exmenes diagnstico en los centros ni recolectar informacin relevante
(resultados de ENLACE e indicadores socioeconmicos) de los alumnos. Por lo tanto, no es posible aceptar la
hiptesis de que el grupo de tratamiento y control son equivalentes.

Los resultados de nuestra prctica de evaluacin nos llevan a concluir que:

!
Hemos medido de manera exitosa un aumento en los resultados de
matemticas para alumnos en el 3 y/o 4 ao de primaria en tres evaluaciones
consecutivas.
!
Ensear habilidades de lectura con xito a travs de la tecnologa es ms
complejo y podr requerir cambios en nuestro programa educativo.

Los resultados detectados llevarn a la implementacin de un plan de accin

para mejorar el desempeo educativo.

!
Una nueva propuesta de La Expedicin ser lanzada en 2014 contemplando:
- Fortalecimiento en habilidades no cognitivas.
- Mayor integracin con los padres para adoptar mejores prcticas de lectura.
- Mayor duracin del curso.

El Laboratorio ha demostrado ser una excelente herramienta opera medir

de manera efectiva los resultados. Continuaremos invirtiendo ms recursos en
! esta prctica.
Prximos pasos:
- Desarrollar una herramienta automatizada para compartir los resultados de
EGMA y EGRA con los padres de los alumnos.
- Definir una agenda ambiciosa de evaluaciones para determinar cmo mejorar
el aprendizaje en los centros.
- Buscar alianzas estratgicas con instituciones en el mbito de evaluaciones
y educacin.

Gracias.
enova.mx
Twitter @enovamx
Facebook EnovaMexico

ria.org.mx

proacceso.org.mx