PROJETO ENTRE JOVENS

A tutoria melhorando o desempenho escolar

Brasil: o tamanho do desafio

Dados Gerais 8,5 milhes de Km2 189 milhes de Habitantes 26 Estados 1 Distrito Federal 5.563 Municpios
Educao Bsica: 240 mil escolas 2 milhes de professores 53 milhes de estudantes

Matrculas da Educao Bsica

INEP-2007/2008
ETAPA DA EDUCAO BSICA Educao Infantil Ensino Fundamental Ensino Mdio 2007 6.509.868 (12,28%) 32.122.273 (60,58%) 8.369.369 (15,78%) 4.985.338 (9,4%) 53.028.528 2008 6.719.261 (12,62%) 32.086.700 (60,28%) 8.366.100 (15,72%) 4.945.424 (9,29%) 53.232.868

EJA Total

Situao educacional dos jovens brasileiros Brasil 2006 (%) Fonte: IPEA
Situao/escolaridade 1) Analfabetos 2) Freqentam a escola ensino fundamental ensino mdio educao superior 3) No freqentam a escola Total (mil) 15 a 17 anos 1,6 % 82,1 % 33,9 % 47,7 % 0,4 % 17,9 % 10.424,7 (100%) 18 a 24 anos 2,8 % 31,7 % 4,9 % 13,8 % 12,7 % 68,3 % 24.284,7 (100%)

Evoluo das matrculas do Ensino Mdio no Brasil por dependncia administrativa

1991 Federal Estadual Municip. Privado TOTAL 103.092 (2,7%) 2008 82.033 (1%)

2.472.964 (65,55%) 177.000 1.019.374 (4,7%) (27%)

7.177.377 (85,8%) 136.167 (1,6%)

970.523 (11,6%) 8.369.369

3.772.330

Transio do ensino mdio e educao superior

Ingressos no ensino mdio (2003) 3.687.330 Concluintes no ensino mdio (2005) 1.858.615 Ingressos nos cursos de graduao (2006) 1.311.533

Evoluo da Proficincia Mdia em Lngua Portuguesa

SAEB (1995-2007)
Grfico 2 - Evoluo da Proficiencia Mdia Brasil - Portugus - por srie - 1995 - 2007

350 325 300 275 250 225 200 175 150 125 100 1995 1997 1999 4 srie EF 2001 8 srie EF 2003 2005 3 serie EM 2007
188.3 186.5 170.7 165.1 169.4 172.3 175.8 256.1 250.0 232.9 235.2 232.0 231.9 234.6 290.0 283.9 266.6 262.3 266.7 257.6 261.4

Evoluo da Proficincia Mdia em Matemtica

SAEB (1995-2007)
Grfico 2 - Evoluo da Proficiencia Mdia Brasil - Matemtica - por srie 1995 - 2007
350 325 300 275 250

281.9

288.7

280.3

276.7

278.7

271.3

272.9

253.2
225 200 175 150 125 100 1995

250.0

246.4

243.4

245.0

239.5

247.4

190.6

190.8

181.0

193.5 176.3 177.1 182.4

1997

1999 4 srie EF

2001 8 srie EF

2003 3 serie EM

2005

2007

Motivos para Evaso Pesquisa da FGV Centro de Polticas Sociais

2006 Motivos de Evaso Falta de Renda Oferta Falta de Interesse Outros Motivos 27.09 10.89 40.29 21.73

2004

22.75 11.14 45.12 20.77

Fonte: CPS/FGV a partir dos microdados dos suplementos da PNAD/IBGE de 2006.

Construindo

o
SOCIAL

Futuro

Educao para a convivncia cidad

O Valor do Amanh ECONMICO AMBIENTAL

Introduo ao Mundo do Trabalho Educao financeira Educao ambiental

E O INSTITUTO UNIBANCO
Nossa misso
CONTRIBUIR PARA O DESENVOLVIMENTO HUMANO DE JOVENS EM SITUAO DE VULNERABILIDADE.

Como?
CONCEBENDO, VALIDANDO E DISSEMINANDO PRINCPIOS E TECNOLOGIAS SOCIAIS QUE CONTRIBUAM PARA AUMENTAR A EFETIVIDADE DE POLTICAS PBLICAS.

Qual nosso pblico prioritrio?

JOVENS CURSANDO ESCOLAS PBLICAS DE ENSINO MDIO

Processo de produo e disseminao de Tecnologias Sociais

Conhecimentos produzidos Concepo da Tecnologia Aplicao experimental CETZ Testagem da tecnologia Aplicao Experimental em Redes de Ensino Testagem da expanso

Produo de conhecimento

Transferncia de Tecnologia Sistemas de Ensino Organizaes Parceiras

Expanso em Redes de Ensino Aperfeioamento e Sistematizao Testagem de alternativas

Projeto Entre Jovens

Oferecer atendimento educacional complementar a alunos da 1 srie do Ensino Mdio regulamentar das escolas pblicas, com dificuldades em portugus e matemtica advindas do ensino fundamental, atravs de um programa de tutoria 10% 10% desenvolvido por universitrios licenciandos, visando a melhoria do desempenho e a diminuio
90% 90%

da evaso.

Desde o ano de 2007 o Projeto Entre Jovens atendeu cerca de 12.101 alunos da rede pblica de ensino.
Ano 2007 2008 Local Rio de Janeiro Rio de Janeiro Vitria N. escolas 20 35 22 Alunos participantes 2.174 4.408 2.870 Tutores/estagirios pedagogia 143 189 98

Juiz de Fora

18

2.649

87

Total

95

12.101

49

No ano de 2008 o Projeto Entre Jovens foi desenvolvido em 75 escolas estaduais do Rio de Janeiro, Espirito Santo e Minas Gerais.
Escolas Inseridas Alunos participantes Grupos de Tutoria Estagirios/Tutores 75 9.927 398 354

29,03% dos alunos do 1 ano do ensino mdio aderem ao Projeto Entre Jovens

Com relao a frequencia diaria, a participao dos alunos nos grupos de tutoria apresentou uma queda no 2 semestre em Vitria e no Rio de Janeiro. J em Juiz de Fora, a mdia de frequencia apresentou um aumento significativo

Evoluo da mdia diaria

Mdia de frequencia pelo dia da semana

Avaliao do Impacto do Entre Jovens 2008

Joo Pedro Azevedo World Bank, DC
18 de Maro de 2009

Instituies Envolvidas

Instituto Unibanco Caed Banco Mundial

Desenho da Avaliao
Grupo de Controle
Experimental (sorteio):
Vitria Considerado o padro-ouro das avaliaes. Escolas elegveis ao programa foram alocadas para receber o EJ 2008 ou no atravs de um sorteio.

No-experimental (pareamento):
Rio de Janeiro e Juiz de Fora Impossibilidades do na implementao do programa nos levaram a escolher estas alternativas. No caso do Rio de Janeiro pelo fato do programa j se encontrar em seu segundo ano, e em Juiz de Fora, pela ausncia de um nmero suficiente de escolas (total de 24 no municpio)

Desenho da Avaliao (cont.)

Pr-Teste e Ps-Teste
O Caed foi responsvel pela elaborao do desenho de um avaliao de proficincia de portugus e matemtica, seguindo os moldes das avaliaes nacionais (Prova Brasil e SAEB) Esta prova foi aplicada no incio da implementao do programa (pr-teste) e uma semana aps o trmino do programa (ps-teste)

Diferena em Diferenas
Comestedesenhopodemosdescobriroefeitodo programanasescolastratadas,levandoemconta externalidadespositivasenegativasgeradaspela interveno.

proficincia

Sorte io *

Pr Test e

Ps Test e

temp Impacto= Nota:(*)oupareamento oB

Desenho do Programa
O programa EJ no foi desenhado para atender todos os alunos de uma mesma escola Alunos voluntariamente se inscreveram no programa

Tripla Diferena
Comestedesenhopodemos descobriroefeitodoprograma sobreosalunosbeneficirios. proficincia

Sorte io*

Pr Test e

Ps Test e

tempo
Nota:(*)oupareamento

Desenho da Avaliao (cont.)

Muitas vezes avaliaes assumem que a interveno possui um carter dicotmico (recebem ou no recebem o programa). Esta premissa pode ser falsa. Beneficirios podem receber exposies diferenciadas ao programa. No caso do EJ 2008, este indicador a taxas de freqncia.
Para isso a equipe de implementao do programa monitorou cuidadosamente este aspecto do programa, e estes dados foram tambm utilizados na avaliao.

Principais Perguntas
Qual o impacto do EJ 2008 nas escolas que participaram do programa em 2008? Qual o impacto do EJ 2008 nos alunos que participaram do programa em 2008? Qual o impacto da freqncia do programa EJ 2008? Qual a heterogeneidade do impacto do programa EJ2008? Qual a magnitude relativa do impacto?

Quadro Resumo Dimenses da avaliao de impacto

Impacto Escola Beneficirio Freqncia Portugus X X X Matemtica X X X

Dados
Avaliao Diagnstica (pr-teste)
Proficincia (portugus e matemtica) Questionrios socioeconmico

Avaliao Somativa (ps-teste)

Proficincia (portugus e matemtica) Questionrios socioeconmico

Registros administrativos
Controle de freqncia dos alunos Qualidade da implementao

Dados (cont.)
Mais de 50.000* testes
25.6 mil pr-teste 24.4 mil ps-teste

37 mil respondentes
12 mil fizeram as duas provas 13 mil fizeram apenas o pr-teste 12 ml fizeram apenas o ps-teste

Consideraes:
Esta flutuao esperada em estudos longitudinais Testes mostram que a no-resposta, no apresenta nenhum vis ou comportamento sistemtica que poderia invalidar a anlise.

Numero de Respondentes
(por municpio, tipo de escola, e prova)

--------------------------------------------------------------------| Escolas EJ 2008 and Tempo | ------- Controle ------------ Interveno ----Municpio | Diagnstica Somativa Diagnstica Somativa ---------------+----------------------------------------------------Juiz de Fora | 700 644 2681 2235 Rio de Janeiro | 2815 2475 13504 11070 Vitria | 3549 3026 5708 5029 ---------------------------------------------------------------------

Nmeros de Respondentes
(por nmero de respostas, tipo de escola, e prova)
---------------------------------------------------------------| Escolas EJ 2008 and Tempo | ------- Controle ------------ Interveno ----dups | Diagnstica Somativa Diagnstica Somativa ----------+----------------------------------------------------1 | 2316 2097 11048 10170 2 | 4048 4048 8164 8164 ----------------------------------------------------------------

Resultados
O nmero de alunos beneficirios do programa no foi suficiente para gerar um impacto estatisticamente significativo ao nvel da escola. No entanto, os beneficirios das classes de reforo das escolas de tratamento apresentaram um rendimento superior e estatisticamente significativo, quando comparado a alunos semelhantes das escolas de controle (1/4 desvio padro). A evidncia deste impacto mais contundente em Vitria: 1/2 desvio padro (desenho aleatrio) . Os alunos que freqentaram mais intensamente o programa apresentaram um rendimento superior aqueles que no freqentaram o programa com a mesma intensidade (1/3 desvio padro) Os impactos da freqncia so no lineares. Ganhos mais do que proporcionais com o passar do tempo em matemtica.

Resultados
(Rio de Janeiro, Vitria e Juiz de Fora)

Impacto Escola Beneficirio Freqncia

Portugus -0.89 10.62* 16.74**

Matemtica 0.84 10.12* 20.21**

Nota:significnciaestatstica:+p<0.01,*p<0.05,**p<0.01;Modelo:Diferena(duplaou tripla);erropadroclusterizadoporaluno;paineldesbalanceado;ponderadopeloerropadro (inf1);desviopadronasescolasdetratamentonoprteste:Portugus=47.64eMatemtica= 46.71.

Resultados (Vitria)
Impacto Escola Beneficirio Freqncia Portugus 2.12 24.45** 15.91** Matemtica 0.06 23.31** 20.72**

Nota:significnciaestatstica:+p<0.01,*p<0.05,**p<0.01;Modelo:Diferena(duplaou tripla);erropadroclusterizadoporaluno;paineldesbalanceado;ponderadopeloerropadro (inf1);desviopadronasescolasdetratamentonoprteste:Portugus=47.64eMatemtica= 46.71.

Resultados (Rio de Janeiro)

Impacto Escola Beneficirio Freqncia Portugus -4.60** 0.45 20.45** Matemtica 0.179 -1.97 22.32**

Nota:significnciaestatstica:+p<0.01,*p<0.05,**p<0.01;Modelo:Diferena(duplaou tripla);erropadroclusterizadoporaluno;paineldesbalanceado;ponderadopeloerropadro (inf1);desviopadronasescolasdetratamentonoprteste:Portugus=47.64eMatemtica= 46.71.

Resultados (Juiz de Fora)

Impacto Escola Beneficirio Freqncia Portugus 4.23* -1.73 12.24** Matemtica 6.81** 3.55 16.95**

Nota:significnciaestatstica:+p<0.01,*p<0.05,**p<0.01;Modelo:Diferena(duplaou tripla);erropadroclusterizadoporaluno;paineldesbalanceado;ponderadopeloerropadro (inf1);desviopadronasescolasdetratamentonoprteste:Portugus=47.64eMatemtica= 46.71.

Freqncia

Impacto Relativo
Em termos relativos, o impacto mdio do programa sobre os alunos beneficirios esta movendo os alunos em aproximadamente 1 decil da distribuio de performance.

Matemtica

Portugus

Consideraes Finais
O programa EJ 2008 apresentou impactos positivos e estatisticamente significativos entre os seus beneficirios A freqncia do programa importa, e seus retornos so no lineares. Os resultados em termos de freqncia no Rio de Janeiro e Vitria so semelhantes. Os resultados so robustos a escolha de mtodos de anlise.

Prximos passos
EJ 2009
Entrar na sala de aula (Stalling Classroom observation) Avaliar o impacto da continuidade (2 srie do mdio) Avaliar o impacto do prmio Redesenho do sistema de incentivos do programa Entender o desempenho da matemtica

Percentagem de Aprovados em 2008 - RJ

Percentagem de Aprovados em 2008 - JF
90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 0 a 25% De 25 a 50% De 50 a 75% Acima de 75% Reprovado Frequncia 31% 85% 69% 73% 78%
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 83% 75% 87% 94%

27%

22% 15%

25% 17% 13% 6%

0 a 25%

De 25 a 50%

De 50 a 75%

Acima de 75% Reprovado

Aprovado

Frequncia

Aprovado

Percentagem de Aprovados em 2008 - ES

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 89% 80% 82%

83%

RJ JF ES
20% 18% 11% 17%

EVASO 8% 5% 8%

TRANSFERNCIA 5% 8% 8%

Fonte: Projeto Entre Jovens 2009

0 a 25%

De 25 a 50%

De 50 a 75%

Acima de 75% Reprovado

Frequncia

Aprovado

Fonte: Projeto Entre Jovens 2009