Estudo Longitudinal da Geração

Escolar 2005 - Projeto GERES:

Métodos e primeiros resultados
Seminário: Política Educacional
para uma Escola Eficaz
FESP, Rio de Janeiro
23 de março, 2009
Pesquisa GERES
Objetivos
 Identificar as características
escolares que mais promovem
o aprendizado dos alunos.
 Identificar as características
escolares que minimizam o
impacto da origem social dos
alunos em seus resultados
escolares.
Qual a necessidade?
 SAEB/Prova Brasil podem monitorar a
evolução da qualidade da educação
brasileira: possuem uma métrica que
permite comparações ao longo do tempo.
 Mas, por serem estudos
seccionais/transversais, como atribuir
causalidade? Enquanto as condições
escolares são do momento da coleta, o
desempenho reflete uma aprendizagem ao
longo do tempo (precisa saber o nível de
desempenho prévio do aluno e o valor
agregado pela escola)
 Portanto, precisa de uma pesquisa
Estudos sobre as diferenças em qualidade
entre as escolas têm de ter quatro
características (Goldstein 1997).
1. ser longitudinal para poder levar em
consideração a) diferenças preexistentes
entre os alunos e b) eventos subseqüentes
que afetam diferencialmente às escolas;
2. empregar análise multinível para que as
inferências estatísticas sejam válidas e para
que se possa explorar a “eficácia
diferencial”;
3. se repetir no tempo e espaço para
assegurar a replicabilidade;
Características do GERES
 desenho longitudinal - os mesmos
alunos são observados ao longo
de quatro anos de escolarização
(estudo de painel);
 abordagem analítica multinível;
 amostra probabilística;
 medidas de desempenho
cognitivo;
 medidas não-cognitivas
(motivação; auto-estima);
 instrumentos contextuais
Revisão da literatura indica que há fatores em
todos os níveis:
 No entorno político:
diferenças legais, normativas
política educacional (recursos escolares -
Franco, Sztajn e Ortigão, 2005; Soares, 2004)
 No contexto escolar:
clima acadêmico (Lee, Franco e Albernaz, 2004;
Soares, 2004)
organização e gestão da escola (Soares e Alves,
2003; Espósito, Davis e Nunes, 2000)
 Na sala de aula:
Professor, formação (Albernaz, Ferreira e
Franco, 2002; Menezes e Pazello, 2004)
métodos e materiais ênfase pedagógica
(Franco, Sztajn e Ortigão, 2005)
Amostra:
Em cinco municípios brasileiros (amostra nacional
cara demais):
 Com indicadores sociais e educacionais
próximos aos das capitais e grandes cidades
brasileiras: Belo Horizonte, Rio de Janeiro,
Campinas, Campo Grande, Salvador
303 escolas:
 Com base censo escolar 2003
 Excluindo escolas rurais, multi-seriadas,
noturnas, com menos de 20 alunos (universo
3.097 escolas, 7.699 turmas e 205.476
alunos)
 Critérios estratificação: rede, tamanho (<3
classes/>3 classes) e nível socioeconômico
dos alunos (usando NSE ou indicador)
 Amostra probabilística - aprox. 60 por cidade
 Número de escolas, turmas e alunos por município e
onda deNúmero
aplicação.
de Número de
Número de Alunos/Onda
Municípi Escolas/Onda Turmas/Onda
o 1, 2 e 1,2,
1 2 3 4 1 2 3 4 1 2 3 1e2
3 3e4

Belo 18 18 4 3 2.96 2.50

60 60 60 60 368 267 4 079 4.466
Horizonte 6 7 163 677 7 1

18 19 4 3 3.01 2.60
Campinas 61 61 61 60 369 310 4 383 4.694
9 0 534 898 6 5

Campo 16 16 3 2 1.73 1.19

59 59 59 55 303 247 3 196 3.272
Grande 2 3 378 724 0 0

Rio de 17 17 3 3 2.72 2.30

68 68 68 73 329 373 3 946 3.882
Janeiro 6 6 864 454 6 3

16 16 3 2 1.93 1
Salvador 55 54 55 53 313 337 3 335 3.874
7 5 335 669 0 400
30 30 88 88 1 1 18 19 20.18 16 12.3 9.99
TOTAL 303 303
2 1 0 1 682 534 939 274 8 422 69 9
Instrumentos cognitivos
 Testes de leitura e de matemática,
focalizando as habilidades básicas
demandadas pelos professores das séries
iniciais, a partir de conhecimento prévio
do currículo real.
 Uso de duas versões (mais e menos
difíceis) para maximizar a discriminação
dos testes para os diversos perfis de
alunos, sem prejuízo da obtenção de
escores em uma única escala.
 Uso da Teoria de Resposta ao Item para
equalização das escalas para os
diferentes níveis de escolarização (séries
ou seus equivalentes), para obter uma
curva de crescimento da proficiência
para cada aluno.
Instrumentos contextuais
 Diretores
 Práticas e políticas escolares (métodos aceitação,
seleção, enturmação de alunos; política de
avaliação; projeto escolar; política disciplinar;
política acadêmica);
 Recursos escolares (por exemplo: infra-estrutura
física, recursos pedagógicos, características do
corpo docente).
 Professores
 Práticas de sala de aula (clima disciplinar; modos
de organização da sala de aula; uso do tempo;
estilos pedagógicos; práticas de avaliação);
 Organização e funcionamento da escola (instâncias
colegiadas; cooperação entre docentes; relação
com os resultados dos alunos; estilos de
coordenação; desenvolvimento profissional de
professores).
 Pais (2005-2008)

 Cronograma das Atividades Principais GERES 2005-2009
Ano Data Onda Atividade
Janeiro a março Preparação cadastro de alunos
Aplicação: Testes Leitura e Matemática
1a
Março/abril Questionário da escola
Questionário do Diretor
Consolidação base de dados da 1ª Onda
Maio a agosto
2005 Relatórios sobre 1ª onda
Setembro a Questionário dos pais/responsáveis
dezembro 2a Reformulação cadastro de alunos
Aplicação: Testes Leitura e Matemática
Outubro/novembro Questionário do professor
Histórico escolar dos alunos
Consolidação base de dados da 2ª -5ª
Onda
Janeiro a junho
Relatórios sobre 2ª – 5ª onda
Reformulação cadastro de alunos
2006-
3ª-5ª Preparação instrumentos da 3ª-5ª Onda
2009 Julho a outubro
Aplicação questionário dos pais
Aplicação: Testes Leitura e Matemática
Novembro Questionários (professor, diretor, aluno)
Histórico escolar dos alunos
 Proficiência em Leitura por Onda e
Estrato
Dependência
Onda
Média e desvio padrão da média
administrativa Média D.p.
1 102,8 23,2
2 120,4 18,7
Municipal
3 133,1 22,9
4 146,5 22,7
1 103,0 26,1
2 123,3 21,3
Estadual
3 138,8 24,4
4 151,9 23,1
1 131,7 17,3
2 145,1 14,7
Privada
3 159,1 17,2
4 169,0 16,3
1 139,7 14,3
2 149,7 12,7
Especial
3 164,8 14,2
4 172,6 13,0
 Proficiência em Matemática por
Estrato e Onda
Dependência
Onda
Média e desvio padrão da média
administrativa Média D.p.
1 103,7 19,4
2 122,9 17,5
Municipal
3 128,2 25,1
4 145,0 24,6
1 104,5 22,3
2 125,0 19,5
Estadual
3 134,2 26,6
4 151,3 24,9
1 123,8 16,9
2 141,1 14,6
Privada
3 157,0 19,1
4 169,2 18,1
1 131,0 12,4
2 145,2 12,3
Especial
3 162,9 15,3
4 174,4 13,4
 Leitura 4a Onda
1000
220

200
800

180

600

Proficiência em Português na Onda 4

160

140 32023
8032
13360
16791
13399
30694
13383
8009
34086
14410
29436
400 16741
14331
14361
34029
7049
21463
8005
7982
16800
5169
20727
12025
4029
33206
120 13281 19110
11573
33683
34117
34186
6574
6512
19109
2858
20707
27019
15505
12593
23970
6572
23846
32938
11332
12799
16456
8047 4064
6525
31985
15089
6499
11563
31487
26085
12
23931
23755
24976
30257
5835
510
26212
2845
6565
34022
23717 6506
23635
31153
32840
31529
8344
200 7983 6501
9056
12027
30432
34095
6495
6542
3780
6513
32961
32912
13505
Std. Dev = 23,37 100 33570
33372
33025
23058
34100
6564
34058
33916
34073
34190
26210
34097
6563
32839
32910
32911
32569 4268
22151
24519
4769
9510
20785
34150 33571
17087
32959
34101
34098
30139
32913
34040
34030
34079
34053
6523
34162
32914
12699
33569
19774
21078
32946
33417
4644
17984
31012
14048
8666
33413
30764
33409
14087
9535
33692
12680
12226
21104
12684
19456
28218
33410
32144
33178
19539
13834
27201
16335
14575
30289
18366
33526
26402
16913
19419
29599
21244
26456
11770
33365
14119
23420
13804
18003
654 32966
6569
34163
32967
34109
34107 11747
33362
25221
14011
17065
11841
14153
14540
30075
33243
21524
19531
33416
6244
11774
20775
13843
29067
8121
27057
26126
13622
20841
28145
11744
30730
25224
14481
13855
8485
689 33702
23552
34187
20706
12210
28656
33418
31610
11789
26519
33264
14523
8491
33894
33904
19440
12968
18734
31671
30799
12280
30423
14459
21516
17086
23781
24168
22091
21081
28134
16962
29018
11879
10063
27016
33268
13890
32500
26486
13878
21882
21786
32256
33961
11805
21294
14030
19441
19529
17075
16919 32936
33371
32958
Mean = 153,8 26466
20507
32329
13879
33201
17083
30881
32715
6241
33954
21513
20949
17623
11877
21299
25028
17993
14545
22234
4352
765
32648
13612 6571
33271
80
0 N = 9842,00 N= 236 849 5555 12313 3025

Missing Especial Estadual Munic ipal Privada

90
10
11
12
13
14
15
16
17
18
19
20
,0

0,0
0,0

0,0
0,0
0,0
0,0

0,0
0,0
0,0

0,0

0,0

Dependência administrativa
Proficiência em Português na Onda 4
Matemática 4a Onda
1000
220

800 200

180

600

Proficiência em Matemática na Onda 4

160

16801
16793
7150
13382
16794
7049
13396
8046
13408
140 16774
16750
7188
16747
8009
14391
21463
400 16741 14822
5832
15585
5382
12581
15594
6540
8258
6537
1588
7365
8974
13463
120 7184 16660
18431
16453
9055
20700
7334
14981
4045
17151
8259
14956
16800
20009 18459
6580
8265
7310
13984
6523
5376
13992
5828
13505
510
6525
7999 1595
5365
14410
10804 13460
20707
5060
6492
100 6993
6506
502
497
200 17984
11876
4268
14468
17376
19486
17994
13937
10102
14545
9529
764
11745
19565
4654
748
12696
11447
14929
506
12027
6563
12210
6513
6564
18299
19531
759
14506
11768
6241
11796
19441
11805
19311
14478
21172
12781
17617
19547
13620
723
21025
18341
6244
10094
13890
11806
9455
12684
3152 11563
Std. Dev = 25,30 6220
8121
11772
18001
16904
9511
19528
11799
13855
1687
14556
12699
17623
21244
12306
19487
3134
9468
20841
21524
14487
9469
17372
12222
9510
21081
13835
14030 2858
6520
19135
4352
21525
13935
11789
21513
18367 4029
80
Mean = 153,1
0 N = 9812,00 60
N= 655 2481 4853 1823
85
95
10
11
12
13
14
15
16
17
18
19
20

Especial Estadual Munic ipal Privada

,0
,0
5,0

5,0
5,0
5,0
5,0

5,0
5,0
5,0
5,0

5,0
5,0

Proficiência em Matemática na Onda 4 Dependência administrativa

 Proficiência em Leitura* e Matemática por
Estrato e Onda
Geral Geral

180,0 180,0

170,0 170,0

160,0 160,0

150,0 150,0

140,0 especial 140,0 especial

estadual estadual
130,0 130,0
municipal municipal
120,0 privada 120,0 privada

110,0 110,0

100,0 100,0

90,0 90,0

80,0 80,0
1 2 3 4 1 2 3 4
Ondas Ondas
* Na 2a Onda 40% dos alunos das escolas municipais e 33% dos
alunos das escolas estaduais ainda estavam nos níveis 3 e 4 da
escala GERES. Ainda não tinham habilidades estáveis de
codificação e decodificação, não eram capazes de recuperar
informação explicita localizada no final de pequenos textos e
não conseguiam inferir o sentido de palavras a partir do
 Proficiência em Matemática: Municipal Proficiência em Matemática: Privada

190 190

170 170
Belo Horizonte
Belo Horizonte
150 Campinas
150
Campinas
Proficiência Média

Campo Grande

Proficiência Média
Campo Grande
130 Rio de Janeiro 130 Rio de Janeiro
Salvador Salvador
110 Geral 110 Geral

90
90

70
70
Onda 1 Onda 2 Onda 3 Onda 4
1 2 3 4
Onda Onda
 Proficiência em Leitura: Privada
Proficiência em Leitura: Municipal
190

170 170

150 Belo Horizonte 150 Belo Horizonte

Proficiência média
Campinas
Proficiência Média

Campinas
130 Campo Grande 130 Campo Grande
Rio de Janeiro Rio de Janeiro
110 Salvador 110 Salvador
Geral
90 90

70 70
Onda 1 Onda 2 Onda 3 Onda 4 1 2 3 4
Onda Onda
 Proficiência/Onda: Matemática, Total Proficiência/Onda: Leitura, Total

180 180
11,5 7,8
12,2 9,9
160 17,7 160 15,1
15,9 14
17,1 13,1 10
140 16,8 14,2 140 13 13,4
9,2 17,3 Onda 4 15,5 Onda 4

Proficiência
12,7
Proficiência

5,3 Onda 3 Onda 3

120 20,5 19,2 120 20,3
Onda 2 17,6 139,7 Onda 2
131 131,7
123,8 Onda 1 Onda 1
100 100
104,5 103,7 103 102,8

80 80
Estadual Municipal Privada Especial Estadual Municipal Privada Especial
Estrato Estrato
 Quadro 1. Descrição das habilidades que correspondem aos níveis da Escala GERES de Leitura

Nível
Descrição
(e intervalo)
Nível 1 As crianças iniciam o desenvolvimento de habilidades do nível 2.
(menor que 50)
As crianças começam a lidar com conceitos importantes para a aprendizagem da leitura:
diferenciam letras de números e outros símbolos, identificam a posição usual das letras, conhecem
Nível 2
algumas letras do alfabeto e, eventualmente, relacionam palavras à imagens por meio da
(entre 50 e 75)
associação entre a letra inicial e seu respectivo som, evidenciando a utilização de estratégias de
leitura.
As crianças já desenvolveram importantes habilidades relacionadas à apropriação de palavras e
frases em tarefas simples de leitura. Relacionam e identificam palavras do padrão silábico
consoante-vogal e não consoante-vogal, com apoio de imagem. Com relação à apropriação de
Nível 3
frases, são capazes de relacionar frases às imagens correspondentes. É provável que estas leituras
(entre 75 e 100)
estejam mais relacionadas à estratégias de reconhecimento global ou de deduções com base em
alguns dos elementos da palavra ou da frase do que propriamente à decifração detalhada do
código escrito.
As crianças estão em fase de consolidação das habilidades de decifração: demonstram
compreender o princípio alfabético da escrita (compreendem que os grafemas representam
fonemas) e a composição de algumas palavras envolvendo sílabas complexas se torna possível, o
Nível 4 que amplia a capacidade de diferenciar escritas semelhantes e de atribuir sentido a palavras e
(entre 100 e 125 sentenças. Os alunos recuperam informação explicita em início de pequenos textos escolares.
Demonstram, ainda, familiaridade com alguns gêneros textuais, sendo capazes de localizar
informações e realizar inferências simples em relação a eles (quadrinhos, rótulos). Utilizam
critérios para definição do que é sílaba, palavra e frase.’
Os alunos demonstram ter estabilizado habilidades de codificação e decodificação, apresentando
maior independência com relação à leitura: compreendem palavras e sentenças envolvendo vários
Nível 5 padrões silábicos e sintáticos complexos, são capazes de recuperar informação explicita localizada
(entre 125 e 150) no final de pequeno texto e conseguem inferir o sentido de palavra a partir do contexto. A
familiaridade com diferentes gêneros textuais se amplia e os alunos retiram informações explícitas
de textos como bilhete, cartaz e receita.
As crianças estão familiarizadas com vários gêneros textuais, de diferentes níveis de circulação
social: reconhecem, por exemplo, a finalidade implícita de uma propaganda (venda de uma revista
Nível 6:
ou um classificado) e de uma anedota; relacionam texto, título e imagem, inferindo sentido à
(entre 150 e 175)
informação e são capazes de retirar informação de texto com recurso visual mais sofisticado como
um poema cinético.
Nível 7: As crianças identificam e estabelecem relações de causa e conseqüência em pequenos textos de
(entre 175 e 200) estrutura e vocabulário mais complexos.
 Média, desvio padrão e porcentagem de alunos
em cada nível de habilidade de Leitura por
Ondas e Estrato
Média e
desvio
Porcentagem de alunos no nível
Estrat O padrão da
o nda média
M D.p. Níve N N N N N N Ní
édia l 1 ível ível ível ível ível ível vel
102, 2 3 4
3 5
1 6 7 8
1 23,2 1,5 8,7 0,4 - -
8 6,6 4,6 8,2
120, 1 4 3
Munici 2 18,7 - 0,6 4,5 - -
4 5,6 0,7 8,7
-pal 133, 1 2 3 2
3 22,9 - - 1,6 -
1 0,5 4,5 9,6 3,7
146, 1 3 3
4 22,7 - - 4,8 8,1 -
5 2,5 5,0 9,6
103, 1 3 2 2
1 26,1 2,1 1,7 - -
0 1,4 5,0 7,4 2,5
123, 1 3 4
Estadu 2 21,3 - 1,0 9,8 - -
3 5,8 3,2 0,2
al 138, 1 3 3
3 24,4 - - 9,1 4,5 -
8 8,9 5,1 2,4
151, 2 4 1
4 23,1 - - 4,1 8,9 -
9 8,6 3,1 5,3