Академический Документы
Профессиональный Документы
Культура Документы
BRASILEIRO*
ngela Albernaz
Do Departamento de Economia da PUC-Rio
Francisco H. G. Ferreira
Do Departamento de Economia da PUC-Rio
Creso Franco
Do Departamento de Educao da PUC-Rio
Este artigo estima uma funo de produo educacional para o ensino fundamental brasileiro, com
base nos dados do Sistema Nacional de Avaliao da Educao Bsica (Saeb) para a 8a srie em 1999.
Utilizando modelos hierrquicos lineares, de forma a evitar vieses de agregao, a estimao sugere
que cerca de 80% da varincia de desempenho mdio entre as escolas devem-se a diferenas na
composio socioeconmica de seus alunos. Como em outros estudos internacionais, a rede a que a
escola pertence est relacionada de forma importante com o desempenho de seus alunos. No obstante,
e em contraste com a maior parte da literatura internacional, outras variveis escolares, tais como a
escolaridade dos professores e a qualidade da infra-estrutura fsica, tambm afetam o desempenho
dos estudantes. Alguns fatores positivos para a eficcia mdia das escolas reduzem a sua eqidade.
1 INTRODUO
Angela_Francisco_Cresco.pmd
453
30/05/2003, 15:34
454
(1)
onde y denota o desempenho dos alunos, que pode depender de uma srie de
fatores, agrupados em cinco categorias: caractersticas pessoais do aluno (c), tais
como raa e gnero; caractersticas de suas famlias (m), tais como renda ou outra
medida de seu nvel socioeconmico; caractersticas de seus colegas na escola (g);
caractersticas dos seus professores (p), tais como escolaridade, salrio ou experincia; e outras caractersticas escolares (s).2
No caso brasileiro, a anlise econmica desta relao entre insumo e produto do processo educacional sofria, tradicionalmente, de um srio problema, referente mensurao da varivel produto (y): at a publicao dos primeiros resultados dos exames padronizados do Sistema Nacional de Avaliao da Educao
Bsica (Saeb), em 1997, a nica varivel disponvel para medir desempenho educacional era o nmero de sries completadas pelo aluno (anos de escolaridade).3
Ainda que estudos com base nesta varivel tenham contribudo para uma compreenso inicial da problemtica educacional brasileira [ver Barros, Mendona e
Santos (1999)], esses mesmos estudos reconheceram as severas limitaes da varivel anos de escolaridade como medida de aprendizado.4
A disponibilizao dos microdados do Saeb5 tornou possvel, pela primeira
vez no Brasil, a investigao dos determinantes de uma medida de desempenho
escolar com base em rendimentos de alunos em testes padronizados de conhecimento. Alm de incluir informaes sobre o rendimento dos alunos nesses testes,
a base de dados do Saeb abrange ainda informao sobre todas as outras categorias de determinantes includos na equao (1), constituindo, assim, um recurso
potencialmente muito valioso para o estudo da eficcia, eficincia e eqidade da
2. Para uma resenha clssica desta literatura, ver Hanushek (1986).
3. Vale mencionar que diversos estudos utilizaram outras medidas elaboradas a partir dessa varivel, como taxas de fluxo ou
defasagem idade-srie.
4. O principal problema com essa varivel que ela no inclui qualquer informao sobre a qualidade de cada ano de estudo,
nesse contexto entendido como o domnio de contedo, por parte dos alunos.
5. Assim como de seu equivalente para o ensino superior (o Provo) e o Enem.
Angela_Francisco_Cresco.pmd
454
30/05/2003, 15:34
455
escola brasileira. Estudos na rea de educao como os de Fletcher (1997), Barbosa e Fernandes (2001) e Franco, Mandarino e Ortigo (2001) tm confirmado
a importncia dessa base de dados.
Neste artigo, estimamos uma funo de produo educacional para o Brasil, aplicando modelos hierrquicos lineares aos microdados do Saeb de 1999. Ao
contrrio de qualquer estudo anterior de que temos conhecimento, investigamos
a contribuio de diferentes variveis escolares (e de professores) tanto sobre uma
medida de eficcia, quanto para uma medida de eqidade da prtica educacional
brasileira.
Dentre os resultados encontrados, destacamos trs. Primeiro, como em outros pases, a varincia do desempenho entre as escolas brasileiras deve-se principalmente a diferenas no nvel socioeconmico mdio dos alunos das escolas,
refletindo um importante efeito de seleo da clientela. Segundo, uma vez controlado esse efeito, diferenas na quantidade e qualidade dos insumos escolares
ainda respondem por uma parcela significativa da diferena de desempenho entre
as escolas. Ao contrrio de resultados encontrados para vrios outros pases, tanto
a qualidade dos professores quanto a qualidade da infra-estrutura fsica das escolas afetam o rendimento de forma significativa.6 Terceiro, mesmo controlando
por todos esses fatores, no Brasil o desempenho mdio da escola particular supera
o da escola pblica.
O trabalho est organizado em quatro sees alm desta introduo. Na
Seo 2, apresentamos os dados e a metodologia utilizada. Na Seo 3, discutemse os resultados para o modelo estimado sem as caractersticas escolares. A Seo
4 apresenta o modelo completo e a Seo 5 apresenta nossas concluses.
2 DADOS E METODOLOGIA
Este artigo utiliza a base de dados do Saeb de 1999 uma amostra probabilstica
de alunos brasileiros. Em particular, utilizamos a amostra da 8 srie, que inclui
informaes sobre o desempenho em cincias, geografia, histria, portugus e
matemtica de 89.671 alunos pertencentes a 2.588 escolas. O tamanho mdio da
amostra de aproximadamente 35 alunos por escola. O plano amostral do Saeb
envolve estratificao e conglomerados. Na 8 srie, as variveis de estratificao
foram: unidades da federao, dependncia administrativa das escolas (estadual,
municipal e particular) e tamanho da escola. Os conglomerados so representa6. A pouca relevncia das variveis escolares tem sido uma caracterstica polmica, mas persistente, da literatura internacional
sobre funes de produo de educao. De acordo com a Tabela 3.23.1, p. 303 do Relatrio Coleman, menos de 2% da
varincia total do desempenho dos alunos (brancos e negros) so atribudos a caractersticas escolares, enquanto menos de 4%
so atribudos a caractersticas dos professores. Em uma resenha mais recente, Hanushek (1989) apresenta um resumo das
estimativas dos coeficientes dos gastos escolares sobre o desempenho dos alunos em 187 estudos, chegando concluso de que
a nica varivel cuja relevncia para o aprendizado dos alunos parece ser realmente robusta a experincia do professor.
Angela_Francisco_Cresco.pmd
455
30/05/2003, 15:34
456
dos pelas escolas sorteadas para compor a amostra. Dentro das escolas, a seleo
de turmas foi realizada utilizando-se uma amostragem aleatria simples. Cada
aluno foi testado em apenas uma disciplina.7
Esse sistema de avaliao oferece uma srie de informaes que vai desde o
desempenho dos alunos, medido pela nota obtida no teste, at as caractersticas
dos prprios alunos, dos seus professores e das escolas onde eles estudam. A disponibilidade desses resultados nos estimula a avaliar quais as caractersticas dos
alunos, de seus professores e das escolas onde eles estudam que favorecem um
melhor desempenho deles.
A Tabela 1 apresenta as mdias e os desvios-padro das variveis de rendimento escolar. Os erros-padro reportados levam em considerao o desenho
amostral com conglomerados e estratificao. A mdia de matemtica foi escolhida como a mdia-base para todas as matrias. Portanto, os valores reportados
para as demais disciplinas representam a mdia das variaes dessas disciplinas
em relao mdia de matemtica.
Como qualquer outra base de dados, o Saeb no perfeito. Um de seus
problemas, do ponto de vista da anlise econmica, a ausncia de uma varivel
de renda familiar capaz de discriminar as diferenas de renda entre as famlias das
crianas que estudam na mesma escola. Para contornar o problema, adotamos
neste trabalho uma prtica comum na anlise educacional, que a elaborao de
uma varivel proxy do nvel socioeconmico do aluno, atravs da extrao do
componente principal de nove variveis derivadas de respostas sobre educao
(paterna e materna) e posse de bens e servios do questionrio familiar do Saeb. A
varivel de nvel socioeconmico utilizada neste trabalho est altamente associada medida de nvel socioeconmico da Associao Brasileira dos Institutos de
TABELA 1
Varivel
Mdia
Desvio-padro
Yij
254,72
51,40
dcieij
2,34
0,92
dgeoij
3,68
0,97
dhitij
3,67
0,85
dportij
13,50
0,93
Desempenho em matemtica
7. Alunos matriculados em escolas federais foram excludos da populao de referncia do Saeb. Informaes adicionais sobre
o plano amostral do Saeb de 1999 podem ser obtidas em Bussab, Silva e Andrade (2000).
Angela_Francisco_Cresco.pmd
456
30/05/2003, 15:34
457
8. Em princpio, a anlise do componente principal pressupe medidas contnuas, j que se viabiliza a partir da matriz de
correlao com base em coeficientes de correlao de Pearson. Por outro lado, as variveis disponveis so ordinais e
contagens. A despeito disso, justifica-se conceitualmente o bom funcionamento da varivel elaborada empiricamente j
justificado pela alta correlao com a varivel Abipeme considerando-se que a estimao da matriz de correlao,
embora tenda a subestimar a efetiva correlao entre os pares de variveis, captura a estrutura subjacente aos dados, na
medida em que os coeficientes de correlao agrupam as variveis mais correlacionadas entre si. Por isso, no de se
estranhar que diversos autores faam uso da anlise de componentes principais com variveis ordinais. Fica para uma
agenda de pesquisa futura o uso de abordagens que equacionem, simultaneamente, a anlise da dimensionalidade dos
dados gerados por questionrios e a estimao de fator latente a partir da matriz de correlao estimada por mtodos
no-paramtricos [ver Molenaar (1997)].
Angela_Francisco_Cresco.pmd
457
30/05/2003, 15:34
458
TABELA 2
Variveis
Descrio
Mdia
DesvioMnimo Mximo
padro
Aluno
Repete_1
Repete_2
Repete_3
Repete_4
0,24
0,13
0,05
0,02
0,43
0,34
0,22
0,14
0,00
0,00
0,00
0,00
1,00
1,00
1,00
1,00
Pardo
Preto
0,37
0,06
0,48
0,24
0,00
0,00
1,00
1,00
Masc
0,46
0,50
0,00
1,00
Nse
0,00
1,12
2,84
9,20
Particular
0,25
0,43
0,00
1,00
Sala
0,88
0,32
0,00
1,00
Rudo
0,30
0,46
0,00
1,00
Recursos
0,71
0,34
0,00
1,00
0,32
0,33
0,00
1,00
0,29
1,50
3,00
4,14
1,59
0,00
9,00
Prop_rep
0,44
0,24
0,00
1,00
Nsemdio
0,02
0,77
2,11
2,98
Escola
Faltas
Escprof
Salrio
Obs.: A varivel nsemdio foi obtida por agregao, para a base da escola, da mdia da varivel nse. As variveis sala, rudo, faltas,
escprof e salrio foram obtidas por agregao, para a base da escola, da mdia das medidas existentes na base do professor.
Angela_Francisco_Cresco.pmd
458
30/05/2003, 15:34
459
rij ~ N (0, 2 )
q =1
Nvel 2
Sq
onde i indexa os alunos e j indexa as escolas. Existem Q coeficientes (potencialmente) aleatrios no nvel 1, indexados por q. Cada um deles determinado por Sq
variveis independentes, indexadas por s. O efeito dessas variveis sobre cada
coeficiente estimado no nvel 2. Para qualquer par de coeficientes aleatrios q e
q, cov( uqj , uq j ) = qq ' . Os erros de nvel 1 e de nvel 2 so supostos independentes: cov(rij , uqj ) = 0, q, i , j . O algoritmo de estimao do modelo baseia-se na
maximizao da funo de verossimilhana conjunta dos dois nveis. As referncias estatsticas clssicas para esses modelos so Bryk e Raudenbush (1992) e
Goldstein (1995).
No caso especfico da estimao de funes de produo educacional, a aplicao desses modelos, alm de estatisticamente mais recomendvel, tem efeitos
potencialmente srios sobre uma das concluses mais importantes da literatura: a
pouca importncia relativa das variveis educacionais vis--vis as variveis familiares na determinao do desempenho escolar. Diversos estudos que utilizam mnimos quadrados ordinrios (MQO) apontam a existncia de uma forte relao entre
as caractersticas dos alunos e de suas famlias e o desempenho escolar [Summers e
Wolfe (1977), Hanushek (1989), Mizala e Romaguera (1998), Mizala, Romaguera
e Reinaga (1999) e Barros, Mendona e Santos (1999)], mas concluem que no h
uma relao robusta entre as variveis escolares e as caractersticas dos professores,
por um lado, e o rendimento dos alunos, por outro [Hanushek (1989)].
H alguma evidncia, porm, de que esse resultado pode se dever, em parte,
ao tratamento inadequado dispensado pelas estimaes por MQO natureza
hierrquica dos dados educacionais. Algumas das variveis que descrevem a escola so variveis agregadas das diferentes turmas ou classes que a compem. Como
exemplo, podemos mencionar a escolaridade mdia dos professores da escola, a
proporo de salas de aula arejadas, e assim por diante.
9. Quando os dados permitem, freqente a utilizao de modelos hierrquicos de trs nveis (alunos, turmas, escolas) para
estimaes desse tipo. Como o nmero de alunos por turma na base do Saeb demasiado pequeno para permitir essa
desagregao, optou-se por trabalhar somente com dois nveis.
Angela_Francisco_Cresco.pmd
459
30/05/2003, 15:34
460
GRFICO 1
X1
i.
X2
X1
ii.
X2
X1
iii.
X2
X1
iv.
X2
Parcialmente por X1
0,221
Y
i.
0,213
0,262
Y
ii.
0,038
0,031
Y
iii.
0,256
0,032
Y
0,039
iv.
X1
X2
X1
X2
X1
X2
X1
X2
0,221
Y
0,213
0,262
Y
0,014
0,103
Y
0,248
0,116
Y
0,018
Nota: Coeficientes estimados para o efeito de cada varivel elaborada (X1 e X2) sobre Y, quando a varivel indicada por uma
barra superior agregada. A pseudobase de dados foi elaborada de forma a gerar os valores verdadeiros em (i). A primeira
coluna refere-se a simulaes em que a agregao da varivel com barra feita de forma aleatria. A segunda coluna
refere-se a simulaes nas quais a agregao estratificada de acordo com os valores de X1.
Angela_Francisco_Cresco.pmd
460
30/05/2003, 15:34
461
Angela_Francisco_Cresco.pmd
461
30/05/2003, 15:34
(2)
462
No nvel da escola, representa-se o desempenho mdio da escola em matemtica ( 0 j ) como funo da mdia geral de todas as escolas ( 00 ), mais um
componente aleatrio ( u0 j ). Em um primeiro momento, considera-se que o desempenho mdio das escolas nas demais disciplinas no varia de escola para escola, e, portanto, estas no apresentam um termo de erro aleatrio.11 A equao de
nvel 2 pode ser assim expressa:
0 j = 00 + u0 j
1 j = 10
2 j = 20
(3)
3 j = 30
4 j = 40
Novamente, supe-se que u0j se comporta como um erro aleatrio, distribudo normalmente com mdia zero e varincia 00 . Os valores estimados desses
coeficientes encontram-se na Tabela 3.
A Tabela 3 contm dois resultados de interesse. Primeiro, a varincia de 0 j
ao redor de 00 alta ( 00 = 733,9) e estatisticamente significativa. Desse modo, a
TABELA 3
a
MODELO INCONDICIONAL
Efeitos fixos
Coeficiente
Erro-padro
Teste-t
Valor-p
253,1
0,65
385,9
0,00
2,5
0,44
5,7
0,00
3,5
0,44
8,1
0,00
3,3
0,44
7,6
0,00
14,2
0,44
32,1
0,00
Varincia
Graus de
liberdade
Valor-p
2.578
44.727,6
0,00
733,9
1.846,7
A terminologia habitual na literatura de HLM refere-se aos coeficientes estimados como efeitos fixos e s estimativas de varincia
como efeitos aleatrios. Os termos so utilizados aqui com esta interpretao, e no com aquela associada econometria de
dados em painel.
11. O desempenho mdio das escolas nas demais disciplinas considerado fixo, porque no dispomos de um grande nmero
de alunos em cada escola.
Angela_Francisco_Cresco.pmd
462
30/05/2003, 15:34
463
hiptese nula de nenhuma diferena entre os coeficientes de intercepto das escolas descartada, ou seja, a eficcia das escolas varia significativamente em torno
da mdia nacional. Em segundo lugar, a correlao intraclasse dada por
= 00 /( 00 + 2 ) = 733,9/(733,9+1.846,7) = 0,28,12 ou seja, 28% da varincia
total do desempenho em matemtica ocorrem entre as escolas. Para testar se uma
parte expressiva da varincia de desempenho dos alunos nas demais disciplinas
tambm ocorre entre escolas, calculamos a correlao intraclasse para cada uma
das disciplinas. Em todos os casos, essa correlao excedeu 0,15.13 Assim, prosseguimos na anlise adotando os modelos hierrquicos lineares na estimao da
funo de produo educacional brasileira.14
Os prximos passos a serem tomados buscam entender quais caractersticas
dos alunos e das escolas tornam as ltimas mais eficazes e eqitativas. Inicialmente,
so includas sete variveis de controle no nvel dos alunos: quatro variveis
indicadoras de repetncia, cada uma representando o nmero total de anos que o
aluno repetiu; duas variveis indicadoras de raa; e uma varivel relacionada ao
sexo dos alunos. A incluso da varivel de repetncia motivada pelo fato de a
varivel dependente o desempenho do aluno (Yij) ser uma medida nica em
todo o seu percurso escolar. Assim, a nota obtida no teste-padro reflete todo o
aprendizado durante os anos de sua permanncia na escola at o momento do
teste.15 Quando as variveis de repetncia so includas, elas espelham em
parte o percurso escolar dos indivduos que fizeram o teste. A incluso das
variveis de sexo e de raa no nvel dos alunos tem por objetivo controlar possveis efeitos do gnero e da etnia sobre o seu desempenho.
O novo modelo de nvel 1 incorpora tambm o efeito do nvel socioeconmico no desempenho dos alunos.16 Esse modelo representado pela equao (4).
(4)
12. A correlao intraclasse representa a proporo da varincia total que corresponde varincia entre as escolas. Os valores
tipicamente encontrados para a correlao intraclasse na literatura dos modelos hierrquicos esto entre 0,20 e 0,25.
13. Para obter maiores detalhes, ver Albernaz (2002).
14. A partir do modelo incondicional calculou-se tambm o ndice de fidedignidade das mdias escolares, que ficou em 0,808.
Esse resultado mostra que a informao utilizada pelo modelo multinvel para calcular a estimativa da mdia escolar provm,
em mdia, 80% da prpria escola e 20% de outras escolas.
15. Como comentado na Seo 2, o mais correto seria utilizar uma estimativa de valor agregado para a funo de produo
educacional. No entanto, ainda no se encontra disponvel para pesquisa uma base de dados brasileira que conte com duas
medidas de desempenho de um mesmo aluno em dois pontos no tempo.
16. A descrio dessa varivel encontra-se na Tabela 2.
Angela_Francisco_Cresco.pmd
463
30/05/2003, 15:34
464
). j + u0 j
0 j = 00 + 01 * (nsemedio
1 j = 10
2 j = 20
3 j = 30
4 j = 40
5 j = 50
(5)
). j + u6 j
6 j = 60 + 61 * (nsemedio
7 j = 70
8 j = 80
9 j = 90
10 j = 100
11 j = 110
12 j = 120
Os efeitos fixos e aleatrios para o modelo de verificao da eficcia e eqidade entre as escolas encontram-se na Tabela 4. Os dois resultados centrais desta
tabela referem-se ao efeito do nvel socioeconmico sobre o desempenho do aluno. O valor mdio dessa varivel em cada escola est forte e significativamente
relacionado com o desempenho mdio do aluno ( 01 = 25,5, t = 64,20). Mesmo
controlando por esse efeito de grupo, o nvel socioeconmico individual influencia tambm o desempenho de cada aluno dentro da escola. No nvel do aluno, o
nvel socioeconmico contribui de forma estatisticamente significativa, mesmo
que em menor grau, para o seu desempenho ( 60 = 1,2, t = 4,35).17
Controlando pelo nvel socioeconmico dos alunos, a Tabela 4 revela ainda
a existncia de trs outros fatores individuais com efeitos estatisticamente signifi-
17. Conforme apresentado na Tabela 2, o nvel socioeconmico do aluno varia de 2,84 at 9,20, enquanto o nvel
socioeconmico mdio da clientela varia de 2,11 at 2,98. Observa-se, ainda, que, quando se inclui a etnia do aluno no
modelo, h uma pequena queda no efeito do nvel socioeconmico do aluno sobre o seu desempenho.
Angela_Francisco_Cresco.pmd
464
30/05/2003, 15:34
465
TABELA 4
Efeitos fixos
Coeficiente
Erro-padro
Teste-t
Valor-p
Intercepto (00)
260,7
0,47
552,91
0,00
Nsemdio (01)
25,5
0,40
64,20
0,00
3,5
0,28
12,35
0,00
2,4
0,43
5,50
0,00
3,5
0,43
8,10
0,00
3,6
0,43
8,20
0,00
13,9
0,43
32,17
0,00
Intercepto (60)
1,2
0,27
4,35
0,00
Nsemdio (61)
1,9
0,33
5,74
0,00
16,0
0,35
45,80
0,00
20,0
0,45
43,34
0,00
21,0
0,67
31,25
0,00
22,8
1,01
22,53
0,00
2,5
0,32
8,01
0,00
7,5
0,58
12,79
0,00
Efeitos aleatrios
Varincia
Graus de
liberdade
Valor-p
143,5
2.575
12.614,0
0,00
34,3
2.575
2.839,2
0,00
1.744,2
Angela_Francisco_Cresco.pmd
465
30/05/2003, 15:34
466
Angela_Francisco_Cresco.pmd
466
30/05/2003, 15:34
467
idnticas em termos de preparo para o teste. Vimos tambm que, dessa poro da
varincia existente entre escolas, cerca de 80% so explicados por diferenas no
nvel socioeconmico mdio da clientela. Ocorre, claramente, um fenmeno de
estratificao (sorting) dos alunos por critrios econmicos, que refora o impacto positivo que essa varivel tem em nvel individual.20
No obstante a importncia quantitativa desse efeito, observamos ainda que
a varincia restante, mesmo aps o controle pelo nvel socioeconmico, permanecia estatstica e economicamente significativa. Nesta seo, inclumos no modelo anterior as variveis escolares disponveis na base de dados, para testar o
poder explicativo destas no desempenho dos estudantes. As variveis escolares
esto classificadas em trs grupos. O primeiro refere-se a itens de infra-estrutura
da escola, o segundo analisa o impacto da disponibilidade dos recursos financeiros na escola, enquanto o terceiro est relacionado s prticas escolares.
No intuito de verificar o impacto de cada varivel escolar na funo de
produo educacional, foi introduzida na modelagem do intercepto (0j) e da
inclinao (6j) uma varivel de cada vez. Embora muitas variveis se mostrassem
importantes na modelagem do intercepto, somente duas foram (alternativamente) relevantes para a modelagem da inclinao: o nvel de escolaridade e o salrio
dos professores. O prximo modelo reporta como essas variveis influenciam o
desempenho do aluno.
Observa-se que o modelo de nvel 1 continua a ser representado pela equao (4), enquanto o modelo de nvel 2 passa a ser representado pela equao (6):21
0 j = 00 + 01 * ( particular ). j + 02 * ( saa). j + 03 * (rp). j +
04 * (irf ). j + 05 * ( faltaalu ). j + 06 * (nescpr ). j +
). j + 08 * ( prop _ rep). j + u0 j
07 * (nsemedio
20. Um modelo econmico de estratificao por critrio duplo de mrito acadmico e nvel socioeconmico encontrado em Fernandez (1997).
21. Foram testadas as interaes das variveis e a grande maioria revelou-se no-significativa. Desse modo, optou-se por no
report-las.
Angela_Francisco_Cresco.pmd
467
30/05/2003, 15:34
468
1 j = 10
2 j = 20
3 j = 30
4 j = 40
5 j = 50
). j + 63 * ( prop _ rep). j + u6 j
6 j = 60 + 61 * (nescpr ). j + 62 * (nsemedio
(6)
7 j = 70
8 j = 80
9 j = 90
10 j = 100
11 j = 110
12 j = 120
22. A correlao entre o nvel socioeconmico mdio e algumas variveis escolares pode redundar em subestimao dos
coeficientes estimados para as variveis escolares. Em sentido estrito, o efeito efetivo das variveis escolares pode ser
equacionado da seguinte forma: maior do que o representado pelos coeficientes de regresso estimados em modelos que
implementam controle de nvel socioeconmico mdio no nvel 2; e menor que o representado pelos coeficientes de regresso estimados em modelos que no implementam controle de nvel socioeconmico mdio no nvel 2. No entanto, deve-se
considerar que a j discutida inexistncia de medida de valor agregado e a conseqente substituio do controle por proficincia prvia por um controle menos estrito (repetncia) redundam em tendncia de superestimao do efeito das variveis
escolares. A existncia dessa tendncia nos estimula a tomar a deciso mais prudente, que a de apenas reportar efeitos de
variveis escolares estimados atravs de modelos que implementam controle de nvel socioeconmico mdio.
Angela_Francisco_Cresco.pmd
468
30/05/2003, 15:34
469
TABELA 5
Efeitos fixos
Coeficiente
Erro-padro
Teste-t
Valor-p
Intercepto (00)
266,2
1,58
168,68
0,00
Particular (01)
6,1
1,09
6,00
0,00
3,5
0,91
3,91
0,00
1,2
0,69
1,79
0,07
5,1
1,05
4,86
0,00
4,3
1,19
3,60
0,00
2,9
1,17
2,50
0,01
18,8
0,69
26,34
0,00
12,5
1,95
6,43
0,00
3,5
0,29
12,40
0,00
2,6
0,44
5,84
0,00
3,4
0,44
7,78
0,00
3,5
0,44
7,97
0,00
14,0
0,44
31,95
0,00
Intercepto (60)
2,8
0,75
3,75
0,00
2,1
1,06
2,03
0,04
Nsemdio (62)
2,8
0,47
6,09
0,00
4,0
1,56
2,54
0,01
15,5
0,36
43,48
0,00
19,3
0,47
41,33
0,00
20,3
0,68
29,66
0,00
21,9
1,04
21,06
0,00
2,4
0,32
7,52
0,00
7,4
0,59
12,42
0,00
Efeitos aleatrios
Varincia
Graus de liberdade
Valor-p
126,9
2.475
11.238,8
0,00
31,9
2.480
2.715,2
0,00
Angela_Francisco_Cresco.pmd
1.745,5
469
30/05/2003, 15:34
470
A partir da Tabela 5, observa-se que o desempenho mdio das escolas depende de uma srie de fatores escolares, depois de controlado o efeito do nvel
socioeconmico mdio de seus alunos e da rede de ensino a que ela pertence e da
proporo de repetentes. Em comparao com modelos intermedirios (no reportados), a introduo desses novos fatores reduziu os efeitos antes atribudos
rede de ensino e ao nvel socioeconmico mdio dos alunos, cujos coeficientes
passam a ser, respectivamente, 01 = 6,1, t = 6,00 e 07 = 18,8, t = 26,34.
Um resultado que chama a ateno o impacto grande e significativo da
proporo de repetentes sobre o desempenho mdio das escolas (08 = 12,5,
t = 2,54). Esse impacto significativo mesmo aps o controle do nvel
socioeconmico mdio dos alunos da escola e da rede de ensino, o que significa
que a experincia prvia de repetncia est associada a piores resultados educacionais, independentemente do tipo de escola que o aluno freqenta.23
O primeiro grupo de variveis escolares, referente s condies de infraestrutura fsica, est representado pelas variveis sala de aula arejada e nvel de
rudo das salas de aula. Quanto melhor for a infra-estrutura escolar, melhor ser
o ambiente de estudo para os alunos, o que ir favorecer o seu desempenho. Isso
pode ser confirmado na Tabela 5, pois, quando a escola possui salas de aula arejadas, o desempenho mdio dos alunos da escola aumenta, 02 = 3,5 pontos, e
quando o nvel de rudo da escola prejudica os alunos e professores, o desempenho cai, em mdia, 1,2 ponto.
A varivel que est relacionada ao segundo grupo mede a insuficincia de
recursos financeiros. Constatou-se que quando a escola apresenta problemas de
carter financeiro, o desempenho do aluno cai, em mdia, 5,1 pontos. O terceiro
e ltimo grupo est relacionado s prticas escolares e trata de questes como a
incidncia de falta s aulas, por parte dos alunos, e o nvel de escolaridade do
professor.24 A Tabela 5 descreve o importante impacto do nvel de escolaridade
do professor sobre o desempenho mdio dos alunos (06 = 2,9).25 Como de se
esperar, quanto maior a incidncia de falta s aulas, por parte dos alunos, menor
o desempenho mdio deles (05 = 4,3). Na realidade, essa varivel tambm
23. natural imaginar que esse resultado possa tambm refletir a existncia de alguma correlao serial temporal da varivel
dependente: as escolas piores podem ter mais repetentes porque elas j eram ruins quando esses alunos para l foram
estudar.
24. Como est descrito na Tabela 2, os valores tomados por essa varivel oscilam entre 0 e 3, em que 3 se refere aos
professores que possuem formao de ensino superior.
25. Quando se inclui a varivel salrio do professor na modelagem de 0j e 6j, o nvel educacional do professor torna-se
insignificante para explicar tanto o melhor desempenho do aluno, quanto a relao entre seu nvel socioeconmico e seu
desempenho. Substituiu-se, ento, a varivel nvel salarial por nvel educacional do professor. A partir desse novo modelo
chegou-se concluso de que o salrio do professor impacta o desempenho dos alunos de forma semelhante ao nvel de
escolaridade do professor. Enquanto um salrio maior do professor se traduz em um maior desempenho mdio da escola,
medida que o salrio do professor aumenta, o grau de associao entre o nvel socioeconmico do aluno e seu desempenho
se torna mais forte.
Angela_Francisco_Cresco.pmd
470
30/05/2003, 15:34
471
capta, mesmo que parcialmente, o grau de interesse dos alunos pelas aulas. Assim, razovel observar-se uma diminuio no desempenho mdio dos alunos
quando estes no se mostram interessados nas aulas.
A Tabela 5 retrata tambm qual o impacto do nvel socioeconmico mdio
dos alunos, do nvel de escolaridade do professor e da proporo de repetentes na
escola sobre a maneira como o nvel socioeconmico do aluno afeta a sua proficincia (6j). Observa-se que um maior nvel socioeconmico mdio dos alunos faz
com que o nvel socioeconmico familiar do aluno afete menos o seu desempenho26 (62 = 2,8). Por sua vez, um maior nvel de escolaridade do professor tem
o efeito oposto: quanto mais instrudo for o professor, maior o impacto do nvel
socioeconmico do aluno no seu desempenho (61 = 2,1).
Desse modo, se, por um lado, um maior nvel de escolaridade do professor
faz com que a escola seja mais eficaz aumenta o desempenho mdio dos alunos
que a freqentam , por outro, torna a escola menos eqitativa aumenta a
importncia do nvel socioeconmico individual do aluno para o seu desempenho. Uma outra maneira de ver o mesmo efeito encontra-se ilustrada no Grfico
2, em que o aumento na escolaridade dos professores beneficia todos os alunos da
escola.27 Esse benefcio crescente com o nvel socioeconmico familiar do aluno, de forma que professores mais qualificados contribuem para o aprendizado
de todos, mas de forma mais efetiva para o dos alunos de nvel socioeconmico
mais elevado.28
GRFICO 2
[desempenho do aluno]
280
280
274
275
268
270
267
264
265
268
260
255
1 Quartil
Mediana
Nvel de escolaridade do aluno
Obs.: Escolas com nvel socioeconmico mdio dos alunos igual mdia de todas as escolas.
3 Quartil
Nvel de escolaridade do professor baixo
Nvel de escolaridade do professor alto
26. Quer dizer, o resultado da Tabela 4 permanece vlido neste modelo mais geral.
27. O Grfico 2 apresenta o desempenho de alunos apenas em escolas com nvel socioeconmico mdio entre 0,4 e 0,4, de
forma a controlar para o efeito do nvel socioeconmico mdio da escola.
28. No Grfico 2, a distribuio do nvel socioeconmico familiar dentro da escola representada por trs pontos: o primeiro
quartil, a mediana e o terceiro quartil.
Angela_Francisco_Cresco.pmd
471
30/05/2003, 15:34
472
Angela_Francisco_Cresco.pmd
472
30/05/2003, 15:34
473
ciados pelo efeito de grupo. O segundo fator a ser considerado que, em parte, a
varivel nvel socioeconmico mdio pode capturar efeitos de variveis escolares
omitidas, se estas forem com ela correlacionadas.
O pior desempenho do aluno negro (preto ou pardo), mesmo aps o controle pelo nvel socioeconmico preocupante. Supondo que erros de medida na
varivel nvel socioeconmico sejam ortogonais varivel raa, a significncia
estatstica desse resultado depe contra a existncia de igualdade de oportunidades na escola brasileira. Trabalhos anteriores como, por exemplo, o de Henriques
(2001) j apontavam que os negros tm menores taxas de acesso e freqncia
escola. O presente resultado sugere que, mesmo dentro da escola e controlando
pelo seu nvel socioeconmico, o aluno negro tem um pior desempenho de aprendizado. Em um contexto onde polticas afirmativas comeam a ser debatidas no
pas, cremos ser necessria uma investigao cuidadosa e detalhada dos aspectos
raciais da prtica educacional nas escolas brasileiras. Existe alguma forma de discriminao, ainda que sutil e talvez inconsciente, na alocao do aluno negro
sala de aula da parte do professor ou em sua ateno individual? Existe algum
problema de relevncia cultural do currculo ou do material didtico que possa
torn-los menos interessantes ou inapropriados para alunos de minorias raciais?
Essas so questes que vo muito alm do escopo deste trabalho, mas que os
presentes resultados sugerem como temas relevantes para pesquisa futura.
Passando categoria dos resultados sobre as variveis escolares, cabe ressaltar que a significncia estatstica dos efeitos de um bom nmero delas sobre o
desempenho do aluno contrasta com os resultados usuais na literatura economtrica americana e latino-americana. Isso pode se dever a uma diferena legtima
entre o Brasil e os outros pases estudados, ou a diferenas metodolgicas, principalmente devido a uma reduo no vis de agregao que pode ter levado
subestimao dos coeficientes dessas variveis em anlises anteriores. Seja como
for, tanto a qualidade do professor medida principalmente por seu nvel de
escolaridade como a qualidade da estrutura fsica da escola recursos financeiros, salas arejadas e silenciosas contribuem para um melhor desempenho de
seus alunos.30
Cabe notar que esse resultado no s confirma que escolas melhores levam
a melhores resultados o que no chegaria a surpreender como tambm
mostra que essa varincia de qualidades escolares pode ser efetivamente observada na amostra das escolas brasileiras em operao em 1999. Isso quer dizer que h
30. Mesmo controlando por todos esses fatores explicitamente, assim como para a composio tnica e socioeconmica da
clientela, as escolas pblicas apresentaram um desempenho inferior estatisticamente significativo em relao s escolas
particulares no Brasil. Caberia investigar se h aspectos de gesto, condies estruturais de ensino e/ou incentivos internos
aos funcionrios da rede pblica que podem ser responsveis por esse pior desempenho. Esse resultado tambm se coaduna
com modelos da economia poltica do financiamento educao no Brasil [ver Ferreira (2001)].
Angela_Francisco_Cresco.pmd
473
30/05/2003, 15:34
474
escolas no Brasil onde as crianas esto aprendendo menos do que deveriam, por
causa da insuficincia de recursos financeiros, da insuficincia de professores, de
sua baixa escolaridade e de salas barulhentas e/ou abafadas. No preciso um
grande esforo intelectual para discernir as implicaes desse fato para a poltica
pblica, com conseqncias tanto para a eficcia quanto para a igualdade de
oportunidades em nosso sistema educacional.
Outro resultado com possveis implicaes para a poltica educacional o
fato de incrementos na escolaridade do professor contriburem para um melhor
desempenho de todos os alunos, mas de forma crescente de acordo com o nvel
socioeconmico destes. Claramente, o aumento da escolaridade do professor, por
aumentar a eficcia das escolas, j , por si, desejvel. Entretanto, para reduzir a
desigualdade de oportunidades educacionais entre famlias mais e menos afortunadas, as autoridades pblicas deveriam tentar desenvolver polticas educacionais
e pedaggicas voltadas para identificar e retificar as razes especficas por trs do
pior desempenho dos alunos mais pobres. Tais polticas poderiam incluir uma
disponibilidade maior do professor fora do horrio de aula, no atendimento aos
alunos; programas de incentivo ao uso da biblioteca; e disponibilidade de acompanhamento psicolgico, entre outras sugestes.31 A investigao do mrito de
cada sugesto foge ao escopo deste estudo, no qual apenas constatamos a necessidade de tais polticas para evitar que aumentos na eficcia escolar sejam acompanhados por aumentos na desigualdade de oportunidades na escola.
ABSTRACT
Using Ministry of Education standardized test score data (from Saeb) and hierarchical linear models
so as to reduce aggregation bias in the estimation of the effects of school variablesthis paper
estimates an educational production function for primary schooling performance in Brazil in 1999. As
elsewhere, we find that family and individual characteristics are fundamental determinants of educational
achievement. In particular, 80% of the interschool variation in test scores can be attributed to differences
in the average socioeconomic group of its students. Additionally, both socioeconomic level and race
affect individual performance within schools. However, and in contrast with much of the international
literature, we also find significant effects of school variables on student performance. Better educated
teachers, better physical facilities and private ownership of schools are all jointly and severally associated
with higher test scores.
31. bvio que cada uma dessas polticas teria custos. O que se aponta aqui que elas tambm teriam benefcios, com os
quais os custos devem ser comparados.
Angela_Francisco_Cresco.pmd
474
30/05/2003, 15:34
475
BIBLIOGRAFIA
ALBERNAZ, A. Determinantes do desempenho educacional no ensino fundamental brasileiro. PUCRio, 2002 (Tese de Mestrado em Economia).
ARROW, K. J. The economic implications of learning by doing. Review of Economic Studies, v. 29,
p. 155-173, 1962.
BARBOSA, M., FERNANDES, C. A escola brasileira faz diferena?: uma investigao dos efeitos
da escola na proficincia em matemtica dos alunos da quarta srie. In: FRANCO, C. (ed.).
Promoo, ciclos e avaliao na educao. Porto Alegre: ArtMed, 2001.
BARROS, R. P. de, HENRIQUES, R., MENDONA, R. Pelo fim das dcadas perdidas: educao e desenvolvimento sustentado no Brasil. Desigualdade e Pobreza no Brasil, IPEA, Cap.
14, p. 405-423, 2000.
BARROS, R. P. de, MENDONA, R., SANTOS, D. Determinantes do desempenho educacional
no Brasil. IPEA, 1999, mimeo.
BECKER, G., MURPHY, K., TAMURA, R. Human capital, fertility, and economic growth.
Journal of Political Economy, v. 98, p. s12-s37, 1990.
BIDWELL, E., KASARDA, D. Conceptualizing and measuring the effects of school and schooling.
Journal of Education, p. 401-430, 1980.
BRYK, S., RAUDENBUSH, W. A hierarquical model for studying school effects. Sociology of
Education , v. 59, p .1-17, 1986.
. Hierarquical linear models: applications and data analysis method. Newbury Park:
Sage, 1992.
BUSSAB, W., SILVA, P., ANDRADE, D. Saeb/99, relatrio sobre a amostra, informe metodolgico.
Inep, Ministrio da Educao, 2000.
COLEMAN, S. Equality of educational opportunity. U.S., Washington D.C.: Office of Education,
1966.
FERNANDEZ, R. To each according to?: markets, tournaments, and the matching problem with
borrowing constraints. New York University, 1997, mimeo.
FERREIRA, F. H. G. Education for the masses?: the interaction between wealth, educational and
political inequalities. Economics of Transition, v. 9, n. 2, p. 533-552, 2001.
FLETCHER, R. procura do ensino eficaz. PNUD/MEC/Saeb, 1997 (Relatrio de Pesquisa).
FRANCO, C., MANDARINO, M., ORTIGO, M. I. Projeto pedaggico de escola promove
qualidade e eqidade em educao? Revista Undime-RJ, v. VII, n. 2, p. 30-46, 2001.
GOLDSTEIN, H. Multilevel statistical models. Kendalls Library of Statistics, 1995.
HANUSHEK, E. The economics of schooling: production and efficiency in public schools. Journal
of Economic Literature, v. 24, p. 1.141-1.177, 1986.
. The impact of differential expenditures on school performance. Educational Researcher,
p. 45-52, 1989.
HENRIQUES, R. Desigualdade racial no Brasil: evoluo das condies de vida na dcada de 90. Rio
de Janeiro: IPEA, 2001 (Texto para Discusso, 807).
Angela_Francisco_Cresco.pmd
475
30/05/2003, 15:34
476
LANGONI, C. Distribuio de renda e desenvolvimento econmico do Brasil. Rio de Janeiro: Expresso e Cultura, 1973.
LUCAS, R. On the mechanics of economic development. Journal of Monetary Economics, v. 22,
p. 3-42, 1988.
MATTAR, N. Anlise crtica dos estudos de estratificao socioeconmica de ABA-Abipeme.
Revista de Administrao, So Paulo, v. 30, n. 1, p. 57-74, 1995.
MINCER, J. Investment in human capital and personal income distribution. Journal of Political
Economy, v. 66, p. 281-302, 1958.
MINISTRIO DA EDUCAO. Relatrio do Saeb 1999. Diretoria de Avaliao da Educao
Bsica, Inep, 1999 (http: www.inep.gov.br).
MIZALA, A., ROMAGUERA, P. Desempeo escolar y eleccion de colegios: la experiencia chilena.
Universidad de Chile, 1998 (Documento de Trabajo, 36, Serie Economa).
MIZALA, A., ROMAGUERA, P., REINAGA, T. Determinants of student achievement and school
performance in Bolivia. CD-ROM Lacea 2000, 1999.
MOLENAAR, I. W. Nonparametric models for polytomous responses. In: LINDEN, W. J. van
der, HAMBLETON, R. K. (orgs.). Handbook of Modern Item Response Theory. New York:
Springer, p. 369-380, 1997.
SUMMERS, A., WOLFE, B. Do schools make a difference? The American Economic Review, v. 67,
n. 4, p. 639-652, 1977.
TINBERGEN, J. Income differences: recent research. Oxford: North Holland Publishing, 1975.
UZAWA, H. Optimal technical change in an aggregative model of economic growth. International
Economic Review, v. 6, p. 18-31, 1965.
Angela_Francisco_Cresco.pmd
476
30/05/2003, 15:34