Вы находитесь на странице: 1из 19

Avaliao Psicolgica, 2008, 7(3), pp.

371-389 371

NDICES EDUCACIONAIS ASSOCIADOS PROFICINCIA EM


LNGUA PORTUGUESA: UM ESTUDO MULTINVEL
Jacob Arie Laros1 - Universidade de Braslia
Joo Luiz Marciano - Universidade de Braslia

RESUMO
A identificao de variveis que influenciam a proficincia em Lngua Portuguesa essencial para a elaborao de
intervenes que visam melhorar o desempenho acadmico dos alunos. Para tanto, os dados de 33.962 alunos da 3 srie
de 1.661 escolas de Ensino Mdio que fizeram o teste de Lngua Portuguesa aplicado pelo SAEB em 2001 foram
analisados utilizando anlise multinvel. Os resultados mostram que, depois do controle das variveis relacionadas com a
composio e seletividade da escola, o efeito escola est variando entre as regies brasileiras de 0,10 para o Sul a 0,13
para o Norte. Estes valores indicam que mesmo depois da insero das variveis de controle, o conjunto de fatores
escolares pode explicar entre 10% e 13% da variabilidade total do desempenho em portugus. As anlises permitiram a
identificao de trs variveis no nvel da escola e dez variveis no nvel do aluno associados ao desempenho em Lngua
Portuguesa.
Palavras-chave: avaliao educacional; provas de desempenho; SAEB; anlise de regresso.

EDUCATIONAL INDICES ASSOCIATED WITH PROFICIENCY IN PORTUGUESE:


A MULTILEVEL REGRESSION STUDY

ABSTRACT
The identification of variables that affect proficiency in Portuguese Language is essential for the elaboration of
interventions that seek to improve student achievement in Brazil. To achieve this goal, we analyzed the data of 33,962
third grade students of 1,661 secondary schools who took the Portuguese Language test of the National Basic Education
System of Evaluation of Basic Education (SAEB) in 2001 using multilevel analysis. The results of this study showed that,
after controlling the effect of variables related to the composition and selectivity of the schools, the intraclass correlation
varied among the Brazilian regions between 0.10 for the South and 0.13 for the North. These figures indicate that even
after the insertion of the control variables, school factors can explain between 10% and 13% of the total variability in
Portuguese performance. Three variables on school level and ten variables on student level were identified as affecting
proficiency in Portuguese Language.
Keywords: educational evaluation; proficiency test; SAEB; regression analysis.

INTRODUO1 identificar e contextualizar os resultados dos alunos


para melhorar a qualidade da educao brasileira
No Brasil, a partir da ltima dcada, a tcnica (Albernaz, Ferreira & Franco, 2002; Fletcher,
de modelos hierrquicos lineares comeou a ser 1998).
utilizada numa freqncia maior para interpretar e A tcnica de modelos hierrquicos lineares
analisar os dados de avaliao educacional em larga precisa ser utilizada sempre que os dados que
escala. Como exemplos, podem-se citar o Sistema queremos analisar tm uma estrutura hierrquica,
Nacional de Avaliao da Educao Bsica ou seja, quando os dados so coletados de
(SAEB), a Prova Brasil, o Exame Nacional do indivduos que so aninhados em grupos ou
Ensino Mdio (ENEM), o Exame Nacional de contextos, uma situao bastante comum na
Desempenho de Estudantes (ENADE), o Sistema de pesquisa educacional. O que estimulou o uso
Avaliao de Rendimento Escolar do Estado do So crescente da referida tcnica foi a maior
Paulo (SARESP) e Programa de Avaliao da disponibilidade de pacotes estatsticos no mercado,
Educao Bsica (PROEB) do Estado de Minas como HLM (Hierarchical Linear Models; Bryk e
Gerais. Todas estas avaliaes educacionais em Raudenbush & Congdon, 1996) e MLwiN
larga escala tm em comum o objetivo geral de (Rashbash, Prosser & Goldstein, 1991). Outros
nomes utilizados para modelos hierrquicos lineares
1 so: modelos de regresso multinvel, modelos
Contato:
UnB, Rua Gleba A, Bloco J, Apto. 507, Braslia DF. CEP: lineares de coeficientes randmicos, modelos
70.919-970. E-mail: jalaros@unb.br. lineares mistos e anlise de regresso multinvel. O
Com agradecimentos ao Conselho Nacional de termo linear indica que os modelos hierrquicos
Desenvolvimento Cientfico e Tecnolgico (CNPq).
372 Jacob Arie Laros, Joo Luiz Marciano
lineares so associados aos modelos lineares bem observou que 63,1% da varincia entre as escolas
conhecidos, como regresso tradicional e anlise de no desempenho em Matemtica se atribuem
varincia (ANOVA). O termo randmico significa seletividade de ordem socioeconmica das escolas e
que o coeficiente de regresso nos modelos somente 0,8% da varincia no nvel micro
multinvel no precisa ser igual para todas as explicada pelo nvel scio-econmico do aluno.
unidades do nvel macro. Para reconhecer Fletcher (1998) chega concluso de que a
explicitamente o contexto de grupo das associao entre o desempenho em Matemtica e os
observaes, os modelos hierrquicos levam em fatores socioeconmicos muito mais forte no nvel
conta a correlao intra-classe (i.c.c. intraclass da escola do que no nvel de alunos individuais.
correlation), produzindo erros padro de Portanto, para prever o desempenho mdio da
coeficientes que levam em conta o chamado efeito escola o conhecimento do nvel socio-econmico
de delineamento. O efeito de delineamento a mdio dos alunos extremamente importante. As
quantidade de vis nos erros padro por causa de anlises de Fletcher (1998) apontam para efeitos
observaes dependentes (Hox & Maas, 2005). positivos da proporo na escola de alunos do sexo
Kish (1965) define o efeito de delineamento como a masculino e de cor branca sobre o desempenho em
razo entre a varincia efetiva da amostra e a Matemtica. O autor observou que um ponto fraco
varincia observada. Um exemplo apontado por do seu modelo final de regresso multinvel a
Hox (2002) indica que uma amostra de 200 alunos capacidade de explicar a varincia no nvel
agrupados em 10 classes, com uma correlao intra- individual dentro de escolas: apenas 6,5% da
classe igual a 0,10, corrigida pelo efeito de variabilidade no nvel do aluno foram explicados
delineamento, equivale a uma amostra real de 69 versus 71,6% da variabilidade no nvel da escola. O
alunos. Assim, o tamanho factual da amostra de 200 autor sugere que os questionrios contextuais do
reduzido para um tamanho efetivo de apenas 69, SAEB deveriam ser examinados para aprimorar seu
ou seja, uma diminuio de 66%. potencial de explicar as diferenas no desempenho
Um dos primeiros estudos no Brasil individual dentro das escolas.
utilizando a anlise de regresso multinvel na rea Ferro e Fernandes (2003) utilizaram a
de avaliao educacional foi o de Fletcher (1998). tcnica de modelos hierrquicos lineares para
Fletcher analisou a base de dados da prova de analisar os dados coletados no SAEB de 1997,
Matemtica do Sistema Nacional de Avaliao da abrangendo 3.739 alunos da 4a srie do Ensino
Educao Bsica (SAEB) de 1995, administrada Fundamental da regio Sudeste (estados de Minas
aos alunos da 8a srie do Ensino Fundamental. O Gerais, Esprito Santo, Rio de Janeiro e So Paulo),
SAEB avalia, desde 1993, a cada dois anos, alunos aos quais foi aplicado o teste de Matemtica. Os
ao final de cada ciclo, no ensino fundamental (4a e pesquisadores utilizaram um modelo de regresso
8a sries) e no ensino mdio (3a srie). O autor multinvel de trs nveis hierrquicos (aluno, turma
alerta para a necessidade de ajustar os resultados e escola). A i.c.c. bruta neste estudo foi de 0,37
mdios das provas do SAEB pelas diferenas na indicando que 37% da varincia total podem ser
composio social do alunado das escolas. Para atribudas aos nveis de escola e turma juntas e 57%
identificar as caractersticas das escolas que so ao nvel do aluno. Neste estudo no foi possvel
associadas com um bom desempenho escolar calcular a i.c.c. corrigida pelo NSE, porque como
necessrio levar em conta o ambiente familiar do varivel de controle foi utilizada a escolaridade do
aluno e o nvel scio-econmico da comunidade em pai e no o NSE da famlia. Depois do controle do
torno da escola. nvel da educao do pai, os autores verificaram
Fletcher (1998) relata uma correlao i.c.c. que variveis referentes infra-estrutura e aos
bruta de 0,31 e uma i.c.c. corrigida pelo nvel scio- equipamentos escolares so preditores de um bom
econmico de 0,14. A i.c.c. corrigida, tambm desempenho dos alunos. Ferro e Fernandes (2003)
chamada de i.c.c. residual ou i.c.c. condicional, assinalam que, quando se objetiva pesquisar sobre o
representa, neste caso, o grau de dependncia entre desempenho escolar, o nvel socioeconmico
as observaes em escolas do mesmo nvel scio- familiar e o conhecimento prvio do aluno devem
econmico. Mesmo depois de condicionar pelo ser primeiramente considerados. O modelo final
nvel scio-econmico mdio da escola, resta deste estudo explicou 99,1% da varincia do nvel
varincia significativa entre as escolas para da escola, 39,5% do nvel da turma e 5,5% do nvel
identificar fatores no nvel macro que so do aluno. Os autores chegam concluso de que as
associadas ao desempenho escolar. O autor caractersticas associadas a professores reduzem a

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 373
variabilidade entre escolas em 24% e entre turmas testes (Barbosa & Fernandes, 2001). No modelo
em 26%. bsico, no qual os efeitos das variveis de controle
Albernaz, Ferreira e Franco (2002) foram retirados, a diferena entre o desempenho de
analisaram os dados das provas de Cincia, alunos brancos e negros na prova de Matemtica foi
Geografia, Histria, Portugus e Matemtica de 10 pontos na escala do SAEB. Antes da entrada
aplicadas na 8a srie do SAEB, aplicadas em 1999, das variveis de controle a diferena entre o
utilizando anlise de regresso multinvel. Como desempenho de alunos brancos e negros na prova
variveis de controle foram inseridas o nvel foi de quase 28 pontos.
socioeconmico, a repetncia escolar e o gnero dos Soares e Alves (2003) relatam que a
alunos. Os autores relataram uma i.c.c. bruta de qualificao e o salrio dos docentes tm efeito na
0,28 e uma i.c.c. residual de 0,08; isto indica que diferena de desempenho entre alunos brancos e
mesmo aps a entrada das variveis de controle negros no sentido de aumentar o hiato no
ainda 8% da varincia total presente nas provas do desempenho escolar desses grupos. Quanto melhor
SAEB podem ser atribudos variabilidade entre a qualificao e quanto mais alto o salrio do
escolas. Os resultados deste estudo indicaram um docente, tanto maior a diferena entre alunos
desempenho superior dos alunos de sexo masculino brancos e negros. Entre fatores escolares foi
em Matemtica, Geografia e Cincias e um observada a mesma tendncia. Escolas mais bem
desempenho melhor das alunas em Portugus. equipadas e com diretores mais envolvidos esto
Depois da entrada das variveis de controle, os associadas com um aumento da mdia do
autores ainda encontraram uma diferena mdia nas desempenho escolar em Matemtica, mas
provas de alunos brancos e negros de 7,5 pontos na aumentam tambm as diferenas raciais. Os
escala do SAEB. Os autores observaram que o NSE resultados deste estudo mostram que a melhoria das
mdio da escola associado ao rendimento escolar condies de ensino pode contribuir para elevar a
do aluno. Mesmo depois de controlar pelo NSE mdia do desempenho escolar, mas ao mesmo
mdio da escola, o NSE do aluno individual tem um tempo pode aumentar as diferenas entre alunos
efeito positivo no seu desempenho escolar. Mas este brancos e negros. Aparentemente, os alunos negros
efeito positivo do NSE individual no igual em no usufruem as melhorias da escola tanto quanto
todas as escolas. Quanto mais alto o NSE mdio da os alunos brancos (Soares & Alves, 2003). Na
escola, menor o efeito do NSE individual do aluno. pesquisa de destes autores no havia informao
Os autores concluram que as escolas com alunos sobre quanta varincia foi explicada no nvel do
mais ricos tendem a compensar melhor pelas aluno e no nvel da escola.
desvantagens educacionais de alunos oriundos de Um estudo mais recente que objetivou
famlias mais pobres do que escolas com alunos identificar as caractersticas associadas com o
mais pobres. No modelo final deste estudo, pelo desempenho acadmico (Jesus & Laros, 2004)
menos 5,6% da varincia no nvel micro e 80,4% da analisou os dados de 49.075 alunos da 8 srie de
varincia do nvel macro foram explicados. Ensino Fundamental que fizeram a prova de Lngua
Soares e Alves (2003) pesquisaram as Portuguesa do SAEB-2001. Como tcnica de
desigualdades raciais no sistema brasileiro de anlise de dados foi utilizada a regresso multinvel.
educao bsica utilizando a anlise de regresso Os autores relataram uma correlao intra-classe
multinvel. Os autores analisaram a base de dados (i.c.c.) bruta de 0,35. Como variveis de controle no
referente prova de Matemtica da 8a srie do primeiro nvel (o nvel de alunos) entraram na
ensino fundamental do SAEB 2001. A base de modelagem o status socioeconmico da famlia do
dados tinha as respostas de 50.300 alunos de 4.056 aluno, a escolaridade do pai e a etnia do aluno.
escolas. No nvel micro, foram includas como Como variveis de controle do segundo nvel foram
variveis de controle o nvel socioeconmico do includas as mesmas variveis do nvel do aluno
aluno e o atraso escolar e no nvel macro o nvel com a diferena de que foram agregadas para o
socioeconmico mdio, o atraso escolar mdio e a nvel da escola. Assim, o status socioeconmico
rede escolar. O atraso escolar foi includo como um mdio dos alunos, a escolaridade mdia dos pais e a
indicador da proficincia prvia do aluno. Por percentagem de alunos no-brancos ou no-
proficincia em lngua portuguesa, entende-se o asiticos na escola entraram como variveis de
domnio pelo aluno dos conceitos e conhecimentos controle no nvel de escola. O ndice que representa
relacionados com leitura em lngua portuguesa o nvel socioeconmico (NSE) do aluno foi obtido
compatveis com sua srie escolar, avaliada pelos por meio de anlise de componentes principais

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


374 Jacob Arie Laros, Joo Luiz Marciano
(ACP) e foi composto de 13 itens do questionrio seu desempenho em portugus e alunos com NSE
contextual aplicado junto com a prova de portugus. individual mais baixo tm um desempenho melhor.
Os itens so principalmente relacionados aos bens Este achado est em concordncia com os
na residncia dos alunos como, por exemplo, a resultados do estudo de Albernaz, Ferreira e Franco
quantidade de automveis, computadores, (2002).
televises, rdios etc. O ndice da escala de NSE Aps o controle das variveis relacionadas
mostrou um coeficiente de fidedignidade de 0,86. com a seletividade e composio escolar, a anlise
As outras variveis de controle (escolaridade do pai de regresso multinvel permitiu a identificao de
e etnia do aluno) foram baseadas em uma nica sete variveis do nvel da escola e quatro variveis
questo do questionrio contextual. do nvel do aluno. No nvel micro o nvel dos
Depois do controle das variveis acima alunos - as seguintes variveis mostraram um efeito
mencionadas, a i.c.c. corrigida apresentou um valor significativo no desempenho em Lngua
de 0,10; isso significa que mesmo aps o controle Portuguesa: (1) o grau de regularidade da trajetria
das diferenas socioeconmicas entre o alunado das escolar (sem atraso escolar); (2) a freqncia com
diversas escolas, 10% da varincia total presente na que o aluno faz o dever de casa; (3) o grau em que o
prova de Lngua Portuguesa devem-se aluno pode se dedicar integralmente s atividades
variabilidade entre escolas. Como Soares (2004) da escola e (4) quanto o aluno recebe apoio dos
argumentou, de suma importncia relatar a pais. importante notar que a ltima varivel
correlao intra-classe corrigida pelo nvel mostrou uma relao negativa com o desempenho
socioeconmico (NSE) do alunado, porque a i.c.c. na prova de portugus. O sinal negativo no pode
bruta leva a atribuir s escolas um efeito que no ser interpretado de tal forma que a ajuda dos pais
delas, mas da famlia, devido ao seu capital causa o pior desempenho do aluno, pelo contrrio:
econmico e cultural. Escolas que recrutam alunos um desempenho fraco em portugus leva a mais
com um nvel socioeconmico e cultural alto ajuda e cobrana da parte dos pais. Aparentemente,
obtero resultados melhores nas provas do SAEB quanto mais fraco o desempenho do aluno em
do que escolas que recrutam um alunado com um Lngua Portuguesa mais ajuda ele vai receber dos
nvel socioeconmico e cultural baixo. O valor da seus pais.
i.c.c. corrigida de 0,10 encontrado neste estudo est No nvel macro, o nvel das escolas, foram
dentro do esperado, levando-se em considerao os encontrados os seguintes ndices com impacto
resultados de uma reviso de Ferro e Fernandes positivo no desempenho em portugus: (1) a
(2003) de investigaes empricas no Brasil sobre a freqncia com que os professores passam e
i.c.c. em relao s provas de Matemtica do SAEB corrigem a lio de casa; (2) o grau de manuteno
nos anos 1995-2001. Os autores relataram valores e utilizao de recursos tecno-pedaggicos da
da i.c.c. corrigida variando de 0,08 a 0,17 para as escola; (3) a percentagem de alunos na turma cujos
cinco regies do Brasil. pais apiam, incentivam e conversam com eles
Uma primeira concluso do estudo de Jesus e sobre assuntos diversos; (4) a percentagem de
Laros (2004) tem relao com o grande impacto do alunos na turma que s estudam e no tm vnculo
nvel socioeconmico sobre o desempenho na prova trabalhista; (5) quanto os professores so
de portugus: 79% da varincia entre as escolas comprometidos com a aprendizagem dos alunos; (6)
devem-se s variveis relacionadas composio quanto os professores tm altas expectativas em
socioeconmica das escolas. Este resultado relao ao desempenho dos alunos, e (7) o estado de
consistente com os valores achados por outros conservao das instalaes fsicas na escola. O
estudos multinvel realizados com os dados das modelo final neste estudo conseguiu explicar pelo
provas do SAEB (Barbosa & Fernandes, 2001; menos 6,9% da varincia no nvel micro e 84,9% da
Soares, 2004; Soares, Cesar & Mambrini, 2001; varincia do nvel macro.
Soares & Alves, 2003). importante ressaltar que Andrade e Laros (2007) analisaram as
depois de controlar a influncia do nvel caractersticas de alunos e escolas associadas ao
socioeconmico mdio dos alunos da escola, o desempenho escolar de 72.379 alunos de 3a srie de
impacto do NSE individual do aluno sobre o Ensino Mdio que fizeram a prova de Matemtica
desempenho em portugus pequeno e tem sinal ou a prova de Lngua Portuguesa do SAEB em
negativo. Depois de controlar o efeito do NSE 2001. Neste estudo de regresso multinvel, os
mdio da escola, o conhecimento do NSE autores acharam uma correlao intra-classe (i.c.c.)
individual do aluno ajuda muito pouco a prever o bruta de 0,46 e uma i.c.c. corrigida de 0,17,

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 375
indicando que 17% da varincia no desempenho turma que fazem a lio de casa e (9) grau de
escolar podem ser atribudos ao nvel de escola e o experincia do professor. importante observar que
restante da varincia (83%) ao nvel dos alunos. exceto pelas variveis (6), (7) e (9) os valores foram
Como variveis de controle no primeiro nvel obtidos por agregao. No modelo final neste
(o nvel de alunos) foram includas o NSE da estudo foram explicadas pelo menos 14,0% da
famlia do aluno, o gnero do aluno e a etnia do varincia no nvel micro e 84,9% da varincia do
aluno. Como variveis de controle do segundo nvel nvel macro.
(o nvel de escola) foram includas o NSE mdio Um estudo de regresso multinvel com
dos alunos, a percentagem de meninos e a intuito de identificar os fatores associados ao
percentagem de alunos no-brancos ou no- desempenho na prova de Matemtica do SAEB-
asiticos. O ndice que representa o NSE do aluno 2001 (Laros, Marciano & Andrade, submetido)
foi construdo atravs de ACP e foi composto por revelou que 77% da variabilidade no desempenho
16 itens do questionrio contextual aplicado junto mdio das escolas em Matemtica podem ser
com as provas de Matemtica e Lngua Portuguesa. atribudos s variveis relacionadas com a
A escala de NSE neste estudo mostrou um composio socioeconmica do alunado da escola.
coeficiente de fidedignidade de 0,87. Foi encontrada uma i.c.c. bruta de 0,43. Depois do
O efeito da composio socioeconmica e da controle das variveis relacionadas com a
seletividade da escola sobre o desempenho composio socioeconmica e cultural do alunado
acadmico mdio entre as escolas encontrado neste da escola, a i.c.c. residual diminuiu para o valor de
estudo foi muito forte: 76% da varincia entre as 0,15 indicando que aps o controle ainda 15% da
escolas podem ser atribudos a estas variveis. varincia total presente na prova de Matemtica
Depois da entrada no modelo das variveis de podem ser atribudos variabilidade entre escolas.
controle, sete ndices foram encontrados associados Depois de incluir as variveis de controle, os
com o desempenho escolar no nvel do aluno e dez seguintes ndices no nvel do aluno mostraram uma
ndices no nvel da escola. No nvel do aluno, os relao positiva com o desempenho em
seguintes ndices mostraram um efeito positivo no Matemtica: (1) o grau de regularidade da trajetria
desempenho escolar: (1) o grau de regularidade da escolar; (2) se o aluno do sexo masculino; (3)
trajetria escolar; (2) quanto o aluno se compara quanto o aluno gosta de estudar Matemtica; (4) o
positivamente com os colegas da turma em relao grau em que o aluno se compara positivamente com
ao seu desempenho escolar; (3) a falta de cobrana os colegas em relao ao seu desempenho em
dos pais para fazer lio de casa; (4) quanto o aluno Matemtica; (5) a falta de cobrana dos pais para
gosta de estudar Lngua Portuguesa ou Matemtica; fazer lio de casa; (6) a ausncia de repetncia do
(5) a quantidade de recursos culturais na famlia do ano e (7) a freqncia com que o aluno faz o dever
aluno; (6) a freqncia com que o aluno faz o dever de casa. No nvel da escola, os seguintes ndices
de casa e (7) o grau em que o aluno pode se dedicar mostraram um efeito no desempenho em
exclusivamente s atividades da escola. Destas Matemtica, sendo que o sinal dos dois primeiros
variveis, a terceira merece destaque, pois pode efeitos negativo e dos trs ltimos positivo: (1)
parecer que quanto menos os pais cobram do aluno repetncia agregada; (2) a quantidade de faltas
fazer o dever de casa, tanto melhor seu desempenho agregada; (3) recursos culturais agregados; (4)
em portugus: como no estudo de Jesus e Laros trabalho colaborativo na escola e (5) clima
(2004) parece que um desempenho fraco do aluno disciplinar na escola. No modelo final de Laros,
causa cobrana dos pais e no o contrrio. Marciano e Andrade foram explicadas pelo menos
No nvel da escola, os seguintes ndices 19,8% do nvel micro e 85,0% da varincia do nvel
mostraram uma relao positiva com o desempenho macro.
escolar: (1) nvel mdio de recursos culturais na Em um estudo de Soares (2005) empregou-se
famlia dos alunos; (2) proporo dos alunos com uma anlise de regresso multinvel de trs nveis
uma trajetria escolar regular; (3) falta de cobrana hierrquicos para analisar quais fatores so
dos pais quanto lio de casa; (4) proporo dos associados ao desempenho dos alunos de 4 srie do
alunos com dedicao exclusiva nas atividades ensino fundamental na prova de Lngua Portuguesa
escolares; (5) clima disciplinar na escola; (6) de 2002 do Programa de Avaliao da Educao
trabalho colaborativo entre os membros da equipe Bsica (PROEB) do Estado de Minas Gerais. Neste
escolar; (7) manuteno e utilizao de recursos estudo as informaes de 2.438 escolas, 6.286
tecno-pedaggicos; (8) quantidade de alunos na turmas e 161.904 alunos foram analisadas.

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


376 Jacob Arie Laros, Joo Luiz Marciano
Diferentemente do SAEB, todos os alunos da quarta em portugus dos alunos. O modelo final deste
e oitava srie do ensino fundamental e da terceira estudo explicou pelo menos 75,7% da varincia do
srie do ensino mdio da rede estadual fazem o nvel da escola, 69,1% do nvel da turma e 7,5% do
teste do PROEB. importante ressaltar que foi nvel do aluno.
possvel utilizar o modelo de trs nveis porque As pesquisas na rea de avaliao
somente as escolas com quatro ou mais turmas de 4a educacional em larga escala realizadas no Brasil
srie foram analisadas neste estudo. Soares (2005) entre 1998 e 2007 com anlise multinvel, acima
utilizou na construo de modelos hierrquicos a relatadas, mostram valores altamente diferenciados
estratgia bottom-up, isto , parte-se do modelo da i.c.c. incondicional (sem controle pelo NSE),
nulo e vai-se incluindo as variveis do primeiro variando de 0,28 (Albernaz, Ferreira & Franco,
nvel (nvel dos alunos), segundo nvel (nvel das 2002) a 0,46 (Andrade & Laros, 2007). Os valores
turmas) e terceiro nvel (nvel das escolas). Por fim, da i.c.c. condicional (aps controle pelo NSE)
as interaes entre variveis de diferentes nveis mostram menos variabilidade: eles variam entre
entram no modelo. Neste estudo a i.c.c. bruta tomou 0,08 (Albernaz, Ferreira & Franco, 2002) e 0,17
o valor de 0,43, indicando que 43% da varincia (Andrade & Laros, 2007). Estes valores esto em
total podem ser atribudas aos nveis de escola e concordncia com os valores relatados por Ferro e
turma juntas e 57% ao nvel do aluno. Fernandes (2003) e compatveis com os valores
Depois de controlar a influncia de nvel relatados nos trabalhos internacionais (conforme
socioeconmico, atraso escolar, gnero do aluno e afirmado por Soares, 2004).
etnia do aluno, trs variveis do nvel do aluno Conforme frisa Soares (2004), o que interessa
entraram: (1) se a famlia do aluno recebe bolsa relatar no tanto a i.c.c. incondicional (tambm
escola; (2) o nmero de anos do aluno na pr-escola chamada de i.c.c. bruta), mas a i.c.c. condicional,
e (3) a taxa de estudos por parte do aluno. representando a percentagem da varincia total que
interessante notar que o efeito da bolsa escola o conjunto de fatores escolares pode explicar, aps
negativo: alunos que possuem bolsa escola tendem a retirada da influncia das variveis
a apresentar uma proficincia bem inferior aos que socioeconmicas sobre o desempenho dos alunos.
no possuem. Este resultado no deve ser Em concordncia com Soares (2004), podemos
interpretado erradamente no sentido de que a bolsa afirmar que os valores da i.c.c. condicional dos
escola causa um desempenho fraco em Lngua estudos revisados so suficientemente grandes para
Portuguesa. O efeito negativo est associado baixa o reconhecimento da existncia de variao entre as
condio social desse tipo de aluno, ou seja, alguns escolas, de forma que a escola freqentada faz
aspectos no foram controlados com a entrada das diferena na vida do aluno. Ou seja, possvel
variveis de controle do modelo. Aparentemente, o melhorar o desempenho dos alunos atravs de
nvel de conhecimento de Lngua Portuguesa dos mudanas na estrutura escolar.
alunos que entraram na escola com uma bolsa Os estudos citados acima tm em comum
famlia menor do que o de outros alunos com um uma quantidade baixa de varincia explicada no
NSE similar. No nvel da turma as seguintes nvel do aluno: entre 5,5% (Ferro & Fernandes,
variveis mostraram um efeito sobre o desempenho 2003) e 19,8% (Laros, Marciano & Andrade,
em portugus: (1) se o professor passa dever de submetido). Isso ocorre, entre outras coisas, em
casa; (2) o grau de exigncia do professor; (3) a decorrncia da falta de dados sobre caractersticas
motivao mdia da turma dos alunos; (4) o grau de individuais dos alunos antes de entrar na escola
dedicao e disponibilidade do professor e, por fim, como, por exemplo, a habilidade cognitiva, o
(5) a quantidade de faltas do professor na sala de desempenho acadmico prvio e certas
aula. No nvel da escola as seguintes variveis caractersticas de personalidade como motivao e
mostraram um efeito significativo, e relevante, persistncia (Soares, Ribeiro & Castro, 2001;
sobre o desempenho em portugus: (1) a Teddlie & Reynolds, 2000). Ou seja, o que falta
percentagem na escola de professores que para poder explicar uma parte considervel da
participam de formao continuada; (2) a varincia no nvel micro so medidas fidedignas das
quantidade de equipamentos de informtica na habilidades cognitivas, do nvel do conhecimento
escola e (3) a idade mdia dos professores na acadmico e dos fatores da personalidade dos
escola. Quanto influncia da ltima varivel alunos antes do incio da trajetria escolar.
importante observar que quanto mais velhos os A varincia explicada do nvel da escola nos
professores da escola tanto menor o desempenho estudos revisados, entretanto, alta: situa-se entre

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 377
75,7% (Soares, 2005) e 99,1% (Ferro & proficincia do aluno, mas tambm os outros fatores
Fernandes, 2003). Na verdade, estes valores so to explicativos.
elevados porque o modelo de referncia utilizado O objetivo prioritrio do presente trabalho
para calcular esses valores foi o modelo vazio. O identificar o impacto de caractersticas de alunos e
que produziria um retrato muito mais fiel da escolas sobre a proficincia em portugus de alunos
realidade seria utilizar o modelo bsico e no o da 3a srie do Ensino Mdio no Brasil. Um segundo
modelo vazio como ponto de referncia para objetivo verificar se existem diferenas no
calcular os valores da varincia explicada. O impacto das caractersticas de alunos e escolas
modelo bsico o modelo no qual o impacto do sobre a proficincia em portugus entre as cinco
NSE controlado simultaneamente nos dois nveis regies do Brasil.
de agregao. Tomando o modelo bsico como Para atingir esses objetivos, foram
modelo de referncia, a varincia explicada do nvel considerados os alunos avaliados pelo Sistema
da escola dos estudos revisados fica bem menor: Nacional de Avaliao da Educao Bsica (SAEB)
varia nos estudos brasileiros revisados entre 23,1% da 3 srie do Ensino Mdio do ano de 2001. O
(Fletcher, 1998) e 36,7% (Andrade & Laros, 2007). SAEB foi implantado pelo Instituto Nacional de
Os valores da varincia explicada do nvel do aluno Estudos e Pesquisas Educacionais Ansio Teixeira
no mudam tanto tomando o modelo bsico como (INEP), a partir de 1990. O objetivo do SAEB
referncia: situam-se entre 6,5% (Fletcher, 1998) e fornecer informaes sobre o Ensino Fundamental e
18,1% (Laros, Marciano & Andrade, submetido). Mdio brasileiro, com o intuito de contribuir para a
Deve-se registrar que calcular a varincia explicada melhoria da qualidade da educao brasileira e para
com o uso de anlise de regresso multinvel um a universalizao do acesso escola (INEP, 2001).
assunto bastante complicado. Depois da entrada de
variveis com efeitos aleatrios, ou seja, com MTODO
efeitos que podem variar entre as escolas,
praticamente no mais possvel calcular quanta Participantes
varincia foi explicada. Por esta razo, precisa-se A populao de referncia do SAEB 2001
calcular a varincia explicada antes da entrada das correspondeu a todos os alunos matriculados, em
variveis com efeitos aleatrios (Snijders & Bosker, 2001, na 4 ou 8 sries do Ensino Fundamental ou
1994; 1999). Uma conseqncia disso que na 3 srie do Ensino Mdio, com exceo dos alunos
presena de variveis aleatrias podemos somente das escolas federais, rurais ou de turmas
fazer afirmaes sobre o limite inferior da varincia multisseriadas. Somente para a 4 srie, foram
explicada. Ou seja, nestes casos, precisamos sempre mantidos os alunos das escolas rurais dos estados
utilizar uma restrio tipo pelo menos nas nossas do Nordeste, Minas Gerais e Mato Grosso do Sul.
afirmaes sobre a varincia explicada no modelo Para o presente trabalho, foram analisados os
final. dados de 33.962 alunos da terceira srie do ensino
Os estudos acima revisados mostram que no mdio, distribudos em 1.661 escolas brasileiras
Brasil o volume de estudos que usam anlise de pesquisadas no SAEB/2001. Para mais informaes
regresso multinvel para detectar os fatores que sobre a amostra do SAEB 2001, ver Andrade, Silva
tm impacto no desempenho escolar dos alunos est e Bussab (2001) e Riether e Rauter (2002).
aumentando. O uso da anlise de regresso A Tabela 1 mostra as caractersticas dos
multinvel, comparado s tcnicas convencionais de alunos includos na regresso multinvel da prova
anlise de regresso, ajuda a identificar com um de Lngua Portuguesa do exame do SAEB/2001.
grau mais alto de confiana os fatores que Observa-se que 59,3% dos alunos analisados
realmente so associados com um bom desempenho pertencem ao gnero feminino, sendo os 40,7%
escolar. A identificao de tais fatores de suma restantes do gnero masculino, em uma relao de
importncia para a elaborao de polticas pblicas aproximadamente 3 mulheres para 2 homens.
que possam melhorar a qualidade da educao Quanto etnia dos alunos, procedeu-se
brasileira (Soares, Cesar e Mambrini, 2001). codificao das etnias branca e amarela com o
Entretanto, bom lembrar, como afirmam Soares e cdigo 0, representando 55,5% da amostra, e as
Alves (2003), que os fatores identificados so etnias parda, negra e indgena com o cdigo 1,
relacionados e que qualquer interveno em fatores representado os demais 44,5%.
sociais, escolares ou familiares impacta no s a Quanto ao atraso escolar, ou seja, a diferena
entre a idade atual e a idade ideal (indicada pela

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


378 Jacob Arie Laros, Joo Luiz Marciano
srie em que o aluno est matriculado), os valores Instrumentos
foram codificados de modo a indicar as categorias O desempenho dos estudantes em Lngua
descritas na Tabela 1. O valor modal desta varivel Portuguesa foi aferido por meio de um teste
apresenta-se na categoria sem atraso escolar, cognitivo, composto por questes objetivas
representando 35,5% da amostra. envolvendo os seguintes tpicos: procedimento de
Os respondentes foram categorizados, ainda, leitura, implicaes do suporte, do gnero e/ou do
quanto rede de ensino que freqentam no enunciador na compreenso do texto; relao entre
momento da prova: 55,4% da amostra so alunos da textos; coerncia e coeso no processamento do
rede pblica, sendo os demais 44,6% da rede texto; relaes entre recursos expressivos e efeito
privada. Por fim, quanto regio geogrfica, o de sentido; e variao lingstica. Alm disso,
Nordeste apresentou a maior contribuio foram aplicados questionrios contextuais dos
amostra, com 42,6% dos alunos, seguido pelo alunos, professores, diretores e escolas. Esses
Sudeste, com 18,4%, o Norte com 14,8%, o Centro- questionrios visam captar a origem social dos
Oeste com 13,4% e o Sul com 10,8% dos alunos da alunos e as condies em que eles estudam. O leitor
amostra. interessado pode obter maiores detalhes em INEP
(2001).

Tabela 1. Caractersticas dos alunos includos na anlise de regresso multinvel da prova em Lngua
Portuguesa SAEB 2001 3 srie do Ensino Mdio.
Caracterstica Critrios Cdigo N Percentagem
Gnero Homens 0 13.811 40,7 %
Mulheres 1 20.151 59,3%
Etnia Brancos e amarelos 0 18.837 55,5%
Pardos, negros e indgenas 1 15.125 44,5 %
Atraso Escolar 5 anos ou mais 5 2.967 8,8 %
4 anos 4 3.340 9,8 %
3 anos 3 2.376 7,0 %
2 anos 2 3.842 11,3 %
1 ano 1 6.284 18,5 %
sem atraso escolar 0 12.054 35,5 %
1 ou mais anos adiante da turma -1 3.099 9,1 %
Rede Escolar Pblica 0 18.822 55,4 %
Privada 1 15.140 44,6 %
Regio Geogrfica Norte 1 5.028 14,8 %
Nordeste 2 14.480 42,6 %
Sudeste 3 6.238 18,4 %
Sul 4 3.671 10,8 %
Centro-oeste 5 4.545 13,4 %
Total 33.962 100,0 %

Anlise de dados alm de estratificada mediante diferentes critrios,


Com o intuito de estimar os parmetros de como se viu acima. Em tais casos, Pfeffermann,
grupos populacionais especficos, a populao de Skinner, Holmes, Goldstein e Rasbash (1998)
referncia foi dividida em estratos segundo recomendam enfaticamente a utilizao de pesos
variveis de interesse: srie, unidade da federao, amostrais, uma vez que, sem o uso de tais
dependncia administrativa (estadual, municipal ou mensuraes, as estimativas pontuais dos
particular) e localizao (capital ou interior). parmetros, a varincia e os erros-padro podem
Estatisticamente, a amostra analisada dispe-se em no ser corretos. Sem o uso de pesos amostrais,
uma distribuio complexa, ou seja, com apresenta-se uma tendncia a subestimar os valores
probabilidades desiguais de incluso dos elementos, do erro-padro, o que pode, por sua vez, levar

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 379
aceitao de efeitos esprios, os quais no se relacionadas ao nvel socioeconmico do aluno e da
verificariam se os pesos fossem aplicados. No escola, bem como as caractersticas de composio
presente estudo, todas as estimativas foram escolar e familiar (escolaridade da me e etnia do
realizadas com a aplicao de pesos amostrais. aluno), a fim de verificar quais eram as outras
Com o uso dos pesos brutos, o tamanho da fontes de variao entre as escolas passveis de
amostra torna-se igual soma desses pesos, que interveno. Posteriormente, atentando para os
corresponde ao tamanho da populao. Segundo procedimentos propostos por Hox (2002), foram
Brogan (1998), esse valor alto impossibilita a includas as variveis explicativas do nvel micro
realizao adequada de testes nos pacotes com efeito fixo. O passo seguinte foi incluir as
estatsticos padro, que sempre tendem a ser variveis explicativas do nvel macro. Em seguida,
significativos. Por isso, seguindo a recomendao foi avaliado se alguns dos coeficientes de inclinao
da autora, o peso original das escolas foi das variveis explicativas do nvel micro possuam
multiplicado pela frao amostral (n/N, onde n o componente de varincia significativo entre as
tamanho da amostra e N o tamanho da escolas. Em outras palavras, foi verificado se as
populao). O novo peso amostral, chamado peso variveis tinham efeito diferenciado entre as
normalizado, foi utilizado em todos os escolas. Por fim, foram testadas possveis interaes
procedimentos de anlise dos dados. A soma dos das variveis entre os nveis (efeito cross-level).
pesos amostrais adotados resultou, ento, no O SAEB possui como indicadores esperados
tamanho da amostra (e no mais da populao), para os escores os valores descritos na Tabela 2. A
respeitando-se, desta forma, a proporo de escala de avaliao foi construda de modo tal a
participao de cada escola nos dados. permitir a comparao entre os valores obtidos por
Para a anlise de regresso multinvel alunos de diferentes sries. Espera-se o aumento no
utilizou-se o programa MLwiN em sua verso 2.02, escore mdio, no caso de lngua portuguesa, de
desenvolvido por Rasbash, Steele, Browne e setenta e cinco pontos da segunda srie para a
Prosser (2005). Inicialmente foi rodado o modelo quarta, e aumentos equivalentes ao trmino de cada
nulo ou vazio que, segundo a literatura (Ferro & ciclo do final da quarta srie para o final da oitava
Fernandes, 2003; Kreft & De Leeuw, 1998; e do final desta para o final do nvel secundrio.
Snijders & Bosker, 1999), serve como base para Deve-se levar esta escala em considerao, ao
comparao com os modelos subseqentes. Em observarem-se os resultados obtidos e analisados
seguida, conforme sugere Fletcher (1998), neste trabalho.
pretendeu-se controlar as caractersticas

Tabela 2. Relao esperada entre nveis de proficincia e ciclos dos nveis de ensino SAEB
Nvel de Matemtica Portugus
proficincia
escala SAEB Ciclo e nvel de ensino Ciclo e nvel de ensino
100 No significativo At o fim da 2a srie do ensino
fundamental

150 At o fim da 2a srie do ensino At o fim da 4a srie do ensino


fundamental fundamental

250 At o fim da 4a srie do ensino At o fim da 8a srie do ensino


fundamental fundamental

325 At o fim da 8a srie do ensino At o fim da 3a srie do ensino mdio


fundamental

400 At o fim da 3a srie do ensino mdio Alm do fim do ensino mdio


Fonte: Soares e Alves (2003)

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


380 Jacob Arie Laros, Joo Luiz Marciano
As variveis explicativas analisadas nos respondente): nmero de televises; quantidade
modelos construdos compreendem itens simples de automveis; nmero de computadores;
obtidos a partir dos questionrios respondidos pelos nmero de banheiros; quantidade de quartos na
alunos, itens compostos calculados a partir de residncia e nmero de empregados
anlise de componentes principais e valores obtidos domsticos.
por agregao, ou seja, valores originalmente b) Recursos culturais: composta por 12 itens (alfa
obtidos no nvel micro que foram agrupados para = 0,75, carga fatorial mdia = 0,51). Alguns
obter valores mdios do nvel da escola. A Tabela 3 exemplos de itens desta varivel composta so:
descreve as diferentes variveis inseridas nos o aluno tem acesso internet em casa; o
modelos construdos. Nota-se que quase todas as nmero de livros disponveis em casa; na
variveis explicativas foram transformadas para os residncia do aluno h revistas de informao
respectivos escores-z, a fim de permitir em geral; o aluno fez ou faz curso de lngua
comparaes. Cumpre observar que a varivel Rede estrangeira extracurriculares; a casa do aluno
escolar foi inserida durante o processo de possui dicionrio; a casa do aluno possui
modelagem, mas foi descartada em etapas enciclopdia; o aluno tem acesso a um jornal
posteriores por no mais se mostrar com um efeito dirio, e o aluno fez ou faz aulas
significativo. extracurriculares de msica, dana ou teatro.
c) Cobrana e incentivo dos pais: composta por 4
As seguintes variveis so medidas multi- itens (alfa = 0,72, carga fatorial mdia = 0,69)
item (multi-item measures) baseadas na anlise de o grau em que os pais cobram a lio de casa do
componentes principais: filho; em que os pais incentivam que o filho tire
a) Nvel scio-econmico (NSE): composta por 16 boas notas na escola; em que os pais procuram
itens (alfa = 0,87, carga fatorial mdia = 0,59). fazer com que o filho no se atrase para a
Alguns exemplos de itens da medida NSE so escola e em que os pais ajudam o filho a fazer a
(todas relacionadas residncia do lio de casa.

Tabela 3. Escalas das variveis explicativas do modelo de regresso multinvel da prova em Lngua Portuguesa
SAEB 2001 3 srie do Ensino Mdio.
Tipo de Nvel da
Nome da varivel Escala
varivel varivel
Nvel Scio-econmico agregado* Controle Macro escore z
Escolaridade da me do aluno Controle Micro escore z
Etnia do aluno Controle Micro dicotmico (0 e 1)
Recursos culturais na famlia do aluno* Explicativa Micro escore z
Atraso escolar do aluno Explicativa Micro politmico (-1 a 5)
Cobrana e incentivo dos pais* Explicativa Micro escore z
Repetncia do aluno Explicativa Micro escore z
Absentesmo discente Explicativa Micro escore z
Abandono escolar Explicativa Micro escore z
Aluno gosta de estudar Portugus Explicativa Micro escore z
Aluno trabalha Explicativa Micro escore z
Aluno faz dever de casa Explicativa Micro escore z
Aluno usa computador no dever de casa Explicativa Micro escore z
Quantidade de meninas na turma Explicativa Macro escore z
Quantidade de repetncia na turma Explicativa Macro escore z
Rede escolar Explicativa Macro dicotmico (0 e 1)
Quantidade de alunos que trabalham Explicativa Macro escore z
Nota: as variveis com um asterisco so variveis com vrios itens, resultantes de anlise fatorial.

RESULTADOS E DISCUSSO Seguindo os passos de modelagem multinvel


propostos por Hox (2002), inicialmente foi

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 381
estimado o modelo vazio, ou seja, o modelo sem nossos dados sugere que, a princpio, 33% da
variveis explicativas. Vale salientar que o modelo varincia do desempenho escolar dos alunos esto
vazio serve como base para a estimao da associados variabilidade entre as escolas, o que
varincia explicada versus a varincia no explicada torna necessrio o uso de modelos de regresso
em comparao aos modelos condicionais multinvel (ver Tabela 4).
estimados a posteriori. Ainda, a estimao do Merece destaque na Tabela 4 o valor do
modelo vazio necessria para o clculo do intercepto (264,90), que representa o valor mdio
coeficiente de correlao intra-classe (i.c.c.), o que da proficincia em Lngua Portuguesa dos alunos da
calculado dividindo a varincia do nvel macro 3 srie do Ensino Mdio. Neste estudo, a
sobre a varincia total e que portanto pode variar de proficincia est expressa na escala do SAEB,
0 a 1. Quando seu valor nulo ou se aproxima de calibrada no desempenho em Lngua Portuguesa da
zero, isso significa que as escolas so homogneas 8a srie em 1997 com um escore mdio de 250 e
entre si e que o desempenho escolar do aluno desvio-padro de 50, e cuja escala assume valores
independente da escola que freqenta (Ferro & entre 100 e 500. O valor de desempenho mdio
Fernandes, 2003), e a anlise multinvel no precisa esperado no teste de Lngua Portuguesa para o final
ser aplicada. Por outro lado, ignorar uma correlao da 3 srie do Ensino Mdio 325 (Soares & Alves,
intra-classe no trivial (substancialmente diferente 2003). Conclui-se que o desempenho dos alunos da
de zero), e analisar os dados no nvel dos estudantes 3 srie consideravelmente menor que o esperado,
resulta em testes estatsticos de significncia estando, na verdade, mais prximo do valor
lenientes demais, aumentando assim a ocorrncia de esperado para os alunos ao final da 8 srie do nvel
falsos positivos, ou em outras palavras, aumentando fundamental (ver Tabela 2).
a quantidade de erros do tipo I (Hox, 2002; Kreft &
De Leeuw, 1998). O resultado encontrado nos

Tabela 4. Modelo sem variveis explicativas e modelo aps a insero das variveis de controle.
Variveis Explicativas Modelo Vazio Modelo de Referncia
Depois da insero das
Sem variveis explicativas
variveis de controle
EFEITO FIXO Efeito EP Razo T Efeito EP Razo T
Intercepto 264,90 1,53 - 274,14 1,37 -
Nvel Scio-Econmico agregado 58,63 1,96 29,91
Escolaridade da me do aluno 6,09 0,71 8,58
Etnia do aluno -4,56 1,39 3,28
EFEITO RANDMICO - Nvel 2 - u20
Varincia intercepto 958,70 69,51 13,79 243,47 28,56 8,52
EFEITO RANDMICO - Nvel 1 - e 2

Varincia de Rij 1.946,08 149,72 13,00 1.917,81 146,07 13,13


Correlao Intraclasse (i.c.c.) 0,33 0,11
Deviance 357.221,8 354.705,2
Nmero de parmetros estimados 3 6
Diferena dos deviances 2.516,6
Diferena de nmero de parmetros 3
Teste 2
838,9
Varincia do nvel 1 explicada 1,45%
Varincia do nvel 2 explicada 74,60%
Notas: EP = erro padro; razo T = tamanho do efeito divido pelo erro padro

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


382 Jacob Arie Laros, Joo Luiz Marciano
Ainda, a inspeo da Tabela 4 revela que a Pode-se verificar tambm na Tabela 4 que a
estimativa do deviance (2 log verossimilhana, ou correlao intra-classe diminui para 0,11 depois da
-2 log likelihood) para o modelo vazio igual a insero das variveis de controle dos efeitos de
357.221,8. Este valor tem pouco significado em si, seletividade e composio escolar. Ou seja, depois
mas utilizado como referncia para comparao deste controle, 11% da varincia do desempenho
com os modelos posteriores. O deviance reflete a em Lngua Portuguesa podem ser atribudos s
falta de ajuste entre os dados e o modelo. Como escolas. Este valor compatvel com o valor da
regra para sua interpretao, deve-se comparar a correlao intra-classe de outros estudos elaborados
magnitude das diferenas entre o seu valor e aquele com os bancos de dados do SAEB, depois de
encontrado no modelo seguinte (Snijders & Bosker, efetuado o mesmo tipo de controle (Albernaz,
1999). Se a diferena dos deviances for Ferreira & Franco, 2002; Fletcher, 1998; Ferro &
significativa, o modelo com o menor deviance Fernandes, 2003; Ferro & Fernandes, 2003; Jesus
considerado melhor ajustado aos dados (Kreft & De & Laros, 2004; Soares, 2004).
Leeuw, 1998). Deve-se lembrar que, nos modelos multinvel,
Em seguida, foram inseridas as variveis de a significncia dos coeficientes de regresso
seletividade e composio escolar, a saber: nvel verificada por meio da diviso do parmetro
socioeconmico da escola, escolaridade da me e estimado pelo erro padro. Esta diviso resulta num
etnia do aluno (modelo de referncia). Os resultados escore z: qualquer escore z maior que 1,96 indica
tambm podem ser observados na Tabela 4. Foi que a estatstica estimada significativa no nvel de
calculado quanto de varincia que as variveis 5%.
relacionadas seletividade e composio escolar A Tabela 4 revela, tambm, que o efeito do
so capazes de explicar, em relao varincia total nvel socioeconmico da escola (varivel agregada)
dos nveis micro e macro. Os resultados sugerem muito forte (58,63) e estatisticamente
que 74,6% da varincia do desempenho mdio no significativo. A varivel escolaridade da me tem
teste de Lngua Portuguesa entre as escolas devem- um efeito positivo sobre o desempenho dos alunos
se a diferenas na composio socioeconmica de em Lngua Portuguesa mesmo depois da insero
seus alunos, o que indica um efeito muito grande de da varivel nvel socioeconmico da escola. Isso
seleo e composio dos alunos nas escolas. Como tambm verificado em relao varivel etnia do
assinala Soares (2004), controlar estatisticamente o aluno, indicando que estudantes de etnia branca e
efeito dessas variveis absolutamente necessrio, amarela tm um desempenho melhor que estudantes
caso contrrio se atribuiria s escolas um efeito que das demais etnias mesmo depois de controlar a
no delas, e sim do capital econmico e cultural influncia do nvel socioeconmico da escola e a
das famlias dos alunos. escolaridade da me. Este resultado est em
Ainda na Tabela 4 vrios resultados merecem consonncia com os achados por Soares e Alves
destaque. verificado que, mesmo controlando os (2003). Segundo aqueles autores, a diferena de
efeitos de seletividade e de composio escolar, a desempenho entre alunos brancos e negros,
varincia do intercepto continua relativamente alta especificamente, no encontra explicao somente
(243,47) e estatisticamente significativa. A nas condies socioeconmica e cultural.
variabilidade do intercepto indica a existncia de Aparentemente, os alunos negros no usufruem das
diferenas notveis no desempenho mdio em oportunidades da escola da mesma maneira que os
Lngua Portuguesa das escolas. Ou seja, existem alunos brancos e amarelos.
diferenas no desempenho mdio em Lngua Outro resultado importante obtido da Tabela
Portuguesa das escolas em torno da mdia nacional. 4 o ajuste do modelo aos dados. O valor do
O intercepto, depois do controle para as variveis deviance do modelo de referncia diminuiu 2.516,6
de seletividade e composio escolar pode ser pontos em comparao com o deviance do modelo
interpretado como a eficcia escolar. Antes do vazio, sendo estimados trs parmetros a mais no
controle para estas variveis o intercepto reflete por modelo de referncia. Deste modo, o valor do teste
uma parte considervel o nvel socio-econmico do 2 resultou em 838,9. Este valor obtido pelo
alunado da escola. Podemos ento interpretar a quociente da diferena entre os deviances dos dois
varincia relativamente alta do intercepto do modelos e a diferena entre o nmero de parmetros
modelo de referncia como um indicador da estimados. Este quociente deve ser maior que 1,96
existncia de diferenas substanciais na eficcia (aproximadamente 2) para possuir um nvel de
escolar no ensino da Lngua Portuguesa. significncia de 5%. Uma vez que 838,9

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 383
consideravelmente maior que 1,96 o modelo de controle. Aps a insero, a amplitude entre os
referncia muito mais ajustado que o anterior, valores de intercepto se reduz. Ou seja, depois de
com um ndice de significncia de cerca de 1%. controlar para as variveis de seletividade e
Estabeleceu-se, ainda, uma comparao entre composio escolar a eficcia escolar mdia das
as diferentes regies geogrficas do pas. A Tabela cinco regies do Brasil ficou menos desigual, com
5 mostra os valores obtidos aps a construo de valores ao redor de 277 para o Sul, Sudeste e o
modelos diferenciados por localizao geogrfica, Centro-oeste e valores ao redor de 270 para o Norte
antes e depois da insero das variveis de e o Nordeste. Obviamente, estes valores
seletividade e composio escolar. Observa-se, no representam a eficcia escolar muito melhor do que
primeiro caso, que entre 31% (Sul e Centro-Oeste) os valores antes de controlar para as variveis de
e 37% (Norte e Nordeste) da varincia entre as seletividade e composio escolar. O maior
escolas podem ser explicados pelos modelos diferencial na Tabela 5, entretanto, observado na
construdos. No segundo caso, aps a insero das varincia do nvel da escola: os valores so
variveis de seletividade e composio escolar, grandemente reduzidos aps a insero das
estes ndices variam entre 10% (Sul) e 13% (Norte). variveis de controle, conseqentemente reduzindo
Estes resultados esto em consonncia com os o efeito escola para cerca de um tero do valor antes
resultados de Barbosa, Fernandes, Beltro, Santos e observado. De acordo com outros estudos
Surez (2001) que acharam ndices da i.c.c. depois multinvel de fatores associados ao desempenho
de controlar pelo nvel econmico dos alunos escolar (Albernaz, Ferreira & Franco, 2002;
variando entre cerca de 8% para o Sul e 17% para o Andrade & Laros, 2007; Jesus & Laros, 2004;
Nordeste. Soares, 2004), uma vez controlados os efeitos da
Merece destaque na Tabela 5 a diferena seletividade e composio das escolas, ainda existe
observada entre os valores de intercepto para as varincia que pode ser explicada tanto pelos efeitos
regies, antes e depois da insero das variveis de do nvel macro quanto do nvel micro.

Tabela 5. Comparao da proficincia mdia em Lngua Portuguesa, das varincias dos nveis macro e
micro e do efeito escola entre as regies geogrficas, antes e depois da insero das variveis de
controle.
ANTES DA INSERO DAS VARIVEIS DE CONTROLE
Regio Intercepto: proficincia mdia Varincia do nvel Varincia do nvel Efeito Escola
Geogrfica em Lngua Portuguesa da escola do aluno (i.c.c.)
Norte 266,44 1.098,75 1.841,99 0,37
Nordeste 258,00 1.125,39 1.930,78 0,37
Sudeste 287,33 1.096,96 1.938,19 0,36
Sul 288,32 844,87 1.881,96 0,31
Centro-oeste 284,38 855,49 1.907,94 0,31
DEPOIS DA INSERO DAS VARIVEIS DE CONTROLE
Regio Intercepto: proficincia mdia Varincia do nvel Varincia do nvel Efeito Escola
Geogrfica em Lngua Portuguesa da escola do aluno (i.c.c. residual)
Norte 269,28 275,91 1.826,34 0,13
Nordeste 273,92 261,49 1.905,96 0,12
Sudeste 278,54 253,84 1.918,11 0,12
Sul 276,29 215,45 1.848,39 0,10
Centro-oeste 277,22 236,55 1.895,92 0,11

No processo de desenvolver o modelo final maior nmero de observaes. As seguintes


da regresso multinvel foram estimados, variveis deste nvel foram includas no modelo:
primeiramente, os efeitos do nvel micro, devido ao recursos culturais na famlia do aluno, atraso

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


384 Jacob Arie Laros, Joo Luiz Marciano
escolar, cobrana e incentivo dos pais, repetncia, que merece destaque o efeito negativo da varivel
absentesmo discente, abandono escolar, aluno relacionada ao uso de computador do aluno no
gosta de estudar Lngua Portuguesa, aluno trabalha, dever da casa: esse resultado corrobora os
aluno faz dever de casa, e, por fim, aluno usa resultados da pesquisa do Dwyer, Wainer, Dutra e
computador no dever de casa. Em seguida, foram Covic (2007). Os pesquisadores analisaram os
includas no modelo as variveis explicativas dados dos 287.719 alunos que participaram do
referentes ao nvel da escola. As trs variveis SAEB 2001 e constataram que o uso intensivo do
referentes ao nvel macro foram mensuradas no computador est diretamente ligado queda das
nvel do aluno e agregadas para o nvel da escola, a notas dos alunos. A constatao foi vlida para
saber: quantidade de meninas na turma, a todas as sries analisadas (4a e 8a sries do ensino
quantidade de repetncia na turma e a quantidade de fundamental e 3o ano do ensino mdio), tanto para
alunos que trabalham na turma. Depois a incluso alunos ricos quanto para pobres.
das variveis do nvel macro verificou-se se houve A Tabela 6 mostra ainda que a varivel do
um efeito randmico dos coeficientes de inclinao nvel macro que mais afeta no desempenho escolar
das variveis do nvel micro que j haviam entrado dos estudantes a varivel Quantidade de meninas
no modelo. Em outras palavras, procurou-se na turma. Os resultados indicam que com cada
verificar se essas variveis se comportam aumento de uma unidade na escala de escore padro
diferentemente entre as escolas. As variveis que de Quantidade de meninas na turma, o desempenho
no apresentaram coeficiente de regresso com mdio dos alunos aumenta em 16,68 pontos (com
efeito randmico foram estimadas novamente com erro padro de 5,52). As demais variveis do nvel
os coeficientes de regresso fixos. O ltimo passo macro tm um sinal negativo. O que chama ateno
considerado foi o de verificar efeitos de interao na inspeo da Tabela 6 que os erros padro dos
entre os nveis (efeito cross-level). Uma interao coeficientes de regresso do nvel macro so
entre nveis na modelagem multinvel refere-se ao substancialmente maiores do que os do nvel micro.
Isso possivelmente ocorre devido ao nmero menor
efeito conjunto de uma varivel de nvel micro com de observaes no nvel macro.
uma varivel de nvel macro. Os resultados do A anlise do deviance sugere que o modelo
modelo final podem ser observados na Tabela 6. final muito mais adequado que o modelo vazio e
Como pode ser observada na Tabela 6, todos que o modelo de referncia. O teste de 2 mostra
os coeficientes de regresso das variveis includas um valor de 405,1 em comparao com o modelo
do nvel do aluno foram estatisticamente vazio e um valor de 323,8 em comparao com o
significativos (razo t > 2). A varivel do nvel modelo de referncia. Isso significa que o modelo
micro que mais afeta o desempenho escolar dos final se mostou o modelo mais adequado.
alunos Recursos culturais na famlia do aluno, Seguindo as recomendaes de Snijders e
seguida de Atraso escolar. Verifica-se que a cada Bosker (1999) os pressupostos de normalidade e
aumento de uma unidade na escala de escore padro heterogeneidade para a anlise multinvel foram
de Recursos culturais, o desempenho mdio dos verificados por meio da anlise dos resduos
alunos aumenta em 16,55 pontos (com erro padro padronizados do modelo final. Se os pressupostos
de 2,08). Com cada aumento de um ano de Atraso no so satisfeitos os procedimentos para estimar os
escolar o desempenho mdio dos alunos piora em coeficientes de regresso podem no ser vlidos. Os
9,70 pontos (com erro padro de 0,51). Um dos resduos padronizados do modelo final foram
efeitos do nvel micro que merecem destaque o inspecionados com base em dois grficos: um com
efeito negativo da varivel relacionada com a os escores preditos e outro com os escores normais.
cobrana e incentivo dos pais do aluno. Com um Ambos mostravam a normalidade da distribuio da
efeito negativo pode parecer que quanto menos os varivel dependente.
pais cobram do aluno fazer o dever de casa, tanto O modelo final est representado
melhor seu desempenho em portugus, mas ao esquematicamente na Figura 1. As variveis do
contrrio: parece que um desempenho fraco do nvel do aluno so colocadas abaixo da linha
aluno causa cobrana dos pais. Este achado est em tracejada e as variveis do nvel da escola acima
concordncia com os resultados relatados por Jesus desta linha (ver Figura 1).
e Laros (2004), Andrade e Laros (2007) e Laros,
Marciano & Andrade (submetido). Outro resultado

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 385
Tabela 6. Modelo Final dos fatores associados ao desempenho em Lngua Portuguesa.
Variveis Explicativas Modelo Final
EFEITO FIXO Efeito EP Razo T
Intercepto 291,55 2,45 -
Variveis de controle
Nvel Scio-Econmico agregado 32,76 2,35 13,94
Escolaridade da me do aluno 1,97 0,65 3,03
Etnia do aluno -2,48 1,18 2,10
Variveis do nvel do aluno
Recursos culturais na famlia do aluno 16,55 2,08 7,96
Atraso escolar do aluno -9,70 0,51 19,02
Cobrana e incentivo dos pais do aluno -7,95 0,75 10,60
Repetncia do aluno -5,71 0,64 8,92
Absentesmo discente 4,87 0,76 6,41
Abandono escolar -4,92 0,88 5,59
Aluno gosta de estudar Lngua Portuguesa 3,82 0,56 6,82
Aluno trabalha -2,61 0,60 4,35
Aluno faz dever de casa 2,85 0,46 6,20
Aluno usa computador no dever de casa -2,80 0,82 3,41
Variveis do nvel da turma
Quantidade de meninas na turma 16,68 5,52 3,02
Quantidade de repetncia na turma -14,35 2,95 4,86
Quantidade de alunos que trabalham na turma -10,55 2,60 4,06
Variveis de interao
Atraso escolar Repetncia na turma 2,67 0,88 3,03
Atraso escolar Alunos que trabalham na turma 2,34 0,92 2,54
EFEITO RANDMICO - Nvel 2 - u20
Varincia intercepto 171,22 25,19 6,80
Varincia inclinao atraso escolar 5,74 3,12 1,84
EFEITO RANDMICO - Nvel 1 - e2
Varincia de Rij 1.632,34 119,50 13,66
Deviance 349.524,6
Nmero de parmetros estimados 22
Diferena deviances modelo vazio e modelo final 7.697,2
Diferena de nmero de parmetros estimados 19
Teste 2 405,1
Diferena deviances modelo de referncia e modelo final 5.180,6
Diferena de nmero de parmetros estimados 16
Teste 2 323,8

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


386 Jacob Arie Laros, Joo Luiz Marciano

Figura 1. Diagrama do modelo final dos fatores associados ao desempenho em Lingua Portuguesa.

Pode ser observado que o modelo final hierrquicos presentes nos dados. De acordo com as
composto por 19 variveis: uma dependente e 18 recomendaes de Soares e Andrade (2006), o
independentes. As 18 variveis independentes podem efeito do nvel socioeconmico (NSE) dos alunos e
ser classificadas da seguinte maneira: trs variveis de da escola foi controlado na anlise de dados. Os
controle, dez variveis do nvel micro, trs variveis autores acima referidos assinalam que no Brasil no
do nvel macro e duas variveis de interao entre os se deve estudar a realidade educacional sem
nveis. Deve-se ressaltar que nem todas as variveis considerar o NSE dos alunos e das escolas. Entre as
independentes so baseadas em um nico item dos variveis de controle, a maior contribuio no
questionrios. O valor da varivel dependente no modelo final foi da varivel nvel socioeconmico
modelo final (291,55) o valor mdio dos alunos da 3 da escola: para cada aumento de um desvio-padro
srie na escala do SAEB se todas as variveis desta varivel, h um aumento de 32,8 pontos
independentes assumirem o valor zero. Merece (cerca de 2/3 de desvio-padro) na escala de
destaque na Figura 1 que a varivel Atraso escolar a proficincia do SAEB. Como afirmam Soares e
nica varivel que tem um coeficiente de regresso Alves (2003) um verdadeiro constrangimento o
que no igual para todas as escolas: existe varincia fato de que, no Brasil, o nvel socioeconmico tem
de 5,74 ao redor do valor mdio de -9,70. uma influncia to grande na aprendizagem do
aluno.
CONSIDERAES FINAIS O valor do intercepto de 264,9 encontrado
antes da insero das variveis de controle, que
O objetivo central do presente estudo foi pode ser interpretado como a mdia nacional na
ampliar o conhecimento sobre fatores associados ao prova de portugus dos alunos da 3a srie do ensino
desempenho em Lngua Portuguesa. Utilizou-se a mdio, deixa bem claro que os alunos no esto
tcnica de regresso multinvel que aprendendo o suficiente em relao Lngua
simultaneamente leva em conta mltiplos nveis Portuguesa nas escolas, uma vez que o nvel

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 387
esperado para esta srie de 325. Em relao ao e no ao contrrio. Em relao segunda varivel
desempenho em portugus dos alunos brasileiros, podemos informar que a pesquisa de Dwyer,
Oliveira e Araujo (2005) confirmam estes Wainer, Dutra e Covic (2007) corrobora os
resultados. Os pesquisadores relatam que 56% dos resultados do presente estudo. Os pesquisadores
estudantes brasileiros que participaram do PISA- analisaram os dados dos 287.719 alunos que
2000 (Project of International Student Assessment) participaram do SAEB 2001 e constataram que o
demonstraram que, ao final da etapa elementar de uso intensivo do computador est diretamente
escolarizao, conseguem, no mximo, ligado queda das notas dos alunos. A constatao
compreender textos simples, no tendo se foi vlida para todas as sries analisadas (4a e 8a
beneficiado suficientemente das oportunidades sries do ensino fundamental e 3o ano do ensino
educacionais e no tendo adquirido os mdio), tanto para alunos ricos quanto para pobres.
conhecimentos e habilidades esperadas para esta Verificou-se que das variveis do nvel da
etapa de escolarizao. escola, as que mais afetam o desempenho em
A comparao do intercepto das cinco regies portugus so: Quantidade de meninas na turma e
do Brasil antes da insero das variveis de controle Quantidade de repetncia na turma. Deve-se
evidencia valores entre 258,0 para o Nordeste e observar que a primeira varivel tem um efeito
288,3 para o Sul; depois de inserir as variveis de positivo, enquanto a segunda tem efeito negativo.
controle os interceptos assumam valores entre 269,3 No se deve perder de vista que a tcnica de anlise
para o Norte e 278,5 para o Sudeste. Pode ser multinvel em si no permite concluses sobre a
concludo que a desigualdade entre regies em causalidade da relao entre variveis. Portanto, no
relao ao desempenho mdio das escolas em podemos concluir que a repetncia causa um
Lngua Portuguesa fortemente relacionada com o desempenho fraco em portugus: a hiptese de que
nvel socioeconmico dos alunos e das escolas. um desempenho fraco em portugus causa
Depois da insero de variveis de controle repetncia escolar parece mais razovel. Esta
nos modelos, obteve-se uma i.c.c. residual variando hiptese est de acordo com a afirmao de Oliveira
entre 0,10 (regio Sul) e 0,13 (regio Norte), e Araujo (2005) de que a repetncia escolar no a
indicando que entre 10% e 13% da varincia causa de um mau desempenho em portugus, mas
observada devem-se a diferenas entre escolas. Isso efeito de uma educao que se estendeu
implica que mesmo depois de controlar o NSE do consideravelmente para quase toda a populao
nvel micro e macro existem potencialidades para as brasileira sem uma correlata preocupao com a
polticas pblicas educacionais de melhorar o extenso de parmetros de qualidade a serem
desempenho em Lngua Portuguesa dos alunos atingidos pelas escolas e pelo sistema de ensino.
brasileiros da 3a srie do ensino mdio. Como afirmam Soares e Alves (2003) os
Das variveis relacionadas ao nvel do aluno, fatores que determinam o desempenho cognitivo do
verificou-se que as que mais afetam o desempenho aluno pertencem a trs grandes categorias: a
em portugus so: Recursos culturais na famlia do estrutura escolar, a famlia e caractersticas do
aluno e Atraso escolar. A cada aumento de um prprio aluno. O presente estudo identificou fatores
desvio-padro de Recursos culturais na famlia do de todas as trs categorias, sendo que os fatores
aluno o desempenho mdio dos alunos aumentou com mais impacto no desempenho em Lngua
em 16,6 pontos na escala do SAEB. Um aumento Portuguesa de cada categoria so: Quantidade de
de um ano de Atraso escolar significa uma meninas na turma (estrutura escolar), Recursos
diminuio de 9,7 pontos. culturais na famlia do aluno (famlia) e Atraso
Chama a ateno o fato de que as variveis escolar (caractersticas do aluno). Esperamos que
Cobrana e incentivo dos pais do aluno e Aluno usa os fatores identificados por este estudo possam
computador no dever de casa mostram um efeito contribuir na melhoria da qualidade do ensino em
negativo no desempenho escolar dos alunos. Em Lngua Portuguesa na educao bsica do Brasil.
relao primeira varivel importante assinalar
que outros estudos dos dados do SAEB usando REFERNCIAS
regresso multinvel tambm relataram um efeito
negativo (Andrade & Laros, 2007, Jesus & Laros Albernaz, A., Ferreira, F. H. G. & Franco, C.
2004; Laros, Marciano & Andrade, submetido). (2002). Qualidade e eqidade na educao
Aparentemente, um desempenho escolar fraco do fundamental brasileira. Rio de Janeiro: PUC-
aluno leva a mais ajuda e cobrana da parte dos pais Rio.

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


388 Jacob Arie Laros, Joo Luiz Marciano
Andrade, D. F., Silva, P. L. N. & Bussab, W. O. Instituto Nacional de Estudos e Pesquisas
(2001). Plano amostral para o SAEB 2001. educacionais Anisio Teixeira INEP (2001). O
Relatrio Tcnico, INEP. quadro de referncia para a construo dos
Andrade, J. M. de & Laros, J. A. (2007). Fatores questionrios contextuais do SAEB 2001.
associados as desempenho escolar: estudo Braslia: Ministrio da Educao.
multinvel com dados do SAEB/2001. Jesus, G. R. de & Laros, J. A. (2004). Eficcia
Psicologia: Teoria e Pesquisa, 23(1), 33-42. escolar: regresso multinvel com dados de
Barbosa, M. E. F. & Fernandes, C. (2001). A escola avaliao em larga escala. Avaliao
faz diferena? Uma investigao dos efeitos da Psicolgica, 3(2), 21-31.
esco la na proficincia em matemtica dos Kish, L. (1965). Survey sampling. New York,
alunos da 4a srie. Em C. Franco (Org.), Wiley.
Avaliao, ciclos e promoo na educao (pp. Kreft, I.G.G. & Leeuw, J. de (1998). Introducing
155-172). Porto Alegre: ArtMed. multilevel modeling. Newbury Park, CA: Sage
Barbosa, M. E. F., Fernandes, C., Beltro, K. Publications.
Santos, D. & Surez, M. (2001). Modelos Laros, J. A., Marciano, J. L. P. & Andrade, J. M. de
multinveis aplicados a dados de proficincia (submetido). O impacto de variveis dos nveis
escolar: uma comparao entre as regies micro e macro sobre o desempenho no teste de
brasileiras (relatrio tcnico da Fundao Matemtica do SAEB/2001. Educao e
Getulio Vargas). Disponvel em Pesquisa.
http://epge.fgv.br/portal/arquivo/1059.pdf. Oliveira, R. P. de & Araujo, G. D. de (2005).
Acessado em 12 de outubro de 2007. Qualidade de ensino: uma nova dimenso da
luta pelo direito educao. Revista Brasileira
Brogan, D. J. (1998). Software for sample survey de Educao, 28, 5-23.
data: misuse of standard packages. Em: Pfeffermann, D., Skinner, C. J., Holmes, D. J.,
Encyclopedia of Biostatistics (pp. 4167-4174). Goldstein, H. & Rasbash, J. (1998). Weighting
New York: John Wiley. for unequal selection probabilities in multilevel
Bryk, A. S., Raudenbush, S. W. & Congdon, R. models. Journal of the Royal Statistical Society,
(1996). Hierarchical linear and nonlinear 60, 23-40.
modeling with the HLM/2L and HLM/3L Rasbash, J., Prosser, R. & Goldstein, H. (1991). A
programs. Chicago: Scientific Software users guide to MlwiN. Multilevel Models
International. Project., Institute of Education, University of
Dwyer, T., Wainer, J., Dutra, R. S. & Covic, A. London
(2007). Desvendando mitos: os computadores e Rasbash, J., Steele, F, Browne, W., & Prosser, B.
o desempenho no sistema escolar. Educao e (2005). A users guide to MLwiN Version 2.0.
Sociedade, 28, 1303-1328. London: Centre for Multilevel Modeling,
Ferro, M. E. & Fernandes, C. (2003). O efeito- Institute of Education.
escola e a mudana d para mudar? Evidencias Riether, M. M. & Rauter, R. (2002). A metodologia
da investigao brasileira. Revista Eletrnica de amostragem do SAEB. Revista Brasileira de
Ibero-americana sobre Qualidade, Eficcia e Estudos Pedaggicos, 81, 143-153.
Mudana em Educao (REICE), 1(1), 1-13. Soares, J. F. (2004). O efeito escola no desempenho
Fletcher, P. R. (1998). procura do ensino eficaz. cognitivo de seus alunos. REICE -Revista
Ministrio da Educao e Cultura, Electrnica Iberoamericana sobre Calidad,
Departamento da Avaliao da Educao Eficcia e Cambio em Educacin, 2(2), 83-104.
Bsica, Rio de Janeiro. Soares, J. F. & Alves, M. T. G. (2003).
Hox, J. J. (2002). Multilevel analysis: techniques Desigualdades raciais no sistema brasileiro de
and applications. Mahwah, NJ: Lawrence educao bsica. Educao e Pesquisa, 29(1),
Erlbaum Associates. 147-165.
Hox, J. J. & Maas, C. J. M. (2005). Multilevel Soares, J. F. & Andrade, R. J., de (2006). Nvel
analysis. Em K. Kempf-Leonard (Org.), socioeconmico, qualidade e eqidade das
Encyclopedia of Social Measurement, Volume escolas de Belo Horizonte. Ensaio: Avaliao e
2 (pp. 785-793). San Diego, CA: Academic Polticas Pblicas em Educao, 14 (50), 107-
Press. 126.

Avaliao Psicolgica, 2008, 7(3), pp. 371-389


ndices educacionais associados proficincia em Lngua Portuguesa: um estudo multinvel 389
Soares, J. F., Cesar, C. C. & Mambrini, J. (2001). Snijders, T. A. B. & Bosker, R. J. (1994). Modeled
Determinantes de desempenho dos alunos do variance in two-level models Sociological
ensino bsico brasileiro: evidncias do SAEB Methods & Research, 22(3), 343-363.
de 1997. Em C. Franco (Org.), Avaliao, Snijders, T. A. B. & Bosker, R. J. (1999). Multilevel
ciclos e promoo na educao. (pp.121-154). analysis: an introduction to basic and advanced
Porto Alegre: Artmed. multilevel modeling. Newbury Park, CA: Sage
Soares, J. F., Ribeiro, L. M. & Castro M. C. (2001). Publications.
Valor agregado de instituies de ensino Teddlie, C. T. & Reynolds, D. (2000). The
superior em Minas Gerais para os cursos de international handbook of school effectiveness
Direito, Administrao e Engenharia Civil. research. London: Falmer Press.
Dados, 44(2), 1-28.
Soares, T. M. (2005). Modelo de trs nveis
hierrquicos para a proficincia dos alunos de
4a srie de lngua portuguesa do Recebido em Abril de 2008
SIMAVE/PROEB-2002. Revista Brasileira de Reformulado em Setembro de 2008
Educao, 29, 73-87. Aceito em Novembro de 2008

SOBRE OS AUTORES:
Jacob Arie Laros: PhD em Personality and Educational Psychology pela University of Groningen - Holanda
(1991), e, ainda Ps-Doutor (2002) em Educational Psychology pela mesma universidade. Professor adjunto III
no Instituto de Psicologia da Universidade de Braslia (UnB) e no curso de ps-graduo em Psicologia Social,
do Trabalho e das Organizaes (PSTO).
Joo Luiz Marciano: bacharel em Cincia da Computao pela Universidade de Braslia (1994), mestrado em
Cincia da Computao pela Universidade de Braslia (1997) e doutorado em Cincias da Informao pela
Universidade de Braslia (2006). Atualmente analista de informtica legislativa - Cmara dos Deputados.

Avaliao Psicolgica, 2008, 7(3), pp. 371-389