Referncias: BONAMINO, Alcia Catalano de.

Tempos de Avaliao Educacional: O SAEB seus agentes, referenciais e tendncias; Rio de Janeiro, Quartet 2002. Resumo: O livro Tempos de Avaliao Educacional: O SAEB seus agentes, referenciais e tendncias; analisa a fundo os processos e ferramentas constituintes do principal sistema de avaliao educacional em larga escala, o Sistema de Avaliao da Educao Bsica (SAEB). O desenvolvimento da obra se d por meio de pesquisas que demonstram as referncias tanto elas nacionais quanto internacionais para sua construo, destacando o papel de naes como EUA, Inglaterra e Frana e de tericos internacionais como Bourdieu e sua teoria do capital cultural e de Passeron bem como referncias nacionais como a importante presena de Ansio Teixeira enquanto personagem de influncia na produo do INEP e a sua relao com SAEB e as colocaes precisas de Darcy Ribeiro. Mais frente posta em cheque a atuao do Sistema de Avaliao da Educao Bsica em funo dos seus quatro ciclos desde 1990 a 1997. Alm disso so abordadas ainda as relaes polticas e metodolgicas constituintes do SAEB e os rgos terceirizados ou no que contriburam na sua efetivao. A obra dvida em seis captulos, contendo tambm uma apresentao e algumas consideraes finais. O contedo distribudo quase sempre de maneira tcnica e informativa, porm sem dificultar a sua compreenso. Capitulo I: Antecedentes internacionais do SAEB: as primeiras pesquisas de

levantamento e seus desdobramentos polticos e sociolgicos Foi no contexto da democratizao do acesso escola e do prolongamento da escolaridade obrigatria que se tornaram evidentes o problema das desigualdades de escolarizao entre os grupos sociais e a necessidade de acompanhar os resultados da expanso dos sistemas escolares, levando os pases industrializados a implementao de uma serie de surveys educacionais. (p.22) Na Gr-Bretanha, por exemplo, os surveys educacionais foram conduzidos num contexto em que as abrangentes propostas de proteo social contidas no Beveridge Report, de 1942, juntamente com a orientao keynesiana da economia, estabeleceram o ncleo duro da poltica social. (p.29)

Na Franca, tambm se desenvolveram pesquisas de levantamento que tiveram desdobramentos sociolgicos similares aos da NSE. Do ponto de vista da pesquisa educacional, o Instituto Nacional de Estudos Demogrficos (INED) conduziu, a partir da dcada de 60, um dos mais importantes surveys da poca. (32) Partindo deste pano de fundo, pode-se afirmar que as referencias mais remotas do SAEBforam gestadas no interior de idearios e temporal idades em que politicas e programas de bem-estar social buscavam corrigir situacoes de desigualdade educacional mais diretamente associadas a economia de mercado e onde se desenvolveram as referencias sociologicas de base para o desafio de tentar equacionar, de maneira conjunta, o peso dos fatores sociais e escolares nas desigualdades de desempenho escolar entre grupos ou classes sociais. (p.37)

Essa proposta de analise pode ser formulada por meio da seguinte questo: ser que o SAEB pode ser considerado, em alguma medida, herdeiro do legado internacional deixado pelos surveys produzidos no ps-guerra? Ou ser que, pelo contrrio, a extenso e revisitao de algumas ideias centrais das teorias funcionalistas estaria levando esse sistema de avaliao a se inscrever dentro de preocupaes mais pragmticas e liberais, num contexto como o atual, onde se exacerba o dilema entre a tradio universalista e a tradio seletiva na orientao das polticas sociais? (p.37)

Parecer: Num perodo ps-guerra, as naes desenvolvidas passavam por inmeras turbulncias sociais, principalmente no que diz respeito a busca por uma educao de qualidade, novas demandas surgem durante esse perodo e a desigualdade social passa a marcar esse processo. No intuito de analisar formas de amenizar essa problemtica pesquisadores do campo sociolgico como Bourdieu e Passeron apontam por anlises feitas a partir de surveys (ferramenta avaliativa, questionrios) pontos relevantes em funo da temtica. Tais fatos acabam por tornarem-se referncia para a construo do SAEB.

2 Antecedentes do SAEB no Brasil No Brasil, o desenvolvimento de inquritos, de diagnsticos e de pesquisas sociais e educacionais ganharam forca, nos anos 50 e 60, no interior do Instituto Nacional de Estudos Pedaggicos (INEP). Afora a relativa estabilidade com que se desenvolveram os projetos dentro deste rgo, em geral, as poucas iniciativas desse tipo desencadeadas na dcada de 60

estiveram marcadas pela descontinuidade e no permitiram que se acumulassem experincias e conhecimentos mais sistemticos nesta rea. (p.39)

2.1 Pesquisas de levantamento no Brasil: a preocupao Internacional e nacional com as desigualdades educacionais Embora muitas vezes os estudos tenham ficado restritos aos aspectos quantitativos e distributivos das escolas de determinado estado e nvel escolar e a diagnsticos relativos a problemas de ensino, elaborados a partir de questionrios respondidos por diretores, professores e supervisores, as relaes entre a escola e a realidade local tiveram espao considervel nas pesquisas conduzidas nos centros do INEP. (p.48) Em sntese, do ponto de vista da dinmica institucional, o CBPE caracterizou-se por ter adotado uma estrutura descentralizada, por meio da criao de centros regionais que mantinham uma certa autonomia na misso de propiciar um conhecimento o mais completo possvel das condies culturais do Brasil em suas diversas regi.es e a aproximao do mestre de classe com os educadores e cientistas que trabalhavam nos centros de pesquisa (Boletim do CBPE, 1956, p. 38, apud Mendonca, 1997). (p.53)

2.2 Orientaes de pesquisa e institucionalidade nos anos 70 e 80 No incio da dcada de 70 e no mbito da recm-fundada ps-graduao, a crtica a situao educacional do pais teve diversas origens e abrigou a influncia da sociologia radical americana (Bowles e Levin, 1968; Bowles e Gintis, 1976) e da sociologia francesa (Bourdieu e Passeron, 1975), alm de uma produo interna diretamente relacionada com os grandes levantamentos da dcada de 60. (p.56) No que diz respeito ao peso dos fatores intra-escolares nas desigualdades educacionais, devese considerar a reteno de cerca de 60% dos alunos na primeira srie do primeiro grau observada durante trs dcadas e que acabou, nos anos 80, por desencadear pesquisas voltadas para a tentativa de equacionar o modo pelo qual o fracasso era produzido na escola (Mello, 1981; Patto, 1990). (p.59)

2.3 Os anos 90 no Brasil e o (re)surgimento da avaliao educacional em larga escala

A partir dos anos 90, o panorama nacional e internacional revela a importncia central atribuda a avaliao educacional, especialmente com relao aos sistemas responsveis pela educao bsica. Em mbito nacional, essa importncia e atestada pela nova LDB de 1996, que fixa a obrigatoriedade da avaliao dos diferentes nveis do sistema educacional, e pela participao do Brasil, a partir de 1998, em projetos de avaliao comparada, como o TIMSS (IEA), a avaliao da Oficina Regional da UNESCO paia la Educacion en America Latina y el Caribe (OREALC)e o PISA 2000 (OECD). (p.61)

2.4 Antecedentes mais prximos da entrada em cena da avaliao de sistemas educacionais No que diz respeito especificamente ao ensino fundamental, duas referncias bsicas inspiraram a ideia original de implementar um sistema nacional de avaliao: a proposta para a ao do governo elaborada pelo Instituto Herbert Levy (1992) e a experincia de avaliao implementada, a poca, pela Secretaria de Educao de Minas Gerais. (p.64) Uma outra fonte de inspirao pode ser encontrada na experincia de avaliao do sistema educacional mineiro desenvolvida durante a gesto de Walfrido Mares-Guia, Secretario de Educao do Estado de Minas Gerais, tambm responsvel pela reforma educacional estadual que contou com a assessoria de tcnicos da FCC, do BM e da OIT. (p.65)

2.5 Sobre como a avaliao e a descentralizao se tornaram os eixos estruturadores da poltica educacional dos anos 90 Em conjunto, esse tipo de medidas revela facetas interessantes da lgica da descentralizao, apontando para um novo estgio no movimento de transferncia de responsabilidades acionado verno central. Com efeito, na medida em que a implementao destas politicas precisa ser mediada por associaes de pais e mestres, elas podem ser vistas como parte da transferncia de responsabilidades do nvel central para o nvel local, num movimento em que a Unio no s redefine suas funes e as repassa para os estados e esses para os municpios mas tambm projeta essa dinmica sobre a sociedade, que passa a ver-se envolvida no acompanhamento, implementao e fiscalizao de programas governamentais. (p.79)

2.6 Sobre o contedo e a centralidade da noo de eqidade na poltica educacional dos anos 90 Desta forma, entre outras justificativas oficiais para a implantao do SAEB, encontra-se a necessidade de produzir informaes para subsidiar analises sobre os impactos das polticas adotadas, em termos de eficincia e equidade. Na viso da diretora do SAEB (Pestana, 1997, p. 16), trata-se de ...determinar a equidade na oferta educacional, por meio da aplicao de instrumentos contextuais, que visam o levantamento das condies das escolas, em termos de instalaes, equipamentos e materiais disponveis. (p.80)

Parecer: Durante esse captulo, so analisados os referenciais nacionais que constituram historicamente o SAEB enquanto sistema de avaliao em larga escala. Tais instrumentos so analisados sob a tica das investigaes introduzidas e aplicados como surveys pelo INEP, principalmente em funo de sua produo, arquitetada por Ansio Teixeira.

3 O processo de institucionalizao do SAEB A institucionalizao do SAEB e entendida como um processo que, para garantir o desenvolvimento de uma avaliao de longo alcance e de carter sistemtico, passa a dispor de instituies, profissionais e recursos financeiros especficos, que lhe permitem contar com a infraestrutura material e humana em condies de prover os fundamentos conceituais e as capacidades operacionais necessrias a implementao de uma avaliao da educao bsica de abrangncia nacional. (p.91)

3.1 Participao, legitimao e terceirizao: o arranjo institucional do SAEB ao longo dos quatro primeiros ciclos (1990-1997) No arranjo institucional adotado nos dois primeiros ciclos de avaliao, prevaleceu a perspectiva defendida pelos tcnicos do MEC e consolidada pela Comisso Especial encarregada de cuidar da criao do SAEB, por meio do documento Polticas pblicas de qualidade educacional; sistema de monitoramento e avaliao produzido no apagar das luzes da gesto de Murilo de Avellar Hingel como ministro da Educao do governo Itamar Franco. Nesse documento, foi proposta uma estrutura para o SAEB distinta da que era

defendida pelo BM e da que viria a ser implantada a partir da mudana de governo, em janeiro de 1995. (p.97)

3.2 INEP dos tempos de Ansio Teixeira, INEP atual De fato, a nfase posta na educao bsica, na produo institucional de informaes estatsticas e de avaliaes e diagnsticos informados cientificamente, constituem dimenses em comum entre o INEP de hoje e dos tempos de Ansio. H, tambm, uma continuidade no compromisso de divulgar informaes e conhecimentos sobre temas educacionais, como atesta a linha editorial constituda pela publicao dos peridicos Em Aberto e da Revista Brasileira de Estudos Pedaggicos, existente desde 1944, alm de outros estudos tcnicos voltados para a formulao de polticas educacionais. (p.110)

Parecer: No captulo 3 so discutidos o processo de institucionalizao o qual o SAEB se instaura. Durante seu desenvolvimento so apresentados a proposta e o nvel de abrangncia que atinge esse sistema. Alm disso so discutidos tambm os processos de legitimao e terceirizao (destacando o papel de empresas coligadas como a CESGRANRIO). Por fim so analisados comparativamente o perodo de efetivao do INEP sob a regncia de Ansio Teixeira e durante a contemporaneidade.

4 Os instrumentos do SAEB (1988-1993) O mtodo adotado busca interpretar o significado das avaliaes do SAEB nos quatro primeiros ciclos, por meio de sucessivas linhas de observao que envolvem um conjunto de relaes. Inicialmente, so focalizadas as relaes que se estabeleceram no interior do arranjo instrumental do sistema entre, de um lado, os referenciais curriculares e os instrumentos cognitivos (provas e testes). E de outros instrumentos contextuais (questionrios do professor, diretor, escola e aluno) (p.120)

4.1 Notas metodolgicas sobre o trabalho de pesquisa Na escolha dos sujeitos que, na condio de representantes das diferentes categorias de agentes, comporiam a populao de base a ser entrevistada, levaram-se em conta as noes de grupo e representao elaboradas por Bourdieu. Para Bourdieu, um determinado grupo social existe porque seus membros partilham disposies semelhantes, produzidas na homogeneidade (parcial) de condies sociais de vida familiar, escolar, profissional. (p.121)

4.2 A natureza dos instrumentos cognitivos e contextuais nos dois primeiros ciclos de avaliao 4.2.1 O 1 ciclo do Sistema de Avaliao do Ensino Bsico (1990) Neste ciclo, buscou-se calcar as referncias das provas dos alunos no currculo efetivamente adotado pelo sistema e executado no dia-a-dia das atividades escolares. A importncia conferida aos saberes, pressupostos e valores subjacentes a cultura escolar, traduzida na adoo de uma diretriz indutiva para a construo do referencial das provas revela o papel que desempenhou o capital pedaggico, ou seja, esse ...conjunto de conhecimentos sobre processos de ensinar e de aprender incorporado* no itinerrio percorrido sob a forma de habitus e de habilidades, de saber fazer e de saber ser (Lelis, 1997, p. 153). (p.128)

4.2.2 O 2 ciclo do Sistema Nacional de Avaliao da Educao Bsica (SAEB-1993)

De acordo com o relatrio consultado, vinte e quatro das vinte e sete unidades federadas participaram do 2 ciclo de avaliao. Neste novo exerccio, embora tenham sido avaliadas as mesmas series e disciplinas e examinados os trs aspectos abordado* em 1990: gesto escolar, situao e competncia do professor e rendimento do aluno, os questionrios utilizados foram reformulados com a mediao de novas categorias de agentes. (p.129)

4.2.2.7 As orientaes do INEP e as referncias utilizadas na elaborao das provas nas reas de Cincias e Portugus A introduo da noo de habitas e consistente com a inteno de traar uma configurao mais ntida para as referncias que, de fato, foram utilizadas pelos acadmicos durante a elaborao das provas em suas reas especificas. Essa noo permite dar conta do papel desempenhado pela presena ativa de experincias passadas na constncia e na conformidade das prticas dos sujeitos entrevistados em espaos sociais to diferenciados como a vida acadmica ou o campo da avaliao (Bourdieu, 1994). (p.134)

4.2.2.2 As relaes entre a equipe do SAEB no INEP e os acadmicos

Com relao a esse tema, as entrevistas deixaram claro que cada uma das categorias de agentes que participaram da elaborao das provas para o SAEB-93, equipe do INEP, consultores adhoc, acadmicos, tinha um contexto de referncia particular e se posicionava desigualmente dentro do campo da avaliao, demarcando espaos de poder que estreitavam as possibilidades de negociao das decises com relao a definio das provas. (p.136)

4.3 Um balano do significado dos dois primeiros ciclos de avaliao

A literatura atual sobre descentralizao lana mo, em geral, de duas teses recorrentes. Por um lado, defende-se a inferioridade dos custos dos investimentos municipais em educao com relao aos estaduais. Por outro, sustenta-se que a municipalizao e capaz de propiciar a expresso dos interesses populares em nvel local, alm de permitir a fiscalizao, execuo e administrao democrtica dos empreendimentos educacionais. (p.140)

Parecer: No quarto captulo so ponderadas algumas consideraes acerca da aplicabilidade do SAEB em funo dos quatro ciclos de avaliao (1990 -1997). Durante esse captulo so abordadas com frequncia a teoria social do capital cultural composta por Bourdieu.

5 Os instrumentos do SAEB nos ciclos de 1995 e 1997

5.1 O 3 ciclo do Sistema Nacional de Avaliao da Educao Bsica (SAEB-1995) So trs os aspectos que caracterizam as transformaes Introduzidas nos instrumentos cognitivos do SAEB a partir de 1995 (i) as series e disciplinas avaliadas, (ii) a utilizao de uma nova metodologia de testes baseada na Teoria da Resposta ao Item (TRE) e (iii) a nfase nos conhecimentos e nas habilidades cognitivas. (p.147)

5.1.1 Sobre as referncias utilizadas na elaborao das provas nas reas de Matemtica e Portugus No que diz respeito a construo do que viria a ser a Matriz Referencial de Contedos e Habilidades de Lngua Portuguesa e Matemtica utilizada no SAEB-95, a entrevista com a professora Nilma Fontaine revelou que, originalmente, a fonte de inspirao esteve

constituda pelo modelo norte-americano de avaliao de progresso educacional (NAEP). (p.151)

5.1.1.1 Um balano do significado do terceiro ciclo de avaliao Apesar do SAEB-95 ter realizado um avano positivo ao voltar sua ateno para os fatores externos que influenciam o desempenho escolar, esse ciclo de avaliao tambm manteve continuidades considerveis com relao aos exerccios anteriores. O SAEB-95 continuou a valorizar os processos internos da escola sobre os resultados dos alunos, fazendo com que a matriz organizacional da escola, definida nos documentos oficiais como os modos, limites e possibilidades de transformao dos recursos curriculares, materiais e humanos em resultados pedaggicos concretos, passasse a somar-se aos visados pelos instrumentos cognitivos os ciclos anteriores e a ser considerada determinante nos resultados pedaggicos obtidos (Guimaraes de Castro, 1999, p. 84 ). (p.153)

5.2 O 4 ciclo do Sistema Nacional de Avaliao da Educao Bsica (SAEB-1997) Desse modo, uma das inovaes mais significativas do instrumental do SAEB-97 diz respeito a introduo das noes de competncias cognitivas e de habilidades instrumentais, que passam a nortear a elaborao das provas e tendem a substituir outros conceitos e referencias, como os de conhecimentos e contedos escolares, que prevaleceram nos ciclos anteriores de avaliao. (p.157 )

5.2.1 A construo das referncias curriculares e dos instrumentos cognitivos do SAEB-97: continuidades e rupturas Se com maior nfase nos ciclos de 1990 e de 1993, mus Iam bem em 1995, as referncias curriculares foram elaboradas em funo de contedos escolares que se acreditava que os alunos dominavam em cada serie e disciplina avaliada, a partir de 97 percebe-se uma maior preocupao dos agentes encarregados da elaborao das MCR com as competncias cognitivas e habilidades instrumentais dos alunos, que tem impacto significativo sobre o sistema de avaliao. (p.159)

5.2.2 Um balano do significado do 4 ciclo de avaliao

As razoes para a aceitao e o consenso que esse modelo vem encontrando no campo da avaliao parecem estar mais prximas da explicao que Perrenoud elabora para justificar a presena de uma abordagem por competncias no sistema de ensino francs na perspectiva de Perrenoud (1999), essa presena e tida como uma nova forma de a escola tentar enfrentar uma velha tenso e uma antiga polemica: aquela que ope os defensores de um ensino desinteressado e baseado na cultura geral e os partidrios de um ensino com finalidades prticas e utilitrias. (p.171)

Parecer: No ltimo captulo so abordados alguns desdobramentos e balanos relacionados a importncia dos dados captados por intermdio do SAEB. Alm disso so considerados alguns referncias responsveis por sua efetivao peridica avaliada atravs dos ciclos.

Consideraes finais Do ponto de vista da poltica educacional, a centralizao no INEP da poltica de avaliao da educao bsica e a terceirizao Junto a fundaes de natureza privada de atividades tcnicas e Operacionais do SAEB tem implicado um menor envolvimento das redes pblicas de educao bsica no planejamento e produo do SAEB, que dificulta a possibilidade de utilizao local das informaes levantadas pelo sistema. (p.179) O significado das competncias para avaliao e para os sistemas de ensino precisa ser apurado no apenas porque ainda pouco se sabe sobre seus impactos na poltica educacional mas porque a noo de competncias e invocada de diversas formas, em polticas diferenciadas e por agentes distintos, dificultando uma definio mais conclusiva. Estudos sociolgicos nacionais e internacionais vem mostrando que est e uma noo adscrita aos mundos do trabalho, da formao profissional e da escola. (p.181) Pelo que foi possvel apurar durante a pesquisa, o desenho do SAEB no tem propiciado a entrada em vigor do tipo de relao avaliao-escola apontada por Perrenoud ou da lei de comportamento da aprendizagem dos alunos formulada por Laurillard, para os quais a forma mais rpida de mudar a aprendizagem escolar e mudar a avaliao. O que sim pode ser afirmado sobre essa questo e que a lei que h tempos vigora na escola brasileira de ensino fundamental continua a estar pautada no livro didtico, atualmente, sem dvida, a maior alavanca e o mais importante fiador dos PCN. (p.185)

Consideraes finais: Mesmo se tratando de um importante e sistemtico programa de avaliao em larga escala, preciso levar em conta que a apurao de seus dados no traduz significados 100% precisos, j que existem casos em diversas localidades que manipulam de forma inescrupulosa os seus dados para maquiar uma m administrao escolar ou at mesmo algumas dificuldades naturais da regio. No entanto isso no redimiria a importncia dessa ferramenta, j que para a soluo de qualquer problema referente a esfera educacional, ou at mesmo poltica e social, primeiramente preciso realizar um levantamento acerca desse determinado assunto. Por sua vez a dificuldade da efetivao desse levantamento est atrelada a demanda que lhe sugerida, o que faz do SAEB um sistema complexo e repleto de implicaes subjetivas. O livro apresenta uma linguagem tcnica, porm no descarta a possibilidade de salientar reflexes importantes acerca do cenrio educacional, o que o torna uma obra importante para todo e qualquer profissional da educao.