A problemtica da avaliao da produo e compreenso de textos escritos em Portugus para Estrangeiros

Bruno de Andrade Rodrigues Pontifcia Universidade Catlica do Rio de Janeiro Livia Assuno Cecilio Universit di Bologna

Resumo Propusemos neste trabalho uma reflexo acerca da avaliao no domnio da produo e compreenso escrita de aprendizes de portugus como segunda lngua e lngua estrangeira, discutindo, para tanto, os objetivos subjacentes elaborao de testes/provas que visam avaliao da competncia textual do aprendiz estrangeiro. Apresentamos e analisamos alguns critrios relevantes elaborao de testes, com o intuito de auxiliar o professor na elaborao de um instrumento de avaliao vlido e coerente com os objetivos do curso. A preocupao com a determinao de critrios para a elaborao de um instrumento que permita ao professor avaliar com segurana a competncia textual do aluno no pode mascarar o fato de que a atividade lingustica no pode ser avaliada mediante um nico instrumento formal. Assim, no obstante as provas serem os instrumentos de avaliao mais utilizados nas diversas instituies e nveis de ensino, elas so apenas uma etapa de um longo e contnuo processo avaliativo. Palavras-chave: avaliao, competncia, aprendizagem, escrita.

Introduo

Avaliar est entre as tarefas, tradicionalmente, atribudas a todo professor. ela uma etapa importante no processo de ensino-aprendizagem. No obstante o reconhecimento de sua relevncia, a avaliao suscita ao professor algumas questes imediatas, cujas respostas servem para orient-lo na construo de atividades, a saber, quem avalia, por que se avalia, o que se avalia, como se avalia e quando se avalia. Neste artigo, intentamos enfocar a questo da avaliao no domnio da produo e compreenso escrita de aprendizes de PL2E 1 , discutindo, para tanto, no s os

Sigla cunhada pela professora Rosa Marina de Brito Meyer (PUC-RJ), que significa Portugus como Segunda Lngua para Estrangeiros.

objetivos subjacentes elaborao de testes/provas 2 que visam avaliao da competncia textual do aprendiz estrangeiro, bem como os critrios empregados para a determinao da adequao desse instrumento de avaliao, relativamente queles objetivos e s condies de ensino-aprendizagem de PL2E.

1. A avaliao: o confronto entre duas vises

Quando tomada como objeto de reflexo, a avaliao deve ser encarada como um processo contnuo e ininterrupto, para cujo sucesso confluem conscincia docente da funo dialgica desempenhada por ela entre o agente avaliador (professor) e o agente construtor do conhecimento (aprendiz estrangeiro), coerncia e consistncia (Jdice, 2000). No tocante primeira condio, a avaliao do aprendiz de PL2E supe a instaurao de um dilogo entre quem avalia e quem avaliado, de tal sorte que este ltimo possa, ao longo do processo, ir desenvolvendo uma conscincia da aquisio da lngua e da cultura-alvo. Destarte, importa fazer ver ao aprendiz que ele um agente do prprio processo de aquisio da lngua-alvo. A coerncia, a seu turno, envolve a relao adequada entre os procedimentos empregados, quais sejam, a abordagem, o planejamento, o objetivo, o mtodo e as atividades. Importa que essa etapa esteja em consonncia com as etapas anteriores do processo e que ela no seja vista como definitiva. A consistncia consiste na relao harmoniosa dos instrumentos e critrios utilizados com a abordagem adotada pelo professor. Ela depende tambm de que tais instrumentos e critrios sejam praticveis, confiveis e vlidos (Jdice, 2000:56).

Pedrazzini define o teste/prova como um instrumento para diagnosticar ou medir os aprendizes, caraterizado por procedimentos e regras de uso o mais possvel explcitas e unvocas (2001:297, Glossrio. T raduo nossa). No presente trabalho, usaremos a palavra teste ou prova no sentido indicado por Pedrazzini, sem distino entre os dois termos.

A conscincia docente da necessidade de encarar a avaliao como uma etapa intermediria de um complexo processo de ensino-aprendizagem no se deu sem a superao de uma compreenso antiquada do significado de avaliar. Como bem observa Jdice (ib.id.), no tocante ao modo como os professores, no h muito tempo, avaliavam a produo escrita dos estudantes, eram comuns propostas de redao com vistas a avaliar o desempenho deles, sem que, por um lado, os professores tivessem conscincia clara das questes tericas e pedaggicas implicadas a; e, por outro lado, sem que as prprias propostas fossem baseadas em critrios seguros. A autora acrescenta que esses professores acreditavam fosse o texto um produto acabado, ao qual deveriam atribuir uma nota. A avaliao, nesse sentido, era, para eles, ato ou efeito de determinar o valor de (Jdice, ib.id.). A essa altura, cabe ressaltar, entretanto, que o processo avaliativo no se pode reduzir aplicao de provas e classificao dos alunos por meio de notas. ReaDickins e Germaine (1998) afirmam que o processo de avaliao frequentemente equiparado aplicao de provas: No entanto, para os autores, a testagem apenas um componente do processo de avaliao3. Assim, podemos concluir que a avaliao faz parte do processo de ensino e aprendizagem e por isso um termo mais abrangente que se refere ao processo geral de acompanhamento do desenvolvimento do aluno, enquanto a prova entendida como um instrumento de avaliao usado tipicamente ao fim de determinado perodo para medir o que o aluno aprendeu (Furtoso, 2011:110 apud Rea-Dickins; Germaine, 1998:3). Claro tambm que a prova, ou qualquer outro instrumento formal de avaliao, sem embargo das crticas que sobre ela tem recado quando pensada limitadamente como forma de avaliar apenas a aquisio pelos aprendizes dos contedos ensinados, no pode ser descartada:
Nota da autora: It is common belief that evaluation means the same as testing, and that while students are being tested evaluation is taking place. However, testing is only one component in the evaluation process. (Rea-Dickins; Germaine, 1998:3).
3

[...] em nosso sistema educacional, as provas (e o nome sugestivo) so obrigatrias, dado o clima de desconfiana que acompanha a avaliao. Mesmo porque elas no vo mais ocupar o lugar central do processo avaliativo, mas seu papel vai ser equiparado ao de outras medidas. E, como tal, no deixam de ser relevantes enquanto momentos de reflexo individual. Alm disso, o aluno vai ter de enfrentar, em sua vida situaes de avaliao formal, em que tem de estar preparado para controlar seu estado emocional e sua ansiedade (Scaramucci, 1997:84-85). A prova , outrossim, o instrumento de avaliao mais utilizado nas diversas instituies e nveis de ensino fato esse que, por si s, impe-nos a necessidade de refletir sobre seu processo de construo. Vamo-nos deter, nas prximas sees, a apresentar e discutir alguns critrios relevantes elaborao de um instrumento de avaliao, apresentados por Santos (2007) e uma tipologia de provas, esposada por Pedrazzini (2001), Weir (1993) e Weigle (2002), que pode ajudar os professores na elaborao de provas vlidas e coerentes com os objetivos do curso.

2. A construo de um instrumento de avaliao: conhecendo alguns critrios

A preocupao com a determinao de critrios para a elaborao de um instrumento que permita ao professor avaliar com segurana a competncia textual4 do aprendiz estrangeiro no pode mascarar o fato de que no h um mtodo avaliativo infalvel e melhor, mas to somente aquele que se cuidar mais adequado ao contexto de ensino em que esto envolvidos professor e estudantes. Brown (2001) chamou a ateno para a importncia de questionar a adequao de alguns critrios tradicionalmente adotados nos estudos de avaliao em lngua estrangeira, entre os quais o de validade e confiabilidade. A esses critrios, Santos (2007:36) acrescentou os de autenticidade, interatividade e efeito retroativo, tomados de

A competncia textual um componente da competncia comunicativa. ela que habilita um usurio da lngua a construir textos bem-formados, a distingui-los de um aglomerado incoerente de frases, bem como a parafrasear ou resumir um texto e avali-lo segundo sua completude (Koch, 2006).

Bachman e Palmer (1996:17) procedimento de que resultou o seguinte elenco, abaixo descritos:

a) Validade Esse critrio est relacionado ao conceito de construto de linguagem, isto , ao conjunto de pressupostos tericos sobre as experincias de linguagem. Assim, as atividades propostas sero vlidas sempre que adequadas a pressupostos relacionados, por exemplo, ao que linguagem, ao que ensinar lngua (particularmente, ao que ensinar uma lngua estrangeira). A validade auxilia o professor a interpretar os resultados do teste proposto. Claro , entretanto, que as interpretaes devem ser justificadas e, ao faz-lo, o professor no pode limitar-se a fazer asseres sobre ser ou no o teste vlido. Quando justificadas, as interpretaes devem fazer ver que o desempenho do aluno exprime as habilidades que foram avaliadas. A validade tambm pode ser entendida relativamente ao ponto de vista do aprendiz, que projeta sobre o teste suas expectativas. Assim, a validade dever ser pensada como uma validade de face (Brown, 2001), na medida em que nos chama a ateno para a prpria forma como o aluno encara uma questo, uma tarefa ou ponto em foco numa avaliao.

b) Confiabilidade A confiabilidade diz respeito consistncia entre os critrios empregados na avaliao. Por meio desse critrio, o professor deve cuidar para que o teste encerre enunciados claros e legveis, plano adequado, etc. Ademais, deve providenciar condies adequadas sua aplicao (sala, equipamento). Tambm a confiabilidade impe ao professor um cuidado com a correo, a qual deve ser realizada na base de critrios bem definidos.

c) Autenticidade Por esse critrio, dever o professor cuidar para que as tarefas propostas estejam adequadas realidade lingustica da qual participa o aprendiz. Em outras palavras, dever elaborar atividades que representem o real uso da lngua. O teste deve abrigar questes que representem amostras de uso da lngua-alvo em contextos em que os alunos podem-se ver envolvidos (fora da sala de aula). Disso se conclui que um teste tanto mais autntico quanto puder oferecer assuntos pelos quais os aprendizes se interessem.

d) Interatividade Aqui, a preocupao do professor deve recair sobre o envolvimento dos aprendizes com as atividades propostas no teste. Durante a realizao de um teste de lngua, um estudante deve valer-se de sua competncia lingustica (ou seja, conhecimento do cdigo lingustico), de estratgias metacognitivas (por meio das quais ele controla e regula o prprio conhecimento), deve ainda reconhecer o que est sendo solicitado a ele fazer. Ao entender a interatividade como uma resposta do estudante ao teste, tambm convm levar em conta o aspecto emocional dela. O professor deve estar atento ao fato de que, durante a realizao do teste, o estudante s pode contar com as instrues da tarefa, com o plano da avaliao; portanto, no mais com as contribuies do prprio professor e de seus colegas de classe. Disso se segue que o grau de interatividade, ou seja, do envolvimento do estudante com o teste, dever medir-se na clareza com que as questes foram elaboradas. Segundo Santos (2007:42), (...) muito importante que as instrues em uma avaliao sejam claras para que no interfiram no desempenho do avaliando e consequentemente no grau de interatividade esperado pela tarefa, j que, s vezes, o aluno no desempenha uma tarefa conforme a expectativa dos avaliadores devido a problemas na prpria instruo da tarefa, o que tambm est relacionado confiabilidade da avaliao.

e) Impacto ou efeito retroativo A prtica de elaborao de testes varia de acordo com o contexto scio-histrico em que se d. Os testes so, pois, produtos de condies socioculturais determinadas e, como tais, vo refletir os valores e objetivos de uma dada sociedade. Os efeitos de um texto recaem tanto sobre a sociedade quanto sobre um indivduo; por conseguinte, no pode o professor descuidar da considerao deles. Pense-se na mudana ocorrida em provas de lngua portuguesa em vestibulares, com a produo de documentos destinados a fornecer diretrizes para o ensino dessa lngua na escola (PCNs, por exemplo) e com a crescente preocupao de linguistas, na dcada de 1970, com a forma como o ensino de lngua portuguesa vinha sendo desenvolvido h muito tempo. Referimo-nos ao ensino da lngua portuguesa que vinha se desenvolvendo, em bases estruturalista-normativistas, no sem o consequente desconforto experimentado por aqueles que neles estavam envolvidos, e que, destinado a desenvolver nos alunos a capacidade de dissecar a lngua para posterior classificao de suas entidades, em atividades que faziam abstrao completa do seu uso, no parecia contribuir para que eles viessem a ler e escrever segundo os parmetros da gramtica normativa. A presso dos especialistas e medidas de nossas autoridades polticas levaram a que a comunidade de profissionais responsveis pela elaborao dos exames de vestibular mudassem a forma de confeccionar as provas de lngua portuguesa, que no mais contemplariam questes de gramtica abstrada do uso da lngua. As questes passaram a integrar a gramtica aos processos de construo dos sentidos dos textos. Claro est que tal mudana forou os professores a repensar a forma como vinha trabalhando a lngua em sala de aula.

3. Propsitos e finalidades da prova: para uma tipologia

Esperamos tenha ficado claro at aqui que uma avaliao adequada depende da elaborao de um teste com objetivos claros e definidos. Assim, com base nos trabalhos de estudiosos, como Pedrazzini (2001), Weir (1993) e Weigle (2002), lanaremos algumas reflexes sobre a elaborao de provas que visem a identificar as habilidades de compreenso e produo escrita do aluno estrangeiro.

3.1. Provas para avaliar as habilidades de compreenso escrita

A construo de provas de compreenso escrita nos coloca diante de duas escolhas: a) tipo e gnero textual e b) o objetivo da leitura. Segundo Pedrazzini (2001), devemos ponderar sobre alguns aspectos que envolvem a compreenso de um texto escrito: Qual a ideia ou informao principal do texto? A tipologia do texto familiar aos alunos? O tamanho do texto adequado? Que tipo de tarefas 5 prevemos para a compreenso (encontrar informaes especficas, ter uma ideia geral do contedo)? Se trata de tarefas que refletem operaes de leitura para uma finalidade real? Que tipo de formato escolhemos (mltipla escolha, respostas breves)? Dessa forma, Pedrazzini (2001) oferece-nos as seguintes tabelas 6 , em que explicita um conjunto de capacidades que convm avaliar e um conjunto de escolhas
Tarefa um termo usado em lingustica aplicada para se referir a uma atividade de ensino ou de avaliao diferente daquelas usadas nos moldes tradicionais. Ela tem um propsito comunicativo, especificando para a linguagem usos que se assemelham queles que se tm na vida real. So exemplos de tarefas: assistir a um vdeo e ser capaz de se posicionar com relao ao assunto apresentado, escrever uma carta solicitando informaes, deixar um recado em uma secretria eletrnica, etc. (Scaramucci, 1999:110).
5

que deve fazer o professor quando da elaborao do teste. Uma e outra escolha pode implicar a capacidade de previso do professor sobre certas atitudes e/ou capacidades do estudante em face das tarefas propostas, como, por exemplo, quando escolhe um texto e mede, previamente, o tempo consumido pelo estudante na leitura.

Capacidades Discorrer sobre um texto rapidamente: identificar uma parte especfica; inferir a mensagem geral; identificar uma informao especfica.

Ler atentamente para compreender as informaes principais e detalhes importantes: compreender inferncias; deduzir o significado de termos a partir do contexto; compreender funes comunicativas sem indicadores explcitos.

Conhecer e compreender: noes de causa, efeito, finalidade, comparao, etc.; estrutura sinttica da frase; os indicadores do discurso; a coeso a nvel lexical e/ou gramatical; o lxico.

Escolhas / previses gnero textual: conto, crnica, carta pessoal, e-mail, artigo de jornal, etc.; aspectos relacionados ao contedo gramatical, lexical, temtico;

Todas as tabelas apresentadas neste trabalho foram adaptadas para os nossos propsitos.

aspectos de coeso e coerncia; familiaridade com o assunto; tipo de informao (abstrata / concreta); fora ilocutria (efeito desejado pelo autor); canais de apresentao (imagens, layout, etc.); velocidade prevista para a compreenso do texto; familiaridade com a tarefa, ajuda para a compreenso, instrues em L1/L2; eventual integrao com uma atividade de produo oral/escrita.

3.2 Provas para avaliar as habilidades de produo escrita

Em relao elaborao de provas para avaliar as habilidades de produo escrita, citem-se dois tipos de avaliao: a que se destina a mensurar os conhecimentos gramatical, lexical, ortogrfico, bem como os de pontuao, separadamente, com testes de tipo objetivo (ex.: completar formulrios, revisar textos com erros de gramtica, ortografia, etc.). Tal tipo de testes avalia as habilidades de escrita de modo indireto, j que a avaliao no reconhece as relaes entre elas dentro do conjunto; a que se destina confeco de testes de tipo direto, ou seja, que avaliam a capacidade de o aluno realizar uma tarefa em uma determinada situao. Para tanto, deve-se levar em conta aspectos como registro (escolha da variedade lingustica adequada) e adequao entre a ao e o contexto (escrever um texto sobre um dado assunto, responder uma carta, resumir um texto, descrever uma imagem, etc.).

No tocante s capacidades que devem ser avaliadas e as escolhas que devem ser feitas para a feitura de uma prova de produo escrita, oferecemos os quadros abaixo:

Capacidades de interagir (exprimir opinio, ideias; pedir informaes, ajuda; dar ordens, aconselhar, etc.); de dar informaes (descrever fenmenos, argumentar, etc.); a nvel microlingustico (ortografia, gramtica, lxico, elementos de coeso, indicadores do discurso, etc.).

Escolhas / previses gnero textual: formulrio, carta, bilhete, manual, artigo de opinio, etc.; assunto: especificidade, pessoal/impessoal, objetivo, inventado, etc.; canal de apresentao: integrao de elementos visuais, apresentao; destinatrio; tempo disposio; extenso do texto; suporte disponvel: uso de dicionrio, instrues na L1; familiaridade com a tarefa

Clara nos parece a importncia de tomar decises relativamente s capacidades que se pretende avaliar, bem como s escolhas atinentes constituio de testes de compreenso e produo escrita. Vale notar ainda que, uma vez consideradas, em conjunto, as experincias de ensino-aprendizagem, de avaliao e a competncia comunicativa em PL2E, luz de uma abordagem de linguagem que contemple contextos reais de uso, a ateno de quem avalia dever recair sobre o como e o qu

deve ser avaliado. Segundo Weir (1993), uma abordagem de tipo comunicativo leva o professor a construir uma prova baseando-se em alguns requisitos essenciais, como: a ateno ao contedo; contextualizao da prova; comunicao de tipo realstico; execuo de situao autntica; possibilidade de resultados/escolhas imprevistos; amplo espao interao. Um dos maiores desafios na preparao de uma prova recriar as condies de tipo pragmtico, ou seja, de uma prova que inclua atividades que representem contextos reais de uso da lngua (Pedrazzini, 2001). No custa lembrar que, se assumimos como lcito o pressuposto de que a aprendizagem de uma lngua estrangeira depende da aquisio da cultura que a subsidia e de que toda forma de avaliao deve medir o grau de competncia comunicativa do aprendiz nessa lngua, razovel esforar-se por construir testes cujas atividades representem amostras de usos reais da lngua em contextos socioculturais igualmente representativos. Destarte, acreditamos que a validade dos testes de produo e compreenso escrita em PL2E depende de que o professor leve em conta todos os aspectos envolvidos na sua elaborao que foram ventilados neste trabalho.

Consideraes finais

Para levar a efeito nossas reflexes, gostaramos de insistir em que todo o esforo docente na tentativa de aprimorar seus instrumentos de avaliao (que no se limitam a testes/provas) depende da adoo de uma abordagem lingustica que lhe

permita contemplar a lngua como lugar de interao, como atividade intersubjetiva, como forma de ao social que atende a necessidades socialmente determinadas. Ao compreender assim a lngua (ou linguagem), no custar ao professor entender seus aprendizes como agentes lingusticos, atores sociais, que atuam, em cooperao, em contextos sociais determinados, com propsitos e papis tambm socialmente determinados (Koch, 2006). Quando considerada a necessidade de no se supor ser o teste a nica forma adequada de avaliao, cabe lembrar a lio de Dik (1989, apud Neves, 2004), segundo a qual a competncia comunicativa uma entre outras quatro capacidades (epistmica, lgica, perceptual e social) mobilizadas pelo falante quando usa uma lngua. A atividade lingustica, na medida em que envolve, alm da competncia comunicativa, um complexo de capacidades, no pode ser avaliada mediante um nico instrumento formal. Esse instrumento deve ser encarado como uma etapa de um longo e contnuo processo avaliativo.

Referncias bibliogrficas Bachman, L; Palmer, A. (1996) Language Testing in Practice. Oxford: Oxford University Press. Brown, H. D. (2001) Teaching by Principles: an interactive approach to language pedagogy. San Francisco State University: Longman, (2 ed.). Furtoso, V.A.B. (2011) Desempenho oral em portugus para falantes de outras lnguas: da avaliao aprendizagem de lnguas estrangeiras em contexto online. So Jos do Rio Preto: UNESP (Tese de doutorado). Koch, I. (2006) Introduo Lingustica Textual. So Paulo: Martins Fontes. Neves, M. H. de M. (2004) Gramtica Funcional. So Paulo: Martins Fontes. Jdice, N. (2000) Avaliao: um instrumento de dilogo. In: Jdice, N. (org.) Portugus/ lngua estrangeira leitura, produo e avaliao de textos. Niteri: Intertexto.

Pedrazzini, L. (2001) Prove e compiti per la valutazione dellapprendimento di una lingua straniera. In: Gattullo, F. (org.) Valutazione degli apprendimenti linguistici. Milano: La Nuova Italia, pp. 73-99. Rea-Dickins, P. & Germaine, K. (1998) Evaluation. 4 ed., Oxford: Oxford University Press. Santos, L. G. (2007) Avaliao de desempenho para nivelamento de alunos de portugus como lngua estrangeira. UFGS: RS (Dissertao de Mestrado). Scaramucci, M. V. R. (1999) CELPE-Bras: um exame comunicativo. In: CUNHA, M. J.; SANTOS, P. (Orgs.). Ensino e pesquisa em portugus para estrangeiros. Braslia: Ednub, pp.105-112. _______. (1997) Avaliao de rendimento no ensino-aprendizagem de Portugus lngua estrangeira. In: Almeida Filho, J. C. P. (Org.) Parmetros atuais para o ensino de portugus lngua estrangeira. Campinas, SP: Pontes, pp. 75-88. Weigle, S.C (2002) Assessing Writing. Cambridge: Cambridge University Press. Weir, C. J. (1993) Understanding and Developing Language Tests. Hemel Hempstead: Prentice Hall.