Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

Domingos Fernandes*

Neste artigo discutiram-se quatro questes crticas da avaliao: a) avaliao formal e informal; b) a avaliao como (trans)disciplina; c) avaliao e qualidade; e d) avaliao e discernimento pragmtico. A finalidade da discusso era contribuir para desenvolver prticas de avaliao que pudessem responder melhor aos desafios dos sistemas educacionais. A discusso pareceu mostrar que a avaliao a desenvolver nos prximos anos tem que ser um processo com melhor integrao terica e melhor articulao entre diferentes vises epistemolgicas e metodolgicas que influenciam as prticas avaliativas. De igual modo, mostrou que, cada vez mais, a avaliao tem que ser um esforo partilhado por investigadores e avaliadores da diversidade de disciplinas que sejam indispensveis para descrever, analisar e interpretar a realidade a avaliar. Palavras-chave: Avaliao Educacional. Teoria da Avaliao. Epistemologia da Avaliao. Avaliao e Qualidade.

Resumo

Educational evaluation: discussion of critical questions and challenges to fare in the coming years Abstract
Four critical questions on evaluation have been discussed in this paper: formal and informal evaluation; b) evaluation as a transdiscipline; c) evaluation and quality; and d) evaluation and pragmatic discernment. The aim was to contribute to the development of evaluation practices, which can provide better responses to the educational systems challenges. The discussion showed that evaluation, in the coming years will become a process with better theoretical integration and different
* Professor Associado com Agregao em Educao da Universidade de Lisboa, Portugal. E-mail: dfernandes@ie.ul.pt Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 11-34, jan./mar. 2013

12

Domingos Fernandes

perspectives, bringing an impact on evaluation practices. Also, the discussion has shown the importance of bringing new disciplines to be shared by the researchers. Keywords: Educational Evaluation. Evaluation Theory. Evaluation Epistemology. Evaluation and Quality.

Evaluacin en Educacin: Discusin de Algunas Cuestiones Crticas y Desafos para los Prximos Aos Resumen

En este artculo se discuten cuatro cuestiones crticas de la evaluacin: a) evaluacin formal e informal; b) evaluacin como (trans)disciplina; c) evaluacin y calidad; y d) evaluacin y discernimiento pragmtico. La finalidad de la discusin es contribuir para el desarrollo de prcticas de evaluacin que puedan responder mejor a los desafos de los sistemas educacionales. La discusin parece mostrar que la evaluacin que debe desarrollarse en los prximos aos tiene que ser un proceso con mejor integracin terica y mejor articulacin entre las diferentes visiones epistemolgicas y metodolgicas que influyen en las prcticas evaluativas. De igual modo, mostr que, cada vez ms, la evaluacin tiene que ser un esfuerzo compartido entre investigadores y evaluadores de las distintas disciplinas o asignaturas, todas las que sean necesarias para describir, analizar e interpretar la realidad que ser evaluada. Palabras clave: Evaluacin Educacional. Teora de la Evaluacin. Epistemologa de la Evaluacin. Evaluacin y Calidad.

Introduo

A avaliao um domnio fundamental do conhecimento porque nos permite formular juzos acerca de todas as reas de funcionamento da sociedade e tomar decises fundamentadas, tendo em vista a sua melhoria. De forma mais ou menos explcita, mais ou menos formal, a avaliao est efetivamente presente em todos os domnios acadmicos e em todas as reas da atividade humana, podendo garantir a todos e a cada um dos cidados que os bens e servios de que necessitam so de qualidade e no pem em causa os seus legtimos interesses ou mesmo a sua sade e segurana. Por isso mesmo, a avaliao, em geral, tem a ver com uma variedade de propsitos tais como: a) apoiar a tomada de decises; b) servir a prestao pblica de contas; c) melhorar prticas e procedimentos; d) compreender problemas de natureza social, contribuindo para a identificao de solues possveis; e) compreender as experincias vividas por quem est envolvido numa dada prtica social; e f) acreditar e reconhecer programas.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

13

O propsito ou os propsitos que se pretendem alcanar atravs de um estudo de avaliao determinam, em grande medida, a forma como se planifica e se desenvolve o processo de recolha de informao e como se organiza e divulga o prprio relatrio do estudo. Ou seja, os fins a que se destina a avaliao tm necessariamente que ser considerados quando se escolhem os procedimentos de recolha de dados, o tipo de interao que o avaliador vai estabelecer com os participantes ou, em geral, o design do estudo que preciso concretizar. Para que os propsitos de uma avaliao possam ser alcanados utilizam-se, em geral, avaliaes sistemticas ou formais, enquadradas por uma ou mais abordagens tericas. Mas tambm se utilizam avaliaes informais e combinaes de abordagens mais e menos formais. A compreenso da natureza destes tipos de avaliao e das relaes que existem entre si relevante e ser abordada neste artigo. A avaliao educacional vem sendo considerada cada vez mais indispensvel para descrever, compreender e agir sobre uma grande variedade de problemas que afetam os sistemas educativos e formativos. Trata-se de um processo social complexo que envolve pessoas que funcionam em determinados contextos, com os seus valores, as suas prticas e polticas prprias e envolve tambm a natureza do que est a ser avaliado que, por sua vez, tambm tem as suas finalidades, lgicas e polticas prprias. Nessas condies, no se pode propriamente esperar que os resultados de um nmero de avaliaes sejam consensualmente aceites por todos aqueles a quem, de algum modo, a avaliao possa interessar. Apesar de os mtodos, procedimentos e tcnicas utilizados em qualquer avaliao serem exatamente os mesmos que se utilizam em qualquer disciplina das cincias sociais, a verdade que ainda no h consenso quanto sua natureza cientfica. As dimenses valorativas, ticas e polticas da avaliao contribuem para que se ergam obstculos ao seu cabal reconhecimento como disciplina cientfica, apesar de poder ser escrutinada e analisada com base em critrios normalmente utilizados em cincia. O propsito fundamental deste artigo discutir questes crticas da avaliao em educao inevitavelmente associadas necessidade emergente de se desenvolverem novas e inovadoras formas de avaliar uma grande diversidade de objetos tais como aprendizagens dos alunos, desempenho de professores, eficcia das escolas, programas educacionais e polticas educativas. Ao empreender esta discusso parto do princpio de que a avaliao em educao, ainda que se tenha desenvolvido apreciavelmente nas ltimas dcadas dos pontos de vista terico e prtico, necessita de responder melhor s necessidades dos sistemas educacionais. Parece ser evidente que a crescente complexidade dos problemas da educao e da formao exige prticas de avaliao que descrevam, analisem e interpretem melhor, isto , com maior profundidade, credibilidade, utilidade e rigor, os objetos e fenmenos que nos preocupam, quaisquer que eles sejam.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

14

Domingos Fernandes

Tendo em conta estas consideraes, este artigo, para alm desta introduo est organizado em cinco seces. Nas duas primeiras, discutem-se questes mais diretamente relacionadas com a natureza da avaliao na primeira, a avaliao formal e a avaliao informal e, na segunda, a avaliao como (trans)disciplina. Na terceira seco, discute-se a questo da qualidade que, como geralmente reconhecido, est no cerne de qualquer processo de avaliao. A este propsito, Stake (2006) sugere que se uma avaliao no contribuir decisivamente para discernir a qualidade dos objetos, no cumprir a sua principal misso. Na quarta seco, a partir da idia do discernimento pragmtico, elaboram-se consideraes acerca da necessidade de se utilizarem novas racionalidades e de articular e/ou integrar abordagens avaliativas e domnios de conhecimento. Finalmente, na quinta seco faz-se uma sntese e produzem-se algumas reflexes e concluses.

Avaliao Formal e Avaliao Informal

A investigao recente na rea da psicologia e das neurocincias evidencia dois resultados interessantes: a) os seres humanos tendem a centrar-se mais na elaborao de juzos avaliativos acerca dos objetos que os rodeiam do que na descrio desses mesmos objetos; e b) a formulao de juzos avaliativos e a formulao de juzos descritivos parecem estar associadas a diferentes reas do crebro (MAIO; OLSON, 2000; MUSCH; KLAUER, 2003). Estes resultados parecem sugerir que, para os seres humanos, avaliar uma funo mais bsica e prioritria do que descrever o que se passa sua volta, ou seja, parece que, antes do mais, olhamos para o mundo de um ponto de vista avaliativo. No entanto, esta avaliao do dia a dia, esta avaliao informal, aplicada a questes mais crticas como, por exemplo, a avaliao do desempenho de uma escola, muitas vezes insuficiente e insatisfatria porque muito influenciada pelas expetativas, experincias, saberes e concees das pessoas e, por isso, tende a produzir vises muito parciais da realidade (WORTHEN; SANDERS, 1987). A avaliao, tal como hoje entendida, uma exigente prtica social e, por isso, desejvel distinguir entre as avaliaes do dia a dia que todos vamos fazendo acerca do que nos rodeia, e as avaliaes que nos exigem abordagens propositadas, rigorosas, sistemticas e to independentes e imparciais quanto possvel. No primeiro caso estamos a falar da avaliao informal ou tcita que, neste sentido, um lugar comum e um processo que parece ser fundamental para que, por exemplo, possamos discernir o que eventualmente nos far sentir mais confortveis ou para que possamos ajustar ou regular as nossas aes e decises numa variedade de
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

15

situaes pessoais e profissionais. No segundo caso, estamos a falar de avaliaes formais que identificam os critrios utilizados, diversificam e mencionam as fontes de dados utilizadas, exibindo assim as evidncias que esto na base de um dado juzo avaliativo. Desta forma, a parcialidade associada avaliao informal pode ser substancialmente reduzida. Alm disso, a avaliao formal tem uma abrangncia e uma profundidade que a avaliao informal no pode ter porque vai para alm da evidncia que est ao alcance de um indivduo e proporciona processos avaliativos que so coletivos (sociais) e no estritamente individuais. Hoje, ao contrrio do que se passava h cerca de duas dcadas atrs, aceita-se que tanto a avaliao informal como a avaliao formal geram conhecimentos acerca da realidade que interagem entre si e que se relacionam de formas mais ou menos complexas. No h consenso na comunidade cientfica acerca dos diferentes tipos de conhecimento gerados pelas duas formas de avaliao e das relaes entre eles. Para vrios autores a avaliao formal est mais relacionada com a lgica da cincia enquanto que a avaliao informal se baseia mais na lgica do chamado raciocnio do dia a dia (HAMMERSLEY, 2003; POLKINGHOME, 2000). As diferentes formas de conhecimento prtico (MOLANDER, 2002) assumem, nestas circunstncias, uma especial relevncia e devem ser tomadas na devida conta porque contribuem para o desenvolvimento das avaliaes formais. Talvez por isso mesmo outros autores, embora reconhecendo que as avaliaes formais e informais geram formas alternativas de conhecimento, no deixem de as considerar complementares (SCHMIDT, 1993). Nessas condies, a avaliao formal e a avaliao informal no devem ser vistas como antagnicas, ou mesmo inconciliveis, mas como processos que se podem e devem complementar porque ambos geram conhecimentos vlidos e teis sobre uma dada realidade. As realidades a avaliar so, em geral, bastante complexas, integrando uma mirade de elementos (e.g. educacionais, sociais, culturais, psicolgicos, estatsticos, econmicos, financeiros) que as tornam difceis de descrever, analisar e interpretar. Por isso, parece pouco prudente considerar apenas um tipo de avaliao, uma nica forma de gerar conhecimento ou um nico processo de recolher informao avaliativa. As ortodoxias, sejam elas metodolgicas, ontolgicas ou epistemolgicas empobrecem a nossa viso da realidade porque, num certo sentido, limitam as nossas formas de olhar e de compreender essa mesma realidade. H diferenas significativas entre os dois tipos de avaliao (e.g. grau de profundidade, grau de abrangncia, nvel das evidncias recolhidas) mas parece certo que, no desenvolvimento de uma avaliao formal, incontornvel a sua interao com as atividades inerentes avaliao informal. Basta pensarmos que, perante um estudo de avaliao de um dado programa, os leitores vo analisar e interpretar os seus resultados tendo em conta as avaliaes prvias (informais) que, no dia a dia, foram fazendo do programa em causa.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

16

Domingos Fernandes

De modo geral, a avaliao formal e a avaliao informal podem relacionar-se de trs formas distintas: a) a avaliao formal considerada um desenvolvimento do tipo de conhecimento que gerado pela avaliao informal porque o torna mais explcito e mais fundamentado; b) a avaliao formal e a avaliao informal geram tipos de conhecimento diferentes mas que se consideram potencialmente complementares; e c) a avaliao formal e a avaliao informal desafiam-se e questionam-se mutuamente sem obedecer a qualquer hierarquia e geram formas interativas de conhecimento (STAKE, 2006). A avaliao que, por norma, se discute nos meios acadmicos realizada atravs de processos deliberados e formais; no entanto, a avaliao formal reflete uma diversidade de aspetos informais e intuitivos e, por isso mesmo, tem pertinncia e todo o cabimento o estudo aprofundado das relaes entre ambas. Stake (2006) refere com algum humor e oportunidade que a avaliao informal, num certo sentido, poderia reclamar alguma superioridade em relao avaliao formal. Na verdade, a espcie humana, ao longo da sua existncia, foi tomando decises baseadas em avaliaes informais, que garantiram a sua sobrevivncia. Assim, segundo aquele autor, uma vez que a avaliao formal, tal como hoje a conhecemos, ainda no tem 100 anos, pode dizer-se que a avaliao informal no s permitiu a sobrevivncia da espcie mas tambm o seu assinalvel progresso.

A Avaliao como (Trans)Disciplina

A necessidade de construir uma teoria da avaliao que possa estabelecer as necessrias conexes entre todas as suas reas prticas, de modo a articullas e de forma a desenvolver conceitos e uma linguagem comuns, assim como todo o tipo de mecanismos e de procedimentos prprios de um campo cientfico (e.g. lidar com ameaas validade, assegurar a identidade), est h muito estabelecida na literatura (DONALDSON; LIPSEY, 2006). No entanto, no tm sido propriamente fceis os caminhos trilhados pela avaliao para que veja consensualmente consagrado o estatuto de disciplina cientfica, sobretudo devido ao fato de as afirmaes avaliativas, que, por natureza, so valorativas, no serem consideradas cientificamente legtimas por setores do mundo acadmico. Ao considerar que a cincia no pode admitir quaisquer juzos de valor, uma parte da comunidade cientfica continua ainda hoje a defender que no pode existir uma cincia da avaliao. No entanto, esta posio, que tem sido sustentada por cientistas e por filsofos da Cincia, que se inspiram na filosofia lgico-positivista, segundo a qual as Cincias Sociais so independentes e livres de quaisquer valores, tem sido refutada por investigadores e avaliadores de diferentes inspiraes filosficas tais como Guba e Lincoln (1989, 1994,
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

17

2000), House e Howe (2000, 2003), Scriven (1994, 2000, 2003a), Stufflebeam e Shinkfield (2007) e Stake (2000, 2003, 2004, 2006). Os defensores da ideia de uma avaliao livre de valores sustentam que no se podem inferir ou deduzir concluses avaliativas com base em processos cientficos legtimos e credveis. Mas, ao faz-lo nestes precisos termos, no estaro a autorrefutar a sua prpria ideia uma vez que se trata de uma concluso que tem, claramente, um sentido avaliativo? Na verdade, no ser difcil perceber-se que a produo cientfica, em qualquer domnio, est sempre associada a qualquer forma de avaliao. Seja atravs da apreciao mais ou menos crtica que se faz da literatura, da investigao existente ou de uma dada abordagem metodolgica. E a verdade que estas apreciaes podem ser bem fundamentadas com base em premissas que no so propriamente arbitrrias ou meras questes de gosto ou preferncia. Em geral, elas resultam de fatos combinados com definies plausveis de vrios tipos de entidades cientficas que acabam por resultar numa espcie de referentes que se constroem de formas mais ou menos complexas. Parece existir um equvoco lgico na argumentao que est na base da perspetiva da avaliao livre de valores. Trata-se de se considerar erradamente que as concluses ou afirmaes avaliativas so de natureza arbitrria, exprimindo gostos ou preferncias pessoais quando, na realidade, muitas delas resultam de fatos e de definies. Mas os argumentos utilizados pelos que consideram que no h valores associados s asseres avaliativas mostram que as conjeturas, inferncias e definies concetuais elaboradas no processo de construo do conhecimento necessitam de ser melhor enquadradas e justificadas. A questo de fundo tem a ver com a afirmao de que impossvel fundamentar e apoiar cientificamente valores sociais. Como se pode inferir da argumentao de Scriven (1994, 2000, 2003a) se, por exemplo, considerarmos a questo de saber se h argumentos slidos que sustentam a democracia como uma forma de governo, ento os cientistas sociais no poderiam, de acordo com aquelas concees, discutir uma questo desta natureza, que seria relegada para a filosofia poltica. evidente que o simples senso comum seria suficiente para que pudssemos encontrar um conjunto de slidos argumentos que sustentam a forma democrtica de organizar e governar as sociedades. Presentemente, as evidncias empricas, a histria poltica e outros processos de inqurito cientfico permitem comparar diferentes sistemas de governo e identificar os seus pontos fortes e fracos. Tais processos tm permitido fortalecer a ideia da democracia como o sistema de governo que, at agora, melhor tem respondido a um conjunto de ideais e de valores que se foram consolidando ao longo da histria num significativo nmero de pases e civilizaes. Nestas condies, ser tambm legtimo que se elaborem concluses avaliativas acerca de instituies (e.g. hospitais, universidades, escolas do ensino mdio) com base num
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

18

Domingos Fernandes

conjunto de premissas fatuais que, naturalmente, incluem fatos acerca do que as pessoas valorizam ou preferem, que so parmetros que nos ajudam a definir o problema e no asseres acerca do que melhor ou do que est certo. Para um nmero de investigadores, avaliadores e filsofos (GUBA; LINCOLN, 1989, 1994; HOUSE; HOWE, 1999, 2003; SCRIVEN, 1994, 2000, 2003B; STAKE, 2003, 2004, 2006; STUFFLEBEAM; SHINKFIELD, 2007) a disciplina de avaliao no s possvel e admissvel, como se pode comparar a disciplinas tais como a Estatstica ou a Lgica, ou seja uma disciplina cuja principal finalidade a de desenvolver instrumentos que possam ser utilizados por outras disciplinas. Para Scriven uma disciplina com estas caractersticas uma transdisciplina porque: a) est ao servio de uma grande diversidade de disciplinas e no exclusivamente das chamadas disciplinas clssicas, mais enraizadas academicamente; e b) possui num ncleo central de matrias tais como as suas teorias organizacionais, as suas metodologias, os seus conceitos e a sua lgica (SCRIVEN, 1994, 2003b). Uma transdisciplina comporta na sua essncia, a distino entre as chamadas disciplinas primrias (e.g. Matemtica, Fsica, Filosofia) e as disciplinas cujo contedo constitudo por mtodos, abordagens, procedimentos ou algoritmos das disciplinas primrias. Nesse sentido, para aquele autor, a Estatstica considerada uma transdisciplina, o mesmo se passando com a Lgica e com a Avaliao. Assim, uma transdisciplina possui tambm as suas matrias ou reas puras para alm das suas reas aplicadas . Ora, segundo Scriven (1994), o problema da avaliao que sempre teve reas aplicadas porque as circunstncias e os problemas de natureza prtica assim o exigiam (e.g. avaliao das aprendizagens dos alunos, avaliao de programas, avaliao de sistemas educativos, avaliao de escolas), mas sempre teve dificuldades vrias em determinar a sua rea pura, o seu ncleo central de definies, de conceitos integradores, de pressupostos bsicos ou de noes relativas aos seus prprios limites. Esta ser uma das razes que tem vindo retardar a afirmao da avaliao como disciplina.

Avaliao e Qualidade

O fulcro ou o cerne de qualquer processo de avaliao reside no discernimento da qualidade do que se pretende avaliar. Isso significa que a avaliao, na sua essncia, tem a ver com a identificao e o reconhecimento da qualidade com base numa diversidade de evidncias que permitem comprovar essa mesma qualidade perante outrem. Independentemente das mltiplas e diversificadas questes que se podero formular numa dada avaliao, h duas que lhe estaro sempre subjacentes ou que, de algum modo, estaro sempre presentes de forma mais ou menos explcita:
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

19

a) como se podero descrever as percees das pessoas acerca da qualidade do que se est a avaliar (e.g. escola, currculo, programa para alunos em risco, utilizao de novas tecnologias de informao e comunicao)?; e b) qual a qualidade do que se est a avaliar? Por isso, necessrio caracterizar e discutir as abordagens que tm sido utilizadas para determinar a qualidade de qualquer objeto, nomeadamente aquelas que esto mais associadas definio de critrios e de standards, e as que se baseiam mais nas descries das percees dos diferentes intervenientes. No primeiro caso, estamos perante abordagens que, num certo sentido, produzem medidas da qualidade, isto , a qualidade determinada atravs da comparao entre as evidncias obtidas no processo de avaliao e os critrios definidos de acordo com uma variedade de processos. Nessas condies, a qualidade pode considerar-se como sendo real e independente do avaliador. No segundo caso, as abordagens utilizadas baseiam-se essencialmente na descrio, anlise e discusso das percees que os intervenientes no processo tm dessa mesma qualidade, isto , a qualidade construda socialmente e reconhecida quando se v e quando se sente. Em qualquer dos casos a avaliao da qualidade, baseada no chamado pensamento criterial ou nas experincias vividas e sentidas pelos intervenientes, ser sempre uma construo feita por seres humanos e, por isso, estar sempre fortemente relacionada com a experincia pessoal de cada um. Logo, sabe-se que nem todos vero e/ou sentiro o que outros veem e/ou sentem e, por isso mesmo, a qualidade para uns no chega a revelar-se enquanto que, para outros, possvel identific-la quer atravs do que parece ser bom, quer atravs do que parece no o ser. Como acima j se referiu, o propsito fundamental da maioria das avaliaes formular juzos acerca do valor e do mrito do que avaliado (e.g. desempenho de uma escola, um programa de preveno da toxidependncia, aprendizagens em cincia de alunos com 10 anos de idade). Na formulao de tais juzos estaro sempre presentes, de forma explcita ou implcita, apreciaes relativas qualidade do que se avaliou, tais como: o ensino nesta escola tem em conta a diversidade dos alunos e, em geral, de bom nvel, o programa destinado a apoiar a integrao dos alunos provenientes de pases africanos acabou por no responder s suas principais necessidades; segundo o que foi possvel apurar junto dos principais intervenientes (alunos, pais, professores e psiclogos da educao) revelou-se aqum do que seria expectvel e as aprendizagens em biologia dos alunos do 11. ano com 16 anos de idade, medidas atravs de um teste estandardizado, podem considerar-se acima da mdia dos alunos do 11. ano com 17 anos de idade ou mais. Repare-se que cada uma destas hipotticas afirmaes pressupe uma certa forma de avaliar a qualidade. Nuns casos clara a relevncia dada ao conhecimento dos significados atribudos
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

20

Domingos Fernandes

pelos intervenientes s experincias vividas no mbito de um dado programa, enquanto que noutros parece incontornvel a necessidade de se terem em conta determinados critrios ou standards, a partir dos quais ser possvel fazer apreciaes quanto qualidade do que se avalia. Numas situaes, a qualidade determinada pelo que as pessoas vivem e sentem, com o debate intersubjetivo entre elas a poder desempenhar um papel relevante no seu discernimento. Noutras situaes, a qualidade apreciada de forma mais objetiva, com base em critrios e em standards que se definem ou se constroem de formas mais ou menos consensuais. Os standards tm a ver com um certo padro de excelncia, com aquilo que se considera como sendo algo de bom, algo que desejvel alcanar. E quem determina os standards so as pessoas - professores, pesquisadores, tcnicos dos departamentos da administrao, polticos com base nos seus valores, nos seus sistemas de concees e em referentes que, supostamente, lhes indicam o que a qualidade. A definio de standards complexa porque, em muitos casos, no fcil conseguir que as pessoas se ponham de acordo relativamente sua relevncia, sua utilidade ou ao seu real significado. Alm disso, essa dificuldade tambm resulta do fato de nem sempre se fazer a necessria distino entre standard e critrio (STAKE, 2006). Segundo este autor, um critrio indica-nos um descritor, um atributo ou uma caracterstica de um dado objeto de avaliao (e.g. conhecimentos acadmicos; altura de uma pessoa), enquanto que um standard se refere quantidade dessa caracterstica ou desse atributo que necessria para uma determinada valorao (e.g. 10 valores para poder transitar de ano numa dada disciplina; 175 cm de altura mnima para se poder ingressar numa dada equipa de basquetebol). Ao dizermos que o desempenho de um aluno na resoluo de problemas de Matemtica excelente, fazemos esta afirmao baseados num espetro mais ou menos alargado de critrios, tais como: a organizao e clareza do trabalho escrito, a seleo e utilizao de estratgias de resoluo apropriadas; e os conhecimentos de Matemtica. Mas, como nos diz Stake (2006), isso no significa que todos sejam utilizados ou que a cada um seja atribudo o mesmo peso, ou seja, o pensamento baseado em critrios importante, mas a interpretao tambm igualmente importante (STAKE, 2006, p. 46). Podemos ento dizer que a qualidade de um dado objeto pode ser determinada atravs de, pelo menos, duas abordagens distintas que decorrem de pressupostos epistemolgicos igualmente distintos. Assim, numa abordagem, a qualidade pode ser determinada com base num conjunto de critrios e de standards atravs do qual, em geral, se encontra uma medida. Estamos perante uma perspetiva da qualidade como medida. Neste caso, uma das tarefas mais complexas a ser realizada pelos
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

21

avaliadores, definir os critrios e standards a utilizar ou identificar o critrio que melhor poder determinar a qualidade de um dado objeto. A avaliao da qualidade , nestas circunstncias, um processo caraterizado pelo que Stake (2006) e Stake e Schwandt (2006) designam por pensamento criterial. Trata-se de uma viso muito difundida nos sistemas educativos e nas sociedades em geral, que vem sendo teorizada por autores e investigadores tais como Scriven (1991) e Schwartz e Mayne (2005), e que, no fundo, est subordinada a uma lgica de avaliao que se baseia nas seguintes aes: a) definir critrios que caracterizem o mrito; b) definir standards; c) medir o desempenho e compar-lo com os standards; e d) sintetizar e integrar os resultados de forma a que se produza um juzo acerca do mrito, valor ou significado do objeto. Os programas internacionais de avaliao externa das aprendizagens dos alunos seguem esta perspetiva, particularmente os que tm sido desenvolvidos pela Organizao para a Cooperao e o Desenvolvimento Econmico (OCDE) como o caso do Programme for International Student Assessment (PISA). Apesar de essa concesso de qualidade atravs da sua medida ser considerada a ideal, particularmente quando se est perante a avaliao de objetos cuja dimenso e caractersticas no permitem, ou tornam muito difcil, o estabelecimento de interaes avaliador-intervenientes (e.g. avaliao das aprendizagens em cincias naturais dos alunos do 7. ano de escolaridade de um dado pas; avaliao do grau de satisfao em relao profisso dos professores do ensino bsico), subsistem problemas que no se podem ignorar. Em geral, os objetos de avaliao so complexos, no sendo fcil carateriz-los rigorosamente com base em alguns indicadores. Alm disso, definir standards e estabelecer determinadas medidas que, supostamente, traduzem o sucesso de um programa pode ser problemtico e, em si mesmo, implica sempre uma deciso arbitrria. Noutra abordagem, a qualidade essencialmente determinada pelas experincias que uma diversidade de intervenientes viveram com os diferentes aspetos do objeto cuja qualidade se pretende avaliar. A perspetiva da qualidade como experincia baseia-se na proximidade do avaliador com o objeto de avaliao no seu contexto. Dessa forma procura-se compreender in loco e de forma mais ou menos profunda as vivncias, a linguagem ou os significados subjetivos e intersubjetivos atribudos aos fenmenos por parte daqueles que esto a viver por dentro um determinado programa. A interpretao das experincias pessoais dos intervenientes ser um dos elementos essenciais na determinao da qualidade do que quer que esteja sob avaliao e, por isso, dada relevncia ao seu conhecimento prtico.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

22

Domingos Fernandes

Para Molander (1992), o conhecimento prtico apresenta trs caractersticas principais: a) baseia-se na participao e no dilogo com outras pessoas, assim como nas experincias vividas com todo o tipo de materiais e de circunstncias fsicas de uma situao concreta; b) no h propriamente uma separao, uma distino, entre o conhecimento e a sua aplicao, entre o saber e o fazer; isto , no constituem diferentes etapas de um processo; e c) no representa nem retrata a realidade traduzindo-se na resposta imediata s questes que se colocam ou na pronta execuo das tarefas a realizar numa diversidade de contextos e de atividades humanas. O conhecimento prtico no dever ser sobrevalorizado porque um tipo de conhecimento que intrnseco existncia das pessoas e faz parte do mundo fsico e social especfico em que elas vivem, no tendo, por isso, a ver primeiramente com processos intelectuais e racionais que exijam um esforo propositado e deliberado de elaborao. No entanto, uma fonte importante, ou mesmo crucial, de discernimento da qualidade e, nesse sentido, deve ser seriamente considerado, pois as experincias pessoais e o conhecimento que delas resultam so elementos essenciais para as apreciaes que se fazem acerca da qualidade de um programa, de um currculo ou da organizao e funcionamento pedaggico de uma escola. As evidncias destinadas a analisar a qualidade como experincia e as evidncias que permitem estudar a qualidade como medida no so da mesma espcie. Nesse ltimo caso as evidncias so indicadores observveis e mensurveis que se podem comparar com critrios e standards que se definiram e/ou construram previamente, enquanto que no primeiro caso a perceo da qualidade construda a partir das narrativas obtidas dos diferentes intervenientes (STAKE, 2006). De acordo com Stake e Schwandt (2006), tambm a perspetiva da qualidade como experincia tem, pelo menos, duas limitaes importantes: a) h uma excessiva dependncia da capacidade do observador para ouvir, ver e pensar com rigor e clareza assim como da sua reputao e credibilidade; no fcil reconhecer as competncias e o conhecimento prtico de um avaliador ou avaliadora no que se refere sua capacidade para observar, profundidade e abrangncia com que o faz e forma como controla os enviesamentos; e b) em situaes de confrontao e de desacordo quanto qualidade de um dado objeto de avaliao, sero poucas as pessoas que estaro disponveis para aceitar as percees pessoais de qualidade daqueles e daquelas cujas ideias se opem s suas.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

23

Stake (2006) e Stake e Schwandt (2006) consideram que a experincia humana est na origem da qualidade e que, sem a primeira, a segunda no far real sentido. Por isso, poder dizer-se que h qualidade porque as pessoas a vivem e experimentam e lhe do um sentido e um significado num dado contexto. Atentemos nas palavras de Stake (2006, p. 47) que aqui se traduzem livremente:
O que reconhecemos de imediato como um melo ou um ensino de boa qualidade algo que, no meu entender, tem a sua raiz em experincias vividas com eles, agora ou no passado. Apesar de, atualmente, j termos desenvolvido standards, convenes ou tradies, formais ou informais, para atribuir uma classificao aos meles ou ao ensino, a verdade que as razes do significado da qualidade esto na experincia que esta ltima proporcionou ao longo do tempo. Um relgio de boa qualidade, em parte, porque no se atrasa nem se adianta e as suas peas so de muito bom fabrico, mas tambm porque as pessoas se sentem muito satisfeitas com ele e o consideram superior a outros relgios que conheceram. Isto faz com que ns, avaliadores e avaliadoras, na nossa atividade avaliativa, sejamos recetivos idia de reconhecer que a qualidade depende em grande medida de quem a tenha experimentado.

A discusso anterior parece evidenciar que a qualidade um conceito complexo e multifacetado cuja natureza torna muito difcil, ou mesmo impossvel, a sua integral representao. Alm disso, necessrio ter em conta que, no domnio da educao e da formao (e.g. programas de apoio ao ensino da Matemtica, programas de formao de adultos, programas de apoio utilizao de novas tecnologias de informao), a determinao da qualidade de algo sempre datada e situada num dado contexto. Na realidade, muito dificilmente se poder, num dado momento, determinar a qualidade de algo para sempre. Os juzos avaliativos so contingentes e interpretativos por natureza e no podemos impedir que assim seja. Num certo sentido, afirmar que algo tem qualidade no deixa de ser uma conjetura, uma suposio ou um juzo que se emite com mais ou menos convico, com mais ou menos fundamentao. Por isso, a questo da avaliao da qualidade tem muito a ver com o que se poder considerar ser o melhor e mais apropriado juzo que se faz do que se est a avaliar, num determinado contexto e circunstncias, na posse de certo tipo de evidncias e com determinado tipo de intervenientes. Em qualquer circunstncia, a afirmao de que o que se avaliou tem qualidade estar sempre relacionada com o sistema de concees e com as teorias sociais dos avaliadores. Em qualquer processo de avaliao ser sempre possvel recolher dados relativos s experincias vividas pelos participantes e dados provenientes de processos de medida. natural que numa situao em que ao que se est a avaliar ao
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

24

Domingos Fernandes

alcance fsico do avaliador (e.g. avaliar a organizao e o funcionamento de um departamento curricular de reduzida dimenso, avaliar o ambiente de avaliao, de ensino e aprendizagem numa sala de aula), seja dada mais nfase recolha de dados relativos s experincias vividas pelos diferentes intervenientes sendo muito reduzida a recolha de dados quantitativos. Por outro lado, em situaes em que o que se est a avaliar esteja fora do alcance fsico imediato do avaliador (e.g. avaliao das necessidades de formao dos professores de Matemtica da zona centro do Pas; avaliao das aprendizagens dos alunos do 12. ano no domnio da Filosofia) a tendncia ser para que a recolha de dados se baseie mais em processos em que se comparam as medidas obtidas indiretamente, atravs de qualquer tipo de instrumento adequado, com standards e critrios previamente determinados. Em todo o caso, como nos dizem Stake e Schwandt (2006) se a avaliao de um dado ente que est ao alcance fsico do avaliador se baseia fundamentalmente em dados quantitativos ser designada como demasiado mecanicista. Se, por outro lado, a avaliao de um ente que est para alm do alcance fsico e imediato do avaliador essencialmente construda com base nas experincias pessoais de um nmero indeterminado, mas sempre necessariamente reduzido de participantes, dir-se- que estamos perante um trabalho excessivamente subjetivo. Do que at agora se discutiu poder-se- inferir que h duas concees de qualidade de um dado ente que se pretende avaliar: uma que se baseia na definio prvia de critrios e standards formais; e outra que se determina a partir do encontro e da interao que se estabelece com o ente a avaliar. A partir daqui, o que parece constituir um importante desafio para os avaliadores conjugar, equilibrada e inteligentemente estas duas vises, tendo em conta a natureza do que se pretende avaliar e as suas circunstncias. Por exemplo, numa avaliao em larga escala destinada a avaliar a qualidade das aprendizagens dos alunos de um dado ano de escolaridade numa dada disciplina, evidente que a definio de critrios e standards ser primordial, enquanto que a interao social com os alunos tender a ser reduzida. A propsito deste exemplo e de outros de semelhante natureza, importa transcrever nesta altura algumas ideias de Stake e Schwandt (2006, p. 411) que parecem relevantes e que aqui se traduzem livremente:
O discernimento da qualidade um comportamento humano. Pode basear-se em toda a panplia de instrumentos usados na explorao espacial, mas no h reconhecimento da qualidade ou da m sorte at que uma mente o reconhea. Sem experincia no se pode reconhecer a qualidade ou a falta de qualidade de algo, mesmo se incluirmos a medida de condies e de percees como oposio referida base de experincia. A experincia no nos garante uma interpretao correta mas a sua ausncia quase uma garantia para uma interpretao incorreta.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

25

Para estes autores parece clara a relevncia das experincias vividas para efeitos da avaliao da qualidade de um dado objeto, mas fica tambm a ideia de que necessrio ponderar devidamente as circunstncias a partir das quais ser legtimo fazer inferncias relativas a essa mesma qualidade. Efetivamente, as experincias ou as medidas obtidas podem no nos garantir, isoladamente, e por si ss, o melhor discernimento, devendo considerar-se a possibilidade de as conjugar para que eventualmente seja possvel fazer inferncias mais sustentadas e mais credveis.

Avaliao e Discernimento Pragmtico

A ideia do discernimento pragmtico que discuti em trabalhos anteriores (FERNANDES,2010, 2011), inspira-se em racionalidades decorrentes das perspetivas dos pragmatistas norte-americanos, de que John Dewey a figura de referncia, dos tericos escandinavos contemporneos da teoria da atividade (ENGESTROM, 1999; ENGESTROM; MIETTINEM, 1999) e ainda nos trabalhos filosficos de alguns avaliadores (HOUSE, 2000; HOWE, 2003; HOUSE; HOWE, 1999). Estas racionalidades tm emergido como alternativas ao lgico-positivismo e ao construtivismo, paradigmas que, de algum modo, surgem na literatura como preponderantes e alternativos. A ttulo de exemplo, refera-se que os tericos da teoria da atividade no subscrevem as dicotomias com que normalmente somos confrontados na literatura das cincias sociais e da educao, rejeitando categoricamente uma viso dicotmica da realidade (e.g. quantitativo vs. qualitativo; objetivo vs. subjetivo; local vs. global). Alm disso, em vez de conceptualizar a vida social organizada como uma pirmide de estruturas rgidas todas dependentes de um centro de poder, veem-na antes como uma rede de sistemas de atividade que se sobrepem e se inter-relacionam, propondo uma racionalidade alternativa racionalidade do controlo e da generalizao dos positivistas e racionalidade relativista dos construtivistas. Tal racionalidade baseia-se na aceitao da relao dialtica que existe entre cada indivduo e a estrutura social em que est inserido, no reconhecimento da necessidade de se formularem juzos acerca do valor e do mrito dos entes e fenmenos sociais que nos rodeiam, assim como na admisso da existncia de uma realidade objetiva que pode ser rigorosamente estudada e compreendida. No entanto, os pragmatistas consideram que podem existir diferentes perspetivas sobre uma dada realidade e, nesse sentido, defendem a ideia de que no h uma verdade absoluta acerca dessa mesma realidade. O que acontece que, num dado momento, uma das perspetivas pode sobrepor-se a todas as outras. No processo de recolha de informao, o mtodo a utilizar deve estar dependente dos propsitos e das questes de avaliao, sendo importante articular mtodos qualitativos e quantitativos. Alm disso, os pragmatistas tambm advogam a articulao entre os mtodos dedutivo e indutivo na construo do conhecimento e reconhecem a relevncia das relaes de causa e efeito; no entanto, consideram que impossvel afirmar com certeza absoluta que um dado efeito o resultado
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

26

Domingos Fernandes

direto de uma dada causa. Finalmente, tal como os construtivistas, os pragmatistas defendem que a avaliao e a investigao no so livres de valores e que estes fazem parte dos processos de construo do conhecimento (CHRISTIE; FLEISHER, 2009). House (2000) refere que as discusses paradigmticas nos chamam a ateno para a natureza da avaliao e, muito particularmente, para o fato de no a podermos considerar uma cincia exata, no sentido clssico do termo. Na verdade, nas prticas de avaliao, em vez da demonstrao e da lgica dedutiva e indutiva, tendo em vista a procura da verdade e dos resultados certos, utilizam-se formas de argumentao e racionalidades que visam credibilidade, plausibilidade e a utilidade dos resultados obtidos. Teremos, pois, que retirar as devidas consequncias do fato de a avaliao ser um domnio do conhecimento que, em geral, no produz resultados certos ou exatos porque no nos pode dar a certeza da prova. Apesar disso, h abordagens de avaliao em que se utilizam provas cartesianas e mtodos indutivos. Porm, facilmente se compreende que os resultados das avaliaes muito dificilmente sero definitivos. Essas consideraes remetem-nos para as seguintes palavras de Ernest House que aqui traduzo livremente:
[...] a avaliao persuade mais do que convence, argumenta mais do que demonstra, mais credvel do que certa e a aceitao que suscita mais varivel do que o que seria desejvel. Isto no significa, porm, que se reduza mera retrica ou que seja completamente arbitrria. O facto de no estar limitada ao raciocnio dedutivo e indutivo no significa que seja irracional (HOUSE, 2000, p.72).

A partir dos anos 80, perante a diversidade de abordagens de avaliao e depois de ter passado o perodo mais conturbado do debate paradigmtico, comeou a discutir-se a importncia de articular perspetivas, procedimentos e metodologias nos estudos de avaliao (e.g. FERNANDES, 1994, 2010; FERNANDES; BORRALHO; AMARO, 1994; GREENE; CARACELLI; GRAHAM, 1989; HOWE, 2003; TALMAGE, 1982). Na verdade, comeou a sublinhar-se a idia de que, para obter descries mais profundas e precisas dos objetos de avaliao (e.g. programa, projeto, aprendizagens dos alunos, medida de poltica), era importante articular, de forma inteligente e seletiva, o que se considerasse mais adequado das diferentes abordagens avaliativas. Para um nmero de tericos do domnio da avaliao essa posio era impraticvel uma vez que no se podiam articular perspetivas com pressupostos ontolgicos, epistemolgicos e metodolgicos to dspares e at antagnicos (GUBA; LINCOLN, 1981, 1989, 1994; LINCOLN; GUBA, 1985; STAKE, 1978). Mas, apesar destas posies crticas, a verdade que os estudos de avaliao comearam, cada vez mais, a compatibilizar e a articular abordagens, mtodos e procedimentos. Stake (2006), autor que vem do relativismo ontolgico e epistemolgico, chamou a ateno para a vantagem de se articularem abordagens de avaliao baseadas no chamado
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

27

pensamento criterial, mais objetivas, quantitativas e centradas essencialmente nos resultados, com perspetivas baseadas nas prticas e nas experincias pessoais que, em geral, so mais subjetivas, qualitativas e orientadas para os processos. Apesar de serem duas abordagens com pressupostos tericos, metodolgicos e epistemolgicos distintos, a sua articulao inteligente, considerando os propsitos e as questes da avaliao, permite obter melhores avaliaes e melhores juzos acerca do mrito e do valor do que quer que seja que for objeto de avaliao. A discusso que tenho vindo a fazer sugere que o discernimento pragmtico indissocivel de um conhecimento profundo das abordagens existentes no domnio da avaliao. Na verdade, elas constituem o patrimnio terico e conceptual existente e traduzem o que tem sido possvel aprender atravs da reflexo terica, dos estudos empricos e, em geral, das prticas. No cabe no mbito deste artigo discutir as abordagens de avaliao que tm vindo a ser analisadas, sistematizadas e organizadas segundo vrias lgicas por uma diversidade de autores (ALKIN; CHRISTIE, 2004; FERNANDES, 1992, 1994; SCHWANDT; BURGON, 2006; SHADISH; COOK; LEVITON, 1991; STUFFLEBEAM, 2000; STUFFLEBEAM; SHINKFIELD, 2007; VIANNA, 2000). O que talvez seja importante referir nesta altura que os esforos de racionalizao, de sistematizao e de discernimento so fundamentais para desenvolver a teoria e as prticas de avaliao. A opo por uma perspetiva ecltica, articulando e integrando, sempre que considerado necessrio, uma ou mais abordagens de avaliao de programas, poder ser a que melhor se ajusta complexidade de muitos contextos em que as avaliaes se desenvolvem. Tal opo deve depender mais dos propsitos e questes da avaliao e das suas potencialidades para gerar a informao que necessria, e muito menos de ideias pr-concebidas acerca do que so abordagens legtimas de avaliao. Em suma, o discernimento pragmtico est associado, entre outras, s seguintes ideias fundamentais: 1. na avaliao de um dado objeto importante ter em conta que no h uma verdade absoluta acerca de uma dada realidade; 2. as dicotomias (e.g. quantitativo vs. qualitativo, processo vs. produto, local vs. global) no contribuem para compreender profunda e cabalmente os fenmenos e as realidades que so objeto de avaliao, sendo necessrio considerar possibilidades de articulao; 3. a avaliao, realizada a partir da integrao de mltiplas perspetivas e da cooperao interdisciplinar, socialmente mais til no sentido em que pode contribuir para resolver mais eficazmente os problemas, melhorando a vida das pessoas, das instituies e da sociedade; e 4. a avaliao tem que estar baseada num forte enquadramento terico que
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

28

Domingos Fernandes

resulte da integrao e da utilizao de abordagens que se revelem mais adequadas, tendo em conta os propsitos e as questes da avaliao e o contexto concreto em que se desenvolve.

Sntese e Reflexo Final

Este artigo foi escrito partindo do pressuposto que, sem uma discusso e uma compreenso aprofundada acerca das chamadas questes crticas da avaliao, dificilmente poderemos responder mais eficazmente s necessidades, cada vez mais prementes, de informao acerca do que acontece, a muitos nveis, nos sistemas educativos. Dessa forma, foi decidido abordar quatro questes crticas: a) avaliao Formal e Avaliao Informal; b) avaliao como (Trans)Disciplina; c) avaliao e Qualidade; e d) discernimento Pragmtico e Desenvolvimento da Avaliao. Nas duas primeiras discutiram-se aspetos mais associados natureza da avaliao, a terceira abordou a questo do discernimento da qualidade dos objetos, questo central da avaliao, e, finalmente, a quarta, discutiu a idia do discernimento pragmtico que, no essencial, tem a ver com a necessidade de se abrirem novos caminhos ao desenvolvimento da avaliao, baseados noutras racionalidades, na integrao de abordagens de avaliao e na relevncia e utilidade social dos resultados da avaliao. Vejamos, muito sucintamente, para cada uma das questes, os aspetos que pareceu importante sublinhar. No que se refere avaliao formal e avaliao informal, importante reconhecer-se que ambas produzem conhecimento acerca dos objetos e se relacionam com formas mais ou menos complexas, podendo ser consideradas complementares. Ou seja, h uma espcie de evoluo epistemolgica que tem levado os investigadores a considerarem que o conhecimento produzido pelas avaliaes tcitas, do dia a dia, no deve ser desprezado. Consequentemente, parece ser necessrio ter em conta esta evoluo. A credibilidade da avaliao como disciplina cientfica parece estar dependente da consolidao de um ncleo central de definies, de conceitos integradores e de pressupostos bsicos. Esta perspetiva contraria a de um nmero de investigadores para quem a avaliao uma prtica que se limita a utilizar os mtodos e as ferramentas heursticas das cincias sociais. Nessas condies, pode fazer sentido retomar a discusso empreendida por Michael Scriven h aproximadamente duas dcadas, acerca da avaliao como (trans)disciplina (SCRIVEN, 1994) e consolidar os argumentos a aduzidos relativamente s interpelaes daqueles que sustentavam, e ainda sustentam, que a investigao e a avaliao so livres de valores. Por outro
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

29

lado, parece igualmente importante clarificar que a avaliao, como disciplina, tem como finalidade produzir conhecimento sobre determinados objetos e realidades, que possa ser utilizado por outras disciplinas. E precisamente nesse sentido que Scriven a chamou uma (trans)disciplina. A questo crtica por excelncia em qualquer processo de avaliao tem a ver com o discernimento da qualidade. Apesar da dificuldade em definir o que se entende por qualidade do que quer que seja, parece relevante sublinhar que, dado um determinado objeto, ser, em geral, possvel avaliar se tem ou no qualidade. Obviamente que o poderemos fazer com maior ou menor rigor, reunindo maiores ou menores consensos, mas, em princpio, poderemos faz-lo de forma credvel e socialmente til. A discusso evidenciou duas vises de qualidade que se revelam fundamentais para que possamos ser cada vez mais rigorosos na avaliao: a qualidade como medida, baseada em critrios e em standards, e que, num certo sentido, independente do avaliador, e a qualidade como experincia, baseada na interpretao que o avaliador faz das experincias pessoais e das prticas daqueles que, de algum modo, vivenciaram um determinado objeto (e.g. programa, projeto, interveno pedaggica). Assim, outro importante desafio o desenvolvimento de estudos de avaliao que articulam estas duas vises de qualidade. Finalmente, no que se refere ao discernimento pragmtico, parece que se devem destacar trs idias fundamentais. A primeira, de natureza ontolgica, diz-nos que h diferentes perspetivas sobre a realidade que se pretende conhecer e compreender, no havendo verdades absolutas sobre essa mesma realidade. A segunda est relacionada com a possibilidade de se explorarem racionalidades alternativas ao lgico-positivismo e ao relativismo ontolgico e epistemolgico dos construtivistas. Esta possibilidade passa por considerar que as dicotomias e as ortodoxias ontolgicas, metodolgicas e epistemolgicas acabam por produzir vises redutoras da realidade, limitando a profundidade e a abrangncia das anlises. A terceira idia tem a ver com o esforo que necessrio fazer para se articularem e/ou integrarem as mltiplas abordagens de avaliao que proliferam na literatura, fazendo depender a sua utilizao dos propsitos e questes da avaliao em vez de qualquer viso acerca do que a boa abordagem de avaliao. Nessa terceira idia, importante sublinhar que a teoria e os fundamentos da avaliao esto traduzidos na mirade de abordagens que tm vindo a ser desenvolvidas e propostas pelos investigadores e avaliadores ao longo dos anos. Logo, fundamental conhecer profundamente tais abordagens. Tendo em conta a discusso aqui desenvolvida, parece oportuno, em jeito de concluso dar destaque s seguintes afirmaes: 1. a avaliao no uma cincia exata nem uma mera tcnica, e necessrio retirar desses fatos as devidas ilaes;
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

30

Domingos Fernandes

2. a avaliao, em geral, no se reduz a uma medida, sendo uma prtica social sofisticada que exige participao e interao social. Note-se que as medidas so indispensveis para se obterem boas descries das realidades educacionais, mas no so boas para descrever tudo porque no possvel, ou extremamente difcil, medir tudo; 3. a avaliao no produz, em geral, resultados exatos nem definitivos; porm, dever ser credvel, rigorosa e til para todos os intervenientes no processo; 4. a avaliao permite-nos discernir a qualidade de qualquer objeto, sendo muitas vezes desejvel que esse discernimento seja feito com base na utilizao complementar de avaliaes baseadas em critrios e de avaliaes baseadas na experincia e nas prticas das pessoas; e 5. a avaliao deve ser utilizada para melhorar a vida das pessoas, das organizaes e das sociedades, sem que dela se deixem de retirar as devidas consequncias que, normalmente, implicam a regulao e a autorregulao do ente avaliado. As questes discutidas neste artigo foram designadas como crticas porque, efetivamente, o entendimento que se desenvolver acerca delas determinante para o tipo de avaliao que se vai pr em prtica. A discusso pareceu mostrar que a avaliao a desenvolver nos prximos anos tem que ser um processo com melhor integrao terica e melhor articulao entre diferentes vises epistemolgicas e metodolgicas que influenciam as prticas avaliativas. De igual modo, mostrou que, cada vez mais, a avaliao tem que ser um esforo partilhado por investigadores e avaliadores da diversidade de disciplinas que se revelem indispensveis para descrever, analisar e interpretar rigorosamente uma dada realidade. E a verdade que essa no tem sido a prtica mais comum no mundo ainda algo difuso da avaliao em educao.

Referncias
ALKIN, M. ; CHRISTIE, C. An Evaluation theory tree. In: ALKIN, M. C. (Org.), Evaluation roots: Tracing theoristsviews and influences. London: Sage,2004. p. 381-392. CHRISTIE, C.; FLEISHER, D. Social inquiry paradigms as a frame for debate on credible evidence. In: DONALDSON, S. I., CHRISTIE, C. E MARK, M. (Ed.). What counts as credible evidence in applied research and evaluation practice? London: Sage, 2009, p. 19-30. DONALDSON, S. ; LIPSEY, M. Roles for theory in contemporary evaluation practice: Developing practical knowledge. In: SHAW, I.; GREENE, J. ; MARK, M. (Ed.). The Sage handbook of evaluation. London: Sage, 2006. p. 56-75.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

31

ENGESTROM, Y. Activity theory and individual and social transformation. In: ENGESTROM, Y., MIETTINEN, R.; PUNAMAKI, R-L. (Ed.). Perspetives on activity theory. New York, NY: Cambridge University Press, 1999. p. 19-38. ENGESTROM, Y.; MIETTINEN, R. (1999). Introduction. In: ENGESTROM, Y., MIETTINEN, R.; PUNAMAKI, R-L. (Eds.). Perspetives on activity theory. New York, NY: Cambridge University Press, 1999.p. 1-18. FERNANDES, D. Avaliao de programas e projetos educacionais: das questes tericas s questes das prticas. In: FERNANDES, D. (Org.), Avaliao em educao: olhares sobre uma prtica social incontornvel. Pinhais: Editora Melo, 2011.p. 185-208. ______. Acerca da articulao de perspetivas e da construo terica em avaliao educacional. In: ESTEBAN, M. T. e AFONSO, A. J. (Org.). Olhares e interfaces: Reflexes crticas sobre a avaliao. So Paulo: Cortez, 2010.p. 15-44. ______. Contornos de uma experincia de avaliao desenvolvida no Instituto de Inovao Educacional (1990-1993). Boletim da Sociedade Portuguesa de Educao Fsica, Lisboa,n.10/11, p. 7-32, 1994. ______. Prtica e perspetivas de avaliao: Dois anos de experincia no Instituto de Inovao Educacional. Lisboa: [s.n.],1992 Documento policopiado, 1992. FERNANDES, D., BORRALHO, A. ; AMARO, G. Unicidade ou multiplicidade paradigmtica na investigao em resoluo de problemas? In: FERNANDES, D., BORRALHO, A.; AMARO, G. (Org.). Resoluo de problemas: processos cognitivos, concees de professores e desenvolvimento curricular. Lisboa: Instituto de Inovao Educacional, 1994.p. 303-308. GREENE, J., CARACELLI, V. ; GRAHAM, W. Toward a conceptual framework for mixed-method evaluation designs. Educational Evaluation and Policy Analysis, Thousand Oaks, CA,v.11,n. 3, p. 255-274, 1989. GUBA, E.; LINCOLN, Y. Epistemological and methodological bases of naturalistic inquiry. In: STUFFLEBEAM, D., MADAUS, G. ; KELLAGHAN, T. (Ed.), Evaluation models: viewpoints on educational and human services evaluation (2nd. ed). Dordrecht: Kluwer, 2000. ______.; ______. Fourth generation evaluation. Competing paradigms in qualitative research. In: DENZIN, N.; LINCOLN, Y. (Ed.). Handbook of qualitative research. London: Sage, 1994. p. 105-117.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

32

Domingos Fernandes

GUBA, E. ; LINCOLN, Y. Fourth generation evaluation. Newbury Park, CA: Sage, 1989. ______.; ______. Effective evaluation. San Francisco, CA: Jossey Bass, 1981. HAMMERSLEY, M. Social research today: some dilemmas and distinctions. Qualitative Social Work, London,v.2, n.1,p. 25-44, 2003. HOUSE, E. Evaluacin, tica y poder. 3.ed. Madrid: Morata, 2000. HOUSE, E. ; HOWE, K. Deliberative democratic evaluation. In: KELLAGHAN, T., ; STUFFLEBEAM, D. (Ed.). International handbook of educational evaluation. Dordrecht: Kluwer, 2003.p. 79-102. ______.; ______. Deliberative democratic evaluation in practice. In: STUFFLEBEAM, D.; MADAUS, G. ; KELLAGHAN, T. (Ed.). Evaluation models: viewpoints on educational and human services evaluation. 2nd. ed. Dordrecht: Kluwer, 2000. p. 409-422. ______.; ______. Values in education and social research. London: Sage, 1999. HOWE, K. Closing methodological divides: toward democratic educational research. Dordrecht: Kluwer, 2003. LINCOLN, Y. ; GUBA, E. Naturalistic inquiry. London: Sage, 1985. MAIO, G. ; OLSON, J. Why we evaluate: Functions of attitudes. Mahwah, NJ: Lawrence Erlbaum, 2000. MOLANDER, B. Tacit knowledge and silenced knowledge: fundamental problems and controversies. In: GORANZON, B. ; FLORIN, M. (Ed.). Skill and education: Reflection and experience. London: Springer-Verlag, 1992.p. 9-31. MUSCH, J. e KLAUER, K. The psychology of evaluation: affective processes in cognition and emotion. Hillsdale, NJ: Lawrence Erlbaum, 2003. POLKINGHORNE, D. Psychological inquiry and the pragmatic and the hermeneutical traditions. Theory and Psychology, London, v. 10,n.4, p.453-479, 2000. SCHMIDT, M. Grout: Alternative kinds of knowledge and why they are ignored. Public Administration Review, v.53, n.6, p.525-530, 1993.

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

Avaliao em Educao: uma discusso de algumas questes crticas e desafios a enfrentar nos prximos anos

33

SCHWANDT, T. ; BURGON, H. Evaluation and the study of living experience. In: SHAW I., GREENE, J. ; MARK, M. (Ed.). The Sage handbook of evaluation. London: Sage, 2006.p. 98-117. SCHWARTZ, R.; MAYNE, J. Assuring the quality of evaluative information: theory and practice. Evaluation and Program Planning, Oxford, v.28, p.1-14, 2005. SCRIVEN, M. Evaluation theory and metatheory. In: KELLAGHAN, T.; STUFFLEBEAM, D. (Ed.). International handbook of educational evaluation. Dordrecht: Kluwer, 2003a. p. 15-30. ______. Evaluation in the new millennium: the transdisciplinary vision. In: DONALDSON, S. e SCRIVEN, M. (Ed.). Evaluating social programs and problems: visions for the new millennium. Mahwah, NJ: Erlbaum, 2003b, p.19-42. ______. Evaluation ideologies. In: STUFFLEBEAM, D., MADAUS, G. E; KELLAGHAN, T. (Ed.). Evaluation models: viewpoints on educational and human services evaluation (2nd. Edition). Dordrecht: Kluwer, 2000, p. 249-278. ______. Evaluation as a discipline. Studies in Educational Evaluation, v.20, p. 147-166, 1994. SHADISH, W., COOK, T. ; LEVITON, L. Foundations of program evaluation: Theories of practice. Newbury Park, CA: Sage, 1991. STAKE, R. Advocay in evaluation: A necessary evil? In: CHELIMSKY, E.; SHADISH, W. (Eds.). Evaluation for the 21st century: A handbook. London: Sage, 2004, p. 470-476. ______. Evaluacin comprensiva y evaluacin basada em estndares. Barcelona: Gra, 2006. ______. Program evaluation, particularly responsive evaluation. In: STUFFLEBEAM, D., MADAUS, G. ; KELLAGHAN, T. (Ed.). Evaluation models: viewpoints on educational and human services evaluation. 2nd.ed. Dordrecht: Kluwer, p.343-362, 2000. ______. Responsive evaluation. In: KELLAGHAN, T.; STUFFLEBEAM, D. (Eds.). International handbook of educational evaluation. Dordrecht: Kluwer, 2003, p. 63-68. ______. The case study method in social inquiry. Educational Researcher, Thousand Oaks, CA v.7, n.2, p.5-8, 1978.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013

34

Domingos Fernandes

STAKE, R. ; SCHWANDT, T. On discerning quality in evaluation. In: SHAW, I.; GREENE, J. E; MARK, M. (Ed.). The Sage handbook of evaluation. London: Sage, 2006. p. 404-418. STUFFLEBEAM, D. Foundational models for 21st century program evaluation. In: STUFFLEBEAM, D.; MADAUS, G.; KELLAGHAN, T. (Ed.). Evaluation models: viewpoints on educational and human services evaluation. 2nd. ed. Dordrecht: Kluwer, 2000. p. 33-83. STUFFLEBEAM, D. ; SHINKFIELD, A. Evaluation theory, models & applications. San Francisco, CA: Jossey-Bass, 2007. TALMAGE, H. Evaluation of programs. In: MITZEL, H. (Org.). Encyclopedia of educational research. 5th ed. New York, NY: The Free Press, 1982. p. 131-154. VIANNA, H. M. Avaliao educacional: teoria, planejamento, modelos. So Paulo: Ibrasa, 2000. WORTHEN, B. ; SANDERS, J. Educational evaluation. NY: Longman, 1987. Recebido em: 19/12/2012 Aceito para publicao em: 18/04/2013

Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v. 21, n. 78, p. 9-32, jan./mar. 2013