A POLTICA DA AVALIAO DE POLTICAS PBLICAS*

Carlos Aurlio Pimenta de Faria

Em um plano normativo, a dcada de 1990 testemunhou, nas democracias ocidentais de uma maneira geral, e na Amrica Latina particularmente, a busca de fortalecimento da funo avalia* O autor agradece Fundao Vitae, Programa de Cooperao Cientfico-Acadmica Argentina, Brasil e Chile, pelo financiamento da pesquisa que deu origem a este trabalho. Partes deste trabalho foram apresentadas no Seminrio Temtico Processo decisrio e implementao de polticas pblicas no Brasil, durante o 28 Encontro Anual da Anpocs, Caxambu, outubro de 2004, e no Seminrio Nacional Avaliao de Polticas Pblicas em Sade e Direitos Sexuais e Reprodutivos, So Paulo, Cebrap/Nepo-Unicamp/ISC-UFBa, maio de 2005. O autor gostaria de agradecer os comentrios e sugestes feitos pelos pareceristas annimos da RBCS e pelos seguintes colegas participantes do referido encontro da Anpocs: Eduardo Csar Marques, Marta Arretche, Soraya Crtes, Telma Menicucci e Washington Bonfim.

Artigo recebido em janeiro/2005 Aprovado em julho/2005

o na gesto governamental. Com efeito, foram implementados, em diversos pases da Amrica Latina, sistemas de avaliao das polticas pblicas de escopo varivel. Tal processo tem sido justificado pela necessidade de modernizao da gesto pblica, em um contexto de busca de dinamizao e legitimao da reforma do Estado. Os argumentos que justificam a necessidade de institucionalizao da avaliao da atividade governamental na Amrica Latina tambm fazem eco viso mais cannica do processo de avaliao de polticas pblicas, aquela muitas vezes adotada em manuais e apreciaes mais introdutrias, os quais apresentam a avaliao como ltima etapa do chamado ciclo das polticas, definindo-a como: (a) atividade destinada a aquilatar os resultados de um curso de ao cujo ciclo de vida se encerra; (b) a fornecer elementos para o desenho de novas intervenes ou para o aprimoramento de polticas e programas em curso; e (c) como parte da prestao de contas e da responsabilizao dos agentes
RBCS Vol. 20 n 59 outubro/2005 .

98

REVISTA BRASILEIRA DE CINCIAS SOCIAIS - VOL. 20 N 59 .

jam: (1) um incio com um vis mais tcnico, no perodo do New Deal; (2) uma gerao mais descritiva, predominante desde a Segunda Guerra Mundial at meados da dcada de 1960; (3) uma que enfatizava a oferta de julgamentos abalizados, prevalecente entre meados dos anos de 1960 e meados da dcada seguinte, ou seja, quando da avaliao dos polmicos programas da Guerra Pobreza (War on Poverty) e da Grande Sociedade (Great Society); e, finalmente, (4) uma gerao reativa, caracterstica dos anos Reagan. Albaek (1998), por seu turno, afirma que, quando do incio da massificao da avaliao nos Estados Unidos, na dcada de 1960, a pesquisa avaliativa era encarada predominantemente como ferramenta de planejamento destinada aos formuladores de polticas e aos gerentes de mais alto escalo. Em um contexto de expanso sem precedentes do gasto pblico no pas, de escasso conhecimento acerca do impacto da ao governamental e da busca de um maior controle sobre os burocratas/implementadores, a avaliao institucionalizada, tendo como caracterstica predominante o seu desenho top-down. A expectativa era, ainda, a de que a avaliao, ao superar o problema de dficit de compreenso acerca desses processos e de seu impacto, pudesse garantir a racionalidade dos processos decisrios e a legitimao das polticas e dos programas. Essa era de ouro da avaliao, assim denominada por Rossi e Wright (1984), que, de acordo com Oakley (1998), teria durado at o final da dcada de 1980, foi dominada por um paradigma metodolgico experimental randomizado e controlado (randomised, controlled experimental paradigm, Oakley, 1998, p. 95) tendo sido dinamizada por uma Ordem Executiva do presidente norte-americano, que determinava que os programas sociais fossem avaliados. Segundo Albaek (1998), na dcada de 1970 avolumaram-se as evidncias acerca do excesso de otimismo no que dizia respeito plena utilizao e incorporao, de forma racional/instrumental, dos resultados das avaliaes. O paradigma top-down foi assim progressivamente revertido, abrindo espao para o desenvolvimento de abordagens e metodologias bottom-up. Nas dcadas de 1980 e 1990, como se ver em detalhe adiante, a avaliao das polticas pblicas foi posta a servio da reforma do setor pblico.

estatais, ou seja, como elemento central da accountability. Mesmo que essa concepo reconhea, ainda que implicitamente, o carter inextricavelmente poltico da avaliao, podemos observar nos debates e nos estudos correlatos mais recentes a prevalncia de um vis francamente normativo e/ou uma priorizao dos aspectos mais tcnicos da avaliao das polticas pblicas, bem como uma nfase em seu papel de instrumento gerencial. Reconhecendo o carter incipiente da pesquisa e da prtica da avaliao no Brasil, o presente trabalho tem como objetivos: (1) analisar os fatores que tm justificado e condicionado a implantao dos sistemas de avaliao, sobretudo nos pases da Amrica Latina; (2) averiguar as razes da prevalncia, no mbito estatal e tambm no plano analtico, de uma concepo tecnicista da avaliao, vista hoje quase exclusivamente como instrumento da gesto governamental; e, finalmente, (3) enfatizar o carter eminentemente poltico da avaliao de polticas pblicas, elencando e categorizando as suas distintas formas de utilizao. Ser ressaltada, assim, a virtual subordinao do uso gerencial da avaliao e de sua suposta capacidade de encerrar, reiniciar ou revitalizar o ciclo das polticas s injunes polticas mais abrangentes e s estratgias e interesses dos tomadores de deciso e dos demais envolvidos (aqueles que a literatura especializada denomina, desvelando suas matrizes intelectuais, stakeholders).

A institucionalizao da funo avaliao na Amrica Latina: premissas, expectativas e motivaes

Diga-se, logo de incio, o essencial: nas dcadas de 1980 e 1990 a avaliao de polticas pblicas foi posta a servio da reforma do Estado.1 Se parece haver consenso quanto a essa questo, h, contudo, uma diversidade de maneiras de se pensar a evoluo do papel atribudo pesquisa avaliativa desde o incio do boom da avaliao de polticas e programas pblicos, ocorrido nos Estados Unidos na dcada de 1960. Guba e Lincoln (1989), por exemplo, tendo como foco os Estados Unidos e fazendo uma caracterizao desde os anos de 1930, detectaram a emergncia de quatro sucessivas geraes de pesquisas avaliativas, quais se-

A POLTICA DA AVALIAO DE POLTICAS PBLICAS

Uma terceira forma de se pensar a maneira como tm variado as motivaes do Estado para a valorizao da avaliao de polticas sugerida por Derlien (2001), em artigo particularmente interessante e provocativo. Partindo da distino das trs funes bsicas atribudas avaliao informao, realocao e legitimao , o autor defende a tese de que, dos anos de 1960 aos anos de 1990, os objetivos buscados com a avaliao teriam passado da funo de informao para a de realocao. Tal deslocamento teria sido acarretado por fatores polticos e econmicos especficos, tendo havido tambm uma mudana nos atores polticos dominantes. Segundo Derlien, na dcada de 1990 passou a predominar em muitos pases a funo de realocao, associada ao movimento do New Public Management, tendo os avaliadores se convertido em auditores que privilegiavam a medio dos resultados. Vale a pena reproduzirmos aqui, em uma longa citao, a apresentao que o autor faz da funo de (re)alocao, a qual, segundo sua tese, passa a pautar a nfase na avaliao durante as duas ltimas dcadas:
A funo predominante da avaliao nos anos de 1980, durante a segunda etapa de institucionalizaes, estava claramente destinada a apoiar uma alocao racional dos recursos. Nesse momento os atores principais j no so mais os administradores dos programas (como quando prevalecia a funo de informao), mas os escritrios de auditoria, os ministrios da Fazenda e as unidades centrais, a quem compete a elaborao global do oramento e sua estrutura interna. As questes bsicas que passaram a ser enfatizadas so: Quais programas podem ser suprimidos ou reduzidos a partir dos resultados negativos da avaliao? Quais so as conseqncias do retrocesso das fronteiras do Estado, ou seja, da privatizao de determinadas atividades pblicas? Como se pode obter mais rendimento pelo dinheiro a partir da reorganizao dos programas individuais e das atividades pblicas em seu conjunto? As questes induzidas dos motivos da alocao tendem a dar mais nfase na quantidade do que na qualidade (Derlien, 2001, p.106).

99

servios sociais, que torna compreensveis manifestaes como estas de Vieira (1997):
[...] [no] Brasil, desde o tempo da elaborao da Constituio de 1988, a febre avaliatria ganha dimenso de epidemia e os avaliadores metamorfoseiam-se em festejados demiurgos [...] (p.70). Esta nova fase de acumulao capitalista no se importa com direitos. Seus filhos mais queridos, os recentes avaliadores, nutrem-se do relativismo to a gosto da meritocracia (p.71).

precisamente essa associao da funo avaliao reforma gerencialista do Estado, com nfase nos resultados e na desresponsabilizao/devoluo/privatizao da proviso de bens e

Diga-se, de passagem, que reaes como essa, que beiram a fobia, obscurecem a necessria percepo de que a avaliao no , por natureza, caracterstica de um tipo especfico de Estado ou cultura administrativa (Thoenig, 2000, p. 57). A seguir apresentaremos, de maneira sucinta, as premissas, as expectativas e as motivaes para a institucionalizao da funo avaliao na Amrica Latina. Tal processo ocorreu tardiamente, apenas na dcada de 1990, tendo prevalecido a perspectiva de instrumentalizao da pesquisa avaliativa para o sucesso da reforma do Estado. Tal discusso pavimentar o nosso caminho para que possamos, na seo subseqente, analisar a postura da academia brasileira diante da hegemonia da perspectiva gerencialista sobre o papel da avaliao de polticas pblicas.2 Como destacado por diversos autores, a medio e a avaliao do desempenho governamental e das polticas pblicas tornaram-se parte integral da agenda de reformas dos anos de 1980 e 1990, as quais, como se sabe, estiveram longe de se circunscrever aos pases latino-americanos. Tanto por razes pragmticas como ideolgicas e no nos parece pertinente arrolarmos aqui os fatores de ordem econmica, poltica e ideolgica que tm dado sustentao aos processos de reforma do Estado em grande parte das democracias ocidentais , o desenho dessas reformas privilegiou dois propsitos bsicos. Em primeiro lugar, a adoo de uma perspectiva de conteno dos gastos pblicos, de busca de melhoria da eficincia e da produtividade, de ampliao da flexibilidade gerencial e da capacidade de resposta dos governos, bem como de maximizao da transparncia da gesto pblica e de responsabilizao dos gestores, em um processo no qual o consumidor dos bens e servios pblicos estaria, supostamen-

100

REVISTA BRASILEIRA DE CINCIAS SOCIAIS - VOL. 20 N 59 .

rentemente no ter despertado um interesse equivalente por parte da comunidade acadmica dos analistas de polticas pblicas, notadamente nas reas da cincia poltica e da sociologia, no sentido de se abrir novas frentes de investigao. O mesmo parece no se dar, contudo, na seara da administrao pblica, como demonstrado, por exemplo, pela freqncia com que peridicos nacionais, como a Revista do Servio Pblico e a Revista de Administrao Pblica, tm encampado a temtica.3 Note-se, ainda, que a questo tem ganhado destaque tambm em publicaes do Ipea,4 da Fundao Seade (Carvalho, 2003) e da Fundao Carlos Chagas, como os Cadernos de Pesquisa e os Estudos em Avaliao Educacional. importante destacarmos aqui o vis acentuadamente normativo da maior parte destes trabalhos, bem como o fato de a Revista do Servio Pblico republicar trabalhos de consultores internacionais muitas vezes produzidos a partir de demandas dos organismos multilaterais, o que evidencia o forte carter de induo externa a vincar o processo de institucionalizao dos sistemas de avaliao na Amrica Latina. Se for possvel justificar esse panorama a partir do fato de a avaliao de polticas pblicas ser tarefa eminentemente multidisciplinar, como amplamente reconhecido, resta-nos buscar compreender o que pode ser denominado como a omisso da cincia poltica brasileira.5 Um primeiro elemento para se pensar tal omisso a postura assumida por Michael Scriven, um dos primeiros e principais tericos da avaliao, para quem a investigao avaliativa deve produzir como concluso exatamente o tipo de afirmao que os cientistas sociais dizem ser ilegtima: um juzo de valor ou mrito (Scriven, 1974, apud Ballart, 1996, p. 325). Esse vis normativo talvez possa nos ajudar na compreenso do seguinte paradoxo: se as investigaes conduzidas na subrea da anlise de polticas pblicas so fortemente condicionadas pela conjuntura, como apontado por Melo (1999), tal condicionamento parece no ter sido suficiente para que a questo da avaliao ganhasse lugar de destaque na agenda de pesquisa dos profissionais da rea, aqui entendida como subrea da cincia poltica. Cabe recordarmos, ainda, que apesar do boom das duas ltimas dcadas, a estruturao do campo

te, em primeiro plano. O segundo propsito ou expectativa de que tais reformas pudessem contribuir para uma reavaliao da pertinncia das organizaes governamentais preservarem todo o seu leque tradicional de atribuies, prevalecendo um contexto de valorizao da proviso privada de bens e servios (Caiden e Caiden, 2001, p. 79). Como corretamente assinalado por Caiden e Caiden, a medio de desempenho, o monitoramento e a avaliao no foram apenas ornamentais nem tiveram uma significao incidental nas reformas. Foram (ou deveriam ter sido) as alavancas essenciais da mudana (Idem, p. 80). Vale lembrar que Wiesner Duran chama a avaliao de proxy do mercado na administrao pblica (apud Mokate, 2002, p. 90). A centralidade da avaliao justifica-se, assim, porque se esperava que essas funes garantissem a credibilidade do processo de reforma e a sustentabilidade poltica das diretrizes de desregulamentao e de reduo do tamanho do governo, quer pela via da chamada devoluo, ou seja, do deslocamento das funes e dos servios para as instncias subnacionais, quer pela via da privatizao. Esperava-se, tambm, que pudessem ser fomentadas a transparncia na gesto pblica e a satisfao dos usurios/clientes. Parece por demais bvio, pois, o carter eminentemente poltico do projeto de modernizao do Estado vinculado revoluo gerencialista que se deseja implantar, no qual o monitoramento e a avaliao de polticas ocupam lugar de destaque. Contudo, como se discutir adiante, a poltica da avaliao das polticas pblicas est longe de se restringir a questes e disputas relativas definio dos interesses prioritrios e do escopo do Estado, posto que a avaliao pode tambm, por exemplo, ser elemento central na disputa eleitoral, no controle das interaes intergovernamentais e na busca de acomodao de foras e de interesses no mbito intraburocrtico.

A hegemonia inconteste da perspectiva gerencialista: uma discusso exploratria acerca do papel da academia brasileira
Pode parecer contraditrio o fato de a nova nfase dada avaliao de polticas no Brasil apa-

A POLTICA DA AVALIAO DE POLTICAS PBLICAS

da anlise de polticas pblicas ainda bastante incipiente no Brasil, o qual padece, como tambm mostrado por Melo (1999), de grande fragmentao organizacional e temtica, tendo uma institucionalizao ainda precria. Porm, se essas caractersticas podem tornar compreensveis determinadas lacunas, a notria ausncia de investimentos mais sistemticos no estudo dos processos de implementao e avaliao parece evidenciar tambm o status privilegiado de que desfrutam os processos decisrios na cincia poltica do pas. No entanto,
[...] a escassez dos estudos ps-deciso no pas parece explicada no apenas pela frgil institucionalizao da rea no Brasil, que faz com que a anlise de polticas pblicas continue gravitando na rbita das questes analticas mais tradicionalmente valorizadas pela Cincia Poltica, mas tambm pela debilidade no pas do campo de estudos da Administrao Pblica (Faria, 2003, p. 22).

101

ao sensibilizar lideranas polticas e acadmicas e ao atrelar o financiamento de projetos exigncia de avaliao , parece-nos oportuno inventariarmos as distintas formas de uso esperado e potencial da avaliao de polticas pblicas, para que possamos ampliar a nossa percepo do vis poltico da pesquisa avaliativa. Antes, contudo, cabe alertarmos para o fato de que, evidentemente, no se espera aqui que a cincia poltica seja capaz, por si s, de (re)politizar a avaliao de polticas pblicas. Cabe a ela, isto sim, a anlise do impacto e das implicaes de tal hegemonia.

Os usos e a poltica da avaliao de polticas pblicas

Parte significativa dos estudos sobre os processos de avaliao de polticas pblicas realizados desde a dcada de 1960, os quais, via de regra, tiveram (e ainda tm) o seu epicentro na academia norte-americana, refere-se s questes de ordem metodolgica e/ou s distintas maneiras de se classificar a avaliao. A avaliao tem sido, usualmente, classificada em funo do seu timing (antes, durante ou depois da implementao da poltica ou programa), da posio do avaliador em relao ao objeto avaliado (interna, externa ou semi-independente) e da natureza do objeto avaliado (contexto, insumos, processos e resultados) (Cotta, 2001, p. 91). Como discutido na primeira seo deste ensaio, os estudos avaliativos tinham originalmente um acentuado vis top-down, sendo via de regra encarados como ferramenta de planejamento destinada aos formuladores de polticas e aos gerentes de mais alto escalo. Nesses primrdios, partia-se da premissa que os resultados da avaliao seriam automtica e necessariamente encampados pelos tomadores de decises para a melhoria da poltica ou do programa em questo. A discusso acerca do uso da avaliao restringia-se, assim, ao que hoje se denomina uso instrumental. Logo se percebeu, uma vez que se avolumavam as evidncias de que o esperado efeito de feedback da avaliao era freqentemente obstrudo, a flagrante ingenuidade das expectativas de se produzir melhores e mais sbias decises com base apenas na realizao da avaliao. a partir desse momento que se passa a investigar os deter-

Se a administrao pblica, como rea de trabalho acadmico, extremamente dbil no pas, tendo, porm, ganhado certo vigor na dcada passada com a abertura de Escolas de Governo em diversos estados da Federao, sua interao com a cincia poltica e com a sociologia talvez ainda seja por demais frgil. Retratado e explicado, assim, este panorama de omisso, cabe recordarmos, como discutido na seo anterior, que a atual gerencializao da avaliao de polticas pblicas , antes de tudo, derivada de sua instrumentalizao no processo/projeto de reforma do Estado. Contudo, a concepo hoje prevalecente da avaliao como instrumento administrativo e, portanto, como funo supostamente alheia s disputas propriamente polticas talvez fique ainda mais evidenciada em funo da postura da cincia poltica brasileira, que acaba, assim, por endossar esse vis distorcido do princpio republicano da desvinculao entre poltica e administrao pblica. Reconhecida, portanto, a hegemonia quase inconteste da perspectiva gerencialista e recorde-se que essa a tnica dada implantao dos sistemas de avaliao pelos organismos multilaterais, que tm investido sistematicamente nesse processo ao disponibilizar assistncia tcnica e financiamento, ao articular redes de profissionais,

102

REVISTA BRASILEIRA DE CINCIAS SOCIAIS - VOL. 20 N 59 .

dadas a priori, sugerem, a exemplo de Cotta, que a avaliao uma atividade que, por suas prprias caractersticas, exige que estas condies sejam intencional e meticulosamente criadas, sob pena de se comprometer todo o esforo despendido (2001, p. 94).7 Mas quais seriam, mais especificamente, os fatores que podem interferir na utilizao dos resultados da avaliao? Entre tantos outros possveis, podem ser destacados os seguintes: existncia de crenas e interesses conflitantes na organizao que gerencia o programa; ocorrncia de conflitos de interesses entre as distintas unidades do programa; mudanas no pessoal encarregado, quando, por exemplo, os novatos tm prioridades diferentes daquelas vigentes na poca do incio da avaliao; eventual inflexibilidade das regras e dos padres operacionais da organizao encarregada, que pode impedir a adoo das recomendaes feitas quando da avaliao; e mudanas nas condies externas, tais como cortes oramentrios e alteraes no ambiente poltico, que podem tornar impossvel para a organizao responder necessidade de mudana revelada pelos avaliadores (Weiss, 1998, p. 22). Como o objetivo deste ensaio, mais do que a anlise de qualquer caso especfico, ressaltar a estreiteza da concepo gerencialista da avaliao e expandir a nossa percepo das mltiplas implicaes polticas da pesquisa avaliativa, buscaremos a seguir elencar e categorizar as distintas formas de sua utilizao. Seguindo de perto a proposta de Carol Weiss (1998), sero discutidas no apenas as formas de uso, mas tambm os elementos da avaliao que podem ser utilizados e, por fim, o papel e os interesses dos vrios usurios potenciais da avaliao.8 possvel distinguir pelo menos quatro tipos de uso da avaliao, quais sejam: (a) instrumental; (b) conceitual; (c) como instrumento de persuaso; e (d) para o esclarecimento. O uso instrumental para a tomada de deciso depende no apenas da qualidade da avaliao, mas tambm da adequada divulgao de seus resultados, de sua inteligibilidade e da factibilidade das recomendaes eventualmente propostas. Segundo Weiss (1998), o uso instrumental seria comum em pelo menos quatro situaes: (1) quando as implicaes das descobertas da avaliao no so muito controvertidas; (2) quando as mudanas deriva-

minantes do uso da avaliao, sendo constituda, assim, uma nova e vicejante seara de pesquisa.6 A nfase nos fatores que condicionam a utilizao da avaliao e a mitigao do furor positivista da poca do primeiro boom dos estudos avaliativos (j que se pode dizer que vivemos hoje o seu segundo boom) abriu espao para um maior questionamento, ainda hoje incipiente, diga-se, acerca do que chamo poltica da avaliao de polticas pblicas Vale lembrar que tal denominao pensada neste ensaio como abarcando as questes e as disputas relativas definio dos interesses prioritrios e do escopo do Estado, competio eleitoral, ao controle das interaes intergovernamentais e busca de acomodao de foras e de interesses no mbito intraburocrtico, entre muitas outras questes relacionadas s disputas de poder entre agentes e principais os mais diversos. Essa concepo mais abrangente engloba, assim, as trs dimenses do uso da avaliao normalmente evocadas: instrumental (relativa ao apoio s decises e busca de resoluo de problemas); conceitual (ou funo educativa); e simblica (uso poltico) (Shulha e Cousins, 1997). A percepo da vasta diversidade e da intensidade dos fatores que obstaculizam uma plena ou mesmo freqente utilizao da avaliao para o seu propsito original (melhorar a qualidade das decises e garantir a maximizao da consecuo dos objetivos definidos pelas polticas e programas) produziu reaes muito diferenciadas. Aaron Wildawsky, por exemplo, desalentado diante de tantos obstculos, questiona, em um quase desabafo, o valor de toda a empreitada: eu comecei pensando que era ruim no avaliar as organizaes e terminei me perguntando por que elas tm que faz-lo (apud Caiden e Caiden, 2001, p. 94). Thoenig, por seu turno, parece propor, em algumas circunstncias, o uso de avaliaes informais, as quais poderiam tornar possvel a introduo de ajustes e mudanas sem atrair a ateno de grupos interessados internos ou externos, que podem ser tentados a usar uma avaliao formal como uma oportunidade para resistir reforma (2000, p. 66). Muitas das anlises mais recentes, contudo, ao reconhecer que as condies para o aproveitamento das informaes disponibilizadas pela avaliao quase nunca esto

A POLTICA DA AVALIAO DE POLTICAS PBLICAS

das ou sugeridas no so de grande monta e/ou fazem parte do repertrio do programa em questo ou de sua organizao implementadora; (3) quando o ambiente do programa relativamente estvel no que diz respeito a suas lideranas, oramento, tipos de beneficirios etc.; e (4) quando o programa est em crise e no se sabe bem o que deve ser feito. O segundo tipo de uso o conceitual, usualmente circunscrito aos tcnicos locais do programa, a quem no com freqncia atribudo um maior poder de deciso. Nesse caso, as descobertas da avaliao (e o seu prprio processo de realizao) podem alterar a maneira como esses tcnicos compreendem a natureza, o modo de operao e o impacto do programa que implementam. Tal aprendizagem torna-se maximizada quando os tcnicos participam mais ativamente do processo de avaliao.9 Como notado por Scriven (1996), o uso conceitual das descobertas diferencia-se do uso instrumental porque, no primeiro caso, nenhuma deciso ou ao esperada (pelo menos no imediatamente). O uso da avaliao como instrumento de persuaso, por seu turno, d-se quando ela utilizada para mobilizar o apoio para a posio que os tomadores de deciso j tm sobre as mudanas necessrias na poltica ou programa. Busca-se aqui legitimar uma posio e ganhar novos adeptos para as mudanas desejadas. O ponto pode ser ilustrado pela forma como o ditador Augusto Pinochet fez uso do sistema de avaliao educacional implantado por ele no Chile (Simce), em 1988, para dar maior visibilidade e legitimidade ao processo de privatizao do ensino no pas, posto que os primeiros resultados mostravam com clareza o desempenho superior das instituies privadas (Faria e Filgueiras, 2003). Por fim, h o uso para o esclarecimento, que nem sempre propositado, mas que acarreta, pela via do acmulo de conhecimento oriundo de diversas avaliaes, impacto sobre as redes de profissionais, sobre os formadores de opinio e sobre as advocacy coalitions, bem como alteraes nas crenas e na forma de ao das instituies, pautando, assim, a agenda governamental. Esse um tipo de influncia que ultrapassa a esfera mais restrita das polticas e dos programas avaliados. Ainda que esta distino das formas de uso da avaliao seja importante e inovadora, necessrio que se faa a seguinte ressalva:

103

Note-se que tal distino das formas de uso constitui avano significativo em relao clebre contraposio entre avaliao somativa, que seria judgement-oriented, e avaliao formativa, que seria improvement-oriented. Contudo, ela parece apenas resgatar, com modificaes tpicas, a proposio feita por Floden e Weiner (1978) em um trabalho pioneiro, hoje aparentemente relegado, o qual, destacando tambm as debilidades e a idealizao do modelo decisionista, chama a ateno para o uso da avaliao nos seguintes sentidos: da resoluo de conflitos; como mecanismo para a reduo de complacncia (complacency reduction), dado o seu potencial de fazer com que o pessoal encarregado do programa avalie criticamente as suas concepes e comportamentos; e como ritual, cuja funo seria acalmar as ansiedades do pblico e perpetuar uma imagem do governo como racional, eficiente e accountable (Faria e Filgueiras, 2003, p. 8).

No que diz respeito aos elementos da avaliao que podem ser utilizados, cabe destacar que as suas descobertas (ou o relatrio final da avaliao) inicialmente monopolizaram a ateno daqueles interessados em investigar a questo da utilizao da pesquisa avaliativa. Contudo, essas descobertas constituem apenas um dos elementos que podem ser utilizados. Como se sabe, elas usualmente se concentram nos processos, nos resultados e no impacto das polticas e dos programas. Vale ressaltarmos, ainda que de maneira breve, que so exatamente as descobertas e/ou o relatrio final da avaliao as informaes mais amplamente divulgadas. A questo da abrangncia e da forma de divulgao, que no objeto de maiores consideraes neste trabalho, , contudo, absolutamente central para que se possa melhor aquilatar o uso dos estudos de avaliao. Discorrendo sobre a experincia de avaliao de polticas na Frana, Meldolesi afirma que, naquele pas,
[...] o problema no a divulgao [dos relatrios], que assegurada pela Documentation franaise, mas a pouca divulgao que eles tm nos jornais e, por conseqncia, na opinio pblica: nada comparvel ao canal de televiso especializado, que existe nos Estados Unidos, e influncia da avaliao do GAO (General Accounting Office) sobre o debate pblico naquele pas (1996, p.104).

104

REVISTA BRASILEIRA DE CINCIAS SOCIAIS - VOL. 20 N 59 .

efeito quase universal que a avaliao externa tem sobre o comportamento das instituies de ensino. Como se sabe, o risco principal aqui que sejam negligenciados outros aspectos do programa que no incidem sobre os indicadores de sucesso definidos. Tal efeito, contudo, no necessria e forosamente negativo. (d) Utilizao do desenho da pesquisa avaliativa Destaca-se aqui a possibilidade de que as categorias de anlise utilizadas pelos avaliadores, a metodologia de avaliao e a forma de se analisar os dados tenham influncia no apenas sobre a gesto da poltica ou do programa em questo, ao fomentar, por exemplo, disputas entre distintos nveis de implementao, mas tambm sobre outras reas e esferas de governo. Por fim, necessrio inventariarmos tambm os usurios potenciais da pesquisa avaliativa. Originalmente, a comunidade de avaliadores era quase unnime na percepo de que os usurios da avaliao se restringiam aos financiadores do programa (e da prpria avaliao), aos gerentes e encarregados de mais alto escalo e, por vezes, aos tcnicos e profissionais que lidavam de maneira mais direta com os beneficirios. Esses so os atores que, inclusive, muitas vezes ajudam a definir o escopo, a abrangncia, a metodologia e o mbito de divulgao dos resultados da avaliao. A crtica ao desenho hierrquico da avaliao e a percepo das limitaes de seu planejamento top-down levaram, primeiramente, a que se prestasse mais ateno nos agentes encarregados da implementao ou na chamada street level bureaucracy, percebidos a partir da dcada de 1970 como capazes de muito mais autonomia do que aquela concebida pelos modelos tradicionais de planejamento (Pressman e Wildavsky, 1973; Lipsky, 1980). Posteriormente, com a popularizao das metodologias participativas de avaliao e com o crescente reconhecimento (e propaganda) da avaliao como instrumento de empoderamento dos beneficirios, a avaliao comeou a levar em considerao, de maneira mais sistemtica, as necessidades e as expectativas dos beneficirios dos programas. A reforma gerencialista do Estado, com sua nfase nos resultados, em detrimento dos processos, e na satisfao daqueles que passaram a ser denominados clientes, viria a sacramentar a nfa-

Retornando necessidade de se distinguir os elementos da avaliao que podem ser utilizados, reportamo-nos uma vez mais a Weiss (1998), que distingue a possibilidade de uso de outros quatro elementos: (a) idias e generalizaes derivadas da avaliao; (b) o prprio fato de a avaliao ter sido ou estar sendo feita; (c) o foco do estudo, especialmente as medidas adotadas; e, finalmente, (d) o desenho do estudo. A seguir discorreremos brevemente sobre cada um desses elementos. (a) Uso das idias e generalizaes derivadas da avaliao Ainda que descobertas especficas da avaliao no sejam usadas, os formuladores e o pessoal tcnico do programa podem aplicar idias e generalizaes dela derivadas. o seguinte o exemplo dado por Weiss (1998): a generalizao da descoberta de que agncias locais no promovem mudanas no seu padro de proviso de servios quando elas so as nicas a fazer tais mudanas pode levar a que se pense na necessidade de se coordenar a atuao de todas as agncias. (b) Uso possvel do prprio fato de a avaliao ter sido ou estar sendo feita So diversificadas as alternativas aqui. Primeiramente, a realizao da avaliao pode ser utilizada como uma desculpa para a inao. Por que se deveria tomar qualquer atitude no sentido de se operar mudanas antes que se tenha o resultado do trabalho de avaliao? O fato de uma avaliao estar sendo ou ter sido feita pode ser utilizado tambm para demonstrar a racionalidade e a predisposio ao aprimoramento e responsabilizao por parte dos encarregados da poltica ou do programa. Por outro lado, a prpria realizao da avaliao pode ser pensada como assegurando uma aura de legitimidade para o programa ou sugerir que algo no vai bem em sua gesto ou que h problemas no seu desenho. (c) Utilizao do foco do estudo amplamente reconhecido que o pblico (interno e o externo) do programa avaliado passar a dar ateno prioritria a todos os focos da avaliao, com destaque para os elementos escolhidos para serem mensurados. Esse fenmeno conhecido como ensinar para o teste, dado o

A POLTICA DA AVALIAO DE POLTICAS PBLICAS

se nos beneficirios. Observada a questo de um ponto de vista mais abrangente, contudo, no deixam de parecer ingnuos comentrios como:
Os avaliadores freqentemente optavam por levar em considerao os valores e os interesses dos clientes [sic], valorizando as suas preocupaes. Mais do que reforar o status quo, esses avaliadores esperavam produzir mudanas no sentido de tornar os programas mais responsivos s necessidades dos participantes. Eles queriam [...] desafiar o discurso privilegiado dos poderosos. A sua postura significava um esforo em transformar a avaliao, de um mecanismo capaz de sustentar e reforar as prticas correntes por meio de ajustes tpicos, em um meio de se remediar as desigualdades e de se redistribuir o poder (Weiss, 1998, p.27).

105

certo que diversos outros usurios, para alm daqueles envolvidos diretamente nos programas em questo, podem se valer das descobertas ou de outros elementos da avaliao. Dentre tantos, destacam-se: gerentes de programas similares e/ou de diferentes nveis governamentais; agentes do governo central e representantes de fundaes, interessados em conhecer projetos exitosos que meream financiamento ou preocupados em melhorar os programas dos quais so responsveis; membros do legislativo interessados na melhoria de programas existentes ou na elaborao de novas propostas; cientistas sociais e outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas. ainda Weiss (1998) que sugere a existncia de dois outros usurios potenciais: (a) as prprias organizaes que administram o programa avaliado ou similares (e aqui deve ser feito no s o contraponto tradicional nfase no indivduo como usurio, mas tambm deve ser mencionada a importncia que tem sido dada atualmente questo da learning organization organizao que aprende e aos limites, tradies e procedimentos cristalizados e/ou impostos pelas organizaes); e (b) o pblico em geral ou a sociedade civil. A reviso crtica da literatura sobre a utilizao da avaliao feita por Shulha e Cousins (1997) aponta as principais preocupaes e questes que tm sido enfatizadas mais recentemente pelos estudiosos da rea, quais sejam: a centralidade do contexto para a compreenso e a explicao do uso; a

necessidade de se expandir a idia de uso da esfera individual para a organizacional; a diversificao do papel do avaliador, que muitas vezes incorpora funes como a de facilitador, planejador e educador; e os impactos e condicionantes da no utilizao ou da sub-utilizao. Tambm passou a ser mais amplamente reconhecido o fato de que, para serem efetivamente utilizadas, as descobertas da avaliao devem competir com outras propostas e outras fontes de informao pela ateno dos tomadores de deciso e demais envolvidos, tudo isso se dando em contextos e instncias decisrias que talvez possam ser mais bem caracterizados como pluralistas e freqentemente no racionais. Ademais, no deixa de ser importante recordarmos que o legado de Herbert Simon continua a ser evocado no que diz respeito, por exemplo, ao reconhecimento dos incentivos para que o sistema governamental adote um comportamento satisfazedor, em detrimento de uma postura estritamente racional, no sentido da maximizao do impacto de sua atuao.

Breves consideraes finais

Vrias questes importantes podem ser inferidas a partir deste breve mapeamento das distintas formas de uso da avaliao, dos seus vrios elementos que podem ser utilizados e dos usurios potenciais dos estudos de avaliao das polticas pblicas. A primeira delas que a literatura especfica parece ainda essencialmente circunscrita s expectativas acerca do papel da avaliao elencadas pelo modelo decisionista. Isso porque, mesmo tendo sido questionado o tradicional modelo hierrquico e top-down de planejamento e de desenho da avaliao, esta maior preocupao com a questo do uso da pesquisa avaliativa parece ainda fortemente restrita utilizao gerencial da avaliao e necessidade de se gerar feedbacks que justifiquem a relevncia da prpria realizao de tais estudos. Dito de outra forma, o que se pode verificar na literatura uma nfase quase exclusiva na utilizao instrumental, intraburocrtica, da avaliao das polticas pblicas ou, quando muito, nas interaes entre decisores, gestores e populao beneficiria. Ficam negligenciadas, assim, questes como: o papel da avaliao das polticas no jogo

106

REVISTA BRASILEIRA DE CINCIAS SOCIAIS - VOL. 20 N 59 .

Contudo, a despeito do rano positivista que ainda pode ser observado na prtica avaliativa e tambm nas anlises sobre esse processo, a avaliao no deixa de envolver tambm, necessariamente, advocacy, como defende Greene (1997), na contracorrente do pensamento dominante na rea.10 Isso, segundo a autora, se compreendermos por advocacy no um partidarismo programtico ou um vis contaminador, mas sim uma adeso a valores como um ideal regulatrio especfico (relativo racionalidade do processo decisrio ou ao ativismo comunitrio) (p. 25). Se levarmos tambm em considerao o fato de que a avaliao e os avaliadores atuam, como quer a vertente construtivista, interpretando o contexto e construindo esse contexto e [que], portanto, ambos so produtores do espao pblico (Escolar e Domench, 2002, p. 110), torna-se ainda mais lastimvel a negligncia ou a omisso de nossos analistas de polticas pblicas.

eleitoral; a reao do legislativo e do judicirio concentrao do poder de avaliao no executivo (Henry, 2001; Derlien, 2001); a eventual diferena na institucionalizao da avaliao entre pases parlamentaristas e presidencialistas e entre Estados federais e unitrios (Derlien, 2001); o significado da distinta localizao institucional dos sistemas de avaliao e o impacto de seu grau de vinculao s autoridades financeiras etc. Dessa forma, no deixa de ser irnico, mas de maneira alguma contraditrio, o fato de ser justamente a literatura que adota o enfoque gerencialista de valorizao da avaliao como instrumento da reforma do Estado aquela que est aparentemente mais disposta a acentuar questes polticas mais abrangentes, como, por exemplo, o papel da avaliao na gerao de accountability por parte dos agentes estatais, seu potencial de empoderamento das comunidades menos privilegiadas e seu impacto sobre a questo do controle social sobre o Estado. O fato no contraditrio porque, como visto, essa literatura advoga um ideal regulativo que prescreve ao Estado um papel subsidirio, sendo determinantes os estmulos, os incentivos e os constrangimentos oriundos ou espelhados no mercado. Uma postura de omisso no tratamento analtico das questes associadas ao processo de avaliao das polticas pblicas e de seu uso, como aquela detectada no caso da cincia poltica brasileira (a qual, diga-se de passagem, parece no se singularizar neste aspecto), significa o esvaziamento da possibilidade de se analisar de forma cabal a poltica da avaliao de polticas, a qual acaba, assim, negligenciada em muitos de seus aspectos e implicaes. Se h resistncias, por parte da cincia poltica brasileira, a includos os analistas de polticas pblicas, em encampar uma agenda de pesquisa que contemple os processos ps-deciso, como sugerimos, no seria possvel e pertinente pensarmos a questo do uso e da poltica da avaliao como claramente vinculada aos processos decisrios? Caso seja necessria uma nota de cautela, lembramos que estudar o uso e a poltica da avaliao no implica, forosa e automaticamente, a transposio da temida, e muitas vezes tnue, fronteira entre os papis do analista e daquele que faz advocacy ou que prescreve cursos de ao.

Notas
1 Para uma discusso sucinta a esse respeito, ver, por exemplo, Faria e Filgueiras (2003), Caiden e Caiden (2001) e Albaek (1998). Para uma anlise mais aprofundada a respeito da institucionalizao dos sistemas de avaliao nos pases latino-americanos, ver Bozzi (2001), que faz uma apreciao da experincia do Chile e da Colmbia; Silva (2002), que discute os casos de Argentina, Chile, Colmbia e Costa Rica; Silva e Costa (2002), que apresentam, ainda que muito sumariamente, as experincias de Brasil, Argentina e Chile; Ghirlanda (2002), que tambm trata do caso brasileiro. No que diz respeito avaliao dos sistemas educacionais dos pases latino-americanos, rea em que se avanou muito na regio, ver, por exemplo, Horn, Wolff e Vlez (1991); Ravela (2001); Wolff (1998) e Faria e Filgueiras (2003). Ver, na Revista do Servio Pblico, Meldolesi (1996); Thoenig (2000); Ala-Harja e Helgason (2000); Caiden e Caiden (2001); Derlien (2001); Bozzi (2001); Cotta (2001); Mokate (2002). Na Revista de Administrao Pblica, ver, por exemplo, Costa e Castanhar (2003). Como, por exemplo, Calmon (1999); Garcia (2001); Escolar e Domench (2002); Silva (2002); e Silva e Costa (2002).

A POLTICA DA AVALIAO DE POLTICAS PBLICAS

5 Comentando o presente ensaio durante os trabalhos do Seminrio Temtico Processo decisrio e implementao de polticas pblicas no Brasil, durante o 28 Encontro Anual da Anpocs, em outubro de 2004, onde uma parte deste trabalho foi apresentada, Marta Arretche sugeriu a possibilidade de se pensar a administrao pblica como detendo no pas a hegemonia intelectual na subrea dos estudos avaliativos, ao passo que economistas e econometristas teriam uma hegemonia operacional. A pesquisadora sugeriu, ainda, que o que explicaria o subdesenvolvimento dos estudos sobre avaliao no Brasil no seria apenas a negligncia, por parte da cincia poltica, dos processos ps-deciso (note-se que talvez esse quadro j tenha comeado a ser reparado, como sugere o prprio enfoque do seminrio mencionado). O problema no residiria apenas na agenda da cincia poltica, mas tambm, ou principalmente, seria decorrente da prpria incipincia das avaliaes no pas, que no geraria polmicas capazes de pautar a agenda investigativa. Para bons panoramas dessa subrea de pesquisa, ver Shulha e Cousins (1997) e Weiss (1998). No Brasil esse um campo ainda sobremaneira incipiente. Excees so Cotta (2001), Faria e Filgueiras (2003) e, tendo como nfase a questo da aprendizagem organizacional decorrente da utilizao da avaliao, Calmon (1999). Para alm do desalento ou da simples incorporao de novas prescries, acreditamos que pode ser dito sobre a pesquisa acerca do uso da avaliao o mesmo que Rivlin disse sobre a anlise de polticas: ela pode no ter resolvido problema algum, mas pelo menos nos ajudou a determinar melhor os problemas (apud Weiss, 1998, p. 23). Antes, porm, pode ser til reproduzirmos aqui a sinttica apresentao, feita por Ala-Harja e Helgason, das vrias formas de uso, para que se possa ter uma viso panormica da questo e para que alguns termos centrais sejam introduzidos de maneira ainda mais simples: A definio do uso de uma avaliao deve fazer distino entre uso pelo programa e uso organizacional. O primeiro se refere a estudos individuais de avaliao, e o segundo tem a ver com o efeito cumulativo (aprendizagem) derivado de uma srie de avaliaes em uma organizao. O uso em programas pode ser posteriormente dividido em uso instrumental, em que a avaliao d suporte a ao especfica (confirmao, modificao ou trmino), e o uso conceitual, em que no se toma nenhuma ao imediata, mas

107

no qual os resultados so considerados e a informao acumulada para uso posterior (2000, p. 25). 9 Alis, diga-se de passagem, a chamada avaliao colaborativa, na qual avaliadores e corpo tcnico do programa mantm interao constante e amigvel, compartilhando parte das decises e dos procedimentos necessrios, muitas vezes tratada, na literatura especfica, como a melhor maneira de se fomentar uma mais ampla utilizao dos resultados da avaliao.

10 Vale a pena citarmos a seguinte passagem do trabalho de Greene: a prpria noo de avaliao como advocacy provoca tremores de desagrado e horror entre a maior parte da comunidade contempornea da avaliao, tanto entre tericos como entre praticantes. Isso porque o objetivo fundamental da avaliao era racionalizar a poltica social por meio da produo de informao cientfica desinteressada, relativa s opes de poltica, o que seria possvel apenas por meio de uma adeso objetividade e neutralidade de valores. Advocacy a anttese da avaliao justa, de acordo com aqueles ideais e vises fundadores. Prescrever [to advocate] esposar e promover uma crena ou postura partidria [partisan], abraar e fazer avanar uma causa. Avaliar , de acordo com a tradio, julgar de maneira justa a qualidade, o mrito e o valor de um programa, com base em informao imparcial, coletada de maneira cientfica (1997, p.26).

BIBLIOGRAFIA
ALA-HARJA, M. & HELGASON, S. (2000), Em direo s melhores prticas de avaliao. Revista do Servio Pblico, 51 (4): 5-60. ALBAEK, Erik. (1998), Knowledge, interests and the many meanings of evaluation: a developmental perspective. Scandinavian Journal of Social Welfare, 7: 94-98. BALLART, Xavier. (1996), Modelos tericos para la prctica de la evaluacin de programas, in Quim Brugu e J. Subirats (orgs.), Lecturas de gestin pblica. Madrid, Instituto Nacional de Administracin Pblica, pp.321-351. BOZZI, S. O. (2001), Evaluacin de la gestin pblica: conceptos y aplicaciones em el

108

REVISTA BRASILEIRA DE CINCIAS SOCIAIS - VOL. 20 N 59 .

caso latinoamericano. Revista do Servio Pblico, 52 (1): 25-55. Brasil, e do Sistema de Medicin de la Calidad de la Educacin (Simce), do Chile. Trabalho apresentado no GT Polticas Pblicas do XXVII Encontro Anual da Anpocs. Caxambu, MG, 21 a 25 de outubro. FLODEN, Robert E. & WEINER, Stephen S. (1978), Rationality to ritual: the multiple roles of evaluation in governmental processes. Policy Sciences, 9 (1): 9-18. GARCIA, Ronaldo Coutinho. (2001), Subsdios para organizar avaliaes da ao governamental. Planejamento e Polticas Pblicas, 23. GHIRLANDA, Marta Penna M. (2002), A experincia do governo federal na avaliao do Plano Plurianual 2000-2003. Trabalho apresentado no VII Congreso Internacional del CLAD. Lisboa, Portugal, 8 a 11 de outubro. GREENE, Jennifer C. (1997). Evaluation as advocacy. Evaluation Practice, 18 (1): 2536. GUBA, E. & LINCOLN Y. (1989), Fourth generation evaluations. Nova York, Sage Publications. HENRY, Gary T. (2001), How modern democracies are shaping evaluation and the emerging challenges for evaluation. American Journal of Evaluation, 22 (3): 419-429. HORN, Robin; WOLF, Laurence & VLEZ, Eduardo. (1991), Establecimiento de sistemas de medicin del rendimiento acadmico en Amrica Latina: un anlisis de los problemas y las experiencias ms recientes. Washington, Banco Mundial. LIPSKY, Michael. (1980), Street-level bureaucracy: dilemmas of the individual in public services. Nova York, Russel Sage Foundation. MELDOLESI, Nicoletta S. (1996). Avaliao de polticas pblicas na Frana. Revista do Servio Pblico, ano 47, 120 (1): 83-111. MELO, Marcus Andr. (1999), Estado, governo e polticas pblicas, in S. Miceli (org.), O

CAIDEN, G. E. & CAIDEN, N. (2001), Enfoques y lineamiento, la medicin y la evaluacin del desempeno em programas del sector pblico. Revista do Servio Pblico, 52 (1): 78-103. CALMON, Ktya M. N. (1999), A avaliao de programas e a dinmica da aprendizagem organizacional. Planejamento e Polticas Pblicas, 19: 3-70. CARVALHO, Sonia Nahas de. (2003), Avaliao de programas sociais: balano das experincias e contribuio para o debate. So Paulo em Perspectiva, 17 (3-4): 185-197. COSTA, F. L. & CASTANHAR, J. C. (2003), Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica, 5. COTTA, T. C. (2001). Avaliao educacional e polticas pblicas: a experincia do Sistema Nacional de Avaliao da Educao Bsica (SAEB). Revista do Servio Pblico, 52 (4): 89-111. DERLIEN, H-U. (2001), Una comparacin internacional en la evaluacin de las polticas pblicas. Revista do Servio Pblico, 52 (1): 105-123. ESCOLAR, Cora & DOMENCH, Patrcia. (2002), Los proyectos y programas sociales y la evaluacin: reflexiones en torno a una experiencia. Polticas Sociais: acompanhamento e anlise, 5: 106-110, Brasilia, Ipea. FARIA, Carlos Aurlio Pimenta de. (2003), Idias, conhecimento e polticas pblicas: um inventrio sucinto das principais vertentes analticas recentes. Revista Brasileira de Cincias Sociais, 18 (51): 21-30. FARIA, Carlos Aurlio P. & FILGUEIRAS, Cristina de A. C. (2003), A avaliao de polticas pblicas como instrumento de planejamento: os casos do Sistema de Avaliao da Educao Bsica (Saeb), do

A POLTICA DA AVALIAO DE POLTICAS PBLICAS

que ler na cincia social brasileira (1970-1995) [vol. 3: Cincia poltica], So Paulo/Braslia, Sumar/Anpocs/Capes, pp. 59-100. MOKATE, K. M. (2002), Convertiendo el monstruo en aliado: la evaluacin como herramienta de la gerencia social. Revista do Servio Pblico, 53 (1): 89-133. OAKLEY, Ann. (1998), Public policy experimentation: lessons from Amrica. Policy Studies, 19 (2): 93-114. PRESSMAN, J. L. & WILDAVSKY, A. (1973), Implementation. Berkeley, University of California Press. RAVELA, Pedro (ed.). (2001), Los prximos pasos: cmo avanzar en la evaluacin de aprendizajes en Amrica Latina?. Textos PREAL/GRADE, 20. ROSSI, P. H. & WRIGHT, J. D. (1984), Evaluation research: an assessment. Annual Review of Sociology, 10: 331-352. SCRIVEN, Michael. (1996), Types of evaluation and types of evaluator. Evaluation Practice, 17 (2): 151-162. SHULHA, Lyn M. & COUSINS, J. Bradley. (1997), Evaluation use: theory, research, and practice since 1986. Evaluation Practice, 18 (3): 195-209. SILVA, Ricardo Toledo. (2002), Eficincia e eficcia da ao governamental: uma anlise comparativa de sistemas de avaliao. Relatrio tcnico. Braslia, Ipea. SILVA, Pedro L. Barros & COSTA, Nilson do Rosrio. (2002), A avaliao de programas pblicos: reflexes sobre a experincia brasileira. Relatrio tcnico. Braslia, Ipea. THOENIG, J-C. (2000), A avaliao como conhecimento utilizvel para reformas de gesto pblica. Revista do Servio Pblico, 51 (2): 54-71. VIEIRA, Evaldo A. (1997), As polticas sociais e os direitos sociais no Brasil: avanos e retrocessos. Revista Servio Social & Sociedade, 18 (53): 67-73.

109

WEISS, Carol H. (1998), Have we learned anything new about the use of evaluation?. American Journal of Evaluation, 19, (1): 21-34. WOLFF, Laurence. (1998), Las evaluaciones educacionales en Amrica Latina: avance actual y futuros desafios. Santiago do Chile, Preal.

RESUMOS / ABSTRACTS / RSUMS

A POLTICA DA AVALIAO DE POLTICAS PBLICAS Carlos Aurlio Pimenta de Faria Palavras-chave Avaliao de polticas pblicas; Reforma do Estado; Novo gerencialismo pblico.
Nos ltimos anos, tem prevalecido nos estudos e nos debates acerca da avaliao de polticas pblicas um vis francamente normativo e/ou uma priorizao dos aspectos mais tcnicos da pesquisa avaliativa, bem como uma nfase em seu papel de instrumento gerencial. Reconhecendo o carter incipiente da pesquisa e da prtica da avaliao no Brasil, o presente trabalho pretende: (1) analisar os fatores que tm justificado e condicionado a implantao generalizada de sistemas de avaliao, sobretudo nos pases da Amrica Latina; (2) averiguar as razes da prevalncia, no mbito estatal e tambm no plano analtico, de uma concepo tecnicista da avaliao, vista hoje quase exclusivamente como instrumento da gesto governamental; e, finalmente, (3) enfatizar o carter eminentemente poltico da avaliao de polticas pblicas, elencando e categorizando suas distintas formas de utilizao. Ser ressaltada, assim, a virtual subordinao do uso gerencial da avaliao e de sua suposta capacidade de encerrar, reiniciar ou revitalizar o ciclo das polticas s injunes polticas mais abrangentes, s estratgias e aos interesses dos tomadores de decises e demais envolvidos.

169
LA POLITIQUE DVALUATION DES POLITIQUES PUBLIQUES Carlos Aurlio Pimenta de Faria Mots-cls valuation des politiques publiques; Rforme de ltat; Nouvelle gestion publique.
Au cours de ces dernires annes, nous avons assist, dans le cadre des tudes et des dbats sur lvaluation des politiques publiques, une prdominance du biais normatif et/ou une primaut des aspects plus techniques de la recherche valuative, ainsi qu une mise en avant de leur rle dinstrument de gestion. Tout en reconnaissant le caractre initial de la recherche et de la pratique de son valuation au Brsil, ce travail propose: (1) danalyser les facteurs qui, jusqu prsent, ont justifi et conditionn la mise en place gnralise de systmes dvaluation, surtout dans les pays dAmrique latine ; (2) de rechercher les raisons de l'importance, dans le cadre de ltat et aussi sur le plan analytique, dune conception technisciste dvaluation, comprise aujourdhui presque exclusivement comme un instrument de gestion gouvernementale; et, finalement, (3) de mettre laccent sur le caractre minemment politique de lvaluation des politiques publiques, en citant et en rangeant leurs diffrentes formes dutilisation. Nous prtendons, de cette faon, mettre en avant la subordination virtuelle de lemploi de lvaluation comme instrument de gestion et de son ventuelle capacit de mettre une fin, de recommencer ou de revitaliser le cycle des politiques aux injonctions politiques les plus englobantes, aux stratgies et aux intrts des preneurs de dcision et des autres acteurs impliqus.

PUBLIC POLICY EVALUATION POLITICS Carlos Aurlio Pimenta de Faria Keywords Public policy evaluation; Reform of the State; New public management.
In the last years, both research and debates concerning public policy evaluation have clearly been marked by a specific normative bias and by an emphasis upon the technical aspects of evaluation, as well as by the valorization of its role as a management tool. Recognizing the incipient character of both the research and the practice of public policy evaluation in Brazil, this paper has the following objectives: (1) to analyze the aspects that have justified and conditioned the generalized implementation of public policy evaluation systems, particularly in Latin America; (2) to discuss the reasons behind the prevalence, both in the state and in the analytical level, of a technicist conception of evaluation, which is regarded today almost exclusively as an instrument to be used by the public managers; and (3) to emphasize the essentially political character of public policy evaluation, listing and categorizing the distinct forms of its utilization. The virtual subordination of the management use of evaluation to broader political projects and to specific strategies and interests of decision makers and other stakeholders will be stressed.