PUBLICADO EM:

BARREIRA, Maria Ceclia Roxo Nobre & CARVALHO, Maria do Carmo Brant (orgs.).
Tendncias e Perspectivas na Avaliao de Polticas e Programas Sociais. So
Paulo: IEE/PUC.

UMA CONTRIBUIO PARA FAZERMOS AVALIAES MENOS INGNUAS

Marta Arretche
1


Os manuais de avaliao de polticas pblicas nos ensinaram que a avaliao da
eficcia, da eficincia ou da efetividade de programas pblicos deve sistematicamente
levar em considerao os objetivos e a estratgia de implementao definidas pelos
formuladores destes programas
2
. Porque seria inteiramente fora de propsito que o
avaliador tomasse em considerao objetivos e/ou metodologias externos queles
estabelecidos pelos prprios programas. Avaliar segundo critrios alheios aos
estabelecidos pelos formuladores implica necessariamente uma avaliao negativa, pois
no plausvel esperar que um programa realize o que no estava em seu prprio
horizonte de implementao.
Entretanto, supor que um programa pblico possa ser implementado inteiramente
de acordo com o desenho e os meios previstos por seus formuladores tambm implicar
uma concluso negativa acerca de seu desempenho, porque praticamente impossvel
que isto ocorra. Em outras palavras, na gesto de programas pblicos, grande a
distncia entre os objetivos e o desenho de programas, tal como concebidos por seus
formuladores originais, e a traduo de tais concepes em intervenes pblicas, tal
como elas atingem a gama diversa de seus beneficirios e provedores.
E esta distncia no diz respeito a fatores de ordem moral ou tica, que possam
ser atribudos a interesses escusos de formuladores e implementadores. Na verdade, esta
distncia uma contingncia da implementao, que pode ser, em grande parte,
explicada pelas decises tomadas por uma cadeia de implementadores, no contexto

1. Doutora em Cincias Sociais, na rea de Polticas Pblicas, pelo IFCH/UNICAMP. Professora de
Cincia Poltica na UNESP- Campus Araraquara.
2 Eu mesma defendi este argumento em trabalhos anteriores. Ver Arretche, 1998.
econmico, poltico e institucional em que operam (Rossi & Freeman, 1993; Mitnick &
Backoff, 1984; Mladenka, 1984)
3
.
Assim, para superar uma concepo ingnua da avaliao de polticas pblicas,
que conduziria necessariamente o avaliador a concluir pelo fracasso do programa sob
anlise, prudente, sbio e necessrio admitir que a implementao modifica as polticas
pblicas.

Por que a implementao modifica as polticas?

Qualquer programa tem duas dimenses, que podem ser analiticamente
desagregadas, i) objetivos e ii) uma metodologia ou estratgia pela qual pretende-se que
estes objetivos sejam atingidos. A definio da estratgia uma escolha entre outras
alternativas possveis, o que significa que um mesmo objetivo pode ser atingido atravs
de diversas modalidades de ao.
No so todas as instncias da mquina estatal que tm autoridade para criar
programas; ao contrrio, a possibilidade de formul-los supe uma dada insero
institucional em cargos que confiram algum nvel de centralizao da autoridade.
Portanto, os objetivos e estratgias de um programam expressam as decises e as
preferncias de uma autoridade central (em qualquer nvel em que esta autoridade esteja
inserida). Mesmo programas de muito reduzida complexidade e escala supem um
agente que tomou decises e executores encarregados de implementar tais decises.
Alternativamente, programas cujo desenho final sups um complexo processo decisrio
sero necessariamente implementados por agentes que no participaram do processo de
formulao.
A implementao, por sua vez, corresponde a uma outra fase da vida de um
programa, na qual so desenvolvidas as atividades pelas quais se pretende que os
objetivos, tidos como desejveis, sejam alcanados. Embora possa ocorrer coincidncia
entre a figura dos formuladores e a figura dos implementadores, muito raro que isto
ocorra.
Na prtica, qualquer poltica pblica de fato feita pelos agentes encarregados da
implementao. Esta constatao no nova, pois Lipsky (1980), j argumentava que


3 A implementao de um programa supe sua insero em uma rede ou sistema complexo, no
qual mesmo as aes de um agente [implementador] obediente podem produzir resultados
(...) as decises dos burocratas que desempenham atividades-fim, as rotinas que
eles estabelecem, os expedientes que eles criam para contornar a incerteza e as
presses, que vem a ser de fato as polticas pblicas. Eu argumento que a
poltica pblica no bem entendida se observada pelo ngulo da legislatura ou
do alto nvel da administrao, porque em diversos aspectos importantes ela
realmente feita nos escritrios lotados e nos encontros dirios da burocracia. (...)
trabalhadores, clientes e os cidados em geral experimentam a burocracia que
desempenha atividades-fim atravs dos conflitos que estes encontram para tornar
o desempenho de suas funes mais consistente com suas prprias preferncias
e compromissos (Lipsky, 1980:xii).

Assim, um programa o resultado de uma combinao complexa de decises de
diversos agentes. claro que nesta cadeia de interaes a concepo original, tal como
apresentada na formulao , sem dvida, muito importante, porque as decises tomadas
durante esta fase j excluram diversas alternativas possveis. Mas, esta apenas uma
das dimenses da vida de um programa.
Na realidade, a implementao efetiva, tal como esta se traduz para os diversos
beneficirios, sempre realizada com base nas referncias que os implementadores de
fato adotam para desempenhar suas funes
4
.
A despeito dos esforos de regulamentao da atividade dos implementadores,
estes tm razovel margem de autonomia para determinar a natureza, a quantidade e a
qualidade dos bens e servios a serem oferecidos. Neste sentido, eles tm a prerrogativa
de, de fato, fazer a poltica. esta autonomia que, por sua vez, lhes permite atuar
segundo seus prprios referenciais.

A implementao como um campo de incertezas

Em princpio, as vontades, os interesses, as lealdades e as concepes
ideolgicas dos diversos agentes envolvidos em um programa pblico dificilmente sero
inteiramente coincidentes. Portanto, quanto mais complexo um programa, maior ser a

imprevistos e talvez indesejados (Mitnick & Backoff, 1984:59).
4 A burocracia encarregada da implementao pode, por exemplo, ter (mesmo que subjetivamente)
preferncia por uma parcela dos beneficirios potenciais que no corresponda populao-alvo
do programa. Ou ainda, pode ter compromissos com provedores que no tenham sido
privilegiados pela estratgia de implementao prevista em seu desenho.
variedade de interesses e concepes envolvidos em sua execuo e, por consequncia,
mais fortes sero as tendncias no-convergncia.
Imaginemos a implementao de um programa federal, de escala nacional, cujas
regras de operao suponham a cooperao dos trs nveis de governo, em um pas
federativo e multipartidrio, como o Brasil, em que prefeitos e governadores tm
autonomia poltica e podem estar ligados a partidos distintos. Polticas pblicas
compartilhadas por governos ligados a partidos que competem entre si tendem a produzir
comportamento no-cooperativos, pois na base das relaes de implementao haveria
uma incongruncia bsica de objetivos, derivada da competio eleitoral. Este cenrio
perfeitamente factvel, dada a multiplicidade de programas descentralizados existentes
no pode ser encarado como um problema. simplesmente um dado da realidade, que
impe um razovel grau de incerteza quanto convergncia de aes dos
implementadores e, por extenso, da perfeita adequao entre formulao original e
implementao efetiva.
Suponhamos, ainda, um programa que envolva uma extensa rede de
organizaes no-governamentais, cujos gestores aceitam participar do programa por
razes inteiramente pragmticas, mas no partilham dos mesmos objetivos e concepes
dos formuladores e financiadores. razovel supor que estas agncias desempenhem
suas funes de acordo com suas prprias referncias e, mesmo, de acordo com seus
prprios objetivos. Este comportamento dos implementadores perfeitamente possvel,
dada a variedade de programas pblicos assentados sobre a noo de parcerias pblico x
privado um cenrio bastante provvel e apenas corresponde realidade da
implementao de programas que contam com agentes cujos interesses e concepes
so diferentes.
Assim, antes que uma fase (tcnica e obediente) que sucede formulao
(poltica) de programas, a implementao pode ser encarada como um jogo em que uma
autoridade central procura induzir agentes (implementadores) a colocarem em prtica
objetivos e estratgias que lhe so alheios (Mitnick & Backoff, 1984).
Nestas circunstncias, para obter adeso e obedincia aos objetivos e ao
desenho do programa, a autoridade central deve ser capaz de desenvolver uma bem-
sucedida estratgia de incentivos. por isto que

(...) qualquer modelo adequado de implementao deve ter relaes de incentivo,
implcitas ou explcitas, como um componente-chave (Mitnick & Backoff, 1984:
68).

Como conseqncia, problemas na estrutura de incentivos podem explicar grande
parte das dificuldades da autoridade central para obter sucesso na implementao de
seus programas, mesmo que tenham sido cumpridos todos os demais requisitos
necessrios.
Assim, a implementao , de fato, uma cadeia de relaes entre formuladores e
implementadores, e entre implementadores situados em diferentes posies na mquina
governamental. Isto implica que a maior proximidade entre as intenes do formulador e a
ao dos implementadores depender do sucesso do primeiro em obter a adeso dos
agentes implementadores aos objetivos e metodologia de operao de um programa
5
.


A formulao como um campo de incertezas

Como vimos, o grau de sucesso de um programa depende diretamente do grau de
sucesso na obteno da ao cooperativa de outros atores governamentais e/ou no-
governamentais, a depender do desenho do programa , cuja obedincia no um dado
automtico. Na verdade, a taxa de sucesso depende da cooperao no apenas dos
agentes institucionalmente vinculados aos demais nveis de governo, mas de centenas de
potenciais beneficirios e provedores cujo comportamento precisa ser coordenado (Stein,
1984). E isto no um problema a ser constatado pelo avaliador, mas um dado da
realidade a ser incorporado anlise.
Cientes deste fato, os agentes formuladores e implementadores experientes e com
poder decisrio tendem a escolher estratgias de implementao pautadas muito mais
por sua potencial aceitao do que por sua esperada eficincia ou efetividade. Portanto, a
reao esperada dos agentes implementadores tende a ser um elemento decisivo na
definio do contedo das polticas pblicas.

5. Tendler (1998) mostra que a alta dedicao dos servidores pblicos foi uma das condies essenciais
para a taxa de sucesso de quatro programas pblicos implementados no estado do Cear. A autora atribui
este comportamento dos agentes implementadores a um conjunto de incentivos governamentais
incorporados estratgia de implementao.
Alm disto, polticas no so formuladas em condies de irrestrita liberdade.
Dado que a formulao de um programa com seus objetivos e desenho em si
mesma um processo de negociaes e barganhas, seu desenho final no ser
necessariamente o mais adequado, mas sim aquele em torno do qual foi possvel
obter algum grau de acordo ao longo do processo decisrio.
Tampouco os formuladores concebem estratgias de implementao dispondo de
completa e perfeita informao acerca da realidade sobre a qual se pretende interferir. Na
verdade, com quase absoluta freqncia, a informao imperfeita, incompleta e at
mesmo baseada em expectativas quanto ao comportamento futuro das variveis da
realidade.
Por estas razes, desenhos de programas no so peas internamente coesas e
ajustadas. Nestas circunstncias, possvel que algumas das especificaes do
programa possam operar, no plano local, de modo contrrio aos objetivos do programa.
Isto , a metodologia prevista produz no plano local implicaes contrrias s
originalmente previstas, dado o fato de que o desenho do programa formulado em
condies de razovel incerteza, com base nos efeitos esperados de uma dada estratgia
de operao. Mais que isto: a diversidade de contextos de implementao pode fazer com
que uma mesma regulamentao produza impactos inteiramente diversos em diferentes
unidades da federao
6
.
Em suma, ainda que uma adequada estrutura de incentivos seja vital para a
implementao de programas e ela tanto mais necessria quanto maior a
complexidade dos interesses envolvidos fatores inerentes formulao impactam o
prprio desenho da estratgia de implementao e, por extenso, o contedo das
polticas. Mas, uma vez adotada uma determinada estratgia, seus efeitos (reais)
somente sero conhecidos uma vez implementada a poltica, dados os limites de
informao e autonomia decisria de que dispem as agncias formuladoras.

Incorporando a implementao avaliao

6 Imaginemos o impacto fiscal da implementao do Fundo de Manuteno e Desenvolvimento do
Ensino e Valorizao do Magistrio (FUNDEF). A diversidade de situaes nacionais no que diz
respeito capacidade fiscal dos governos locais e situao das matrculas nas redes municipal
e estadual o contexto de implementao de cada governo local provocar simultaneamente
efeitos benficos e efeitos devastadores em diferentes governos locais. Tais efeitos, por sua
vez, tendero a produzir diferentes reaes dos implementadores. Mas, no poderiam ser
inteiramente previstos pelos formuladores, dada justamente a diversidade e complexidade de
situaes no territrio nacional.

Na prtica real da administrao pblica, a implementao de polticas ocorre em
um ambiente caracterizado por contnua mutao, mutao esta que inteiramente alheia
vontade dos implementadores.
Em primeiro lugar, recursos, prioridades e a influncia relativa dos agentes
encarregados da implementao freqentemente mudam (Rossi & Freeman, 1993:28).
Metas quantitativas so fixadas para cada perodo de acordo com uma previso dos
recursos (futuramente) disponveis e, com absoluta freqncia, tendncias no previstas
no comportamento da economia influem no montante de recursos disponveis, atingindo a
possibilidade de realizao das metas previstas. Tambm, objetivos conflitantes entre si
tendem a receber nfases diferentes ao longo do ciclo de vida de um programa,
expressando alteraes na geometria de poder no interior da mquina pblica. Ou ainda,
possvel que um fato novo, que pode ser desde um escndalo de natureza poltica at
uma alterao (inesperada) em uma varivel econmica extremamente relevante,
implique modificaes nas formas de desembolso de recursos em prazos bastante curtos
de tempo. Mais ainda: perfeitamente possvel que, por diversas razes no previstas no
momento da formulao, a importncia relativa das agncias encarregadas de funes
diferentes seja alterada ao longo de um curto perodo de tempo.
Em segundo lugar, os interesses e a influncia dos stakeholders de um dado
programa podem mudar entre o momento da formulao e o da implementao, alterando
de modo (ou mais ou menos) significativo sua disposio para colaborar no momento em
que o programa colocado em prtica (Rossi & Freeman, 1993:28).
Assim, uma adequada metodologia de avaliao no deve concentrar-se em
concluir pelo sucesso ou fracasso de um programa, pois, como espero haver
demonstrado, independentemente da vontade poltica, da tica ou do interesse dos
formuladores e implementadores, a distncia entre formulao e implementao uma
contingncia da ao pblica. Com efeito, uma adequada metodologia de avaliao deve
investigar, em primeiro lugar, os diversos pontos de estrangulamento, alheios vontade
dos implementadores, que implicaram que as metas e objetivos inicialmente previstos no
pudessem ser alcanados.
Mas, alm disto, uma adequada metodologia de avaliao deveria concentrar-se
no exame das razes pelas quais a distncia entre os objetivos e a metodologia de um
programa tal como previstos por seus formuladores e sua implementao efetiva
ocorre por deciso dos prprios agentes implementadores.
Como enunciado mais acima, todo programa tem objetivos e um desenho de
implementao, os quais se expressam em uma legislao geral e uma regulamentao
especfica. E a implementao de um programa supe necessariamente a relao de uma
autoridade central com agentes implementadores. Nestes termos, as referncias (Mitnick
& Backoff), isto , os princpios que efetivamente pautam a ao dos agentes
implementadores deveriam ser a legislao e as normas determinadas pela agncia
formuladora.
Uma primeira pergunta a ser feita deveria ser se os agentes implementadores de
fato conhecem o programa. Caso, por razes da capacidade de informao da agncia
formuladora, os agentes implementadores no venham a conhecer efetivamente os
objetivos e as regras de operao do programa, eles tendero a eleger uma outra
referncia para a implementao seus prprios objetivos ou os objetivos dos
stakeholders
7
.
Uma segunda indagao possvel diz respeito aceitao dos objetivos e regras
do programa. Pode ocorrer que, embora conhecendo os objetivos do programa, os
implementadores discordem das prioridades estabelecidas e elejam suas prprias
prioridades (burocrticas, ou de sua clientela, ou ainda de grupos de interesses) como
sua referncia de atuao.
Finalmente, uma terceira questo diz respeito as condies institucionais para
implementao de programas, isto , situao na qual os implementadores, embora
conhecendo e concordando com os objetivos do programa, no possam, por diversas
razes que podem variar desde impedimentos associados capacidade fiscal e
administrativa das agncias implementadoras at compromissos e lealdades de ordem
poltica , realizar os objetivos previstos
8
.
Problemas no previstos no momento da formulao podem levar os
implementadores a promover adaptaes ao desenho original, com vistas a garantir que

7 Imaginemos um programa de transferncia de recursos s unidades escolares de todo o pas
para que estas ofeream merendas escolares a seus alunos. O nmero de diretores escolares e
de encarregados da gesto da merenda escolar to grande que os custos da difuso da
informao podem ser muito elevados. Esforos para minimizar tais custos podem implicar um
baixo ou insuficiente nvel conhecimento dos implementadores, criando as condies
institucionais para que estes desempenhem suas funes de acordo com seus prprios
referenciais.
8 Ao avaliar a implementao do Programa de Renda Mnima Em Ribeiro Preto, Alonso &
Guimares (1998) concluram que as assistentes sociais encarregadas da seleo dos
beneficirios conheciam as regras legais de seleo, concordavam com as normas
estabelecidas, mas selecionavam de fato segundo critrios que lhes pareciam subjetivamente
mais sensatos.
os objetivos de um dado programa sejam realizados (Rossi & Freeman, 1993). Trata-se
de uma medida de adaptao, para viabilizar a realizao dos objetivos do programa,
que implica, por sua vez, que o mesmo no seja implementado de acordo com o desenho
previsto
9
.

A ttulo de concluso

A implementao de polticas supe (pelo menos) dois tipos de agentes situados
em pontos distintos: agentes encarregados da formulao dos termos de operao de um
programa, os quais tm autoridade para definir os objetivos e o desenho de um programa,
e agentes encarregados de execut-lo, traduzindo suas concepes em medidas
concretas de interveno. Na prtica, so estes ltimos que fazem a poltica.
A incongruncia de objetivos, interesses, lealdades e vises de mundo entre
agncias formuladoras e a gama diversa de implementadores implica que dificilmente um
programa atinja plenamente seus objetivos e seja implementado inteiramente de acordo
com seu desenho. Este fenmeno tende a ocorrer mesmo para polticas pblicas cuja
implementao no suponha a ao integrada de diversos nveis de governo, porque
essa incongruncia derivada da complexidade mesma de um processo de
implementao de polticas. Por esta razo, todo modelo de implementao deve
contemplar a formulao de uma adequada estrutura de incentivos.
No Brasil, os programas de ao pblica so crescentemente realizado atravs da
integrao de vrios nveis de governo e de agentes no-governamentais. Atualmente,
raros so os programas que no so implementados no contexto de um sistema de
relaes intergovernamentais e de parcerias as mais diversas com a sociedade civil.. Ter
em mente as conseqncias institucionais destes fatores de fundamental importncia
para aumentar a probabilidade de sucesso de programas de larga escala.
Mas, tambm, para o avaliador fundamental ter em mente que a implementao
modifica o desenho original das polticas, pois esta ocorre em um ambiente caracterizado
por contnua mutao e, mais que isto, os implementadores que fazem a poltica e a
fazem segundo suas prprias referncias. Nestas circunstncias, cabe investigar a

9 Suponhamos um programa de renda negativa de mbito municipal, que distribua mensalmente
cheques de valor inversamente proporcional renda familiar mensal dos beneficirios, os quais
so selecionados segundo um teste-de-meios que exija extensa documentao. muito
possvel que os agentes encarregados da seleo dos beneficirios flexibilizem os requisitos de
comprovao de necessidade, de modo a garantir que os mais necessitados venham a ser
beneficiados.
autonomia decisria dos implementadores, suas condies de trabalho e suas
disposies em relao poltica sob avaliao.



BIBLIOGRAFIA

ALONSO, Analucia Faggion & GUIMARES rico (1998). Avaliao do Programa de
Renda Mnima de Ribeiro Preto. Trabalho Final de Estgio de Concluso de Curso
de Administrao Pblica, Araraquara, mimeo.
ARRETCHE, Marta T. S. (1198). Tendncias nos Estudos sobre Avaliao, in: RICO,
Elizabeth Melo. Avaliao de Polticas Sociais: uma questo em debate. So Paulo,
Cortez, 1998.
ARRETCHE, Marta T. S. (1999), Polticas Sociais no Brasil: Descentralizao em um
Estado Federativo, in: Revista Brasileira de Cincias Sociais, 14(40): 111-41.
EDWARDS III, George C. (1984), Public Policy Implementation. Greenwich, Jai Press.
FIGUEIREDO, A. & FIGUEIREDO, M. (1986), Avaliao Poltica e Avaliao de
Polticas, in: Anlise e Conjuntura, 1(3), set-dez.
LAZIN, Frederick A & ARONI, Samuel. (1984), Games Federal Officials Play: The Case of
Housing Assistance Plans, in: EDWARDS III, George C. Public Policy
Implementation. Greenwich, Jai Press. P. 157-68.
LIPSKY, Michael. (1980), Street-Level Bureaucracy. Dilemmas of the Individual in Public
Services. New York, Russel Sage Foundation.
MITNICK, Barry M. & BACKOFF, Robert W. (1984). The Incentive Relation in
Implementation, in: EDWARDS III, George C. Public Policy Implementation.
Greenwich, Jai Press. P. 59-122.
MLADENKA, Kenneth R. (1984), Implementing Urban Services, in: EDWARDS III,
George C. Public Policy Implementation. Greenwich, Jai Press. P. 171- 92.
PETERSON, Paul & ROM, Mark C. (1990), Welfare Magnets. A New Case for a National
Standard. Washington, Brookings Institution.
PETERSON, Paul. (1995), The Price of Federalism. New York, The Twentieth Century
Fund,.
RIKER, William H. (1987), The Development of American Federalism. Norwell, Kluwer
Academic Publishers.
ROSSI, Peter H. & FREEMAN, Howard E. (1993), Evaluation: A Systematic Approach.
Newbury Park, Sage Publications.
TENDLER, Judtih. (1998), Bom Governo nos Trpicos. Rio de Janeiro/Braslia,
REVAN/ENAP.
SCHAPS, Ronald & RIKER, William (1987). Disharmony in Federal Government, in
RIKER, William, The Development of American Federalism. Norwell, Kluwer
Academic Publishers.
SKOCPOL, Theda. (1985(, "Bringing the State Back In: Strategies of Analysis in Current
Research, in: EVANS, Peter B., RUESCHEMEYER, Dietrich & SKOCPOL, Theda.
Bringing the State Back in. Cambridge, Cambridge University.
STEIN, Robert M. (1984) Policy Implementation in the Federal Aid System: The Case of
Grant Policy, in: EDWARDS III, George C. Public Policy Implementation. Greenwich,
Jai Press. P. 125-55.
VALADEZ, Joseph & BAMBERGER, Michael. (1994), Monitoring and Evaluating Social
Programs in Developing Countries. A Handbook for Policymakers, Managers and
Researchers. Washington, World Bank.