305

R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011

AVALIAO DE POLTICAS PBLICAS: modelos tradicional e pluralista
Dinah dos Santos Tinco
Universidade Federal do Rio Grande do Norte (UFRN)
LincoIn Moraes de Souza
Universidade Federal do Rio Grande do Norte (UFRN)
Alba Barbosa de Oliveira
Universidade Federal do Rio Grande do Norte (UFRN)
AVALIAO DE POLTICAS PBLICAS: modelos tradicional e pluralista.
Resumo: A avaliao de polticas pblicas tem sido adotada no Brasil, principalmente a partir da segunda metade
dos anos 1990, seguindo uma tendncia mundial. Todavia, a literatura sobre avaliao quanto aos aspectos tericos e
metodolgicos ainda limitada no pas. Este artigo tem como objetivo contribuir com algumas questes e refexes sobre
o assunto, especialmente a partir da literatura especializada de origem europeia. Em relao aos modelos, destacam-se a
chamada avaliao tradicional, que contempla a avaliao dita gerencialista e a denominada avaliao de quarta gerao,
envolvendo a viso pluralista, cuja participao de mltiplos atores no processo de avaliao vem sendo enfatizada.
PaIavras-chave: Avaliao, metodologias, polticas pblicas.
PUBLIC POLICIES EVALUATION: traditional and pluralist models.
Abstract: Public policies evaluation has been used, in Brazil, especially from the 1990's onwards, following an international
tendency. However, literature regarding the theoretical and methodological aspects of evaluation is still rather limitedly
produced in the country. This article aims at presenting and discussing the evaluation of public policies while contributing
with concepts, methodologies and analytic categories under the scope of the specialized literature, particularly the
European one. t also aims at establishing relations between some of the models and higher education evaluation in Brazil.
The concept of evaluation is polysemic and can include the creation of a program; formative or corrective evaluation; and
conclusive or comparative evaluation. Among the models, the ones that stood out were the traditional evaluation and the
pluralist one. The latter has been gaining emphasis recently because of the engagement and participation of multiple
individuals.
Keywords: Evaluation, methodologies, public policies.
Recebido em 01.04.2011 Aprovado: 10.10.2011
306
Dinah dos Santos Tinco, Lincoln Moraes de Souza e Alba Barbosa de Oliveira
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
1 INTRODUO
O Estado vem sendo alvo de amplas
transformaes, objeto de sucessivas reformas
administrativas, redefnio de estruturas, presena
de novos atores nas aes pblicas (ONG's,
empresariado, etc) reformulao e inovao de
processos e de instrumentos de gesto, que se
generalizaram em mbito mundial. Nesse contexto, a
avaliao de polticas pblicas parece ter encontrado
um lugar de destaque para onde convergem as
expectativas quanto sua utilidade e oportunidade.
Segundo Kressler (1998, p. 1):
A avaliao uma atividade infnitamente
complexa visto que encerra em si mesma
a complexidade de toda e qualquer
poltica, cujos objetivos so variados,
os atores numerosos, os instrumentos
diversifcados, enquanto os resultados
so, principalmente, decepcionantes.
A incapacidade das polticas cumprirem
os resultados esperados tem sido observada
reiteradamente na literatura especializada, tornando
ainda mais premente e necessria a atividade
avaliativa.
Segundo Perret (2001) a avaliao uma
atividade polissmica, que se aplica a objetos
diversos: polticas, programas e projetos; em
diferentes domnios da ao pblica (educao,
sade, meio ambiente, segurana etc.) e em
espaos geogrfcos de abrangncia varivel (local,
regional, nacional e internacional). E, seguindo
direta ou indiretamente os passos de Scriven
(1967) ressalta que uma atividade motivada por
diferentes fnalidades: 1) uma avaliao pode visar
esclarecer o planejamento da concepo de um
programa ou poltica; 2) elucidar os seus processos
de implementao - avaliao formativa ou corretora
e, principalmente; 3) apreender os seus resultados
- avaliao de balano e conclusiva. (SUBRATS,
1994; PERRET, 2001).
A primeira concepo tem por preocupao
principal descobrir as debilidades ou os aspectos
problemticos do planejamento do programa para
promover ajustes. A segunda, pode ser chamada
de estudos de implementao, visto que pretende
analisar o funcionamento real do programa e os
aspectos a ele relacionados. Visa conhecer as
difculdades e os pontos crticos para favorecer
melhorias e aperfeioamentos. A terceira, busca
informaes sobre os resultados fnais da poltica ou
do programa e, assim, permitir um julgamento sobre
o seu valor global e comparar resultados obtidos
com objetivos defnidos anteriormente. (SUBRATS,
1994).
No passado, a avaliao era assemelhada a
um teste ou descrio e, posteriormente, como uma
pesquisa na rea de cincias sociais ou, para usar os
termos de Weiss (1978) j na dcada de 1970, pode
ser tratada como uma investigao avaliativa. Perret
(2001, p.8), por exemplo, vai se referir a uma maneira
de agir (dmarche) de carter institucional e com uma
viso operacional e v a avaliao na pespectiva
de "pesquisa avaliativa (recherche evaluative). Por
pesquisa avaliativa, designa mtodos e tcnicas das
cincias sociais aplicadas anlise dos efeitos da
ao pblica. Essa pesquisa busca responder s
questes colocadas pelos proponentes polticos no
mbito do projeto de avaliao. Dessa forma, parte
do planejamento da avaliao deve dispor de uma
direo encarregada de sua conduo, bem como
de questes que devem guiar os estudos avaliativos
que conduzem elaborao de um relatrio.
A avaliao, em alguns casos, pode tambm
ser concebida como um instrumento de carter
operacional; mais pontual e menos compreensiva
que a pesquisa avaliativa. Algumas prticas ditas
avaliativas, de fato, apenas aplicam instrumentos
que visam a mensurao de alguns elementos
valorizados pelos experts. o caso dos exames
nacionais aplicados com fns avaliativos, como o
Exame Nacional do Ensino Mdio-ENEM. Neste
caso, a avaliao praticamente reduzida a testes,
e materializa de certa forma, o que Guba e Lincoln
(1989) chamam de avaliao de primeira gerao.
O presente artigo tem por objetivo principal
apresentar e discutir alguns aspectos metodolgicos
sobre a avaliao de polticas pblicas. Trata-se de
uma pesquisa bibliogrfca, baseada principalmente
na literatura europeia. Pretende, igualmente,
ressaltar a avaliao enquanto uma tendncia
que vem sendo fortalecida em mbito mundial.
Neste sentido, o texto foi estruturado em quatro
sees, incluindo esta ntroduo que a primeira;
a segunda conceitua a avaliao sob diferentes
ngulos de acordo com a literatura especializada; a
terceira aborda os principais modelos de avaliao,
com destaque para a avaliao tradicional e a
avaliao pluralista, bem como os paradigmas que
lhes do suporte; a quarta e ltima enfatiza algumas
questes e aponta tendncias gerais da avaliao
guisa de concluso.
2 AVALIAO SOB NGULOS DIFERENTES
A avaliao de polticas pblicas exercida
desde o incio do sculo XX nos pases anglo-
saxes, como os Estados Unidos, pioneiros na
difuso de seus resultados. Utilizou-se, em princpio,
testes, descries, mtodos experimentais e
tcnicas de anlise quantitativas para apreender a
efccia de variveis de impacto, em amostras de
benefcirios e de no benefcirios de programas
governamentais, dentre outros procedimentos.
Segundo Guba e Lincoln (1989), a avaliao de
primeira gerao era caracterizada por testes de
medio, seja de aspectos relativos a componentes
307
AVALIAO DE POLTICAS PBLICAS: modelos tradicional e pluralista
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
curriculares das escolas, seja quanto a coefcientes
de inteligncia, ou at medidas para aferir a idade
mental das crianas; a avaliao de segunda
gerao aprofunda os aspectos referentes
medio, incorporando elementos descritivos sobre
parmetros, pontos fortes e fracos em relao aos
objetivos estabelecidos, introduz o que se conhece
hoje por avaliao formativa; a terceira gerao
incorpora um elemento que se tornou atualmente
essencial, o julgamento; tanto os objetivos como
os desempenhos esperados devem possibilitar
estabelecer juzos sobre a avaliao. nmeras
escalas, parmetros e modelos foram criados para
esse propsito. Por fm, a avaliao de quarta
gerao, de base construtivista, adota mtodos
qualitativos e participativos e incorpora os anseios,
expectativas e vises dos stakeholders, que
devem participar desde a concepo da avaliao:
informaes privilegiadas, formas de interpretao
das mesmas, resoluo de confitos, tratamento das
divergncias entre os participantes, em um processo
de negociao permanente.
Os pases europeus e latino-americanos
passaram a utilizar sistematicamente a avaliao
mais recentemente, principalmente a partir dos anos
1990. As agncias internacionais tm difundido e
requerido a avaliao como elemento condicionador
de seus emprstimos. Sua importncia e
disseminao se tornaram estratgicas, constituindo-
se em um meio de obter informaes a respeito das
atividades por elas fnanciadas. (PERRET, 2001).
No Brasil, a avaliao tambm tem sido
ampliada como prtica sistemtica de programas
e projetos fnanciados por agncias nacionais e
internacionais. Alguns setores tm apresentado
avanos, como a educao. Desde 1996, com a
Lei de Diretrizes e Bases da Educao Nacional,
mecanismos de avaliao da educao foram
adotados em todo o pas. Dos anos 1990 em
diante, as reformas da gesto pblica passaram
a exigir a aplicao de instrumentos de avaliao,
sincronizados com a tica produtivista, que guia
a sociedade mercantil no mbito das reformas
de cunho neoliberal, abrindo espao para uma
avaliao gerencial, na qual mtodos e parmetros
das empresas privadas servem de modelos a
serem adotados pelo servio pblico no mbito das
organizaes pblicas.
No tocante ao tipo de avaliao situada no
tempo, segundo Mny e Thoenig (1989), encontra-
se a avaliao ex-ante ou a priori, e ex-post ou a
posteriori. A avaliao ex-ante prospectiva e
constitui um instrumento de ajuda deciso. Esse
tipo de avaliao ajuda os decisores a efetuar
escolhas sobre investimentos muito elevados
como armamentos militares, estradas, meios de
transportes, entre outros. Quanto avaliao ex-
post, diferentemente da anterior, retrospectiva,
busca apreender os impactos gerados por uma
poltica pblica, a relao entre as realizaes
pblicas e seus impactos no meio social e natural.
Trata da efccia externa da ao pblica.
A avaliao ex-post, de balano ou conclusiva
consiste em:
dentifcar e medir os efeitos prprios
de uma ao, com vistas a estabelecer
um julgamento sobre o xito ou o
fracasso da interveno pblica, se o
problema foi erradicado ou resolvido,
se os objetivos foram ou no atingidos.
(MNY; THOENG, 1989, p. 287,
traduo nossa).
Avaliar uma poltica pblica, portanto, consiste
para os autores referidos em apreciar os efeitos
atribudos a uma interveno governamental, no
domnio da vida social e do meio ambiente fsico.
E o analista poderia ter o suporte de: tcnicas de
explorao, que seriam as das cincias sociais
como estudos de caso, estudos de srie, etc.;
planos de investigao ou experimento ao se tratar a
poltica pblica como hiptese de mudana. Outros
autores como Jean Leca (apud KRESSLER, 1998)
explicam que a avaliao pode se apresentar tanto
como um julgamento de resultados, quanto como
um instrumento de melhoria do policy process.
Ainda para Mny e Thoenig (1989), a avaliao
pode ser diferenciada segundo a atitude do avaliador
e as suas funes junto ao processo avaliativo. Neste
sentido, haveria: a atitude descritiva (realizao de
inventrio e lista dos efeitos em um perodo de tempo
e o avaliador procura apenas fornecer dados, busca
a neutralidade, no estabelece julgamento sobre
xito ou fracasso da interveno); a atitude clnica (se
aprofunda mais que a anterior, pois alm do registro
dos resultados, explica por que um objetivo proposto
foi alcanado e por que os objetivos no buscados
o foram. Estabelece prioridade para os parmetros
correspondentes ao objetivo buscado e olvida os
efeitos ligados a outros parmetros, alm de procurar
descobrir as diferenas entre a meta perseguida e a
realizada); atitude normativa (o avaliador adota os
valores eleitos por ele mesmo para se referenciar
na medio dos resultados observveis; isso pode
ocorrer por diversas razes, at pela falta de clareza
dos objetivos da poltica); a atitude experimentalista
(procura relaes estveis de causalidade em termos
do contedo da poltica e o conjunto de efeitos no
terreno, adotam-se as variveis independentes
como causas e as dependentes como efeitos). a
postura mais ambiciosa.
Os citados autores observaram que so raras
as polticas pblicas que dispem desde o incio de
dispositivos de coleta de dados sobre seus impactos.
Por isso, os avaliadores devem construir indicadores
de efeitos, de forma direta, ou indicadores indiretos
provenientes de outras fontes como estatsticas. E
esse justamente um aspecto problemtico que
308
Dinah dos Santos Tinco, Lincoln Moraes de Souza e Alba Barbosa de Oliveira
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
pode suscitar questes: Quais indicadores refetem
melhor os impactos da poltica? Como garantir que
os impactos observados se devem poltica em foco
e no a outras politicas, ou at mesmo evoluo
natural dos acontecimentos?
A teoria de mudana pode ser compreendida
como uma relao de causa e efeito presente nos
dispositivos que regem a ao pblica (MNY;
THOENG, 1989). Chevalier (2005) v a mudana
social como um conjunto de processos que podem ser
positivos, ou negativos, inovadores ou regressivos,
mas que modifcam os equilbrios sociais. O autor
sugere aproximar o conceito de mudana social ao
de inovao:

A mudana social implica de fato em
todo caso um elemento de inovao em
relao ao estado prvio da sociedade,
e o desenvolvimento de prticas
inovadoras uma alavanca de mudana
social. (CHEVALER, 2005, p. 383,
traduo nossa).

preciso ressaltar, todavia, que os adeptos
da teoria da mudana social atribuem um poder
relevante ao Estado em realizar transformaes na
sociedade, o caso da teoria e do mtodo de anlise
conhecidos como anlise sequencial de polticas
pblicas (BRAUD, 2006), que veem a poltica
composta por fases que se sucedem no tempo
(formulao, implementao e avaliao). Porm,
os partidrios da anlise estratgica apresentam
uma viso menos otimista do Estado e de sua ao,
a qual vista como marginal, capaz apenas de
acompanhar as mudanas sociais. Diversos autores
colocam-se nessa posio, destacando-se Crozier
(1991), Kingdon (2006) entre outros.
A seo seguinte aborda os principais
modelos de avaliao e destaca os paradigmas a
eles associados.
3 PARADIGMAS E MODELOS DE AVALIAO
Os paradigmas so geralmente utilizados
para especifcar caractersticas e tendncias dos
modelos de anlise. nspirados na noo concebida
por Thomas Kuhn para a pesquisa cientfca, os
paradigmas compreendem, em geral, princpios
metafsicos, hipteses, metodologias e instrumentos.
(BOUSSAGUET; JACQUOT; RAVNET 2006).
A seo seguinte destacou dois principais
paradigmas com vistas a elucidar as bases
epistemolgicas que lhes fundamentam. As duas
sees subseqentes explicam os modelos de
avaliao com destaque para o tradicional e o
pluralista, sendo que o primeiro apresenta mais
afnidade com o paradigma positivista e o segundo
com o paradigma construtivista. Esses aspectos
podem ser observados nas anlises que seguem.
3.1 Paradigmas: positivista e construtivista
Embora existam outras concepes que no a
positivista quanto existncia da realidade e de sua
explicao, como o caso do marxismo; na literatura
de polticas pblicas est mais presente a postura
ou viso predominantemente positivista, com suas
leis supostamente imutveis ou pouco variveis, que
se impem a todos e da o foco da ateno voltar-se
para a mesma. Assim, o homem seria condicionado
pelo meio e com uma viso determinista do mundo
social. O conhecimento sendo apenas algo objetivo,
observa-se uma independncia entre o sujeito e o
objeto de estudo. (PERRET; SVLLE, 2007).
No outro polo, estaria o construtivismo mais
extremado, afrmando que a realidade no existe e
refere-se inveno da realidade a partir da viso de
mundo dos indivduos. Os construtivistas moderados,
por sua vez, no aceitam nem rejeitam a hiptese da
realidade objetiva. Porm, essa realidade no seria
independente do esprito, da conscincia daquele
que a observa. Para os construtivistas o mundo social
feito de interpretaes. Essas interpretaes se
constroem pela interao entre atores em contextos
particulares. (PERRET; SVLLE, 2007, p. 17).
As abordagens construtivistas criticam a
avaliao tradicional em razo de dois aspectos
dignos de considerao: o carter multiforme das
situaes estudadas e a pluridimensionalidade dos
problemas objetos de anlise, atualmente muito mais
transversais que setoriais, bem como a diversidade de
vises possveis devido aos atores envolvidos, ou seja,
variedade de maneiras de apreenso do real e dos
valores em que se baseiam. (LASCOUMES, 1998).
possvel distinguir, em termos de
predominncia, dois principais modelos de avaliao
quanto perspectiva dos atores nela engajados e
dos mtodos utilizados: a avaliao tradicional e
a avaliao pluralista, segundo Pierre Lascoumes
(1998) ou, no sentido mais geral, esta ltima est
mais ligada avaliao de quarta gerao, como a
denominam Guba e Lincoln (1989). Esses modelos
correspondem, em linhas gerais, a posturas ou
paradigmas positivistas e construtivistas.
3.2 ModeIos de avaIiao: avaIiao tradicionaI
A avaliao tradicional considerada uma
avaliao tcnica, enfatiza os efeitos da poltica,
mediante pesquisa do sistema causal que busca
explicar o seu funcionamento. Neste tipo de
avaliao ocorrem tambm difculdades, visto que
a expertise de um ou mais avaliadores, selecionados
segundo medidas de performance anteriores que
deve garantir a pertinncia do conhecimento e dos
julgamentos produzidos. A boa metodologia guarda
relao com o "bom expert. (LASCOUMES, 1998,
p. 24). A ele cabe a responsabilidade da escolha dos
mtodos, visto como objetivos e neutros.
309
AVALIAO DE POLTICAS PBLICAS: modelos tradicional e pluralista
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
No mbito da avaliao tradicional, destaca-
se o mtodo experimental que aplicado avaliao
de uma poltica pblica consiste em se estabelecer
duas amostras homogneas, uma submetida
ao pblica e a outra no. Quando a poltica
alcana a maturidade, uma medida dos efeitos
a ela relacionados operada sobre a amostra
experimental, que ser confrontada com o estado da
outra amostra. (SANTO; VERRER, 1993).
Adeptos tambm do processo experimental
Mny e Thoenig (1989, p.309, traduo nossa)
esclarecem esse processo:
dentifcar o objeto a avaliar, medir as
variaes possveis, comparar o que se
passou com o que teria se passado se a
autoridade pblica no tivesse intervido,
explicar o que se passou ocorreu [...].
A ao pblica tratada como uma
hiptese de mudana do tecido social e
fsico.
A avaliao tradicional foi designada
por Turgeon (1998, p. 198, traduo nossa),
de avaliao "prt a porter, visto que pode ser
aplicada a contextos diversos e corresponderia
postura positivista. Nota-se que o autor enfatiza os
resultados:
A avaliao aqui normativa,
experimental e de balano. Ela visa a
identifcar a posteriori se o programa ou
a poltica: a) produz o impacto almejado;
b) encontra seus prprios objetivos;
c) fornece um rendimento (custos/
impactos) interessante e d) no poderia
ser substituida por solues alternativas
menos dispendiosas. (TURGEON,
1998, p. 198, traduo nossa).

Retomando as contribuies de Mny e
Thoenig (1989), dois tipos de dimenso de tempo
podem ser adotados nas avaliaes:
1) O corte longitudinal, ou seja, considerar
diversos momentos aps o comeo da interveno
pblica e mesmo um momento anterior interveno
(t0; t1;t2...tn).
2) O corte transversal ou instntaneo, isto ,
em um nico momento depois que a interveno
ocorreu. Todavia, nesse caso deve-se pesquisar dois
tipos de populao, com caractersticas idnticas,
aquela que foi objeto de interveno (grupo alvo) e
outra que no foi (grupo controle), para observar as
diferenas.
Todavia, a validao interna e externa
dos processos utilizados constitui uma questo
delicada e deve ser cuidadosamente considerada
tanto em relao a fatores capazes de infuenciar
a populao estudada no primeiro caso, quanto no
segundo, quando o processo mostrou-se capaz de
generalizao para outros contextos, no caso se as
mesmas causas apresentaram os mesmos efeitos.
A administrao pblica adota principalmente a
avaliao tradicional, embora algumas experincias
de avaliao participativas, incorporando elementos
da avaliao pluralistas tambm estejam presentes,
sobretudo em mbito municipal de governo.
A avaliao tradicional, de tipo gerencial, foi
incorporada no mbito das reformas do Estado,
introduzidas em todo o mundo, com o discursos
de modernizar e inovar o setor pblico, atravs
de alguns elementos tidos como componentes da
boa gesto do setor pblico, como os seguintes.
(LAGROYE; FRANOS; SAWCK, 2006, p. 491): 1)
a modernizao da administrao pblica se far
mediante a aplicao de princpios do gerencialismo
(management), de mtodos de gesto de recursos
considerados exitosos oriundos da empresa
privada, baseados na valorizao dos resultados
e da performance, inclusive no que diz respeito
gesto de recursos humanos; 2) o funcionrio
deve ser tratado como um assalariado privado, as
diferenas de estatuto devem ser minoradas; 3) os
indivduos so vistos como "recursos que devem ser
utilizados visando a otimizao. Para isso utilizar
os mtodos da empresa privada: gesto previsional
dos empregos, formao, mobilidade, circulos
de qualidade. Preconiza-se a responsabilizao
dos gestores, a defnio de um "projeto fxando
os objetivos a atingir e servindo a mobilizao do
pessoal. sso exige dos servios autonomia de
gesto, da a generalizao da contratualizao
1
.
GAUDN, 2007; CHEVALER, 2004).
Nesse contexto, a avaliao um processo
importante, com vistas a averiguar a consecuo
dos objetivos estabelecidos e a correo de rumos.
Todavia, em razo da incorporao de outros atores,
a gesto pblica pode, num futuro prximo, favorecer
o desenvolvimento de avaliaes dos dois tipos: a
permanncia da avaliao tradicional para funes
desempenhadas no mbito de algumas instituies
pblicas e a avaliao de cunho pluralista para
os servios e polticas mais transversais e que
contemplem atores diversifcados. sso comea a
constituir uma tendncia, em alguns lugares, devido
aos novos princpios que guiam a ao estatal como
os trs seguintes destacados por Chevalier (2004,
p. 46-47):
A Substituio refere-se ao incentivo dado
pelo Estado s iniciativas dos atores sociais no que se
refere gesto das funes coletivas tipo mecenato,
benevolncia, associacionismo, economia social,
bem como o apoio por ele concedido aos acordos
para regular as relaes mutuais estabelecidas.
Destaca-se o papel das fundaes nos pases anglo-
saxes como os EUA.
A Proximidade - os problemas devem ser
tratados no nvel em que eles se colocam para os
cidados, logo os dispositivos de gesto devem
310
Dinah dos Santos Tinco, Lincoln Moraes de Souza e Alba Barbosa de Oliveira
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
obedecer essa lgica de proximidade;
As Parcerias - buscam associar os atores
sociais na implantao de resoluo de problemas
pblicos mediante a delegao nas diversas escalas
(nacional, local) e no mbito de todos os servios
(sociais, culturais e econmicos). Destacam-se
as parcerias pblico-privado, mediante as quais
pessoas pblicas se associam s pessoas privadas
para efetuar o fnaciamento, a concepo ou
execuo de servios de infraestrutura de transporte
ou mesmo a gesto de servios urbanos.
A seo seguinte trata da avaliao de tipo
pluralista, que em muitos aspectos, se contrape
avaliao tradicional.
3.3 ModeIos de avaIiao: avaIiao pIuraIista
Enquanto na avaliao tradicional o avaliador
um especialista externo ao programa, poltica
ou organizao, sendo o mesmo o ator central da
avaliao, na concepo pluralista, a avaliao se
torna uma construo coletiva na qual os diversos
atores envolvidos julgaro a pertinncia da ao
estatal e no observaro simplesmente se os efeitos
da mesma esto de acordo com os objetivos iniciais.
Na avaliao pluralista, o especialista no tem
o monoplio do mtodo de avaliao. A delimitao
do campo e dos objetivos so postos em discusso
entre parceiros da poltica avaliada ao longo
desse processo. Esse tipo de avaliao, conforme
apresentado, est baseada no construtivismo,
que se ope ao positivismo ao defender, dentre
outros aspectos que: 1) no h nenhuma realidade
objetiva, mas verdades relativas. O avaliador no
pode fazer julgamentos sobre a ao pblica,
sem considerar diferentes pontos de vista que se
relacionam com os envolvidos; 2) um programa
pblico, uma vez que opera em um sistema social,
um conjunto complexo de interaes entre aes,
reaes dos atores e do contexto e no pode ser
estudado independentemente de seu ambiente, ou
parcialmente. (BARON; MONNER, 2003).
O modelo pluralista de avaliao questiona
o postulado da supremacia dos experts e valoriza
a representao poltica dos implicados, ou
seja, grupos de interesse, representantes das
administraes, corpos intermedirios, ou melhor,
a avaliao coletiva ou os stakeholders como j
acentuavam anteriormente Guba e Lincoln (1989).
O que est implcito nesse tipo de avaliao
o conceito de aprendizagem coletiva, no qual a
qualidade da avaliao baseada na integrao
de ideias produzidas na sociedade e nos debates
suscitados. (CORCUFF, 1993).
Turgeon (1998), por exemplo, denomina a
avaliao pluralista de avaliao sob medida (le sur
mesure) que se contrape avaliao tradicional,
por ele designada de "prt a porter. Segundo o
autor:
Realizar uma avaliao sob medida
aceitar, quando de seu planejamento
como de sua realizao, de encorajar
um papel de primeiro plano aos
diferentes grupos de atores interessados
na poltica pblica. Assim, o avaliador
est na 'escuta do terreno' [...]. Ele
no chega com uma srie de questes
formuladas a priori, as quais os sujeitos
devero responder. Ele empreende com
as partes interessadas (stakeholders)
um processo de construo coletiva do
conhecimento. (TURGEON, 1998, p.
198).
Quando se trata de observar os efeitos da
poltica, esse mtodo elege os participantes como
aqueles que devem estim-los, e no uma lista
de efeitos fornecida antecipadamente ou uma
identifcao a partir de uma teoria do programa.
Todavia, a difculdade da escolha e formulao
da metodologia permanece um problema de
difcil soluo, visto que a avaliao pluralista
deve combinar a racionalidade cientfca com a
racionalidade poltica dos atores envolvidos.
A adoo do modelo pluralista tem
apresentado alguma expanso nos ltimos anos no
mbito internacional e no Brasil, em alguns setores
e programas especfcos, em razo de diversos
fatores como maior descentralizao e participao
de atores no governamentais em polticas de
mbito local. Observou-se desde a desmistifcao
do Estado devido s prticas de corrupo e
supremacia de interesses pessoais e particulares em
detrimento do interesse pblico, como uma espcie
de diluio da especifcidade do pblico. Atualmente
e em alguns casos, o setor privado tambm tem
se encarregado de assegurar o servio pblico.
Dessa forma, um amplo elenco de atores pblicos e
privados tem, igualmente, se encarregado mediante
articulaes e parcerias diversas, da gesto de
programas sociais no mbito do que vem sendo
designado por governana:
A governana um fenmeno mais
amplo que o governo, Ela inclui os
mecanismos governamentais, no
sentido estrito do termo, mas ela se
estende a dispositivos informais, no
governamentais, pelos quais no seio
desse quadro, indivduos e organizaes
perseguem seus prprios interesses.
A governana ento um sistema de
regras baseando-se tanto sobre o jogo
de relaes interpessoais que sobre leis
e sanes explicitas. (ROSENAEAU,
J.N., 1992, apud DEFARGES, 2006, p.
32, traduo nossa).
Na Frana, a avaliao pluralista tem sido
amplamente adotada e suscitado muitos debates
junto Societ Franaise d'Evaluation
2
. Para se ter
311
AVALIAO DE POLTICAS PBLICAS: modelos tradicional e pluralista
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
uma ideia, a experincia sobre a institucionalizao
da avaliao na regio de Rhne-Alpes
implementada em 2005 sobre os auspicios de Henri
Jacot, conselheiro regional, mostra uma abordagem
sistematizada sob a perspectiva conceitual e
metodolgica, que contou com participao da
chamada classe poltica, da administrao regional,
dos experts, dos atores socioprofssionais e dos
cidados. Barbaroux (2007) descreveu essa
abordagem, que pode ser apreendida a partir de
trs fases principais, sendo a avaliao a terceira,
embora as precedentes se faam necessrias para
que os participantes disponham de um nivelamento
em termos de conhecimento da poltica:
Anlise das polticas - compreende uma
teoria da ao e a cartografa dos atores de todas
as polticas novas. A teoria da ao explicita as
realizaes e os efeitos esperados (sintetizados num
diagrama de impactos) e a cartografa dos atores
mostra o conjunto dos atores envolvidos. Ambos
so apresentados a uma Comisso Temtica.
Monitoramento da execuo das polticas -
Descreve as realizaes efetuadas em continuidade,
fazendo um balano delas em um relatrio para
permitir ajustes, inclusive em sua implementao.
Para as polticas prioritrias so igualmente
monitorados os primeiros efeitos.
A avaliao das polticas - distingue avaliaes
cujos efeitos se do no curto prazo daquelas com
efeitos no longo prazo. Enquanto as primeiras
permitem adaptaes, as segundas justifcam
reorientaes fundamentais relativas s polticas
mais complexas.
A avaliao pluralista realizada na regio de
Rhne-Alpes da Frana busca nivelar o conhecimento
dos participantes sobre a poltica objeto de
avaliao, o que efetuado a partir das fases acima
especifcadas. Essa base de conhecimento permite
o estabelecimento de questionamentos, incita o
debate, inclusive sobre os pontos discordantes e
permite que se estabelea o tratamento com base
em processos participativos.
Um dos efeitos esperados desenvolver
nos participantes a capacidade de assimilao dos
resultados da avaliao pluralista, alm de aumentar
a possibilidade de adoo das medidas propostas.
Logicamente, existem tambm desvantagens
e essas esto relacionadas principalmente ao
oramento e ao cronograma do projeto de avaliao.
O oramento normalmente mais elevado do que
nas avaliaes tradicionais devido ao nmero de
reunies necessrias para se encontrar um ponto
em comum entre os diferentes pontos de vista
dos participantes. O patrocinador do processo
tambm pode no estar interessado ou disposto
a compartilhar o controle do processo. (BARON;
MONNER, 2003).
As vantagens desta abordagem metodolgica
so inmeras, como a participao ampliada
dos envolvidos, a possibilidade de apreender a
realidade em sua complexidade, uma vez que
o compartilhamento de diferentes perspectivas
permite o surgimento de um quadro mais completo
da realidade a avaliar. Apesar da vantagem citada,
um processo de avaliao por meio de negociao
demorado, exige muito tempo, alm de requerer
uma representatividade equitativa dos diferentes
grupos de atores sociais. (GARON; ROY, 2001).
4 CONCLUSO
De uma maneira geral, a avaliao de
polticas pblicas tem apresentado grande
expanso, principalmente a partir dos anos 1990 no
contexto da reforma do Estado e da administrao
pblica. Foi observado no mbito deste artigo que o
conceito de avaliao pode se extender a um amplo
elenco de atividades que vai da determinao das
necessidades do programa, passando pela fase do
funcionamento (implementao) at a apreenso
dos resultados fnais, ou seja, dos efeitos ou
impactos da poltica pblica.
Do ponto de vista mais amplo dos modelos,
tm predominado aqueles inspirados no positivismo
e ligados chamada avaliao tradicional. A
chamada avaliao gerencialista (tratamento do
Estado como se esse fosse uma empresa privada,
foco na organizao e particularmente no pessoal da
instituio, objetivo de reduzir custos, apresenta um
certo vis de auditoria (DERLEN, 2001), para se ter
uma ideia, como regra, um exemplo signifcativo
da aplicao do modelo positivista.
De um lado, essa avaliao gerencialista,
inclusive no Brasil, como aponta Faria (2005) tem
se expandido, principalmente ligada s chamadas
reformas do Estado e como decorrncia da presso
das agncias internacionais de fnanciamento,
incluindo, igualmente, aplicao tambm nos
Estados Unidos e na Europa como nos lembra,
dentre outros, Derlien (2001). Por outro lado, e isto
relevante, a avaliao pluralista vem apresentando
uma aceitao e se destacando nas atuais iniciativas
de polticas transversais e no apenas setoriais e,
em razo do envolvimento e participao crescentes
dos atores sociais, em todas as etapas das polticas
pblicas, sobretudo no mbito municipal de governo.
Esses modelos apresentam, por sua vez,
modifcaes ao longo do tempo, at porque existem
tambm variaes internas nos prprios modelos.
No obstante, a avaliao de polticas pblicas
se defronta com muitos problemas e difculdades,
pois nem sempre os elementos indispensveis
sua concretizao como a defnio dos objetivos
que se quer alcanar com a poltica est disponvel
para guiar a apreenso e julgamento dos efeitos e
do impacto da poltica.
Ademais, faz-se preciso no subestimar que a
avaliao serve muitas vezes a propsitos diversos
312
Dinah dos Santos Tinco, Lincoln Moraes de Souza e Alba Barbosa de Oliveira
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
como a legitimao, a comunicao e mesmo aos
efeitos de anncio. muito comum tambm a
avaliao constituir-se em um fm em si mesma,
e no em um meio estratgico na busca de uma
compreenso mais acurada dos efeitos e impactos
da ao pblica.
preciso no descurar dos propsitos
perseguidos pela poltica ou ao pblica, visto
que a complexidade da avaliao exige do analista,
especialista e do cidado, preparao e capacidade
crtica para apreender a dinmica que perpassa a
teoria da mudana social ou os objetivos coletivos
defnidos pelos participantes.
Os mtodos e tcnicas utilizados nas
avaliaes pluralistas devem, igualmente a outras
propostas, serem estudados e podem constituir
outras vertentes de pesquisas, possibilitando a troca
de experincias e de aprendizagem entre diferentes
participantes de realidades tambm distintas, que
mobilizam, sem dvida, aportes inestimveis e
diferenciados segundo suas posies e vivncias.
Em outras palavras, mesmo considerando-se as
crticas que podem ocorrer (qualitativismo etc.),
essas metodologias baseadas na negociao entre
as partes devem ser levadas a srio, pois podem
acentuar a participao e a troca de experincias e
procuram adotar uma maior fexibilidade, aspecto
esse fundamental gesto contempornea.
Por fm, ressalta-se que as metodologias de
avaliao no so neutras, visto que expressam em
seus procedimentos e fnalidades vises de mundo
distintas e por vezes antagnicas.
REFERNCAS
BARBAROUX, Jrme. La dimension pluraliste
de la dmarche d'valuation des politiques : de la
thorie la pratique dans la Rgion Rhne-Alpes. n:
JACOT, Henri; FOUQUET, Annie (Dir.). Le citoyen,
I'Iu, I'expert, pour une dmarche pIuraIiste
d'vaIuation des poIitiques pubIiques. Paris :
L'Harmattan, Socit Franaise d'Evaluation, 2007.
BARON, Galle; MONNER, Eric. Une approche
pluraliste et participative: coproduire l'valuation
avec la socit civile. Revue Informations SociaIes,
n. 110, p.1-7, sept. 2003.
BOUSSAGUET, Laurie ; JACQUOT, Sophie ;
RAVNET, Pauline. Dictionnaire des Politiques
Publiques. Paris : Presses de Science Po, 2006.
BRAUD, Philippe. Sociologie Politique. Paris :
L.G.D.J., 2006.
CHEVALER, Jacques. LEtat Post-Moderne.
Paris : L.G.D.J., 2004.
______. Politiques Publiques et changement social.
Revue Franaise d'Administration PubIique.
Liege, n. 115, p. 383-390, 2005.
CORCUFF, Philippe. Un OVN dans le paysage
franais? Elments de rfexion sur l'valuation des
politiques publiques en France. Politix, v. 6, n. 24, p.
190-209, out./dez. 1993.
CROZER, Michel. Etat Modeste Etat Moderne
stratgie pour un autre changement. Paris: Seuil;
Points, 1991.
DEFARGES, Philippe Moreau. La gouvernance.
Paris: Presses Universitaires de France, 2006.
DERLEN, Hans-Urich. Una comparacin
internacional en la evaluacin de las polticas
pblicas. Revista do Servio Pblico, Braslia, ano
52, n. 1, p.105-123, jan./mar., 2001.
FARA, Carlos Aurlio Pimenta de. A poltica de
avaliao de polticas pblicas. RBCS, So Paulo, v.
20, n. 59, p. 97-109, out. 2005.
GARON, Suzanne; ROY, Bibiane. L'valuation
des organismes communautaires. L'exemple d'un
partenariat avec l'tat: entre l'espoir et la dsillusion.
Nouvelles Pratiques Sociales. Montreal, v. 14, n.
1, p. 97-110, 2001. Disponvel em: <http://id.erudit.
org/iderudit/008327ar>. Acesso em: 30 nov. 2010.
GAUDN, Jean Pierre. Gouverner par Contrat.
2me dition revue et augmente. Paris: Presses de
Sciences Po, 2007.
GUBA, Egon G.; LNCOLN, Yvonna S. Fourth
generation vaIuation. California: Sage
Publications, 1989.
KNGDON, John. Como Chega a Hora de uma dia?
n: SARAVA, Enrique; FERRAREZ, Elisabete.
PoIticas PbIicas: coletnea. Brasilia: ENAP,
2006. v. 1 e 2.
KRESSLER, Marie Christine. Avant-Propos. n :
KRESSLER, Marie Christine et al (Orgs.). Evaluation
des politiques publiques. Paris: L'Harmattan,
1998. p.1-5.
LAGROYE, Jacques, FRANOS, Bastien, SAWCK,
Frderic. Sociologie Politique. 5 dition revue et
mise jour Paris: Presses de Sciences Po et Dalloz,
2006.
LASCOUMES, Pratiques et modles de l'valuation.
n: KRESSLER, Marie Christine et al (Orgs.).
Evaluation des politiques publiques. Paris:
L'Harmattan, 1998. p.23-33.
313
AVALIAO DE POLTICAS PBLICAS: modelos tradicional e pluralista
R. Pol. Pbl., So Lus, v.15, n.2, p. 305-313, jul./dez. 2011
MNY, Yves; THOENG, Jean-Claude. Politiques
publiques. Paris: Presses Universitaires de France,
1989.
PERRET, Bernard. L'vaIuation des poIitiques
publiques. Paris: La Decouverte, 2001.
______, Vronique ; SEVLLE, Martine. Fondements
pistmologiques de la Recherche. n: THETART,
Raymond-Alain. Mthodes de Recherche en
Management, 3. ed. Paris: Dunod, 2007. p 13-33.
SANTO, Viriato Manuel; VERRER, Pierre Eric. Le
Management PubIic. Paris : PUG, 1993.
SCRVEN, Michael. The methodology of Evaluation.
n: TYLER, Ralph W.; GAGN, Robert M.; SCRVEN,
Michael (Ed.) Perspectives of curricuIum
Evaluation. Chicago: Rande McNally, 1967.
(Monograph Series on Curriculum Evaluation; n. 1)
SOCT FRANASE DE L'VALUATON. Sa
vocation. Disponvel em:<http://www.sfe-asso.fr/
sfe-evaluation.php?menu_id=22>. Acesso em: 28
mar. 2011.
SUBRATS, Joan. Anlisis de polticas pblicas y
ecacia de Ia Administracin. Madrid: Ministerio
para las Administraciones Pblicas, 1994.
TURGEON, Jean. Le Programme d'Action
Communautaire pour les enfants (PACE). Nouvelle
tendance dans l'valuation des politiques publiques
au Canad? n: KRESSLER, Marie Christine et
al (Orgs.) Evaluation des politiques publiques.
Paris: L'Harmattan, 1998, p.195-220.
WESS, Carol H. Investigacin evaIuativa: mtodos
para determinar la efciencia de los programas de
accin. Trillas: Mxico, 1978.
NOTAS
1. Segundo Gaudin (2007, p.28, traduo nossa):
A contratualizao refere-se, em geral, a contratos de
ao pblica, que constituem acordos formalizados
dirigidos aos objetivos de mdio prazo e que
implicam para suas realizaes de contribuies
conjuntas. Apresentam trs caracteristicas: 1)uma
fase de discusso sobre os objetivos da ao; 2)
engajamentos recprocos sobre um calendrio de
aes e de realizaes a mdio prazo; 3)contribuies
conjuntas das partes envolvidas na realizao de
objetivos (em termos fnanceiros ou de competncias
humanas e tcnicas). O todo inscrito em um texto de
engajamento consignado por diferentes participantes.
2. A Socit Franaise de l'valuation fundada em junho
de 1999 em Marseille-Frana tem por fnalidade:
Contribuir com o desenvolvimento da
avaliao e promover sua utilizao
em organizaes pblicas e privadas
e coletividades encarregadas da
elaborao e implementao de polticas
pblicas. Visa tambm contribuir com
o progresso de tcnicas e mtodos e
incentivar o respeito a regras ticas e
processuais para garantir a qualidade
das avaliaes e o uso apropriado de
seus resultados.
Dinah dos Santos Tinco
Bacharel em Economia
Doutora em Urbanismo pela Universite de Paris X
Professora do Programa de Ps-Graduao em
Administrao Universidade Federal do Rio Grande do
Norte - UFRN
E-mail: dinahtinoco@uol.com.br
LincoIn Moraes de Souza
Bacharel em Cincias Sociais
Doutor em Poltica Social pela Universidade Estadual de
Campinas - UEC
Professor do Programa de Ps-Graduao em Cincias
Sociais da Universidade Federal do Rio Grande do Norte
UFRN
E-mail: lincolnmoraes@ufrnet.br
Alba Barbosa de Oliveira
Bacharel em Administrao
Doutoranda em Administrao do Programa de Ps-
Graduao em Administrao da Universidade Federal
do Rio Grande do Norte - UFRN
E-mail: albabarbosa@ig.com.br
Universidade Federal do Rio Grande do Norte - UFRN
Campus Universitrio, s/n, Lagoa Nova. Natal - RN
CEP: 59.072-970