TEMA EM DESTAQUE

AVALIAO DE
PROGRAMAS SOCIAIS:
CONCEITOS E
REFERENCIAIS DE QUEM
A REALIZA
PAULO DE MARTINO JANNUZZI

RESUMO
O artigo tem o objetivo de apresentar de forma sistematizada
conceitos sobre monitoramento e avaliao de programas sociais,
valendo-se da bibliografia clssica na rea e da experincia
concreta de produo de informao e conhecimento para
subsidiar a gesto cotidiana de polticas e programas sociais.
Discorre-se sobre tipologias de avaliao segundo o ciclo de
implementao dos programas e escopo investigativo, sobre a
necessidade de abordagens multimtodos e multidisciplinares na
realizao de pesquisas de campo e sobre a complementaridade
de sistemas de monitoramento e pesquisas de avaliao. Finaliza-
se apresentando uma proposta de marco estruturador de planos
de desenvolvimento de instrumentos de monitoramento e de
estudos avaliativos de programas sociais que permitam compor,
ao longo do tempo, uma avaliao sistmica da poltica social
que os congrega.

PALAVRAS-CHAVE AVALIAO MONITORAMENTO

PROGRAMAS SOCIAIS Metodologia dA Avaliao.

22 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

RESUMEN
El artculo tiene el objetivo de presentar de forma sistematizada
conceptos sobre el monitoreo y la evaluacin de programas
sociales, valindose de la bibliografa clsica en el rea y de
la experiencia concreta de produccin de informacin y
conocimiento para subsidiar la gestin cotidiana de polticas y
programas sociales. Se discurre sobre tipologas de evaluacin
segn ciclo de implementacin de los programas y alcance
investigativo, sobre la necesidad de abordajes con mltiples
mtodos y multidisciplinarios en la realizacin de investigaciones
de campo y sobre la complementariedad de sistemas de monitoreo
y estudios de evaluacin. Se concluye con una propuesta de
marco estructurador de planes de desarrollo de instrumentos
de monitoreo y de estudios evaluativos de programas sociales
que permitan componer, a lo largo del tiempo, una evaluacin
sistmica de la poltica social que los congrega.

PALABRAS CLAVE EVALUACIN MONITOREO PROGRAMAS

SOCIALES METODOLOGA DE LA EVALUACIN.

ABSTRACT
This article aims to present, in a systematic way, concepts about
the monitoring and evaluation of social programs, making
use of the classic literature in the area and of the concrete
experience of producing information and knowledge to support
the day-to-day management of social policies and programs.
It discusses evaluation typologies, following a cycle of program
implementation and investigative scope; about the need for
multi-methodological and multi-disciplinary approaches in
conducting field research; and, about the complementarity
of monitoring systems and research on evaluation. Finally,
it presents a proposal for a reference system for planning the
development of monitoring instruments and evaluative studies
of social programs that permit the composition, over time, of
a systemic evaluation of the social policies which connect them.

KEY WORDS EVALUATION MONITORING SOCIAL PROGRAMS

EVALUATIVE METHODOLOGY.

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 23

 O campo de conhecimentos tericos e prticos de Monitoramento
e Avaliao de Polticas e Programas (M&A) tem despertado o in-
teresse de nmero crescente de tcnicos do setor pblico, pesqui-
sadores acadmicos e profissionais de consultoria no Brasil nos
ltimos vinte anos. Como ocorreu em outros pases mais desen-
volvidos, esse movimento est associado fundamentalmente ao
processo de estruturao do sistema de proteo social, deflagrado
efetivamente no Brasil pela promulgao da Constituio de 1988.
A ampliao do escopo e escala das polticas sociais, con-
jugando programas de natureza universal na educao,
sade, trabalho e assistncia social com aes de cunho redis-
tributivo e de promoo de acesso aos direitos sociais como o
Programa Bolsa Famlia, o Benefcio de Prestao Continuada,
as Polticas de Promoo de Igualdade Racial e Gnero, entre
outras tm ensejado a produo de informaes e desenvolvi-
mento de estudos de avaliao para melhor conhecimento dos
pblicos-alvo de cada programa, do processo de implementa-
o desses e dos resultados e impactos das intervenes.
Complementarmente, tambm tem contribudo para
o fortalecimento do campo a profissionalizao pela qual

24 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

passa a gesto pblica brasileira, em suas trs esferas. A con-
tinentalidade do Pas, a pactuao de objetivos setoriais e
a implementao de arranjos federativos na operao dos
programas requerem estruturao de burocracias especiali-
zadas na operao das polticas. Para esses corpos tcnicos,
as atividades de compilao, levantamento e organizao de
dados, mais a produo de indicadores de monitoramento e
pesquisas de avaliao, constituem componentes essenciais
boa gesto.
Muito se tem publicado em termos conceituais e apli-
cados nesse campo de conhecimento de M&A no Brasil e no
exterior, o que certamente torna desafiador produzir algo
com contedo indito ou inovador. Ainda assim, nessa pro-
duo parece haver um dficit de contribuies e aportes
por parte daqueles que esto diretamente envolvidos com os
instrumentos de M&A na ponta, em contato com formulado-
res da poltica, com decisores em nvel ttico e operadores
dos programas e servios nos municpios. Desse tipo de con-
tribuio pode emergir alguns apontamentos pragmticos
que ainda no figuram nos manuais clssicos da rea, mas
que podem orientar de maneira mais objetiva os tcnicos e
pesquisadores chamados a atender s diferentes demandas
de produo de informao e conhecimento para a poltica
em ao. Tambm se procura fazer um primeiro exerccio
em definir um marco ordenador que d maior organicidade
a projetos e planos de avaliao de polticas sociais, assim
como de seus programas.
nessa perspectiva que este texto se justifica, ao siste-
matizar alguns conceitos, marcos referenciais e prticas no
campo, a partir do ngulo de viso de quem est envolvido
com processos concretos de subsidiar diretamente gesto
cotidiana de polticas e programas sociais. Essa perspectiva
pode contribuir para que as pesquisas de natureza acadmi-
ca possam responder parte das demandas de informao e
conhecimento multidisciplinar mais especfico necessrio
gesto de polticas e programas.

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 25

 AVALIAO DE PROGRAMAS NA ANLISE DE
POLTICAS PBLICAS
A avaliao de programas tem recebido as mais diferentes
definies na literatura especializada, segundo os diver-
sos modelos conceituais, paradigmas tericos e linhas de
pesquisa da Cincia Poltica, Cincias Sociais, Economia e
Administrao Pblica, tomando a avaliao em perspecti-
va mais geral, como componente integrante da anlise de
polticas pblicas, como instrumento de sistemas de mo-
nitoramento e avaliao de programas governamentais ou,
em uma concepo mais restrita, avaliao como um tipo
particular de investigao emprica acerca de programas e
projetos sociais, como as avaliaes de impacto experimen-
tal ou quasi-experimental (MACDAVID; HAWTHORNE, 2006;
MACKAY, 2007; WORTHERN et al., 2004; ROSSI et al., 2004).
Em uma definio mais pragmtica e aplicada, propos-
ta em Jannuzzi (2013a), avaliao refere-se ao conjunto de
procedimentos tcnicos para produzir informao e conheci-
mento, em perspectiva interdisciplinar, para desenho ex-ante,
implementao e validao ex-post de programas e projetos
sociais, por meio das diferentes abordagens metodolgicas
da pesquisa social, com a finalidade de garantir o cumpri-
mento dos objetivos de programas e projetos (eficcia), seus
impactos mais abrangentes em outras dimenses sociais, ou
seja, para alm dos pblicos-alvo atendidos (efetividade) e a
custos condizentes com a escala e complexidade da interven-
o (eficincia).
Em tal definio, avaliao no entendida to somente
como uma investigao com mtodos validados cientifica-
mente para analisar diferentes aspectos sobre um programa
o que se constituiria em uma investigao de cunho aca-
dmico , mas um levantamento consistente, sistemtico
e replicvel de dados, informaes e conhecimentos para
aprimoramento da interveno programtica, versando so-
bre: as caractersticas essenciais do contexto de atuao; os
pblicos-alvo; o desenho; os arranjos de implementao;
os custos de operao; os resultados de curto prazo; os im-
pactos sociais e de mais longo prazo de um programa. En-
fim, na definio aqui advogada, avaliao tem o objetivo de

26 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

produzir evidncias, compilar dados e sistematizar estudos
que contribuam para o aperfeioamento de programas e pro-
jetos sociais, alm da consecuo de seus objetivos.
A definio de avaliao de programas tambm remete
necessidade de abordagem interdisciplinar na produo de
informao e conhecimento sobre os problemas investiga-
dos. Pobreza, desigualdade, desempenho escolar e mortali-
dade infantil so questes sociais multideterminadas, isto ,
determinadas e influenciadas por uma srie de dimenses
sociais mais amplas e estruturais, assim como de aspectos
mais circunscritos e relacionados falta de efetividade de
programas pblicos desenhados para o equacionamento das
mesmas.
Programas so empreendimentos complexos, que en-
volvem a contratao de pessoal tcnico; disponibilidade de
instrumentos; adequao de equipamentos pblicos; aloca-
o de recursos monetrios; promoo de capacitao, de
forma coordenada no tempo e no territrio. Mapear, pois,
as dimenses sociais mais relevantes formulao de um
programa ou os problemas operacionais desse requer uma
equipe de avaliadores com diferentes formaes acadmicas
e profissionais. Certamente se requer especialistas acadmi-
cos nas temticas investigadas, mas no se pode deixar de
ter nas equipes de avaliao profissionais que j tiveram ex-
perincia na gesto de programas correlatos.
Por fim, vale mencionar que os manuais clssicos de ava-
liao de programas costumam estabelecer diversos parme-
tros ou critrios centrais para esse tipo de avaliao, entre os
quais a eficincia no uso dos recursos, eficcia no atingimen-
to dos objetivos e efetividade na mudana social por ele pro-
porcionada so os mais frequentes (DRAIBE, 1999), de modo
que um bom programa social seria eficiente, eficaz e efetivo.
Tais critrios so usualmente empregados para estruturar es-
foros de avaliao mais exaustivos de polticas e programas,
ainda que as duas ltimas dimenses avaliativas sejam mais
recorrentes, dado que revelam a preocupao com pesquisas
de avaliao de satisfao, de resultados e impactos.1 1 Avaliaes custo-efetividade, ou
de eficincia, requerem nvel de
contabilizao de custos e clareza
de indicadores de efetividade que
poucas polticas e programas j
conquistaram.

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 27


2 Esta seo vale-se de reflexes
sistematizadas em Jannuzzi (2014).
AVALIAO DE PROGRAMAS: TIPOS, PRODUTOS E
TCNICAS2
Avaliaes que, de fato, tm uso efetivo na interveno so
desenhadas conforme as demandas de informao e conhe-
cimento ao longo do ciclo de maturidade do programa ou
projeto social (ROSSI et al., 2004). Podem ser de natureza
diagnstica avaliao diagnstica , apoiada em fontes de
dados j existentes, produzidas pelo Instituto Brasileiro de
Geografia e Estatstica (IBGE), pelo Instituto Nacional de Es-
tudos e Pesquisas Educacionais (Inep), nos registros e cadas-
tros pblicos dos ministrios, a fim de permitir um rpido
dimensionamento e caracterizao da questo social a ser
objeto de interveno.
Para a formulao de programa ou projeto para mitiga-
o ou equacionamento da problemtica social identificada,
em geral, so necessrios novos esforos de levantamentos
de campo para aprofundamento do diagnstico das condi-
es de vida; contexto econmico; restries ambientais; ca-
pacidade de gesto e oferta de servios e de compilao de
estudos j realizados na temtica, abordando determinantes
da problemtica em questo e eventuais programas e pro-
jetos j idealizados, atividades que constituem o que se de-
nomina avaliao de desenho. Definidos os pblicos que sero
atendidos e os arranjos operacionais do programa ou projeto
social, preciso coloc-lo em ao, realizando as atividades
planejadas, acompanhando a execuo dessas mediante in-
dicadores de gesto e de monitoramento, alm de identificar
problemas na oferta, regularidade e qualidade dos servios
por meio de pesquisas de avaliao da implementao.
Reconhecidos e, tanto quanto possvel, sanados os de-
safios da implementao, as demandas de informao e co-
nhecimento voltam-se avaliao de resultados e impactos do
programa ou projeto social. Trata-se do momento para uma
investigao mais exaustiva sobre os diversos componentes
de uma interveno, abordando no apenas o cumprimento
de seus objetivos, mas tambm seu desenho, arranjos opera-
cionais, impactos sociais mais abrangentes no tempo e no
territrio , e sobre a capacidade de inovao e redesenho
frente ao contexto dinmico em que operam os programas

28 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

e projetos. Cabe nesse momento avaliar se a interveno
programtica formulada conseguiu provocar mudanas na
realidade social que a originou, considerando naturalmente
a complexidade de seu desenho e dos arranjos operacionais,
alm da criticidade da questo social enfrentada.
Identificar o momento adequado para avaliaes dessa
natureza um misto de tcnica, poltica e arte, pois avalia-
es precoces podem colocar a perder a legitimidade de um
programa e projeto meritrio que ainda no teve tempo de
se estruturar; ao passo que avaliaes tardias podem com-
prometer recursos e esforos que poderiam ser utilizados de
forma mais eficiente e eficaz na mitigao da problemtica
social em questo. Em sntese, avaliaes so, como toda ati-
vidade na gesto pblica, empreendimentos tcnico-polti-
cos, de modo que a realizao dessas, sobretudo se significa-
tivamente abrangentes, no depende apenas do tcnico ou
gestor do programa.
Enfim, se o programa e projeto produzem resultados
e impactos, necessrio analisar os custos envolvidos na
operacionalizao de suas atividades, equipamentos e pes-
soal avaliao custo-efetividade. O custo-efetividade das in-
tervenes, isto , o valor gasto para produzir unidades de
resultados e impactos em um perodo de tempo e territrio
especficos, certamente uma informao fundamental para
avaliar a sustentabilidade dos programas e projetos no futuro
e em outros contextos. Ademais, se bem-realizadas ou seja,
com contabilidade precisa de custos e vetor abrangente de in-
dicadores de resultados , tais avaliaes fornecem parme-
tros cruciais comparao de diferentes intervenes sociais
e informa gestores nas decises tcnicas e polticas acerca de
oportunidades de melhoria de eficincia, continuidade, des-
continuidade, ou mesmo a expanso de programas e projetos.
Em uma perspectiva metodolgica, os esforos de ava-
liao podem se estruturar em quatro tipos de produtos
mais gerais, com maior ou menor aderncia e especificidade
ao problema social ou interveno programtica desenhada,
a saber:
Estudos avaliativos anlises com base em dados se-
cundrios ou compilao de artigos e trabalhos j

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 29

 realizados na temtica, com maior ou menor abran-
gncia;
Pesquisas de avaliao levantamentos primrios, quali
ou quantitativos, desenhados com objetivos de pro-
duo de evidncias mais especficas e necessrias
ao aprimoramento da interveno;
Meta-avaliaes recenses sobre estudos avaliativos,
pesquisas e experincias nacionais, subnacionais e
internacionais de programas e projetos implemen-
tados;
Relatrios-sntese de avaliao e portais web com infor-
mao mais sumria, na forma de indicadores ge-
rais, para uma comunicao mais objetiva acerca de
aspectos do diagnstico, implementao e resulta-
dos dos programas e projetos.

As pesquisas de campo podem ser mais estruturadas, como

as enquetes quantitativas com marco amostral probabilstico necess-
rias produo de indicadores de dimensionamento de pbli-
cos-alvo ou inferncia representativa quanto aos resultados dos
programas , ou com amostras intencionais mais rpidas e me-
nos custosas, mas com limitado poder de generalizao dos
seus resultados. Podem ser menos estruturadas, mais explo-
ratrias, de cunho qualitativo, como grupos de discusso ou en-
trevistas em profundidade, dirigidas a usurios e beneficirios
de programas e projetos, assim como aos gestores e tcnicos
encarregados da operacionalizao dos servios. So especial-
mente importantes para identificar questes latentes acerca
da implementao dos programas no antecipados, quando
de seu desenho.
Um tipo particular de instrumento estruturado a
pesquisa com delineamento quasi-experimental, tambm
denominada de avaliao de impacto figura como importan-
te instrumento de avaliao de programas. Contudo, pelo
tempo, recursos e conflitos ticos que esse tipo de levan-
tamento envolve, tem aplicao mais dirigida anlise do
mrito e contribuio especfica das intervenes, para fins
de prestao de contas a agentes financiadores do progra-
ma ou projeto.

30 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

 No existe um mtodo ou estratgia padro-ouro para
a produo de uma avaliao. O melhor mtodo o que pro-
duz as evidncias que respondem de forma consistente s de-
mandas requeridas, ao tempo de seu uso na deciso da gesto
pblica. Informao precisa, mas produzida a custos e tempo
no condizentes com a tempestividade da gesto; ou, ainda,
informao rapidamente produzida, mas no consistente e
robusta em termos metodolgicos, certamente no se presta
a orientar decises cruciais acerca dos rumos de um progra-
ma ou projeto social. Perspectiva multidisciplinar de investi-
gao, triangulao de mtodos e de sujeitos entrevistados,
esforos combinados de avaliao interna com gestores e
tcnicos que conhecem os problemas e as atividades do pro-
grama e projeto e de avaliao externa com pesquisadores
especializados e apoio de equipe de campo que garante
a credibilidade e robustez necessrias ao aprimoramento da
gesto e desenho das intervenes programticas.
Finalmente, mas no menos importante, a efetividade
das avaliaes no pode ser medida pelo nmero de suges-
tes e recomendaes aportadas nas pesquisas e estudos
avaliativos dos programas e projetos. Avaliaes produzem
informao e conhecimento que, desde que devidamente es-
truturados e disseminados, podem e devem ser usados para
interferir cotidianamente na ao do gestor estratgico e do
tcnico na ponta, cujo registro formal difcil de realizar.
Ademais, e fundamentalmente, programas e projetos sociais
so empreendimentos complexos, seja em termos de contex-
to poltico-institucional, escala, arranjos de implementao
e pessoal tcnico envolvido (WORTHERN et al., 2004).
A introduo de inovaes, redesenho de processos, des-
continuidade de atividades e contratao de novos agentes e
servios tpicas recomendaes derivadas de avaliaes de
implementao cumprem um calendrio que deve compa-
tibilizar a agenda de prioridades de correo de problemas
com as janelas de oportunidades de mudanas, sem o risco
de interrupo das atividades para os pblicos atendidos.

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 31

 MONITORAMENTO COMO COMPONENTE DA AVALIAO
DE PROGRAMAS
Monitoramento tambm possui diferentes conceituaes
na bibliografia da rea, remetido ora como processo mar-
cadamente gerencial acompanhamento de atividades com
vistas ao cumprimento de metas estabelecidas , ou mais in-
tegrado s atividades de avaliao continuada de processos e
atividades relacionadas produo dos servios e programas
pblicos (GARCIA, 2001; RUA, 2004; JANNUZZI, 2013a).
Na conceituao aqui advogada, monitoramento consti-
tui um processo sistemtico e contnuo de acompanhamen-
to de uma poltica, programa ou projeto, baseado em um
conjunto restrito mas significativo e peridico de infor-
maes, que permite uma rpida avaliao situacional e uma
identificao de fragilidades na execuo, com o objetivo de
subsidiar a interveno oportuna e a correo tempestiva
para o atingimento de seus resultados e impactos.
Nesse sentido, monitoramento e avaliao so proces-
sos analticos organicamente articulados, que se comple-
mentam no tempo com o propsito de subsidiar o gestor
pblico de informaes mais sintticas e tempestivas sobre
a operao do programa resumidas em painis ou sistemas
de indicadores de monitoramento e dados mais analticos
sobre o funcionamento desse, levantados nas pesquisas de
avaliao. Tal como termmetros, os indicadores de mo-
nitoramento podem apontar sinais de normalidade ou
febre em pontos crticos do desenho operacional de pro-
gramas, orientando tcnicos e gestores a tomarem decises
cabveis de correo, ou mesmo a contratarem pesquisas de
avaliao ou exames clnicos, na metfora adotada para
a investigao das causas e a persistncia da febre, isto ,
do problema identificado (JANNUZZI, 2011a).
Sistemas efetivos de monitoramento partem de mode-
los lgicos de interveno que retratam, de fato, o desenho
do programa, a partir do qual torna-se possvel selecionar
indicadores-chave com os dados gerados na operao e ati-
vidades do prprio programa, em seus sistemas de gesto.
Indicadores so componentes centrais na definio de uma
estratgia de monitoramento. Prestam-se a operacionalizar

32 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

de forma objetiva conceitos abstratos como os indicado-
res sociais em diagnsticos socioeconmicos , ou a conferir
alguma comensurabilidade a processos e etapas de traba-
lho indicadores de processos ou produtos em polticas
ou programas.3 Um bom conjunto de indicadores de moni- 3 Para uma definio mais ampla de
indicadores sociais, vide Jannuzzi
toramento deve conseguir responder s questes avaliativas (2013b).

bsicas, tais como: se os recursos financeiros e humanos es-

to devidamente alocados; se os processos intermedirios de
contratao de servios e adeso de agentes envolvidos na
operao dos programas esto ocorrendo no tempo e ampli-
tude necessrios; se os produtos, servios e benefcios esto
chegando ao pblico-alvo desejado e sociedade em geral.
Boas escolhas de indicadores-chave, com detalhamento
geogrfico ou sociodemogrfico adequado, podem consti-
tuir-se em informaes de grande utilidade para uso efetivo
e cotidiano dos tcnicos e gestores. Os indicadores de moni-
toramento, organizados segundo painis com a devida estru-
tura, configuram um recurso metodolgico para filmar as
atividades, aes e programas promovidos pelo setor pbli-
co, assim como a mudana social impactada por esses.
Supondo que a cadeia lgica de interveno do progra-
ma seja, em verdade, articulada e factvel, os indicadores de
monitoramento permitem antecipar, ainda que com imper-
feies, as tendncias e os desvios indesejveis na execuo
dos programas. Se forem indicadores especficos para retratar
aes de maior relevncia em um programa nvel de desnu-
trio infantil crnica, por exemplo , se forem computados
com periodicidade adequada e referenciados territorialmen-
te segundo tipologias analticas consistentes indicadores
semestrais para municpios com maior e menor grau de es-
truturao dos servios de sade, por exemplo , pode-se
inclusive inferir relaes associativas ainda que no es-
tritamente causais entre as intervenes programticas e
seus possveis efeitos.4 Os indicadores se prestam mesmo em 4 o que se denominou em Jannuzzi
(2011b) de monitoramento analtico.
situaes em que, uma vez tomadas decises cruciais para
a correo dos problemas, os desvios persistem. Nesse caso,
os indicadores de monitoramento podem no ser as melho-
res escolhas de processos-chave, ou o desenho programti-
co apresenta problemas estruturais, para o que necessrio

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 33

 especificar em uma pesquisa de avaliao que investigue
com mais detalhes o que se passa com o programa.
Cada programa ou poltica pblica demanda um siste-
ma de indicadores especficos sua gesto. Cada uma das
etapas do programa planejamento, implementao, execu-
o etc. tambm demanda indicadores com caractersticas
distintas, dificultando a criao de modelos padronizados,
aplicveis em qualquer situao (RESENDE, 2013). Assim, o
desenvolvimento de painis ou sistemas de indicadores para
monitoramento e avaliao demanda, antes de tudo, um
entendimento profundo, por parte do elaborador ou ela-
boradores dos sistemas, do funcionamento do programa,
seus fluxos internos, metas intermedirias, objetivos geral
e especficos , o papel dos atores envolvidos, a expectativa
do pblico que se pretende beneficiar ou at de toda a popu-
lao. Provavelmente, pela especificidade da demanda por
informao, a maior parte do conjunto de dados utilizados
para a construo de indicadores de monitoramento devem
se encontrar nas prprias instituies, equipamentos e da-
dos que gerem os programas.
Para finalizar esta seo, vale comentar que a articula-
o entre monitoramento e avaliao est muito presente no
sistema de avaliao das polticas e programas na educao
no pas (PONTES, 2013). Como registrado no Quadro 1, h
um acervo expressivo de fontes de estatsticas da educao
brasileira e instrumentos de monitoramento e avaliao da
ao governamental na rea. Avaliaes de conhecimento
de larga escala aplicadas aos alunos, como a Prova Brasil,
conjugadas a instrumentos de coleta de dados, como o Edu-
cacenso, permitem a computao de indicadores e produo
de estudos avaliativos significativamente especficos sobre o
processo de ensino e aprendizagem pelo pas.

34 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

Quadro 1 Principais fontes de informao para monitoramento e
avaliao da educao

Censo Escolar da Educao Bsica;

Censo Escolar da Educao Superior;
Sistema de Avaliao da Educao Bsica (Saeb);
Prova Brasil e Provinha Brasil;
Exame Nacional do Ensino Mdio (Enem);
Exame Nacional de Avaliao de Estudantes (Enade);
Sistema Nacional de Avaliao da Educao Superior (Sinaes);
Exame Nacional para Certificao de Competncias de Jovens e
Adultos (Encceja);
Programa Internacional de Avaliao de Estudantes (Pisa/Ocde);
Estudo Regional Comparativo e Explicativo (Terce/Unesco);
Sistema Integrado de Monitoramento, Execuo e Controle do
Ministrio da Educao (Simec).

Fonte: Pontes (2013).

A AVALIAO DE PROGRAMAS COMO ETAPA DA

AVALIAO DA POLTICA PBLICA
Poltica pblica definida nos manuais clssicos como o
conjunto de decises tomadas pelas instituies de Estado
visando soluo de um problema ou ao redirecionamento
de uma tendncia, com a inteno de orientar sua evoluo
para um fim estabelecido desejvel. Programa um dos ins-
trumentos de operacionalizao da poltica e, especificamen-
te, trata-se de um conjunto sistmico de aes programadas
e articuladas entre si, com objetivo de atender uma deman-
da pblica especfica, encampada na agenda de prioridades
de polticas pblicas do Estado ou governo (ROSSI et al., 2004;
VILLANUEVA, 2006).
Programas pblicos so sistemas complexos, em ge-
ral operados por meio de arranjos federativos, envolvendo
diversos processos de trabalho e atividades para que os re-
cursos oramentrios alocados produzam resultados para
os pblicos-alvo definidos e gerem impactos sociedade.
Dependendo da rea setorial da poltica social, dos recursos
oramentrios, da escala de cobertura e complexidade do
desenho do programa, milhares ou centenas de milhares de
agentes participam das atividades de gesto, preparao e en-
trega efetiva de produtos, servios e benefcios populao.

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 35


5 No mbito da administrao pblica,
vale citar as anlises institucionais de
polticas pblicas realizadas por tcnicos
do Instituto de Pesquisa Econmica
Aplicada (Ipea), presentes em diferentes
publicaes da instituio, em especial
os Textos para Discusso, assim como
alguns dos estudos contratados pela
Secretaria de Avaliao e Gesto
da Informao do Ministrio do
Desenvolvimento Social e Combate
Fome (Sagi/MDS), na publicao
Cadernos de Estudos Desenvolvimento
Social em Debate, disponvel em: <http://
www.mds.gov.br/sagi>.
36 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014
Conhecer melhor a configurao, os objetivos explcitos e
tcitos, o arranjo operacional e a complexidade de imple-
mentao dos programas em um contexto federativo , pois,
requisito fundamental para que a informao e o conheci-
mento produzidos tenham maior aplicabilidade para o aper-
feioamento da poltica e do programa pblico.
Mas ainda que se possa desenvolver um conjunto amplo
de pesquisas de avaliao de programas de uma rea setorial
da poltica pblica em educao, sade, desenvolvimento
social, para citar alguns exemplos , preciso dispor, de tem-
pos em tempos, de anlises mais abrangentes dessa poltica
setorial que os congrega. O conjunto de avaliaes de progra-
mas acaba por compor um quadro que permite identificar
aspectos meritrios, avanos e contradies da poltica p-
blica, trazendo insumos sua reformulao.
Nesse tipo de estudo de escopo mais amplo se enqua-
dram, em nvel de complexidade crescente, as meta-avaliaes
compilao crtica das pesquisas j realizadas sobre um
programa, como j apontado , os estudos sobre componen-
tes sistmicos da poltica pblica e as anlises institucionais
dessa, em termos de sua motivao, disputa de agenda, ato-
res envolvidos, sustentabilidade etc. Esses trs tipos de es-
tudos avaliativos meta-avaliaes, anlise de componentes
sistmicos e anlise institucional cumprem objetivos com-
plementares na identificao de lacunas de conhecimento
a cobrir sobre os programas, na sistematizao de achados
mais regulares ao aprendizado organizacional na gesto dos
programas e na disponibilizao de marcos referenciais mais
gerais para a definio e execuo de um plano de moni-
toramento e avaliao de programas referidos a uma dada
poltica pblica.
Meta-avaliaes e anlises institucionais so tpicos em-
preendimentos tcnico-cientficos desenvolvidos em progra-
mas de Ps-Graduao no Brasil e no exterior, logo, menos
frequentemente realizados dentro da prpria administrao
pblica, pelo tempo requerido, equipe tcnica ou distancia-
mento necessrio do objeto investigado.5 Neste texto discor-
re-se brevemente sobre o segundo tipo de estudo, tambm
presente em linhas de pesquisa nas universidades brasileiras,
mas que comeam a se tornar objeto de preocupao mais
frequente de gestores e tcnicos envolvidos nas grandes
reas setoriais da poltica social no pas, pelo volume de re-
cursos j aportados e desafios de sustentabilidade fiscal e sua
poltica.
O que aqui se denomina como estudos avaliativos so-
bre os componentes sistmicos das polticas pblicas com-
preendem anlises comparativas no tempo e territrio sobre
um ou mais dos elementos constituintes e operacionais das
polticas de natureza distributiva e redistributiva, que viabi-
lizam a ao governamental na produo de resultados que
chegam sociedade.
Um primeiro modelo conceitual e metodolgico para
orientar tais anlises a inspirada na proposta de Matus
(2006), conhecida nos meios tcnicos de planejamento gover-
namental no Brasil como o tringulo do governo, assentado
em trs vrtices igualmente importantes: compromisso ou
objetivo social do governo ou poltica; institucionalidades que
lhe assegurem governana; e a organizao e capacidade tc-
nica que, conjuntamente com a governana, viabilizam o tra-
balho em direo consecuo dos compromissos (Figura 1).

Figura 1 Marco analtico de polticas pblicas inspirado no

tringulo de Matus (2006)

Compromisso social
almejado

Competncia e
Governana poltica
organizao tcnica
Fonte: Elaborao do autor.

Tal proposta parece significativamente prxima ado-

tada por Gomide e Pires (2014) para orientar as anlises de
diversas polticas e programas federais, no mbito do proje-
to de pesquisa sobre Capacidades estatais para implementao de
polticas pblicas. Segundo os autores, os objetivos colocados
pelas polticas pblicas demandariam, para sua concretizao
em resultados efetivos populao, arranjos institucionais

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 37

 com capacidade tcnico-administrativa e poltica de articu-
lao com diferentes agentes.
Fazendo uma releitura integradora dessas abordagens
metodolgicas de anlise de componentes sistmicos de
polticas pblicas, um governo, uma poltica pblica ou um
projeto social deveria ser analisado, inicialmente, segundo
a viabilidade, consistncia e razoabilidade de seu objetivo.
Polticas com metas ou objetivos muito ambiciosos, sem ade-
rncia agenda poltico-institucional vigente, pela polarizao
poltica que poderiam gerar ou recursos financeiros ou tcni-
cos que poderiam demandar, levam ao descrdito de sua via-
bilidade. Trata-se de polticas que ainda no encontraram seu
momento, pelas dificuldades de convergncia de interesses ou
de centralidade na agenda de governo, isso explica boa parte do
insucesso da implementao de seus programas e aes.
A anlise de suas estruturas e arranjos de governana, so-
bretudo em um contexto de articulao federativa e interseto-
rial de produo das polticas como ocorre no Brasil outro
eixo investigativo que tal modelo prope. Boas ideias, compro-
missos viveis e inscritos na agenda de polticas acabam por
vezes no se viabilizando pelos desacertos de normatizao,
pactuao ou conduo da governana poltico-institucional
constituda. Mesmo democracias maduras precisam de lide-
ranas com capacidade de dilogo e convencimento. Polticas
e programas tambm necessitam de gestores que, na presen-
a ou falta de regulamentos e pactos, consigam convencer ou
fazer ajustes que conduzam todos na direo desejada.
Por fim, compromissos viveis, com instncias afina-
das de governana precisam de estruturas organizacionais e
equipes tcnicas adequadas para o sucesso da implementa-
o da poltica e de seus resultados. Pelo que revela boa parte
das avaliaes, a baixa efetividade das polticas e programas
decorre da falta de capacidade de gesto, de corpos tcnicos
devidamente treinados, de financiamento de atividades ti-
das como no essenciais e infraestrutura adequada ao provi-
mento de servios pelos diversos agentes pblicos e privados
envolvidos. Analisar esses aspectos pode trazer elementos
importantes para explicar as dificuldades de consecuo dos
objetivos almejados na poltica.

38 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

 Em uma perspectiva mais instrumental para orienta-
o de anlises de polticas e programas sociais, prope-se
que a anlise de componentes sistmicos se baseie em sete
dimenses analticas, desdobradas dos trs eixos investigativos
citados acima: o objetivo finalstico ou projeto institucional da
poltica; as instituies e desenho operacional que a sustenta;
os recursos oramentrios; os servios e programas formulados
para dar concretude aos objetivos da poltica; os recursos hu-
manos envolvidos; os equipamentos fsicos e instrumentos ne-
cessrios; as instncias de controle social existentes. Assim, um
plano de avaliao abrangente para uma dada poltica e seus
programas poderia se estruturar a partir do hexgono sistmi-
co (Figura 2), cobrindo um ou mais vrtices, sem descuidar da
relao de cada um com os demais, a coerncia entre esses e os
objetivos da poltica, alm da contribuio para a produo dos
resultados junto sociedade, medida pela ampliao do acesso
aos programas, da qualidade dos servios e resolutibilidade do
problema social que deu origem poltica e seus programas.6 6 O conjunto de levantamentos
relacionados no Quadro 1
complementam-se nesse sentido de
prover informaes peridicas sobre
os diferentes componentes aqui
FIGURA 2 Marco ordenador de avaliaes de componentes relacionados para anlise sistmica
sistmicos de polticas e programas da poltica educacional.

Organizao institucional Servios e programas

Participao e Equipamentos
controle social Objetivos da poltica sociais e materiais
e programas

Recursos oramentrios Recursos humanos

Resultados efetivos junto populao-alvo da poltica, medidos

pelo acesso, qualidade e resolutibilidade de seus programas
Fonte: Elaborao do autor.

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 39

 CONSIDERAES FINAIS
Ainda que se tenha acumulado um rico acervo sobre polticas
pblicas no pas, a produo de informaes e conhecimen-
to customizados ou aplicados para uma utilizao mais
imediata e efetiva no desenho, gesto e aprimoramento de
programas um desafio ainda no plenamente trilhado no
Brasil. Se o primeiro caso produo de informao e co-
nhecimento sobre polticas e programas pode prescindir de
contatos mais diretos com tcnicos e gestores envolvidos na
formulao e operao dos programas, a segunda condio
produo para polticas e programas requer identifica-
o de demandas mais especficas de questes e problemas
a investigar, o que cobra estreita colaborao e intercmbio
entre instituies governamentais e centros de pesquisa.
Afinal, formuladores de polticas, gestores e tcnicos de
programas, nos escritrios de planejamento ou nos postos
de servios, necessitam de informaes e conhecimentos es-
pecficos no tempo adequado apropriao na deciso para
as diferentes etapas do ciclo de um programa. O marco con-
ceitual e metodolgico aqui proposto pode contribuir para
orientar um plano de avaliao de polticas e programas so-
ciais com mais foco em aspectos centrais que dificultam a
implementao e conspiram contra a efetividade do gasto
social. Responderia assim mais prontamente s necessidades
de insumo informacional de tcnicos e gestores de progra-
mas, mas tambm de formuladores de polticas.
Naturalmente, to importante quanto produzir informa-
o se esforar para que ela chegue aos destinatrios que
podem fazer uso inteligente e efetivo da mesma. Todavia,
informao para o ciclo de gesto de polticas e programas
complexa e requer esforo intenso de capacitao e forma-
o, a fim de ser sistematizada em suportes adequados tais
como documentos, snteses, portais, produtos multimdia
etc. e customizada para diferentes tipos de usurios nos
governos federal, estadual, municipal e nos equipamentos
sociais.
Considerando o atual volume de recursos aportados em
poltica social no Brasil, assim como o quantitativo necessrio
de tcnicos e gestores aos diferentes arranjos institucionais

40 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014

e operativos dos programas, ser por via da permanente ca-
pacitao e formao de quadros que a efetividade social do
gasto se concretizar nas prximas dcadas.

REFERNCIAS
DRAIBE, S. M. Avaliao de implementao: esboo de uma metodologia de
trabalho em polticas pblicas. In: BARREIRA, M. C.; CARVALHO, M. C. (Org.).
Tendncias e perspectivas da avaliao de polticas e programas sociais. So Paulo:
IEE/PUC-SP, 1999. p. 13-42.

GARCIA, R. C. Subsdios para organizar avaliaes da ao governamental. Braslia,

DF: Ipea, 2001. (Textos para Discusso; 776).

GOMIDE, A. A.; PIRES, R. R. C. Capacidades estatais e democracia: a

abordagem dos arranjos institucionais para anlise de polticas pblicas. In:
______. Capacidades estatais e democracia. Braslia, DF: Ipea, 2014. p. 15-29.

JANNUZZI, P. M. Avaliao de programas sociais no Brasil: repensando

prticas e metodologias das pesquisas avaliativas. Planejamento e Polticas
Pblicas. Braslia, DF, v. 36, p. 251-275, 2011a.

______. Monitoramento analtico como ferramenta para aprimoramento

da gesto de programas sociais. Revista Brasileira de Monitoramento e Avaliao.
Braslia, DF, v. 1, n. 1, p. 38-66, 2011b.

______. Sistema de monitoramento e avaliao de programas sociais:

revisitando mitos e recolocando premissas para sua maior efetividade na
gesto. Revista Brasileira de Monitoramento e Avaliao, v. 1, p. 4-27, 2013a.

______. Verbete avaliao. In: BOULLOSA, R. F. (Org.). Dicionrio para formao

em gesto social. Salvador: CIAGS, 2014, v. 1. p. 24-27.

______.Verbete indicador social. In: GIOVANNI, G.; NOGUEIRA, M. A. (Org.).

Dicionrio de polticas pblicas. So Paulo: IMESP, 2013b, v. 1. p. 951-953.

MACKAY, K. How to build M&E systems to support better government. Washington,

DC: Federal Reserve, 2007.

MATUS, C. O lder sem o Estado maior. So Paulo: Fundap, 2006.

MCDAVID, J.; HAWTHORN. L. Program evaluation and performance measurement: an

introduction to practice. Thousand Oaks, California, US: Sage, 2006.

PONTES, G. Instrumentos para monitoramento e avaliao das polticas e

programas do Ministrio da Educao. Revista Brasileira de Monitoramento e
Avaliao, v. 1, p. 142-159, 2013.

RESENDE, L. M. Monitoramento e avaliao do Proinfncia: uma proposta

metodolgica. 2013. Dissertao (Mestrado Profissional) Faculdade de
Educao da Universidade de Braslia, Braslia, DF, 2013.

ROSSI, P. H. et al. Evaluation: a systematic approach. Thousand Oaks,

California, US: Sage, 2004.

Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 41

 RUA, M. G. A avaliao no ciclo da gesto pblica. Braslia, DF: Enap, 2004.
Apostila do curso de Especializao em Polticas Pblicas da Educao com
nfase em Monitoramento e Avaliao.

VILLANUEVA, L. F. A. Estudio introdutrio. In: SARAVIA, E.; FERRAREZI, E.

(Org.). Polticas pblicas: coletnea. Braslia, DF: Enap, 2006. p. 43-65.

WORTHERN, B. R. et al. Avaliao de programas: concepes e prticas.

So Paulo: Edusp; Gente, 2004.

PAULO DE MARTINO JANNUZZI

Professor da Escola Nacional de Cincias Estatsticas do Instituto
Brasileiro de Geografia e Estatstica (IBGE). Colaborador da
Escola Nacional de Administrao Pblica (Enap) e pesquisador
do Conselho Nacional de Desenvolvimento Cientfico e
Tecnolgico (CNPq). Secretrio de Avaliao e Gesto de
Informao do Ministrio de Desenvolvimento Social e
Combate Fome (MDS)
paulo.jannuzzi@ibge.gov.br

Recebido em: JULHO 2014

Aprovado para publicao em: AGOSTO 2014

42 Est. Aval. Educ., So Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014