Introduo ao uso de indicadores no monitoramento e avaliao de programas

Paulo de Martino Jannuzzi

Tpicos da Apresentao

1. Conceitos b sicos sobre Indicadores !. Monitoramento e Avaliao de Programas ". Agenda de trabal#o A$IP%&

Tpicos da Apresentao

1. Conceitos b sicos sobre Indicadores 'ibliogra(ia

)*IMA+,%&- J.+.& e JA$$*..I- P.M. I/0- Indicadores sint1ticos e suas aplica2es em pol3ticas p4blicas5 uma an lise cr3tica. +evista 'rasileira. %st. *rbanos e +egionais- &alvador 6 71856"9:;- !<<=. JA$$*..I- P.M. Indicadores sociais no 'rasil. Campinas5 Al3nea>Puc9Campinas- !<<1- 1?@ p. JA$$*..I- P.M. Indicadores para diagnstico- monitoramento e avaliao de programas sociais no 'rasil. +evista do &ervio P4blico. 'ras3lia =@7!851"691@<- abr>Aun !<<=.

O terremoto de 8 graus da escala Richter atingiu o municpio de Wenchuan, na provncia de Sichuan, s 14h28 do dia 12 de maio 2008

Por Bue o interesse crescente por Indicadores

Retomada do plane amento como instrumento para a a!"o p#$lica % &&', ()O, &lano )iretor, *statuto da +idade ,ovos -ormatos de e.ecu!"o das polticas sociais &ress"o por maior e-etividade do gasto social /udan!a da auditoria 0+1 2 -ormalidade %3 resultados Re-orma 4erencial da 'dministra!"o &#$lica 5orte aumento do nvel m6dio de 7uali-ica!"o dos gestores p#$licos

Ciclo de Pol3ticas P4blicas

Definio de Agenda Percepo e definio de problemas, agenda setting Demandas Novas/recorrentes; nacionais/ internacionais

Sistema de )ados e 8ndicadores para o )iagn9stico

Formulao Identificao de alternativas e avaliao das opes, deciso e elaborao de programas

)ados e 8ndicadores de &es7uisas de 'valia!"o

Avaliao Resultados, impactos, eventual correo da ao, t rmino ou rein!cio do ciclo.

Implementao Plano de aes, monitoramento.

8ndicadores para tomada de decis"o 7uanto aos programas

&ainel de 8ndicadores para /onitoramento

Por Bue o interesse crescente por Indicadores

Cuncionalismo P4blico Total !<<! D !<<@ 7mil8
*s-era 5ederal *stadual /unicipal 0otal B > es0otal R'8S 2002 80=,4 2?@02,0 >?2@0,= :?@@A,@ 28?:8>,@ 200: 8>1,2 >?1=2,0 4?21A,0 8?200,2 >=?1==,2 ;ar < >,2 8,: 28,2 1A,2 22,:

Por Bue o interesse crescente por Indicadores

Cuncionalismo P4blico com n3vel superior Total !<<! D !<<@ 7mil8
*s-era 5ederal *stadual /unicipal 0otal B > es0otal R'8S 2002 >0>,A @A0,: :00,> 1?8A4,: >?:A0,@ 200: >A8,0 1?2A2,4 1?048,1 2?:@8,= =?2::,0 ;ar < 24,= >1,1 A4,: 44,0 4>,=

E Bue 1 um Indicador F Para Bue serve F

+etratando a realidade social....

+etratando a realidade social....

+etratando a realidade social....

+etratando a realidade social....

+etratando a realidade social....

Indicadores &ociais
B

Recurso metodol9gico para CretratarD a realidade social, de -orma simpli-icada, mas o$ etiva e padroniEada /edidas 7ue operacionaliEam um conceito a$strato ou dimens"o de interesse da a!"o p#$lica +onceito 8ndicadores a construir +omposi!"o material da ha$ita!"o 8n-raestrutura ur$ana e entorno )isponi$ilidade de alimentos Rendimentos 8nser!"o no mercado de tra$alho

+ondi!Fes de ;ida da popula!"o

Construo de Indicadores &ociais

Alguns eGemplos de indicadores e seus usos

;iolGncia

%m 1<< mil

TaGa de mortalidade in(antil

0a.a de anal-a$etismo

0a.a de desemprego

Hndice de 4ini

+oe-iciente t6cnicos de recursos

Hndice Sint6tico 2 um e.emplo

Huais so as principais (ontes de dados para construo de indicadores F

Sistema *statstico ,acional

IBGE

Ministrios
Agncias estaduais Estatsticas EE Datasus Data" pre# SEADE SEI IPARDES !P IDESP Sec P'ane(

INEP Unidades Regionais Unidades Regionais Senarc e Sagi$ MDS Agncias Municipais Agncias Municipais Agncias Municipais Min %&T

Min Trab

Sistema *statstico ,acional

Subsiste)a de Estatsticas Sociais

Subsiste)a de Estatsticas Econ1)icas

Estatsticas De)ogr*+icas

Estatsticas do Traba',o

Estatsticas Industriais

Estatsticas Agropecu*rias

Estatsticas da Sa-de

Estatsticas da Pobre0a Estatsticas da Educa./o

Estatsticas do %o)rcio

Estatsticas dos Ser#i.os %ontas Nacionais

Estatsticas a)bientais

&rincipais -ontes de estatsticas

&ubsistema de %stat3sticas sociais 1? +ensos )emogrI-icos decenaisJ+ontagens 2? &es7uisa ,acional por 'mostra )omiclios >? &es7uisas amostrais espec-icas 4? Reg? 'dministrativos e &es7uisas dos /inist6rios =? *statsticas ;itais

+ensos )emogrI-icos

&rimeiro2 18A2

)epois de 1@40, decenal

+ontagens populacionais no meio do decKnio +o$ertura total do territ9rio nacional 40 milhFes de domiclios em 2000 /ais de 1=0 mil recenseadores &rincipal -onte de dados municipais LuestionIrio $Isico Mdom, -amlia,se.o, idade, al-a$etiEa!"oN LuestionIrio da amostra M10< dos domicliosN +oleta de in-orma!Fes comparativaJe detalhada Meduca!"o, ocupa!"o, rendimentos, migra!"o, nupcialidade etcN

&es7uisa ,acional 'mostra )omiclios M&,')N

&rimeira2 1@:A B depois de 1@A0, anual?
+o$ertura 7uase total Me.clusive Eona rural da antiga regi"o ,orte at6 200>N e co$ertura completa a partir de 2004? 'mostra de apro.? 140 mil domiclios? Resultados para estados e regiFes metropolitanas? &rincipal -onte de dados em nvel estadual? *scopo temItico similar ao +enso MamostraN? 8nvestiga!Fes espec-icas M-ecundidade, anticoncep!"o, migra!"o, mo$ilidade social, educa!"o, sa#de, associativismo, participa!"o poltica, $ens de consumo, consumo de energia, tra$alho, tra$alho in-antil, previdKncia, seguran!a alimentar, merenda escolar, acesso a programas de trans-erKncia de renda?N

&es7uisa ,acional por 'mostra de )omiclios

&es7uisa ,acional por 'mostra de )omiclios

&es7uisa com amostra pro$a$ilstica B 8O4*

Registros 'dministrativos
P 8O4* *statsticas do Registro +ivil anual &es7? 8n-? OIsicas /unicipais anual P /inist6rio do 0ra$alho R'8S anual +'4*) mensal P /inist6rio da *duca!"o +enso *scolar anual +enso do *nsino Superior anual Sist 'val *duc Oasica B &v Orasil $i%anual P /inist6rio da Sa#de2 *statsticas de mortalidade Registro de ;acina!Fes 'ssistKncia /6dico%SanitIria ,oti-ica!"o de ,ascidos ;ivos *statsticas &rodu!"o S1S P Outros 'nuIrio da &revidKncia Social *statsticas 'rrecad? 5ederal

anual anual irregular anual mensal anual anual

PesBuisa de In(orma2es ' sicas Municipais 7M*$IC8

8n-orma!Fes municipais so$re2

B B B

B B

*strutura administrativa ,vel de participa!"o e -ormas de controle social Mconselhos municipaisN 8nstrumentos de plane amento municipal M&lano &lurianual, &lano )iretor, (ei de &arcelamento do solo, etcN Qusti!a e seguran!a Mdelegacia de mulheres, uiEado de pe7uenas causas, etcN +ultura e laEer M$i$liotecas p#$licas, livrarias, ornais locais, ginIsios de esporte, etcN

8ndicadores para2
B B

4rau de participa!"o e controle popular da a!"o p#$lica *stIgio de desenvolvimento institucional do plane amento e gest"o p#$lica municipal

Registros administrativos dos /inist6rios, Secretarias e &rogramas

*.tra!"o de in-orma!Fes e integra!"o em um )ata Warehouse M)WN

+have de integra!"o2 municpio ou indivduo

8magens de sat6lite

Huais so as principais publica2es de indicadores sociais F

&ites na Internet
IBGE INEP DATASUS Ministrio Trabal o Ministrio Plane"a!ento www.plane"a!ento.gov.br #EE $%S& IPA%DES $P%& SEADE$SP& Na()es Unidas +,DE +IT +MS +PAS PNUD toppages*statisti-s B. Est.Trabal o EUA Bureau ,enso EUA www.ibge.gov.br www.inep.gov.br www.datasus.gov.br www.!te.gov.br www.'ee.gov.br www.ipardes.gov.br www.seade.gov.br www.un.org*databases www.oe-d.org*statisti-s www.ilo.org www.w o.int*w osis www.pa o.org www.unpd.org* www.bls.gov www.-ensus.gov

Indicadores5 Propriedades e Classi(ica2es

' escolha de indicadores para uso no +iclo de &olticas &#$licas deveria se pautar, ademais da revelRncia dos mesmos proposta
B

&elas propriedades de 7ue dispFe &ela natureEa de seu usoJinterpreta!"o

Propriedades dos Indicadores

1. Relevncia Social 2. Validade 3. Confiabilidade 4. Cobertura 5. Sensibilidade 6. Especificidade 7. eriodicidade na atuali!a"#o $. %esa&re&abilidade '. (actibilidade para obten"#o 1). Co*unicabilidade 11. Replicabilidade de sua constru"#o 12. +istoricidade

Indicadores no Ciclo das Pol P4blicas

/iagnstico

8ndicadores para retratar a realidade social % amplitude temItica e escala

Avaliao
8ndicadores especi-icos e conclusivos acerca da e-iciKncia, e-icIcia e e-etividade dos programas

Cormulao

Implementao
8ndicadores para C-ilmarD as mudan!as % sensi$ilidade, periodicidade

8ndicadores Sint6ticos ou /ulticrit6rios para tomada de decis"o

Propriedades dos Indicadores

Propriedades dos Indicadores

Propriedades dos Indicadores

Propriedades dos Indicadores

Propriedades dos Indicadores

Propriedades dos Indicadores

Propriedades dos Indicadores

Classi(icao dos Indicadores

Indicadores obAetivos e subAetivos

Indicadores obAetivos e subAetivos

Indicadores obAetivos e subAetivos

Indicadores obAetivos e subAetivos

Indicadores anal3ticos ou sint1ticos

Indicador 2 Indicador 4 Mtodo de ag'utina./o 3ndice co)posto ou sinttico

Indicador 5 Lue dimensFes utiliEar S +omo com$inar S Lue pesos atri$uir S

3ndice de custo de #ida

Indice de Desen#o'#i)en 6u)ano

Indicadores Anal3ticos ou &int1ticos

Hndice Sint6tico 2 um e.emplo

Indicadores Anal3ticos ou &int1ticos

Hndice Sint6tico 2 um e.emplo

Indicadores Anal3ticos ou &int1ticos

Ano 1@@@ 2001 200> 200= ;ar? 1@@@%200=

PI TG. m1dia de aprovao A8,00 A@,A0 80,80 81,:0 4,:2

M1dia da nota padronizada 4,=: 4,>> 4,42 4,:1 1,2A

I/%' I $ GP >,== >,4= >,=A >,A: =,@4

TaGa m1dia de abandono J 10,20 8,20 :,:0 =,A0 %44,12

MI TaGa m1dia de permanKncia 8@,8 @1,8 @>,4 @4,> =,01

I/%'LI $GPGM >,1@ >,1A >,>4 >,== 11,2=

Indicadores seg. natureza processual

Indicador-insumo Recurso7 8uantidade de )dicos por )i' ,abitantes ou gasto )onet*rio per capita e) sa-de Indicadorprocesso Uso dos recursos7 %onsu'tas ao )s por %rian.a at 2 ano Indicadorproduto Resu'tado e+eti#o7 Ta9a de )orbidade ou )orta'idade in+anti' por causa espec+ica Indicadorimpacto Desdobra)entos Mais abrangentes Me',ora do n#e' nutriciona' Me',ora do dese)pen,o esco'ar Econo)ia +utura e) gastos co) sa-de

%ic'o de +or)u'a./o e a#a'ia./o

5inaliEando????? TI muitas estrat6gias di-erentes para retratar a realidade social atrav6s de indicadores?????

Tpicos da Apresentao

!. Monitoramento e Avaliao de Programas

CA+MAN0E- &.$. Avaliao de programas sociais5 balano das eGperiKncias e contribuio para o debate. &o Paulo em Perspectiva- &o Paulo-167"9?85 1:=91;6- !<<" CETTA-T.C. Metodologias de avaliao de programas e proAetos sociais5 an lise de resultados e impacto. +evista do &ervio P4blico- 'rasilia- ?;7!851<"91!?- 1;;:. OE+T0%+$- '.+. et al. Avaliao de programas5 concep2es e pr ticas. &o Paulo5 %d*sp>%d. )ente- !<<?-

"onstatao # $s metodologias de avaliao de programas sociais t%m sido ob&eto de severas cr!ticas. 'asicamente, afirma(se )ue, na pr*tica, as avaliaes no subsidiam o processo decis+rio por)ue seus resultados so inconclusivos, inoportunos e irrelevantes. Inconclusivos em funo das pr+prias limitaes deste tipo de estudo, inoportunos devido , morosidade do processo avaliativo e irrelevantes, por)ue no respondem ,s demandas informacionais de todos os agentes sociais afetos , interveno -".//$ #001, p.##12.

"onstatao 3 4e ve5 em )uando, uma avaliao6 mal concebida ou mal e7ecutada produ5 informaes )ue, no mel8or dos casos, seriam enganosas e, no pior, absolutamente falsas. 9mbora essas ocorr%ncias se&am raras, podem causar problemas graves. "omo geralmente tem ar de respeitabilidade, essas avaliaes no costumam ser )uestionadas, e o resultado )ue decises importantes sobre programas e servios essenciais baseiam(se inadvertidamente em informaes falaciosas. -:.R/;9N et al. 3<<=, p.==2.

Poss!veis fatores )ue contribuem para tal

>2 =2 B2 C2 /ecnocratismo ing%nuo ? "apacidade de implementao superestimada ? Implementao Programada 4efici%ncias na estruturao de @istemas de Aonitoramento Problemas na especificao de Pes)uisas de $valiao Dalta de e7peri%ncia sobre a $valiabilidade efetiva dos programas pEblicos, por ser *rea de con8ecimento relativamente nova no pa!s, com forte demanda
#2 32 >2 =2 "ampo ainda em profissionali5ao Dalta de rigor metodol+gico e de informaes espec!ficas Problemas na formao acad%mica )uanto ao uso de m todos )uantitativos e )ualitativos e acerca da complementaridade dos mesmos Necessidade de incorporao de novas metodologias com recursos computacionais

Poss!veis fatores )ue contribuem para tal

/ecnocratismo ing%nuo ? "apacidade de implementao superestimada ? Implementao Programada 4efici%ncias na estruturao de @istemas de Aonitoramento Problemas na especificao de Pes)uisas de $valiao Dalta de e7peri%ncia sobre a $valiabilidade efetiva dos programas pEblicos, por ser *rea de con8ecimento relativamente nova no pa!s, com forte demanda "ampo ainda em profissionali5ao
Dalta de rigor metodol+gico e de informaes espec!ficas Problemas na formao acad%mica )uanto ao uso de m todos )uantitativos e )ualitativos e acerca da complementaridade dos mesmos Necessidade de incorporao de novas metodologias com recursos computacionais

Nin#a do Tempo da PesBuisa em Avaliao nos %*A

*studos avaliativos na *duca!"o OIsica% currculos, desempenho, testes % seguindo 1800 preocupa!"o e modelos na 8nglaterra? % +om o aparecimento de especialistas em e-iciKncia na ind#stria, iniciam%se estudos 1@40 avaliativos isolados na 'dministra!"o &#$lica MSa#de &#$lica, /oradia, 0ra$alhoN? /6todos e t6cnicas de pes7uisa para melhorar e-iciKncia de processos, desenvolvida 1@40 na Segunda 4uerra, passa a ser aplicada na avalia!"o de programas de 7uali-ica!"o pro-issional, moradia, plane amento -amiliar, educa!"o? % 1@:= 5orte in-luKncia de t6cnicas 7uantitativas psicom6tricas, a7uelas aplicadas na ind#stria, desenhos e.perimentais e 7uase e.perimentais Maval? resultadosN

Nin#a do Tempo da PesBuisa em Avaliao nos %*A

1@:= B (ei propondo aumento su$stancial do -inanciamento educa!"o e $olsas de estudo paras escolas municipais e universidades, re7uerendo avalia!"o de resultados e impactos? 1@:= 4rande impulso na avalia!"o de programas em po$reEa, 7uali-ica!"o pro-issional, criminalidade, sa#de in-antil com a constitui!"o da 4reat SocietU MinstitucionaliEa!"o % 1@80 do *stado de Oem%*star Social americanoN? 8ntrodu!"o de t6cnicas de plane amento e programa!"o nos )epartamentos Mminist6riosN 5ederais? +arKncia de pro-issionais com -orma!"o ade7uada leva cria!"o de vIrios programas de mestrado na Irea, com proposi!"o de desenhos avaliativos mais ecl6ticos Ma$ordagens 7ualitativas, voltadas a avalia!"o de processosN &rodu!"o de vIrios livros, manuais clIssicos e revistas per9dicas especialiEadas

Nin#a do Tempo da PesBuisa em Avaliao nos %*A

,o 4overno Reagan, com a Kn-ase na desregulamenta!"o e descentraliEa!"o na presta!"o de servi!os e programas sociais, hI um arre-ecimento na avalia!"o em nvel -ederal no seu mandato M8 anosN, contra$alan!ado pela demanda crescente nos estados e municpios? *ntrada de cena das O,4S% com a privatiEa!"o dos servi!os sociais induEida pelo 1@80% 4overno Reagan% tam$6m re7uerem estudos de avalia!"o, para usti-icar e validar e.periKncias inovadores e -inanciamentos de 'gKncias 5ederais e &rivadas dias 8nstitucionaliEa!"o crescente da atividade de avalia!"o de programas, com atuais pro-issionais especialiEados, cria!"o de 'ssocia!"o de &ro-issionais B 'merican *valuation 'ssociation M1@8=N e em outros pases *sta$elecimento de )iretriEes de 'valia!"o de &rogramas na '*' e adotadas em alguns estados e municpios, como crit6rios para contrata!"o Reconhecimento da natureEa trans%disciplinar da pes7uisa avaliativa, da necessidade de desenhos 7uali%7uantitativos integrados, da avalia!"o interna, emprego de novos recursos tecnol9gicos

Principais (ontes de pesBuisas em Avaliao de Programas

'merican *vatuation 'ssociation WWW?eval?org
*valuation &ractice ,eW )irections -or &rogram *vatuation *ncontro anual em outu$ro%novem$ro nos *1' ,o site hI material de treinamento, instrumentos de pes7uisa usados, meios de consulta e $usca de consultores e institui!Fes especialiEadas +anadian Qournal o- &rogram *vatuation +on-erKncia anual em maio /aterial de consulta

+anadian *valuation SocietU WWW?evatuationcanada?ca

*valuation *uropean *valuation +on-erKncia $i%anual em novem$ro SocietU WWW?europeanevaluation?org/aterial de consulta

Societ6 5ran!aise d V*valuation http2JJWWW?s-e?asso?-r

*valuation et mesure de la per-ormance Qornadas de *studos anuais B nacional e internacional /aterial de consulta

Principais (ontes de pesBuisas em Avaliao de Programas

Principais (ontes de pesBuisas em Avaliao de Programas 9 'rasil

Principais Publica2es 7v rias no PPP.scielo.br 8
Revista do Servi!o &#$lico M*,'&N Revista de 'dministra!"o &X$lica MR'&N Revista de Sa#de &#$lica Revista S"o &aulo em &erspectiva *studos em 'valia!"o *ducacional M+arlos +hagasN &lane amento e &olticas &#$licas M8&*'N Revista 'valia!"o em &olticas &#$licas M/'&&%15+N &u$lica!Fes do 8&*' M0e.tos para )iscuss"o, *stado da ,a!"oN &u$lica!Fes do 8O4* M8ndicadores Sociais, &u$l?anual &,')N &olticas &#$licas em 5oco M+e$rap% 5undapN

Associa2es Cient3(icas ',&') WWW?anpad?org?$r ',&O+S ',&*+ ',&*) 'O*& 'O*0

Revista de 'dministra!"o +ontemporRnea *ncontros anuais, com se!Fes espec-icas em 4est"o &#$lica e com eventos $i%anuais do *,'&4 B *ncontro ,acional de 'dministra!"o &#$lica e 4overno Rev?Oras? +iKncias Sociais Rev?',&*+ Rev?Oras? *duca!"o Rev?Oras?*studos &opulacionais Rev?da 'O*0 M*studos do 0ra$alhoN

Principais (ontes de pesBuisas em Avaliao de Programas 9 'rasil

0ri$unal de +ontas da 1niIo WWW?tcu?gov?$r Secretaria de 'valia!"o e 4est"o da 8n-orma!"o S'48 do /)S WWW?mds?gov?$r 'ssocia!"o Orasileira de 'valia!"o *ducacional WWW?a$ave?org?$r Rede Orasileira de 'valia!"o WWW?avalia$rasil?org?$r Relatorios de 'uditoria e 'valia!"o de &rogramas /aterial de consulta e treinamento Relat9rios metodol9gicos das &es7uisas de 'valia!"o 8nstrumentos de pes7uisa Recursos de acesso ao $anco de dados do +adastro 1nico

5undada em 200> /aterial de consulta dispinvel *ventos anuais 5undada em 2002 Msite -ora do ar em 2008N *s-or!o de estrutura!"o em rede pelo pas B O,4s, 4overno, universidades *n-o7ue multidisciplinar Mpsicologia social a pes7uisa operacionalN

Con(uso entre Monitoramento e Avaliao de Programas

F*rios termos similares e relacionados, mas distintos ? @istemas de Informao para Gesto ? Fisitas e contatos de acompan8amento e gesto ? @istema de Indicadores de Aonitoramento ? Pes)uisas de $valiao ? 9studos de Pol!ticas PEblicas ? $uditorias operacionais "GH ? $valiao de Programas do /"H

Con(uso entre Monitoramento e Avaliao de Programas

Ainist rio do 4esenvolvimento @ocial
? = @ecretarias Nacionais
I > Foltadas , Implementao dos Programas
? @9N$R" -'olsa Damilia2 ? @N$@ - Peti, 'P", P$ID etc2 ? @9@$N -P$$, Rest. Populares etc2

I @$GI ( Gesto da Informao e $valiao dos Programas

J Gesto da InformaoK desenvolvimento de ferramentas para coleta de dados e para integrao de sistemas de informao para produ5ir indicadores de monitoramento dos programas J $valiao de ProgramasK contratao de pes)uisas avaliativas e7ternas para os programas

Con(uso entre Monitoramento e Avaliao de Programas

B

/onitoramento +outinho M2001, p?11N de-ine o monitoramento como

u) processo siste)*tico e contnuo 8ue: produ0indo in+or)a.;es sintticas e e) te)po e+ica0: per)ite r*pida a#a'ia./o situaciona' e a inter#en./o oportuna 8ue con+ir)a ou corrige as a.;es )onitoradas<=

Rua M2004,p?:N de-ine o monitoramento como2

U) con(unto de estratgias de >aco)pan,a)ento< de u)a po'tica progra)a ou pro(eto: de )odo a identi+icar de )aneira oportuna e te)pesti#a)ente as #antagens e pontos +r*geis na sua e9ecu./o: a +i) de e+etuar os a(ustes e corre.;es necess*rias ? )a9i)i0a./o dos seus resu'tados e i)pactos?

Con(uso entre Monitoramento e Avaliao de Programas

/onitoramento
B

O monitoramento e avalia!"o dos programas de governo s"o -erramentas essenciais para a $oa prItica gerencial? ' avalia!"o 6 um procedimento 7ue deve ocorrer em todas as etapas permitindo ao gestor -ederal o acompanhamento das a!Fes e sua revis"o e redirecionamento 7uando necessIrio? *n7uanto o monitoramento 6 uma atividade gerencial interna, 7ue se realiEa durante o perodo de e.ecu!"o e opera!"o, a avalia!"o pode ser realiEada antes ou durante a implementa!"o, como ao concluir uma etapa ou pro eto como um todo, ou mesmo algum tempo depois, devendo se preocupar com o impacto provocado pela interven!"o p#$lica em seus $ene-iciIriosD? M0+1, 200:, p? A=N?

Con(uso entre Monitoramento e Avaliao de Programas

Monitoramento $tividade de gesto interna e cont!nua. $contece durante a implementao do programa ou pro&eto. Avaliao $tividade interna ou e7terna. Pode acontecer antes, durante ou depois da implementao de um programa ou pro&eto. "om base em dados levantados pelo monitoramento e outras fontes, &ulga o desempen8o de um pro&eto de acordo com crit rios pr ( estabelecidos, tais comoK efic*cia, efici%ncia, efetividade, sustentabilidade, dentre outros

"ompara o )ue est* sendo reali5ado com o )ue foi plane&ado.

DonteK $daptado a partir de @9PL$N/@G$, 3<<B

%struturao de um &istema de Monitoramento5 Integrao de In(orma2es de di(erentes (ontes

*.tra!"o de in-orma!Fes e integra!"o em um )ata Warehouse M)WN

+have de integra!"o2 municpio ou indivduo

8magens de sat6lite

Integrando IMELHuali(icao Pro(issional

&%A/% Eutras institui2es +adastros e Registros 0ransacionais de &rogramas &ro%Social Registro de 'lunos *mpresa S& 5rente de 0ra$alho ????????? 8ndicadores /unicipais Seade &ro e!Fes populacionais 8nvestimentos anunciados R'8S% +'4*) &es7uisas /unicipais &es7uisa *mpr )esemp +have de 8ntegra!"o2 /unicpio% 8ndividuo

)ados

)W Sim%4ov

)ados

+have de 8ntegra!"o2 /unicpios

+haves de Recupera!"o2 Regi"o /unicpio &rograma!"o

+have de 8ntegra!"o2 8ndividuos

8ndicadores
I')% PesBuisa nacional por Am./om Censos /emogr (icos PesBuisas %conQmicas
4estores *staduais 06cnicos de Secretarias

Rrgos %Gternos /ataPrev /ata&us &%/>Mins Trabal#o .......

Avaliabilidade do programa
7Oort#en et al !<<?8
Situa!Fes em 7ue a 'valia!"o n"o 6 ade7uada2

,"o hI se7uer um sistema de monitoramentoJgest"o do programa ' avalia!"o produEiria resultados triviais Os resultados da avalia!"o n"o ser"o usados ' avalia!"o n"o tem como produEir in-orma!Fes #teis e vIlidas ' avalia!"o 6 prematura para o estIgio do programa O avalia!"o serI apropriada para -ins n"o usti-icIveis

Avaliabilidade do programa
7Oort#en et al !<<?8

&assos para estudo da avalia$ilidade

;eri-ica!"o preliminar
B B B B

O programa I engrenou ou tem pro$lemas de gest"o ,"o 6 o caso de visitas e auditorias TI sistemas ou registros in-ormatiEados acerca dos procedimentos QI e.iste um con unto mnimo de indicadores de monitoramento

*.istem elementos para orientar a demanda de avalia!"o

B B

C*sclarecer o modelo ou a teoria do programaD C*.aminar o programa na implementa!"o para determinar se corresponde ao modelo e se tem condi!Fes de alcan!ar suas metas e o$ etivosD C*.plorar di-erentes a$ordagens da avalia!"o para determinar o grau em 7ue satis-aEem as necessidades de in-orma!"o dos interessados e se sua implementa!"o 6 praticIvelD? C)e-inir as prioridades da avalia!"o e com os usos 7ue se pretende -aEer em estudoD

%strat1gia Metodolgica
1N 06cnica de coleta de dados 5ontes secundIrias e documentais O$serva!"o RealiEa!"o de entrevistas RealiEa!"o de 4rupos 5ocais ou 4rupos de )iscuss"o (evantamentos de +ampo *.perimentos e 7uase%e.perimentos 2N 'mostra, Su eitos, Situa!Fes 'mostra pro$a$ilstica 'mostra intencional ou conveniKncia >N 8nstrumentos de pes7uisa Roteiro 5ormulIrio, LuestionIrio 4rava!"o, 5ilmagem, 5oto, /apeamento

Tpicos da Apresentao

". Agenda de trabal#o Anipes

A Anipes

'ssocia!"o de institui!Fes e 9rg"os estaduais e municipais 7ue tem como atividade su$sidiar as atividades de2
B B

plane amento governamentalY -ormula!"o e monitoramento de polticas p#$licas?

5undada em 1@@: M-ormalmente em 1@@@N +ongrega atualmente mais de 20 institui!Fes, de norte a sul do pas, vinculadas a governos estaduais e municpios, al6m do 8O4* e 8&*'?

PPP.anipes.org.br

)esto Anipes !<<:9!<<;

Seade%S&, Sei%O' e 5ee%RS &auta de tra$alho2

B B B

/aior integra!"o e compartilhamento de e.periKncias entre seus -iliados /aior visi$ilidade institucional entre 4overnos *staduais e /inist6rios &ro etos institucionais
8O4*2Sistema 8ntegrado de &ro e!Fes e *stimativas &opulacionais 8&*'2*studos e &es7uisas da Rede 8pea%'nipes /)SJSenarc2 1so e *.plora!"o analtica do +ad1nico

Cursos Anipes !<<:

Cursos Anipes !<<:

Cursos Anipes !<<:

Cursos Anipes !<<:

&ropostas de 'tividades para 200@

&ro eto /)SJSenarc
O-icina de uso do +adunico para produ!"o de estatsticas p#$licas 'companhamento do recadastramento das -amlias, com produ!"o de indicadores semestrais e compara!"o anual com &,')s 200A a 200@ e +enso 2010, em nvel estadual *studo piloto da e.pans"o das peri-erias das grandes cidades com imagens de sat6lites M8,&*N )esenvolvimento de material para +apacita!"o de gestores municipais e estaduais na produ!"o de indicadores e dados do +ad1nico