Indicadores Programas-Guia Metodologico

Ministrio do Planejamento, Oramento e Gesto
Secretaria de Planejamento e Investimentos Estratgicos
Indicadores de Programas
Guia Metodolgico
Braslia/DF Maro de 2010
MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO SECRETARIA DE PLANEJAMENTO E INVESTIMENTOS ESTRATGICOS ESPLANADA DOS MINISTRIOS, BLOCO K CEP: 70040.906 Braslia - DF Fone: 55 (61) 2020.4800 Fax: 55 (61) 2020.4498 Site: www.planejamento.gov.br
2010, Secretaria de Planejamento e Investimentos Estratgicos
Normalizao bibliogr ca DIDAP/CODIN/SPOA
Brasil. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento e Investimentos Estratgicos - SPI. Indicadores de programas: Guia Metodolgico / Ministrio do Planejamento, Oramento e Gesto, Secretaria de Planejamento e Investimentos Estratgicos - Braslia : MP, 2010. 128 p.: il. color. 1. Administrao Pblica. 2. Plano Plurianual Guia Metodolgico. 3. Programas de Governo - Indicadores. 4. Servio Pblico Formas Legais de Previso, Programas e Planejamento I. Ttulo.
CDU 35 : 346.512
Repblica Federativa do Brasil

Presidente da Repblica Luiz Incio Lula da Silva Ministro de Estado do Planejamento, Oramento e Gesto Paulo Bernardo Silva Secretrio Executivo Joo Bernardo de Azevedo Bringel Secretrio de Planejamento e Investimentos Estratgicos Afonso Oliveira de Almeida Diretora do Departamento de Gesto do Ciclo de Planejamento Dbora Nogueira Beserra Coordenador-Geral de Qualidade do Plano Cilair Rodrigues de Abreu Equipe Tcnica Andria Rodrigues dos Santos Carlos Tadeu Assumpo de Pinho Cristiane Ribeiro Ikawa Eugnio Csar Almeida Filippetto Fabiano Pianetti Cordeiro Jorge Luiz Rocha Reghini Ramos Colaboradores Cristovo de Melo Eder Eustquio Alves Leonardo Lanna Guilln Mara Helena Souza Roseli Teixeira Alves Desenvolvimento e sistematizao Carlos Tadeu Assumpo de Pinho
Servidores da Secretaria de Planejamento e Investimentos Estratgicos
ADNILTON FERNANDES ROCHA ADRIANA MARQUES BENTO AVALOS ADRIANA RODRIGUES DOS SANTOS ADRIANA VALENA ARAJO AFONSO OLIVEIRA DE ALMEIDA ALBERTO FRANCISCO GOMES ALEXANDRE FURTADO DE AZEVEDO ALEXANDRE LENIN CARNEIRO ALICE UTIDA FERREIRA MANICA ALINE ROCHA MARINHO ALMIR COUTINHO POLLIG ALOYSIO NOVAIS DE CARVALHO SILVA AMARILDO BAESSO ANDERSON LOZI DA ROCHA ANDR ARANTES LUCIANO ANDR ARTUR POMPEIA CAVALCANTI ANDRA COSTA MAGNAVITA ANDRA THALHOFER RICCIARDI ANDRIA RODRIGUES DOS SANTOS BRENDA ROCHA RIBEIRO BRUNO MORETTI CARLOS AUGUSTO DE GODOY CURRO CARLOS TADEU ASSUMPO DE PINHO CARLOS VICTOR FREITAS MOURA CSAR AUGUSTO DOMONT LABUTO CILAIR RODRIGUES DE ABREU CLUDIO ALEXANDRE DE ARA LEO NAVARRO CLZIO MARCELINO DE MEDEIROS CRISTIAN DE OLIVEIRA LIMA CRISTIANE COLLET BATTISTON CRISTIANE MARIA SIMO MUNHOZ CRISTIANE RIBEIRO IKAWA CRISTOVO DE MELO DANIELLE CANCELA CRONEMBERGER DAVI DIOGENES BELEM PONTES DBORA NOGUEIRA BESERRA DBORAH HAYDE RAMON E BARROS FERREIRA DENIS SANTANA BARROS EDER EUSTAQUIO ALVES EDUARDO DOMINGUES EDUARDO FRANCA NEVES BASSANI EDUARDO RODRIGUES DA SILVA ELAINE DE MELO XAVIER ELISA MONTEIRO MALAFAIA ELY ARIMA TAKASAKI ELZA MARIA DEL NEGRO BARROSO FERNANDES ERNESTO CARRARA JNIOR EUGNIO ANDRADE VILELA DOS SANTOS EUGNIO CSAR ALMEIDA FELIPPETTO EVANDRO MACEDO FABIANO PIANETTI CORDEIRO FERNANDO SERT MERESSI FLVIA DUARTE NASCIMENTO FRANCISCO CHANG KAE JUNG FRANCISCO DE ASSIS DE SOUSA LIRA FRANCISCO FRANCIONE SOARES JNIOR FREDERICO VIANA ALVES GABRIEL PENNA FIRME DE MELO GEORGE AUGUSTO CARSALADE VILELA DE LIMA GERSON RICARDO NARCIZO
GILMAR GOMES PRATES GUILHERME AUGUSTO BORGES CARVALHO GUSTAVO TEIXEIRA AMORIM GONALVES GUSTAVO TEIXEIRA LINO GUSTAVO VIANA MACHADO HLIO JAQUES ZAMAl IGOR VINCIUS DE SOUZA GERACY ISADORA LOUZADA HUGUENEY LACAVA JOAO ALOISIO VIEIRA JOO CARLOS GONALVES BARRETO JORGE LUIZ ROCHA REGHINI RAMOS JOS DRIA PUPO NETO JOS MARTINS RODRIGUES JOSEFA DE FTIMA ARAJO RIBEIRO JUCILDO AUGUSTO DA SILVA LIMA LEONARDO LANNA GUILLN LIANE RUCINSKI LUIS GUSTAVO MELLO COSTA MARA HELENA SOUSA MARCEL OLIVI GONZAGA BARBOSA MARCELO FONSECA IANNINI MARCELO MATOS ANDRADE PIRES MARCELO MORHY PERES MARCELO RYUDI KOMENO MARCELO VIEIRA SIQUEIRA MRCIA DE SOUZA BRITO NAZAR MRCIA RIBEIRO FANTUZZE DIAS MRCIO BASTOS MEDEIROS MRCIO PARREIRA DUARTE MARCOS ANTONIO PEREIRA DE OLIVEIRA SILVA MARCOS REIS MAIA MARGARETE CAMPOS REBOUAS MARIA DO ROSRIO DE HOLANDA CUNHA CARDOSO MARIA INS DA ROCHA E SILVA MRIO BENJAMIN VERA WALL MAURO CEZA NOGUEIRA DO NASCIMENTO MAURO SANTOS SILVA MIGUEL CRISSTOMO BRITO LEITE NILSON ANTONIO CARVALHO DE FIGUEIREDO OLGA CRISTINA LPEZ DE IBAEZ NOVION PAULO AUGUSTO MIERS ZABOT POLLYANA SANTANA GUIMARES PRISCILA FTIMA PINHEIRO DE SIQUEIRA BASTOS PRISCILLA ROSA PIMENTEL SGANZERLA RAFAEL FERREIRA ROCHA MONTEIRO RAFAEL LUS GIACOMIN RAFAEL MARTINS FERRARI RAFAEL MARTINS NETO REJANE RODRIGUES DE CARVALHO RICARDO DISLICH RICARDO VIDAL DE ABREU ROSANA MOUTINHO DE OLIVEIRA ROSELI TEIXEIRA ALVES RUBEM OLIVEIRA DE PAULA SANDRA DE CARLO SIDNEY DE FREITAS GASPAR SURIPONGSE NAIBERT CHIMPLIGANOND VERA LCIA HABITZREUTER DE OLIVEIRA DE RAMIREZ
Apresentao
Desde o sculo XIX, as naes tm empreendido esforos para modernizar a administrao pblica, de forma que o Estado atue melhor tanto na entrega de produtos e servios sociedade, quanto como um indutor estratgico do desenvolvimento nacional por meio de mltiplos arranjos dos quais participam diferentes atores. Para tanto, aplicam modelos de gesto voltados para resultados com foco nos impactos na qualidade de vida da sociedade e priorizam a transparncia, a maximizao dos recursos pblicos e a responsabilizao perante a populao. Para cumprir esse objetivo, o planejamento governamental constituise em instrumento essencial para transpor a tendncia imediatista e desestruturadora do cotidiano administrativo, estabelecendo uma ponte entre as aes de curto prazo e a viso de futuro materializada, dentre outras formas, no planejamento intersetorial em bases territoriais. No Brasil, o modelo institucional estabeleceu o Plano Plurianual - PPA como um instrumento coordenador da atuao governamental que estrutura a ao do governo para um quadrinio, traduzindo a orientao poltica e imprimindo uma diretriz estratgica ao governo. O PPA composto de Programas, que renem um conjunto de aes orientadas ao alcance de um objetivo politicamente declarado a partir de um problema, demanda da sociedade ou aproveitamento de uma oportunidade. Neste sentido, a identicao dos resultados das aes por meio de medidas de desempenho se constitui no eixo de comunicao com a sociedade e de evidncia da evoluo do plano, o que faz dos indicadores elementos fundamentais para todo o ciclo de gesto das polticas pblicas. As avaliaes da qualidade dos indicadores dos programas demonstram que a administrao pblica carece de uma referncia que norteie a compreenso e construo de medidas de desempenho de programas, apesar de importantes iniciativas terem sido efetivadas. Nesse contexto, o Ministrio do Planejamento, Oramento e Gesto MP, por meio da Secretaria de Planejamento e Investimentos Estratgicos SPI, apresenta e sugere aos rgos e demais interessados um guia sobre indicadores, contendo uma sntese conceitual e uma metodologia de
construo de indicadores de desempenho de Programas, no intuito de auxiliar gestores e dirigentes na compreenso e escolha de medidas que de fato expressem os resultados esperados.
Afonso Oliveira de Almeida Secretrio de Planejamento e Investimentos Estratgicos
O Ministrio do Planejamento, Oramento e Gesto agradece s pessoas abaixo relacionadas, que direta ou indiretamente contriburam para o desenvolvimento ou aperfeioameto deste guia metodolgico.
Danyelle Iamada Edson Murilo Escobar Herton Ellery Arajo Jos Ribeiro Soares Guimares
- Moderadora - Programa Providencia - Instituto de Pesquisa Econmica Aplicada - Oficial de Projeto do Escritrio da Organizao Internacional do Trabalho (OIT) no Brasil - Instituto de Pesquisa Econmica Aplicada - Ministrio do Trabalho e Emprego - Empresa Brasileira de Comunicao - Escola Nacional de Cincias Estatticas/IBGE - Universidade de Braslia - Fundao SEADE
Marta Cassiolato James Maxwell Brito Coelho Nilson Roberto da Silva Paulo de Martino Jannuzzi Ricardo Corra Gomes Sonia Nahas
Sumrio
1 Introduo ................................................................................ 15 1.1 Objetivos ........................................................................... 15 1.2 Resultados esperados ........................................................ 16 1.3 Indicadores e a teoria do Programa .................................... 16 1.4 Grandes mitos ................................................................... 19 2 Marco Conceitual...................................................................... 21 2.1 Conceito de indicadores .................................................... 21 2.2 Histrico dos indicadores ................................................... 22 2.3 Funes Bsicas ................................................................. 23 2.4 Propriedades...................................................................... 24 2.5 Taxonomias ....................................................................... 27 2.6 Propriedades e taxonomias aplicadas gesto de Programas .................................................................... 33 2.7 Limitaes ......................................................................... 35 3 O Sistema Estatstico Nacional ................................................... 39 3.1 Objetivo ............................................................................ 40 3.2 Componentes .................................................................... 40 3.3 O papel do IBGE ................................................................ 42 3.4 Principais produtos disponveis ........................................... 43 4 Indicadores no PPA .................................................................... 47 4.1 Marco legal e dimenses estratgicas ................................ 47 4.2 Papis e responsabilidades ................................................. 48 4.3 Atributos ........................................................................... 49 4.4 Pontos de Destaque ........................................................... 50 5 Mtodo para Construo de Indicadores de Programas ............. 53 5.1 Fluxograma geral ............................................................... 53 5.2 Descrio das atividades .................................................... 54
6 Simulao de Uso...................................................................... 65 6.1 Nome do Programa ........................................................... 65 6.2 Evidncias da existncia do problema................................. 65 6.3 Delimitao do problema e do pblico-alvo ....................... 66 6.4 Aplicao do mtodo para construo de indicadores .......... 66 7 Dinmica de Aplicao do Mtodo: Ocina de Indicadores .......... 73 7.1 Viso geral ........................................................................ 73 7.2 Descrio do processo ....................................................... 74 7.3 Papis e responsabilidades ................................................. 78 7.4 Descrio do projeto-piloto ................................................ 79 7.5 Concluses e Recomendaes ........................................... 89 8 Consideraes Finais ................................................................. 91 Referncias Bibliogrcas ................................................................ 93 Glossrio......................................................................................... 97 Anexo I Fontes, Publicaes e Tecnologias .................................. 101 Anexo II Exemplos de Classicao por Temas ............................ 115 Anexo III Atributos dos indicadores do PPA ................................. 117 Anexo IV Perguntas Mais Frequentes .......................................... 119 Anexo V Roteiro de Entrevista para pr-montagem de Ocina .................................................................... 123 Anexo VI Guia de Referncia ...................................................... 127
Lista de Quadros
Quadro 1 Requisitos de um bom indicador ................................... 25 Quadro 2 Correlao entre etapas, caractersticas e tipologia .................................................................... 34 Quadro 3 Princpios fundamentais das estatsticas ociais ............. 39 Quadro 4 Papis e responsabilidades no tratamento de indicadores de Programas ............................................. 49 Quadro 5 Exemplos de critrios para seleo de indicadores ........... 57 Quadro 6 Critrios utilizados na seleo de indicadores ................ 68 Quadro 7 Indicadores candidatos ................................................. 69 Quadro 8 Atributos de um indicador selecionado ......................... 71 Quadro 9 Papis e responsabilidades para a ocina de indicadores .............................................................. 78 Quadro 10 Exemplos de indicadores candidatos denidos na pr-montagem ....................................... 84
Lista de Figuras
Figura 1 Referncias bsicas do Programa .................................... 18 Figura 2 Pirmide da informao .................................................. 29 Figura 3 Indicadores de gesto para um programa de ateno sade ........................................................ 31 Figura 4 Correlao entre os tipos de indicadores e o uxo de implementao de programas ..................... 33 Figura 5 Ciclo de gesto de Programas ......................................... 34 Figura 6 SEN e as principais instituies integrantes e produtoras de estatsticas............................................. 41 Figura 7 Exemplos de subsistemas que compem o SEN ............... 42 Figura 8 Dimenses estratgicas do Plano Plurianual .................... 48 Figura 9 Rampas de acesso ao mtodo de oito passos para construo de indicadores........................... 54 Figura 10 Matriz de priorizao de Indicadores ............................. 61 Figura 11 Simulao de matriz de avaliao quantitativa de indicadores ........................................... 70 Figura 12 Metodologia de construo de indicadores por meio de ocina ...................................................... 74 Figura 13 Referncias bsicas do PNMPO ..................................... 82 Figura 14 Planejamento da Ocina ............................................... 83 Figura 15 Matriz nal de priorizao de indicadores ..................... 87 Figura 16 Atributos de um indicador de Programa ........................ 88
Indicadores de Programas - Guia Metodolgico
1 Introduo
Considerando a importncia das aes de governo no crescimento econmico e no desenvolvimento social do Pas, so fundamentais a construo e a ampla utilizao de medidas de desempenho que expressem o grau de alcance das metas e objetivos estabelecidos. Na viso da OCDE (2008), por exemplo, dado que os resultados do setor pblico caracterizam-se, dentre outros, pela qualidade dos bens e servios entregues sociedade por intermdio de aes alocativas, pela regulao do mercado e pelo seu prprio desempenho, capazes de assegurar a convergncia dos meios na direo dos objetivos a alcanar, a m escolha ou mudana dos parmetros de medio pode aumentar ou diminuir signicantemente o PIB de um pas, conforme constatou uma recente pesquisa inglesa. Alm disso, princpios importantes como performance, transparncia e accountability, viabilizados pelas medidas de desempenho, so essenciais para a consolidao de um Estado moderno, pois proporcionam elementos que respaldam as decises e podem impulsionar uma profunda reforma nos governos na direo de uma maior efetividade das suas aes. Nesse contexto, considerando que o Estado responsvel por um grande nmero de operaes e projetos, preciso quanticar ou qualicar os parmetros que permitam s equipes gerenciais, dirigentes, polticos e cidados conhecer, opinar e decidir acerca dos mltiplos e complexos arranjos governamentais, o que faz dos indicadores de desempenho instrumentos fundamentais para a gesto pblica decididamente voltada para resultados.
1.1 Objetivos
O presente guia visa a estabelecer uma metodologia para a construo de indicadores para Programas do PPA do Governo Federal, com foco na estruturao de mtodos, tcnicas e instrumentos que possibilitem
15
a correta aferio dos resultados esperados. Para tanto, as principais metas a serem alcanadas so: o detalhamento de uma fundamentao terica que possibilite uniformizar conceitos, classicaes e nomenclaturas, a partir do entendimento da literatura existente; a concepo de um arcabouo metodolgico que oriente as atividades de construo ou seleo de indicadores de Programas; o estabelecimento de referncia rpida que auxilie envolvidos e interessados na construo de medidas de desempenho de Programas; o mapeamento de registros e publicaes que sirvam de fontes para indicadores de Programas.
1.2 Resultados esperados

O aperfeioamento da gesto ttico-operacional das aes governamentais o principal resultado esperado para este guia, considerando a importncia das medidas de desempenho como base instrumental para os processos de diagnstico, elaborao, monitoramento e avaliao dos Programas do PPA. Outras consequncias positivas esperadas so: melhor entendimento dos papis desempenhados pelos atores envolvidos; melhoria na qualidade do planejamento, implementao e avaliao de Programas; fortalecimento dos resultados na tica da ecincia e eccia das aes governamentais; uniformidade em conceitos, abordagens e diretrizes sobre indicadores; otimizao da comunicao dos resultados das aes de governo.
1.3 Indicadores e a teoria do Programa

Importante registrar que uma boa escolha de indicadores tem relao direta com o desenho do Programa. Neste sentido, pr-requisito para a escolha dos indicadores uma avaliao de adequao do objetivo do Programa, bem como de consistncia desse objetivo com a capacidade de interveno, materializada nas aes que o compem.
16
Indicadores de Programa medem os efeitos ou benefcios no pblicoalvo decorrentes dos produtos e servios entregues pelas aes empreendidas no contexto do Programa, ou seja, expressam a resultante dos projetos e atividades implementadas pelo Programa. Assim, luz do objetivo proposto, os indicadores so os principais instrumentos (mas no necessariamente os nicos1) para vericar se os resultados do Programa foram satisfatrios ou insatisfatrios, da a necessidade de uma boa denio do que se pretende entregar (aes) e alcanar (objetivo). Existem diversas metodologias orientadas a explicitar a teoria de um Programa ou projeto e atestar a consistncia da sua estratgia de implementao. Como exemplos pode-se citar a metodologia alem ZOPP Planejamento de Projetos Orientados por Objetivos e a Metodologia do Marco Lgico (ou Quadro Lgico) desenvolvida pela Agncia Americana para o Desenvolvimento Internacional (USAID). No mbito da Administrao Pblica Federal, a partir de estudos empreendidos pela Comisso de Monitoramento e Avaliao CMA e pelo Instituto de Pesquisa Econmica Aplicada IPEA, a SPI, responsvel pela qualidade do ciclo de planejamento das polticas pblicas, optou pela metodologia do Modelo Lgico de Programas, que permite estabelecer a correlao entre o objetivo a ser alcanado e o problema que deu causa a esse objetivo, as correlaes entre as aes a serem empreendidas e as causas do problema-alvo, bem como outras informaes essenciais s boas prticas de elaborao de Programas2. Na falta da aplicao da metodologia do Modelo Lgico, algumas perguntas facilitam e orientam a anlise das referncias bsicas de um Programa j existente, referncias essas representadas na Figura 1. A saber: 1. O Problema est bem delimitado? 2. O Objetivo do Programa est bem denido?
Um indicador uma abstrao que expressa uma dada realidade, mas no a nica; sempre que possvel o gestor de uma poltica pblica deve buscar outras formas de medio (pesquisas amostrais, contratao de avaliaes externas, auditorias etc.) dos efeitos esperados no pblico-alvo do Programa. A Escola Nacional de Administrao Pblica ENAP, em parceria com o MP, periodicamente realiza cursos e ocinas para a aplicao desse modelo aos programas do PPA.
17
Uma das formas de se responder a essa questo vericar se o objetivo do Programa atende a determinadas propriedades comuns aos objetivos. Uma tcnica muito utilizada para isso a aplicao do modelo SMART, acrnimo que signica: eSpecco: um objetivo no deve ser amplo ou genrico que conduza a interpretaes duvidosas, perda de foco ou impossibilidade de alcance a partir das aes do Programa; Mensurvel: no se pode gerenciar o que no se pode medir, portanto um objetivo ou meta deve ser passvel de aferio; Atingvel: um objetivo deve ser realista, vivel, possvel de ser atingido em face dos recursos (humanos, materiais, nanceiros etc.) disponveis e das restries inerentes administrao pblica; Relevante: um objetivo deve estar relacionado a um problema, demanda ou oportunidade prioritria para a agenda governamental. Tambm deve estar alinhado aos objetivos estratgicos (setoriais e de governo) estabelecidos. Tempo: um objetivo deve ser programvel, deve possuir uma data limite para alcance3. 3. O Pblico-alvo est bem delimitado? 4. Dado que o Programa do PPA atua em um problema ou demanda existente na sociedade, o resultado alcanado pelo conjunto de aes atualmente implementadas suciente para atingir o objetivo previsto? Figura 1 - Referncias bsicas do Programa g
Objetivo
Problema
Pblico-alvo
Ao 1 Ao 2 Ao 3 . . . Ao n
Resultado
Indicadores
Existem Programas de execuo permanente que no possuem uma data de trmino determinada, contudo o alcance de objetivos pode ser vericado em marcos temporais como, por exemplo, na avaliao anual e ao trmino da vigncia do PPA.
18
1.4 Grandes mitos

Segundo o Guia Referencial para Medio de Desempenho e Manual para Construo de Indicadores, desenvolvido no contexto do Programa Nacional de Gesto Pblica e Desburocratizao GesPblica pela Secretaria de Gesto SEGES do MP, os mitos mais conhecidos em relao ao uso de indicadores so: Deve-se medir tudo Quem quer medir tudo acaba no medindo nada; deve-se medir o que relevante, signicativo, til; medir custa tempo e dinheiro. A Medio deve ser absoluta Raramente uma medida consegue atender a todas as propriedades dos indicadores como validade, conabilidade, simplicidade, especicidade, disponibilidade, economicidade e outras. Uma boa prtica trabalhar com aproximaes a partir de dados j existentes. Medir por medir As medidas devem ter signicncia, no devem ser operacionalizadas por obrigao ou imposio legal, mas por se constiturem ferramentas teis a todo o ciclo de gesto das polticas pblicas. Medir e depois decidir o que fazer com as medidas no faz sentido. Dependncia tecnolgica Primeiro deve ser concebida a sistemtica e depois o sistema de informaes. O sistema de suporte no precisa, necessariamente, ser perfeito ou baseado no estado da arte da tecnologia, mas deve ser funcionalmente til e agregar valor anlise.
19
2 Marco Conceitual
O marco conceitual para indicadores busca estabelecer uma base terica comum para entendimento de questes importantes como denio, propriedades, classicaes mais utilizadas e limitaes. Para o presente guia metodolgico sero replicados os conceitos que constam de um documento prprio e de uso geral denominado Marco Conceitual para Indicadores4.
2.1 Conceito de indicadores

Do ponto de vista de polticas pblicas, os indicadores so instrumentos que permitem identicar e medir aspectos relacionados a um determinado conceito, fenmeno, problema ou resultado de uma interveno na realidade. A principal nalidade de um indicador traduzir, de forma mensurvel, determinado aspecto de uma realidade dada (situao social) ou construda (ao de governo), de maneira a tornar operacional a sua observao e avaliao. A literatura aponta diversas acepes acerca de indicadores, todas guardando certa similaridade conceitual. Segundo Ferreira, Cassiolato e Gonzales (2009), por exemplo: O indicador uma medida, de ordem quantitativa ou qualitativa, dotada de signicado particular e utilizada para organizar e captar as informaes relevantes dos elementos que compem o objeto da observao. um recurso metodolgico que informa empiricamente sobre a evoluo do aspecto observado. Na viso de Rua (2004), os indicadores so medidas que expressam ou quanticam um insumo, um resultado, uma caracterstica ou o desempenho de um processo, servio, produto ou organizao. Para o IBGE (2005), os indicadores so ferramentas constitudas de variveis que, associadas a partir de diferentes conguraes, expressam signicados
4 Esse documento ser oportunamente divulgado por meio do portal do Ministrio do Planejamento na Internet
21
mais amplos sobre os fenmenos a que se referem. J segundo Magalhes (2004), so abstraes ou parmetros representativos, concisos, fceis de interpretar e de serem obtidos, usados para ilustrar as caractersticas principais de determinado objeto de anlise. Cabe salientar que, segundo Jannuzzi (2003), o registro de um determinado cadastro administrativo ou uma estatstica produzida por uma instituio especializada no necessariamente um indicador de desempenho; portanto, uma importante distino precisa ser feita entre: Estatsticas Pblicas: representam ocorrncias ou eventos da realidade social, so produzidas e disseminadas pelas instituies que compem o Sistema Estatstico Nacional5 e servem de insumos para a construo de indicadores; Indicadores de Desempenho de Programas: dentro de uma nalidade programtica, permitem uma anlise contextualizada e comparativa dos registros e estatsticas, no tempo e no espao; Sistema de Indicadores: constitui um conjunto de indicadores que se referem a um determinado tema ou nalidade programtica. So exemplos o sistema de indicadores do mercado de trabalho (MTE) e o sistema de indicadores urbanos (Naes Unidas). Tanto para a pesquisa social quanto para o desenho e a implantao de Polticas Pblicas, Planos e Programas, os indicadores surgem como uma mediao entre a teoria e as evidncias da realidade, gerando instrumentos capazes de identicar e medir algum tipo de fenmeno social, estabelecido a partir de uma reexo terica (CARDOSO, 1998).
2.2 Histrico dos indicadores

Na histria recente, a ideia da construo de medidas que reetissem a realidade social remonta dcada de 1920, quando os Estados Unidos criaram um comit presidencial voltado a produzir um relatrio denominado Tendncias Sociais Recentes, conceito bastante prximo ao que hoje denominamos indicadores (RUA, 2004). Nas dcadas seguintes, o modelo de desenvolvimento implantado nos pases centrais (EUA, Europa e Japo), particularmente aps a 2a Guerra Mundial, levou nfase na construo de indicadores econmicos, pois
5 Veja captulo 3
22
acreditava-se que o nvel de produo evidenciava o grau de desenvolvimento de um pas (SANTAGADA, 2007). Tal paradigma comeou a mudar na dcada de 1960, tambm nos EUA, quando se percebeu que os ndices de desenvolvimento econmico, tal como o PIB per capita, no explicavam as lacunas existentes no processo de desenvolvimento social. No ano de 1966 surgiu, pela primeira vez, na obra coletiva organizada por Raymond Bauer a expresso Indicadores Sociais, cuja nalidade era avaliar as mudanas socioeconmicas na sociedade americana decorrentes da corrida espacial. J em 1969 o ento presidente Nixon criou o Servio Nacional de Metas e Pesquisas, com propsito de anualmente elaborar e divulgar informaes acerca do estado social da nao (SANTAGADA, 2007). Mais adiante, na dcada de 1970, houve um grande avano na produo de indicadores sociais patrocinados por organismos nacionais e internacionais (ONU, OCDE, PNUD, OMS e outros), com a divulgao de ndices regionais, nacionais e supranacionais permitindo, inclusive, a comparao das condies de vida entre os pases. J na dcada de 1980, a crise scal e a viso de um Estado mnimo economicamente eciente, adotada principalmente na Inglaterra e nos EUA, levaram a um certo desprezo pelos indicadores sociais. A partir da dcada de 1990, contudo, os indicadores sociais e ambientais assumiram um papel de destaque quando novos temas como desigualdade social, qualidade de vida, direitos humanos, liberdades polticas, desenvolvimento sustentvel, responsabilidade social e biodiversidade passaram a compor a pauta de governo da maioria das naes.
2.3 Funes Bsicas

Considerando uma viso mais agregada pode-se dizer que os indicadores possuem as seguintes funes bsicas (BONNEFOY, 2005): Funo Descritiva: consiste em aportar informao sobre uma determinada realidade emprica, situao social ou ao pblica como, por exemplo, a quantidade de famlias em situao de pobreza; e Funo Valorativa: tambm chamada avaliativa, implica em agregar informao de juzo de valor situao em foco, a m
23
de avaliar a importncia relativa de determinado problema ou vericar a adequao do desempenho de um Programa como, por exemplo, o nmero de famlias em situao de pobreza em relao ao nmero total de famlias. Essas funes permitem que os indicadores sejam amplamente utilizados nos diferentes momentos do ciclo de gesto de polticas pblicas, a saber: ex-ante: no diagnstico de situao, para subsidiar a denio do problema, o desenho de uma poltica e a xao das referncias que se deseja modicar; in curso: para monitoramento e avaliao da execuo, reviso do planejamento e correo de desvios; e ex-post: para avaliao de alcance de metas, dos resultados no pblico-alvo e dos impactos vericados na sociedade. Quando um indicador no reete a realidade que se deseja medir ou no considerado nos diversos estgios da elaborao e implementao de polticas, planos e programas, a desinformao poder implicar no desperdcio de tempo e de recursos pblicos, alm da falta de visibilidade de atendimento das expectativas da sociedade.
2.4 Propriedades
Diante da grande quantidade de medidas disponveis, o processo de seleo de indicadores deve buscar o maior grau possvel de aderncia a algumas propriedades que caracterizam uma boa medida de desempenho. Na viso da OCDE (2002 apud MAGALHES 2004), por exemplo, um bom indicador deve apresentar as seguintes propriedades e requisitos:
24
Quadro 1 Requisitos de um bom indicador

Propriedade Representatividade Simplicidade Relevncia para a formulao de polticas Sensvel a mudanas Possibilita comparaes em nvel internacional Possui escopo abrangente Possui valores de referncia Fundamentado cientificamente Adequao anlise Baseado em padres internacionais e possui consenso sobre a sua validade Utilizvel em modelos econmicos, de previso e em sistemas de informao Vivel em termos de tempo e recursos Mensurabilidade Adequadamente documentado Atualizado periodicamente
Fonte: Adaptado de OCDE (2002 apud MAGALHES 2004)
Requisitos
Considerando as abordagens de autores como Rochet, Bout-Colonna e Keramidas (2005), Rua (2004), Jannuzzi (2005) e Ferreira, Cassiolato e Gonzalez (2009), nesse trabalho so consideradas as propriedades dos indicadores como parte de dois grupos distintos: Propriedades Essenciais: so aquelas que qualquer indicador de Programa deve apresentar e sempre devem ser consideradas como critrios de escolha, independente da fase do ciclo de gesto em que se encontra o Programa (Planejamento, Execuo, Avaliao etc.). So elas: Validade: capacidade de representar, com a maior proximidade possvel, a realidade que se deseja medir e modicar. Um indicador deve ser signicante ao que est sendo medido e manter essa signicncia ao longo do tempo; Conabilidade: indicadores devem ter origem em fontes conveis, que utilizem metodologias reconhecidas e transparentes de coleta, processamento e divulgao; Simplicidade: indicadores devem ser de fcil obteno, construo, manuteno, comunicao e entendimento pelo pblico em geral, interno ou externo.
25
Propriedades Complementares: so tambm muito importantes, mas podem ser alvo de uma anlise de trade-off6 dependendo da fase do ciclo de gesto de Programas. So elas: Sensibilidade: capacidade que um indicador possui de reetir tempestivamente as mudanas decorrentes das intervenes realizadas; Desagregabilidade: capacidade de representao regionalizada de grupos sociodemogrcos, considerando que a dimenso territorial se apresenta como um componente essencial na implementao de polticas pblicas; Economicidade: capacidade do indicador de ser obtido a custos mdicos; a relao entre os custos de obteno e os benefcios advindos deve ser favorvel; Estabilidade: capacidade de estabelecimento de sries histricas estveis que permitam monitoramentos e comparaes; Mensurabilidade: capacidade de alcance e mensurao quando necessrio, na sua verso mais atual, com maior preciso possvel e sem ambiguidade; Auditabilidade: qualquer pessoa deve sentir-se apta a vericar a boa aplicao das regras de uso dos indicadores (obteno, tratamento, formatao, difuso, interpretao). Alm dessas propriedades, importante que o processo de escolha de indicadores considere os seguintes aspectos: Publicidade: os indicadores devem ser pblicos, isto , conhecidos e acessveis a todos os nveis da instituio, bem como sociedade e aos demais entes da administrao pblica. Temporalidade: a identicao dos indicadores de desempenho deve considerar algumas questes temporais: em primeiro lugar o momento em que deve comear a medio; em segundo lugar a disponibilidade de obteno quando os diferentes resultados comearem a acontecer; e, por m, a possibilidade de que, por meio dessas medidas, seja possvel realizar um acompanhamento peridico do desempenho do Programa. Factibilidade: os dados necessrios para as medies se constituem em informaes que fazem parte dos processos de gesto da instituio
6 Expresso que denota uma situao em que h conito de escolha (veja glossrio)
26
e, portanto, obtidas atravs de instrumentos de coleta, seja por amostra ou censo, estatsticas, aplicao de questionrios, observao etc., dependendo do aspecto a ser medido. Uma proposta de elaborao de indicadores dever permitir dispor de indicadores de medio factvel, em momentos adequados e com uma periodicidade que equilibre as necessidades de informao com os recursos tcnicos e nanceiros.
2.5 Taxonomias
A taxonomia existente na literatura aponta mais de uma dezena de formas e critrios de classicao de indicadores. Na viso de Rua (2004), por exemplo, os indicadores so classicados em: Indicadores Estratgicos: orientados viso e aos objetivos estratgicos da organizao; Indicadores de Processo: orientados ao acompanhamento e avaliao do desempenho do processo. Podem ser de: o Produtividade ou Ecincia: expressam a relao entre a quantidade de recursos empregados e os produtos ou servios produzidos; o Qualidade ou Eccia: medem o grau de satisfao do cliente com os produtos ou servios oferecidos, bem como o grau de atendimento aos requisitos denidos; o Capacidade: medem a capacidade de resposta de um processo, considerando as sadas produzidas por unidade de tempo; Indicadores de Projeto: voltados a monitorar e avaliar a execuo de projetos7. Outros autores como Villela et al. (2007), Jannuzzi (2002 e 2005) e Santagada (2007) tambm abordam taxonomias. Contudo, no intuito de simplicar o entendimento e evitar um emaranhado conceitual, neste trabalho sero consideradas como referncias as seguintes classicaes: (1) Natureza do Indicador; (2) rea Temtica; (3) Complexidade; (4) Objetividade; (5) Gesto do Fluxo de Implementao de Programas; e (6) Avaliao de Desempenho.
Projeto um esforo temporrio empreendido para criar um produto, servio ou resultado nico (PMI, 2004)
27
Natureza do indicador O IBGE, principal produtor de estatsticas e coordenador do Sistema Estatstico Nacional, consolida os indicadores de algumas das suas principais publicaes segundo essa classicao. Assim, dentro de uma perspectiva ampla e tambm da evoluo histrica, os indicadores podem ser: Econmicos: foram os primeiros a serem produzidos e por isso possuem uma teoria geral mais consolidada, no se restringem apenas rea pblica e reetem o comportamento da economia de um pas. No setor governamental so muito utilizados na gesto das polticas scal, monetria, cambial, comrcio exterior, desenvolvimento e outras. No setor privado subsidiam decises de planejamento estratgico, investimentos, contrataes, concorrncia, entrada ou sada de mercados etc; Sociais: so aqueles que apontam o nvel de bem-estar geral e de qualidade de vida da populao, principalmente em relao sade, educao, trabalho, renda, segurana, habitao, transporte, aspectos demogrcos e outros;8 Ambientais: demonstram o progresso alcanado na direo do desenvolvimento sustentvel, que compreende, segundo as Naes Unidas, quatro dimenses: ambiental, social, econmica e institucional.9 rea Temtica Essa classicao bastante utilizada para a localizao de indicadores em geral. Conforme os exemplos apresentados no Anexo II, os indicadores podem ser classicados em diferentes temas como sade, educao, mercado de trabalho, segurana, justia, pobreza, demogrcos e outros (JANNUZZI, 2005). Complexidade Essa classicao permite compreender que indicadores simples podem ser combinados de forma a obter uma viso ponderada e multidimensional da realidade. Segundo a tica de complexidade, representada na Figura 2, os indicadores podem ser:
8 Um importante instrumento para conhecer o sistema e obter indicadores sociais do Brasil a publicao Sntese dos Indicadores Sociais Uma Anlise das Condies de Vida da Populao Brasileira, do IBGE. A publicao Indicadores de Desenvolvimento Sustentvel, editada pelo IBGE, referncia acerca dos indicadores ambientais adotados no Brasil.
28
Analticos: so aqueles que retratam dimenses sociais especcas. Pode-se citar como exemplos a taxa de evaso escolar e a taxa de desemprego; Sintticos: tambm chamados de ndices, sintetizam diferentes conceitos da realidade emprica, ou seja, derivam de operaes realizadas com indicadores analticos e tendem a retratar o comportamento mdio das dimenses consideradas. Diversas instituies nacionais e internacionais divulgam indicadores sintticos, sendo exemplos o PIB, IDEB, IPC e o IDH. Figura 2 Pirmide da informao
Grau de Agregao
ndices Indicadores Dados analisados Dados originais

Quantidade de Informaes
Fonte: Ministrio do Planejamento
Objetividade Essa classicao tem proximidade com o carter quantitativo ou qualitativo de um indicador. Na viso de Jannuzzi (2005) os indicadores podem ser: Objetivos: referem-se a eventos concretos da realidade social; so indicadores em geral quantitativos, construdos a partir de estatsticas pblicas ou registros administrativos disponveis nos Ministrios; Subjetivos: so indicadores qualitativos utilizados para captar sensaes ou opinies e utilizam tcnicas do tipo pesquisa de opinio, grupo focal ou grupo de discusso.
29
Indicadores de Gesto do Fluxo de Implementao de Programas Essa classicao tem grande importncia para a equipe gerencial do Programa no gerenciamento do processo de formulao e implementao das polticas pblicas, pois permite separar os indicadores de acordo com a sua aplicao nas diferentes fases do ciclo de gesto. Na viso adaptada de Bonnefoy (2005) e Jannuzzi (2005), os indicadores podem ser de: Insumo (input indicators): so indicadores ex-ante facto que tm relao direta com os recursos a serem alocados, ou seja, com a disponibilidade dos recursos humanos, materiais, nanceiros e outros a serem utilizados pelas aes de governo. Pode-ser citar como exemplos mdicos/mil habitantes e gasto per capita com educao; Processo (throughput indicators): so medidas in curso ou intermedirias que traduzem o esforo empreendido na obteno dos resultados, ou seja, medem o nvel de utilizao dos insumos alocados como, por exemplo, o percentual de atendimento de um pblico-alvo e o percentual de liberao dos recursos nanceiros; Produto (output indicators): medem o alcance das metas fsicas10. So medidas ex-post facto que expressam as entregas de produtos ou servios ao pblico-alvo do Programa. So exemplos o percentual de quilmetros de estrada entregues, de armazns construdos e de crianas vacinadas em relao s metas fsicas estabelecidas; Resultado (outcome indicators): essas medidas expressam, direta ou indiretamente, os benefcios no pblico-alvo decorrentes das aes empreendidas no contexto do Programa e tm particular importncia no contexto de gesto pblica orientada a resultados. So exemplos as taxas de morbidade (doenas), taxa de reprovao escolar e de homicdios;
10 Segundo Costa e Castanhar (2003) os padres de referncia para denio de metas podem ser: absolutos, quando estabelecido um valor a ser alcanado; histricos, quando h comparao com perodos anteriores; normativos, quando h comparao com programas similares; tericos, quando estabelece uma relao hipottica de causa e feito entre os recursos alocados e os resultados esperados; e negociados, quando os compromissos so conversados e xados entre partes.
30
Impacto (impact indicators): possuem natureza abrangente e multidimensional, tm relao com a sociedade como um todo e medem os efeitos das estratgias governamentais de mdio e longo prazos. Na maioria dos casos esto associados aos objetivos setoriais e de governo (veja Figura 8). So exemplos o ndice Gini de distribuio de renda e o PIB per capita.
Importante: essa classificao nem sempre to precisa quanto parece, principalmente quando os objetivos no so muito especficos. Dependendo do contexto um mesmo indicador pode ser classificado em tipos diferentes, ou seja, uma medida tipicamente de processo (atendimentos por hora, p.e.) pode, dependendo do objetivo que se quer atingir (qualidade de atendimento, p.e.), ser classificada como de resultado.
A Figura 3 a seguir apresenta uma ilustrao dessa classicao para uma poltica pblica, cujo objetivo diminuir a incidncia de doenas sexualmente transmissveis em determinado pblico-alvo. Figura 3 - Indicadores de gesto para um Programa de ateno sade
Insumo
Mdicos por mil habitantes Oramento previsto
Processo
Recursos financeiros liberados no ms
Produto
Mdicos contratados Campanhas realizadas
Resultado
Diminuio da taxa de morbidade por doenas DST
Impacto
Aumento da expectativa de vida da populao
Indicadores de Avaliao de Desempenho Essa classicao possui foco maior na avaliao dos recursos alocados e dos resultados alcanados. Segundo essa tica, os indicadores podem ser de (TCU, 2000): Economicidade: medem os gastos envolvidos na obteno dos insumos (materiais, humanos, nanceiros etc.) necessrios s aes que produziro os resultados planejados. Visa a minimizar custos sem comprometer os padres de qualidade estabelecidos
31
e requer um sistema que estabelea referenciais de comparao e negociao; Ecincia: essa medida possui estreita relao com produtividade, ou seja, o quanto se consegue produzir com os meios disponibilizados. Assim, a partir de um padro ou referencial, a ecincia de um processo ser tanto maior quanto mais produtos forem entregues com a mesma quantidade de insumos, ou os mesmos produtos e/ou servios sejam obtidos com menor quantidade de recursos; Eccia: aponta o grau com que um Programa atinge as metas e objetivos planejados, ou seja, uma vez estabelecido o referencial (linha de base) e as metas a serem alcanadas, utiliza-se indicadores de resultado (veja Figura 4) para avaliar se estas foram atingidas ou superadas; Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a interveno, ou seja, aponta se houve mudanas socioeconmicas, ambientais ou institucionais decorrentes dos resultados obtidos pela poltica, plano ou programa. Importante destacar que, no ciclo de implementao de uma poltica pblica, cada tipo de avaliao utiliza um ou mais indicadores de gesto do uxo de implementao de Programas. Essa correlao entre indicadores de gesto do uxo e de avaliao de desempenho est representada na Figura 4.
Importante: os Indicadores de Resultado, que permitem realizar avaliaes de eficcia ou do grau de alcance dos objetivos dos Programas, materializam o conceito de Indicadores de Desempenho de Programas citado diversas vezes neste guia.
32
Figura 4 Correlao entre tipos de indicadores e o uxo de implementao de Programas

Indicadores de Gesto do Fluxo de Implementao de Programas Indicadores de Avaliao de Desempenho Fluxo de implementao de Programas Objetivos
Impacto
Efetividade
Mudanas na Sociedade Resultado no Pblico-alvo Produtos Aes
Governo e Setoriais
Resultado
Eficcia
Programa
Produto
Processo
Eficincia Recursos Humanos Materiais e Financeiros Gastos
Problemas, Demandas ou Potencialidades
Insumo
Economicidade
Causas
2.6 Propriedades e taxonomias aplicadas gesto de Programas

A correlao entre os tipos de indicadores e o uxo de implementao dos Programas representada na Figura 4 est considerada no mbito do ciclo de planejamento demonstrado na Figura 5, composto basicamente dos processos de: (1) Diagnstico do problema ou demanda; (2) Planejamento; (3) Execuo e Monitoramento; (4) Avaliao; e (5) Reviso. Assim, cada etapa desse ciclo demanda indicadores que apresentem determinadas propriedades e pertenam a determinadas tipologias. Esta correlao entre as etapas, as propriedades e a tipologia sugerida apresentada no Quadro 2.
33
Figura 5 Ciclo de gesto de Programas

Problema ou Demanda da Sociedade
Reviso
Ciclo de Gesto de Polticas Pblicas
Planejamento
Avaliao
Execuo e Monitorao
Quadro 2 Correlao entre etapas, caractersticas e tipologia

Etapas Objetivo Propriedades Prioritrias Tipologias Principais Fontes Censo demogrfico, Censo populacional, Pesquisas amostrais diversas (PNAD, PME). Censo demogrfico, Censo populacional, Pesquisas amostrais diversas.
Problema ou Conhecer e diagDemanda nosticar problemas, demanda da sociedade ou potencialidades. Planejamento Definir causas e consequncias do problema, objetivos, referenciais, indicadores, aes e resultados intermedirios e final. Execuo e Monitoramento Gerenciar execuo das aes, entrega de produtos e alcance de resultados intermedirios e finais.
Validade, Indicadores Confiabilidade. Analticos. Indicadores Objetivos.
Validade, Confiabilidade e Desagregabilidade.
Indicadores de Insumo, de Produto e de Resultado. Indicadores Sintticos. Indicadores de Insumo, de Processo e de Produto.
Sensibilidade, Disponibilidade, Economicidade, Mensurabilidade e Estabilidade.
Pesquisas amostrais; Registros administrativos (Sade, Educao, etc.); Dados geradas pelos Programas.
34
Etapas Avaliao
Objetivo Avaliar alcance de objetivos ou a eficcia dos Programas.
Propriedades Prioritrias
Tipologias
Principais Fontes Pesquisas amostrais ou dirigidas; Registros administrativos; Dados geradas pelos Programas. Censo demogrfico, Censo populacional, Pesquisas amostrais diversas.
Validade, Dis- Indicaponibilidade, dores de Simplicidade e Resultado; Estabilidade.
Reviso
Realizar alteraValidade, es e ajustes no Confiabilidade Programa. e Desagregabilidade.
Indicadores de Insumo, de Produto e de Resultado. Indicadores Sintticos.
Fonte: Ministrio do Planejamento, adaptado de Jannuzzi (2005)
Utilizando como exemplo a etapa de diagnstico do problema ou demanda, do ponto de vista das propriedades muito importante que os indicadores escolhidos para o diagnstico da situao reitam, com a maior proximidade possvel, a realidade considerada (Validade), como tambm sejam metodologicamente consistentes e oriundos de fontes conveis (Conabilidade). Em relao tipologia, nessa etapa os indicadores analticos e os objetivos so muito recomendados.
2.7 Limitaes
Indicadores so representaes imperfeitas e suscetveis Por denio os indicadores so abstraes, representaes, simplicaes de uma dada realidade, portanto so suscetveis aos vieses de quem produziu, coletou e/ou interpretou. Desta forma, no se deve conar cega e eternamente nas medidas, o que signica dizer que o gestor de uma poltica pblica deve, periodicamente, realizar uma avaliao crtica acerca da adequabilidade dos indicadores selecionados, considerando ainda que, a todo tempo, surgem modelos mais aperfeioados baseados em novas teorias. Deve-se, portanto, conar nas escolhas realizadas enquanto no surgirem alternativas melhores, mais vlidas e aprimoradas, desenvolvidas a partir de pesquisas e trabalhos metodologicamente conveis (MAGALHES, 2004).
35
O indicador e a dimenso de interesse no se confundem Deve-se atentar que o indicador apenas aponta, assinala, indica como o prprio nome revela. Contudo, comum casos em que o foco das aes seja deslocado da realidade com que se deseja trabalhar para o indicador escolhido para represent-la. H casos at em que primeiro se escolhe o indicador para depois associ-lo a um problema ou demanda. De fato em algumas situaes existe forte identicao entre o conceito e o indicador como, por exemplo, mortalidade ou morbidade por causas diversas; porm em geral essa no a regra, principalmente para conceitos multidimensionais como desenvolvimento humano e qualidade de vida (JANNUZZI, 2002). Indicador Sinttico versus Sistema de Indicadores Quando os conceitos so complexos no se pode reduzir a gesto de uma poltica ou programa simples apreciao de um indicador sinttico. O IDH, por exemplo, resultado da ponderao de trs temas distintos (economia, sade e educao), busca melhor representar o nvel de desenvolvimento socioeconmico de um pas; porm a sua composio mistura um conceito mais sensvel s variaes conjunturais e de prazo mais curto (PIB per capita) com conceitos estruturais menos sensveis e de prazo mais longo de evoluo (sade e educao). Assim, uma variao anual positiva do IDH decorrente do aumento do PIB per capita pode, por exemplo, camuar uma estagnao ou at um retrocesso nas outras dimenses estruturais do ndice (sade e educao). Dependendo do contexto e dos objetivos estabelecidos, deve-se ter cautela na adoo de ndices; pois, se por um lado muito bem identicam reas de ao prioritria, por outro no expressam problemas ou dimenses especcas. Alm de se prestarem de forma limitada para o processo de avaliao das polticas pblicas, os indicadores sintticos podem revelar problemas quando da sua utilizao indiscriminada como critrio de elegibilidade de municpios para serem contemplados com polticas pblicas especcas. O mais recente IDH-M (ndice de Desenvolvimento Humano Municipal) ilustra bem essa problemtica. Supondo-se a implementao de uma poltica pblica voltada para a melhoria das condies nutricionais e de vida das crianas de zero a seis anos, mais vulnerveis socialmente, o critrio possvel seria eleger um determinado contingente de municpios com base no IDH-M. Apenas para efeito de ilustrao, considerem-se os 100 municpios do pas de
36
menor IDH-M no ano de 2000. Utilizando-se, contudo, um indicador analtico mais apropriado e renado para contemplar com maior preciso o pblico-alvo da poltica, os resultados so bastante diferentes em comparao com os municpios selecionados a partir do indicador sinttico IDH-M. Considerando-se, por exemplo, o indicador Proporo de crianas na primeira infncia (de zero a seis anos) residentes em domiclios particulares permanentes, cujo responsvel aufere renda at dois salrios mnimos mensais, algumas constataes saltam aos olhos. Em primeiro lugar, com base nesse indicador apenas 26 municpios (menos de um tero) do grupo de cem municpios selecionados pelo IDH-M continuariam a fazer parte daqueles que seriam contemplados pela poltica pblica. Alm disso, observam-se discrepncias entre alguns municpios que seriam ou no contemplados pela poltica pblica em razo do seu IDH-M e, consequentemente, de sua posio no ranking, vis--vis sua efetiva situao com base no indicador analtico proposto. Tal problemtica do uso do IDH-M se faz presente quando se confronta esse critrio de elegibilidade de municpios com diversos outros indicadores mais renados para atender aos mais variados ns de polticas pblicas, inclusive no mbito das unidades da federao11.
11 Para mais informaes sobre a problemtica de uso de indicadores sintticos em polticas pblicas ver Guimares e Jannuzzi (2005).
37
3 O Sistema Estatstico Nacional

Na viso de Guimares (1990 apud FEIJ e VALENTE 2005), o conceito de Sistema Estatstico Nacional est relacionado a duas dimenses distintas: (1) ao conjunto de informaes estatsticas estruturadas de acordo com regulamentos e procedimentos especcos que expressam as realidades social, ambiental e econmica de um pas; e (2) atuao coordenada e eciente das instituies nacionais e subnacionais que produzem e disseminam estatsticas pblicas. No Quadro 3 esto representados os dez princpios fundamentais que norteiam a produo de estatsticas ociais, estabelecidos pelas Naes Unidades em 1994. Quadro 3 - Princpios fundamentais das estatsticas ociais
1. Relevncia, Imparcialidade e Acesso Universal: estatsticas pblicas devem ser teis, isentas e disponveis ao pblico em geral. 2. tica e Profissionalismo: esses princpios sempre devem orientar o trabalho das agncias produtoras de estatsticas. 3. Confiabilidade e Transparncia: devem ser utilizados padres e procedimentos cientficos conhecidos e reconhecidos. 4. Preveno de Erros: as instituies estatsticas devem implementar mecanismos que possam evitar o uso incorreto das estatsticas. 5. Custo-benefcio das Fontes: as fontes para estatsticas devem ser escolhidas considerando a qualidade, oportunidade, disponibilidade e custo. 6. Sigilo: dados individuais devem ser preservados e utilizados apenas para fins estatsticos. 7. Legislao: leis, regulamentos e procedimentos devem ser tornados pblicos. 8. Coordenao Nacional: as instituies oficiais e no-oficiais devem trabalhar de forma coordenada para evitar inconsistncias, sobreposio e desperdcio. 9. Padres Internacionais: a adoo de padres internacionais promove consistncia e eficincia do sistema como um todo. 10. Cooperao: a cooperao e a troca de experincias contribuem para o aperfeioamento dos diversos sistemas.
Fonte: Adaptado da UNITED NATIONS: Fundamental Principles of Ofcial Statistics (1994).
39
Nos processos de elaborao e gesto de Programas do Plano Plurianual, particularmente nas atividades de construo de indicadores de desempenho, importante que os responsveis e demais interessados atentem que, no Brasil, existe um sistema de estatsticas pblicas formalmente estruturado. Trata-se do Sistema Estatstico e Cartogrco Nacional - SEN, criado pela Lei n 6.183, de 11 de dezembro de 1974.
3.1 Objetivo
De acordo com o artigo 1o da Lei n 6.183/1974, o Sistema Estatstico Nacional tem como objetivo possibilitar o conhecimento da realidade fsica, econmica e social do Pas, visando especialmente ao planejamento econmico e social e segurana nacional. Para tanto, abrange as estatsticas primrias (contnuas e censitrias); as estatsticas derivadas (indicadores econmicos e sociais, sistemas de contabilidade social e outros sistemas de estatsticas derivadas); e a sistematizao de dados sobre meio ambiente e recursos naturais com referncia sua ocorrncia, distribuio e frequncia.
3.2 Componentes
A Lei n 6.183/1974 prev ainda, em seu artigo 2o, que: Integram o Sistema Estatstico Nacional todos os rgos e entidades da Administrao Pblica direta e indireta, de mbito federal, estadual ou municipal, e entidades de natureza privada, que exeram atividades estatsticas com o objetivo referido no artigo 1 e para isso recebam subveno ou auxlio dos cofres pblicos. Na Figura 6 esto representadas as principais organizaes nacionais e subnacionais que operacionalizam o SEN, bem como instituies que, apesar de no receberem recursos pblicos, tambm se constituem de fontes para a construo de indicadores de desempenho de Programas.
40
Figura 6 O SEN e as principais instituies integrantes e produtoras de estatsticas

FONTES DE ESTATSTICAS E INDICADORES NACIONAIS E INTERNACIONAIS
Instituies Federais IBGE IPEA Sade Instituies No Governamentais FGV Comunicaes FIPE ANIPES DIEESE Desenvolvimento Urbano Economia MF, BACEN Segurana Pblica, DPF, DPRF Mulheres Igualdade Racial Instituies subnacionais SEADE FJP IPARDES SEI FEE IJSN CIDE IPLANCE Justia CNJ, STF Federal, STJ Idosos Direitos Humanos Crianas e Adolescentes Pessoas com Deficincia Desenvolvimento Agrrio Trabalho Previdncia Social Defesa e Soberania Energia Sustentabilidade Ambiental MMA, IBAMA Indstria, Inovao e Comrcio Exterior MDS, MCT, CNPq, INPE, Turismo Infraestrutura Hdrica Transporte DENATRAN, DENIT OCDE PNUD CEPAL Banco Mundial OIT Outros Temas Temas Sociais Educao, Esporte e Cultura Temas Econmicos e Especiais Agricultura e Pesca Temas de Infraestrutura Minerao Organismos Internacionais Naes Unidas
Proteo Social MDS
Do ponto de vista de estruturao, o Sistema Estatstico Nacional composto de diferentes subsistemas temticos como o econmico, o social e o de desenvolvimento sustentvel, alguns representados na Figura 7. Esses subsistemas disponibilizam produtos importantes e teis s aes governamentais e dispem de modernas tecnologias de informao e comunicao de dados.
41
Figura 7 Exemplos de subsistemas que compem o SEN

Sistema Estatstico Nacional
Subsistema Econmico Estatsticas da Indstria Estatsticas do Comrcio Estatsticas Agropecurias Estatsticas de Servios Contas Nacionais
Subsistema Social Estatsticas Demogrficas Estatsticas de Sade Estatsticas de Educao Estatsticas do Trabalho Estatsticas da Pobreza
Subsistema de Desenvolvimento Sustentvel Estatsticas Ambientais Estatsticas Econmicas Estatsticas Sociais Estatsticas Institucionais
Fonte: Anipes/Fundao SEADE
3.3 O papel do IBGE

A transformao do Instituto Nacional de Estatstica no Instituto Brasileiro de Geograa e Estatstica IBGE, em 1938, foi resultado da importncia que a estatstica, a geograa, a geodsia e a cartograa adquiriam naquele momento histrico de desenvolvimento econmico, modernizao institucional e integrao nacional. Assim, a partir de uma orientao central, o IBGE nasceu com a misso de coordenar e prover estatsticas primrias, anlises e estudos essenciais administrao pblica. Na viso de Feij e Valente (2005): ... a atuao do IBGE foi norteada para o levantamento e sistematizao de um conjunto de informaes, a m de atender administrao pblica em seus aspectos jurdicos (legislao); tributrio (impostos, controle oramentrio de verbas pblicas); pleitos eleitorais e expanso de riquezas pblicas federais (demarcao de terras devolutas pertencentes Unio, mensurao das riquezas naturais e construo de equipamentos diversos como estradas, aeroportos, minas e usinas).
42
Nas dcadas seguintes o pas cresceu e diversicou-se. Da mesma forma o IBGE modernizou a sua estrutura organizacional e incorporou novas tecnologias, metodologias e instrumentos de medio da realidade nacional. nesse contexto que, atualmente, o IBGE desempenha um duplo papel: (1) de coordenao do Sistema Estatstico Nacional, por meio da integrao dos subsistemas e da padronizao de procedimentos, conceitos e classicaes; (2) de principal provedor de estatsticas e indicadores para os mais diferentes segmentos da sociedade12.
3.4 Principais produtos disponveis

A seguir esto descritos alguns dos mais importantes produtos, dentre pesquisas, registros administrativos e publicaes, disponibilizados pelos principais provedores de estatsticas e que podero ser teis como fontes de medidas de desempenho de Programas de governo. As informaes abaixo esto disponveis nos portais da Internet das instituies responsveis pela sua produo como IBGE, IPEA, MTE e outros. Principais pesquisas do IBGE Censo Demogrco: trata-se de um extenso diagnstico da realidade social realizado a cada 10 anos pelo IBGE. Fornece informaes de amplo escopo temtico, alta desagregabilidade populacional e territorial, cobertura nacional e comparabilidade inter-regional. PNAD: a Pesquisa Nacional por Amostra de Domiclios realizada anualmente pelo IBGE, cobre cerca de 140 mil domiclios e investiga temas como fecundidade, anticoncepo, migrao, mobilidade social, educao, sade, associativismo, participao poltica, bens de consumo, consumo de energia, trabalho, trabalho infantil, previdncia, segurana alimentar, merenda escolar e acesso a programas de transferncia de renda. Apresenta resultados para o Brasil, Grandes Regies, Unidades da Federao e principais Regies Metropolitanas. PME: a Pesquisa Mensal de Empregos permite avaliar as utuaes e a tendncia, a mdio e a longo prazos, do mercado de trabalho e abrange informaes referentes condio de atividade e de ocupao, rendimento mdio nominal e real, posse de carteira de trabalho assinada e outras, tendo como unidade de coleta os domiclios. Abrange as regies
12 Para mais detalhes veja www.ibge.gov.br
43
metropolitanas de Recife, Salvador, Belo Horizonte, Rio de Janeiro, So Paulo e Porto Alegre. POF: a Pesquisa de Oramentos Familiares direcionada principalmente para mensurar as estruturas de consumo das famlias e possibilita traar um perl das condies de vida da populao a partir da anlise de seus oramentos domsticos. Para reas urbanas, os resultados so produzidos nos nveis Nacional, Grandes Regies, Unidades da Federao, Regies Metropolitanas e todas as capitais. PMC: a Pesquisa Mensal do Comrcio realizada nas unidades da federao e produz indicadores que permitem acompanhar o comportamento conjuntural do comrcio varejista. MUNIC: a Pesquisa de Informaes Bsicas Municipais investiga, na esfera municipal, temas como estrutura administrativa, participao e formas de controle social, planejamento municipal, justia, segurana, cultura e lazer. AMS: a Pesquisa Nacional de Assistncia Mdico-Sanitria realiza um censo dos estabelecimentos de sade no pas; volume e qualicao de pessoal; e equipamentos e recursos disponveis para o atendimento mdico-sanitrio da populao. PNSB: a Pesquisa Nacional de Saneamento Bsico prov informaes em nvel municipal sobre abastecimento de gua, esgotamento sanitrio, limpeza urbana e sistema de drenagem urbana.
Importante: a partir do ano de 2011 o IBGE implantar o Sistema Integrado de Pesquisas Domiciliares (SIPD), fruto de um amplo processo de reformulao dos levantamentos domiciliares. O ncleo temtico deste sistema ser formado pela PNAD Contnua, pesquisa que integrar a PNAD e a PME, e o esquema de POFs Contnuas, composto pela POF completa (realizada a cada 5 anos) e a POF Simplificada (que ser contnua). Estas pesquisas, por serem contnuas e de mltiplos propsitos, sero veculos naturais para as investigaes suplementares. Uma das grandes novidades do SIPD ser a produo de indicadores de curto prazo (trimestrais) sobre trabalho e rendimentos com abrangncia nacional e com detalhamento por Unidade da Federao.
44
Para conhecer o conjunto de todas as pesquisas realizadas pelo IBGE, sua metodologia, periodicidade, abrangncia geogrca e outras informaes estratgicas acesse o Banco de Metadados13 disponvel em http://www.metadados.ibge.gov.br. Principais Registros Administrativos Estatsticas do Registro Civil: conjunto que rene os registros de nascidos vivos, bitos e bitos fetais, casamentos, separaes judiciais e divrcios. RAIS: a Relao Anual de Informaes Sociais prov um amplo conjunto de dados para elaborao de estatsticas do trabalho, disponibiliza informaes do mercado de trabalho formal s entidades governamentais e subsidia o controle da atividade trabalhista no Pas. CAGED: o Cadastro Geral de Empregados e Desempregados demonstra a evoluo mensal do emprego formal do pas, prov informaes para o sistema pblico de emprego e serve como base para a elaborao de estudos, pesquisas, projetos e programas ligados ao mercado de trabalho. CENSO ESCOLAR: levantamento de dados estatstico-educacionais de mbito nacional realizado anualmente e coordenado pelo Inep/MEC. Abarca todas as escolas pblicas e privadas do pas e fornece informaes da educao bsica, que abrange as suas diferentes etapas e modalidades. Fornece dados de estabelecimentos, matrculas, funes docentes, movimento e rendimento escolar. Publicaes Retrato das Desigualdades: apresenta, a partir da PNAD, um retrato atual das desigualdades de gnero e de raa no Brasil, bem como das suas interseccionalidades. Boletim de Conjuntura Econmica e Social: publicao que apresenta uma ampla anlise da realidade socioeconmica e da evoluo das polticas pblicas do pas. Acompanhamento e Anlise das Polticas Sociais: so estudos e pesquisas que monitoram e avaliam as polticas pblicas voltadas s questes
13 Metadados podem ser denidos como "dados que descrevem os dados", so informaes teis para identicar, localizar, compreender e gerenciar os dados.
45
sociais, dentre as quais se destacam: Radar Social - Condies de Vida no Brasil; Polticas Sociais: Acompanhamento e Anlise; Objetivos de Desenvolvimento do Milnio (ODM); e a Ao Social das Empresas. Outras informaes acerca de fontes para a obteno de indicadores, principais publicaes e catlogos disponibilizados por renomadas instituies, bem como tecnologias utilizadas para acesso e processamento de informaes so apresentadas no Anexo I.
46
4 Indicadores no PPA
Os indicadores fazem parte do PPA e se constituem em instrumento para viabilizar a demonstrao do desempenho do Programa. Eles representam o meio de informao sobre o andamento do Plano e se consolidam em um importante instrumento de anlise e avaliao, formatados por meio de relatrio de avaliao encaminhado anualmente ao Congresso Nacional. Os indicadores caracterizam-se como atributos gerenciais dos Programas e, no PPA, so utilizados como: ndices de referncia, que constituem a linha de base para a posterior vericao dos resultados dos Programas; ndices previstos para o nal do Plano, que retratam as mudanas esperadas no pblico-alvo e tm relao direta com os objetivos dos Programas; e ndices parciais (geralmente anuais), necessrios s aes de acompanhamento gerencial peridico.
4.1 Marco legal e dimenses estratgicas

Os Programas nalsticos do Plano Plurianual devem ser mensurados por meio de um ou mais indicadores, cuja denio, segundo o Manual de Elaborao de Programas do PPA 2008-2011, a seguinte: Instrumento capaz de medir o desempenho do programa. Deve ser passvel de aferio e coerente com o objetivo estabelecido, ser sensvel contribuio das principais aes e apurvel em tempo oportuno. Os indicadores devem ser propostos pelos formuladores dos Programas a partir de orientaes tcnicas fornecidas pela SPI e podem ser provenientes de fontes diversas, de avaliaes de iniciativas dos rgos ou das anlises da teoria do Programa (por exemplo, utilizando a metodologia do Modelo Lgico). Uma vez denidos, os indicadores so incorporados ao Projeto de Lei do Plano Plurianual, a ser discutido e aprovado pelo Congresso Nacional e sancionado pelo Presidente da Repblica. Esta lei previamente autoriza a realizao de alteraes, incluses ou excluses posteriores, mediante anlise e anuncia do Ministrio do Planejamento.
47
Importante: existem dois outros nveis de indicadores que esto fora do escopo deste guia metodolgico: os indicadores de mais alto nvel expressam o alcance dos objetivos de governo, fazem parte da OEG - Orientao Estratgica de Governo e so propostos pelo Ministrio do Planejamento em consonncia com as prioridades estabelecidas pelo Governo Federal; e os indicadores de nvel intermedirio que fazem parte da OEM - Orientao Estratgica dos Ministrios, esto relacionados aos objetivos setoriais e so de responsabilidade desses rgos. Essas diversas dimenses estratgicas esto representadas na figura 8.
Figura 8 Dimenses estratgicas do Plano Plurianual
Dimenso Estratgica
Orientaes Estratgicas dos Ministrios
Orientao Estratgica de Governo
Viso de longo prazo
Objetivos de Governo
Objetivos Setoriais
Dimenso TticaOperacional
Programas e Aes
Fonte: Manual de Elaborao do PPA 2008-2011, pgina 16
4.2 Papis e responsabilidades

Conforme a Portaria no 140, de 10 de junho de 2009, publicada pelo Ministrio do Planejamento, bem como o Decreto no 6601, de 10 de outubro de 2008, a utilizao de indicadores em Programas requer que os atores envolvidos assumam determinados papis, cujas responsabilidades encontram-se descritas no Quadro abaixo.
48
Quadro 4 Papis e responsabilidades no tratamento de indicadores de Programas

Papis Responsabilidades Formular os indicadores de Programa; Gerenciar a implementao do Programa; Apurar os ndices dos indicadores; Monitorar a evoluo dos indicadores; Apoiar o SecretrioExecutivo no monitoramento dos indicadores dos Programas e dos objetivos setoriais do rgo; Monitorar, com o Gerente de Programa, a evoluo dos indicadores dos objetivos setoriais, dos Programas e das metas das aes do PPA sob sua responsabilidade; Fornecer orientao metodolgica e apoiar aes de capacitao, reviso e construo de indicadores; No caso de reviso do PPA, as alteraes dos indicadores dos Programas e seus respectivos ndices sero realizadas mediante anlise e aprovao prvia; Adotar medidas que fortaleam a gesto para resultados, observando os princpios da eficincia, da eficcia e da efetividade da ao governamental, com base nos indicadores e metas do PPA; Realizar o monitoramento estratgico do PPA com base na evoluo dos indicadores dos objetivos de governo, dos Programas prioritrios e das metas de aes.
Gerente de Programa
Unidade de Monitoramento e Avaliao UMA Secretrio Executivo (ou equivalente)
Ministrio do Planejamento (SPI)
Comit de Gesto do PPA
Fonte: Portaria no 140 do MP, de 10/06/2009 e Decreto no 6.601, de 10/10/2008
4.3 Atributos
Os indicadores podem ser selecionados a partir das medidas existentes no Sistema Estatstico Nacional, ou ser construdos para um contexto especco de Programa por meio de registros administrativos quando no houver indicadores no SEN que funcionem como proxy (aproximao) adequada medio de resultados14. Uma vez cumpridas as etapas de construo, o manual de elaborao do PPA prescreve que sejam denidos os atributos dos indicadores dos
14 Programas nalsticos devem ter pelo menos um indicador de resultado cadastrado. Para os programas no-nalsticos, o cadastramento de indicadores opcional (Manual de Elaborao do PPA 2008-2011, pgina 45).
49
Programas apresentados na ltima etapa do mtodo descrito no captulo 5 bem como cadastrados, atualizados, monitorados e avaliados com apoio de um sistema de informao especco.
4.4 Pontos de Destaque

Alguns aspectos so relevantes e devem ser considerados pelos gerentes do Programa e demais envolvidos na construo e utilizao de indicadores do PPA, dentre os quais destacam-se: Qualidade de um indicador: uma forma de garantir a qualidade de um indicador utilizar mtodos e, particularmente, critrios de escolha que sejam vlidos e pertinentes, a exemplo do passo 4 do mtodo descrito no captulo 5. O gestor pblico deve ter em mente que o que se pretende com a utilizao de indicadores de desempenho no produzir nmeros, mas aferir resultados. Quantidade de indicadores: a quantidade de indicadores depende, basicamente, da complexidade do Programa; das dimenses abrangidas pelo objetivo; e tambm do contexto analisado. Em razo da diversidade que essas variveis podem assumir, no existe uma regra denida, a no ser restringir o nmero de indicadores ao mnimo aceitvel, desde que no comprometa a deteco dos dados relevantes (AUDIT COMMISSION, 2000). Dimenso Territorial: o conhecimento e o tratamento da dimenso territorial por meio da seleo de indicadores socioespaciais permite no apenas tratar os problemas e as carncias da sociedade, mas tambm aproveitar as potencialidades locais. Assim, uma classicao de unidades territoriais segundo indicadores especcos, que apontem dcits ou oportunidades, nortear melhor a denio de objetivos e prioridades, contribuindo para a sustentabilidade das aes de governo. Transversalidade: uma forma de atuao horizontal, no hierrquica, que busca construir polticas pblicas integradas por meio de aes articuladas (RELATRIO DE AVALIAO DO PLANO PLURIANUAL 20042007, 2005). No mbito do Governo Federal, as aes governamentais tm de ser formuladas e desenvolvidas a partir da compreenso de que algumas temticas como, por exemplo, gnero, raa, direitos humanos, informao, conhecimento e sustentabilidade estruturam diversas
50
dimenses da vida humana e correspondem a questes importantes e urgentes para a sociedade. Um tema de natureza transversal transcende a unidade de gesto Programa. O problema e/ou demanda da sociedade constitui-se transversal quando se consideram suas causas e efeitos nos diversos campos de atuao da poltica pblica. Logo, os temas transversais no se constituem enquanto Programas isolados, uma vez que os mesmos perpassam vrias das polticas pblicas. Construir indicadores para medir e acompanhar temas transversais um enorme desao devido tendncia de pensar de maneira setorizada. Fontes: um aspecto importante na seleo de indicadores que se deve evitar reinventar a roda, pois existe uma grande variedade de indicadores disponveis para uso. Somente depois de conrmada a indisponibilidade de medidas conveis que o gestor deve construlas no contexto do Programa, observando as propriedades e tipologias requeridas. Importante: 1) a escolha de indicadores de resultados no elimina a necessidade de utilizar outros indicadores para o gerenciamento do ciclo de gesto dos programas do PPA; 2) o indicador pode ser uma aproximao (proxy), mas fundamental que o programa influencie de forma significativa a realidade cuja evoluo o indicador expressar; 3) quando necessrio o indicador de Programa pode medir parte da soluo do problema, ou seja, os resultados intermedirios; 4) a construo de uma medida de desempenho pode contribuir para a melhoria da teoria do Programa, podendo indicar a necessidade de alteraes em atributos importantes como objetivo e pblico-alvo.
51
5 Mtodo para Construo de Indicadores de Programas

Neste captulo ser apresentado um mtodo genrico baseado em oito passos aplicveis a diferentes realidades, que visa a orientar os gestores pblicos na construo de indicadores de Programas15. Cabe lembrar, no entanto, que nem sempre uma medida selecionada expressar plenamente o conceito ou resultado esperado, nesses casos a adoo de proxies, ou medidas que apresentem proximidade com as dimenses de interesse, justicvel e muitas vezes necessria.
5.1 Fluxograma geral

O uxograma abaixo representa um caminho (roadmap) - e as possveis rampas de acesso - para uso de medidas de desempenho de Programas. Assim, para construir indicadores novos recomenda-se pegar a rampa de acesso 1; para complementar indicadores em Programas existentes pode-se aplicar o mtodo a partir da rampa de acesso 2; por m, para avaliar indicadores existentes recomenda-se utilizar a rampa de acesso 3, que conduz aplicao do mtodo comeando pelo passo 4.
15 Reitera-se que indicadores de Programas so aqueles conceituados na taxonomia de indicadores de gesto do uxo de implementao de Programas (seo 2.5) como Indicadores de Resultado.
53
Figura 9 Rampas de acesso ao mtodo de oito passos para construo de indicadores

Rampa de acesso 1 Para contruir Indicadores de Programa
1. Avaliar objetivos e metas
2. Identificar interessados
Rampa de acesso 2 Para complementar Indicadores de Programa existentes
3. Definir tipos de indicadores
Rampa de acesso 3 Para avaliar Indicadores de Programa existentes
4. Definir critrios de seleo
5. Mapear indicadores candidatos
6. Realizar anlise de trade off
7. Validar indicadores
8. Cadastrar indicadores
Deve-se registrar que o responsvel pelo Programa pode utilizar outros mtodos ou executar apenas alguns dos passos sugeridos, se isso for mais recomendado ao contexto do Programa.
5.2 Descrio das atividades

Passo 1 Avaliar objetivos e metas O ponto de partida para a construo de indicadores de resultado est no entendimento das dimenses16 inseridas no objetivo do Programa. Para tanto, o gestor pblico dever proceder a uma leitura atenta e minuciosa do objetivo proposto, a m de abstrair os conceitos ou
16 O termo dimenso aqui considerado expressa o que se espera do Programa em termos de concretizao do objetivo xado.
54
dimenses que se pretendem abordar com a execuo das aes estabelecidas e que precisam ser reetidas pelos indicadores. Quando o objetivo apresenta-se muito vago ou genrico, dicultando a identicao das dimenses de interesse, deve-se vericar se o Programa foi avaliado por meio da metodologia do Modelo Lgico, pois nesses casos possvel identicar essas dimenses analisando: o enunciado do problema; as causas-raiz do problema; as evidncias de que o problema existe (descritores); ou at mesmo analisando as aes consideradas de maior relevncia. Independente de ter havido ou no a aplicao do Modelo Lgico, a tcnica da entrevista com a equipe gerencial do Programa apresentase muito til e recomendada tanto na identicao quanto na validao dessas dimenses. Nesse momento deve-se apontar, tambm, qual das dimenses (caso sejam mais de uma) apresenta-se como a mais relevante. Passo 2 Identicar os principais interessados Alm do entendimento claro dos objetivos, faz-se necessrio tambm determinar quem so os principais interessados nos resultados do Programa, alm, claro, da equipe gerencial (gerente do programa e gerente executivo), pois cada envolvido possui necessidades prprias de informao. Na simulao de uso descrita no prximo captulo, percebe-se, por exemplo, que o conceito criminalidade em estradas federais inserido no objetivo, que trata da segurana nas estradas, interessa no apenas ao Ministrio da Justia como gestor do Programa, mas tambm ao IBAMA (contrabando de madeira e animais silvestres) e SEDH (abuso de crianas e adolescentes s margens das estradas). O formulador deve atentar que os indicadores no servem apenas para o seu processo de planejamento, execuo, monitoramento e controle gerencial, mas tambm outros stakeholders como os demais rgos da Administrao Pblica Federal (setoriais, centrais e de controle), os envolvidos em temas transversais, os administradores da agenda prioritria de governo, outros Poderes, as instituies privadas e do terceiro setor etc. podem demandar a escolha de indicadores especcos orientados s suas expectativas.
55
Passo 3 Denir tipos de indicadores Nesse passo j possvel identicar quais tipos de indicadores sero obrigatrios para expressar os resultados esperados, bem como para atender aos interesses dos diferentes atores envolvidos na sua interpretao. Nesse contexto, um Programa pode conter os seguintes tipos: indicador-chave: expressa o conceito ou dimenso mais relevante do objetivo proposto. Todos os Programas, particularmente os nalsticos (que ofertam bens e/ou servios para a sociedade), devem possuir pelo menos uma medida desse tipo; indicadores complementares: so medidas que expressam tanto a dimenso mais relevante quanto as demais dimenses inseridas no objetivo. O prximo captulo vai demonstrar, por exemplo, que um Programa cujo objetivo seja aumentar a segurana nas rodovias dever prever indicadores que expressem tanto os aspectos relativos a acidentes quanto os de criminalidade; indicadores especcos: expressam necessidades prprias de determinados interessados no Programa identicados no passo anterior, ou outras especicidades quaisquer inerentes ao conceito a ser medido, quando os dois tipos j descritos no cumprirem essa funo. Passo 4 Denir critrios de seleo Nessa etapa devem ser denidos quais critrios serviro de base tanto para a seleo de indicadores disponveis no SEN quanto para os construdos no contexto do Programa. Esses critrios podem ser classicados em dois tipos (VILLELA et al., 2007): Eliminatrios: so os critrios que devem ser obrigatoriamente atendidos pelo indicador candidato, do contrrio dever ser descartado; Classicatrios: os critrios classicatrios servem para estabelecer um ranking dos indicadores candidatos, possibilitando uma anlise quantitativa ponderada que contribui para uma seleo menos intuitiva das medidas de desempenho. Para operacionalizar a aplicao dos critrios classicatrios, necessrio denir: (1) o grau de atendimento dos indicadores candidatos aos critrios estabelecidos; (2) o grau de importncia (ou atribuio de pesos) dos critrios classicatrios, que podem variar de programa para programa de acordo com as especicidades de cada realidade.
56
Essa ponderao ser demonstrada quando da aplicao da ferramenta Matriz de Priorizao de Indicadores, descrita no passo 6. Alguns dos critrios (eliminatrios e/ou classicatrios) mais comuns utilizados para a seleo de indicadores so apresentados no Quadro 5. Observa-se que so critrios genricos e aplicveis a quaisquer realidades, portanto o formulador do Programa deve buscar, atravs de tcnicas como brainstorming, grupos de discusso, opinio especializada ou anlise de situaes anlogas, denir outros critrios especcos que sejam teis ao conceito a ser medido. Importante: um critrio eliminatrio pode, na mesma matriz de priorizao, ser repetido como um critrio classificatrio. Por exemplo, no faz sentido um indicador que no expresse uma dimenso inserida no objetivo do Programa, portanto o primeiro critrio do Quadro 5, Representatividade, deve ser utilizado tanto como um critrio eliminatrio quanto classificatrio. Como critrio classificatrio, recomenda-se atribuir o maior peso estabelecido na escala de pesos.
Quadro 5 Exemplos de critrios para seleo de indicadores

Critrios Representatividade (em relao ao objetivo do programa) Mensurabilidade Confiabilidade da fonte Tempestividade Facilidade de obteno Confiabilidade metodolgica Desagregabilidade espacial Simplicidade de construo e entendimento Objetividade Atendimento s necessidades de informao dos interessados Economicidade de obteno Estabilidade ao logo do tempo
57
Critrios Rastreabilidade ao logo do tempo Desagregabilidade sociodemogrfica Disponibilidade quando necessrio Sensibilidade interveno Existncia de suporte tcnico
Passo 5 Mapear indicadores candidatos Antes de mapear os indicadores de Programa candidatos, necessrio conhecer e diferenciar dentre as vrias modalidades, a saber: Indicadores Simples: so valores numricos que uma varivel pode assumir e geralmente representam a quantidade de determinado produto ou servio entregue sociedade. Exemplos: nmero de crianas vacinadas e nmero de alunos matriculados no ensino fundamental. Indicadores Compostos: expressam a relao entre duas ou mais variveis e podem ser: Razo: o resultado da diviso de uma varivel A por outra varivel B, diferente e distinta de A. Exemplo: Densidade demogrca (populao/superfcie); Proporo (ou coeciente): um tipo especial de Razo em que A e B pertencem mesma categoria. Exprime a relao entre determinado nmero de ocorrncias e o total dessas ocorrncias. Exemplo: coeciente de mortalidade (nmero de bitos/total da populao); Taxa: so coecientes multiplicados por uma potncia de 10 para melhorar a compreenso do indicador. Exemplo: taxa de mortalidade infantil (bitos/1000 habitantes); Porcentagem: tipo especial de taxa em que o coeciente multiplicado por 100. Para mapear indicadores candidatos o gestor deve, primeiramente, pesquisar no Sistema Estatstico Nacional, de acordo com o tema, medidas prontas (veja exemplos do Anexo II) que apontem, com a maior proximidade possvel, os conceitos inseridos no objetivo e, consequentemente, nos resultados esperados. As publicaes e fontes do Anexo I
58
podero ser muito teis, particularmente o portal do IBGE na Internet. Esse provedor de estatsticas e de indicadores possui uma poderosa ferramenta de recuperao, manipulao e anlise em milhares de tabelas de dados denominada SIDRA, alm de um Banco de Dados Multidimensional - BDM que permite consultas estruturadas e no estruturadas. Nesse momento deve-se selecionar o maior nmero de indicadores candidatos possvel. Uma boa prtica a ser aplicada utilizar-se do conhecimento e da experincia de consultores especializados no assunto, particularmente os prossionais pertencentes aos quadros dos institutos de pesquisa como o IBGE e o IPEA, das instituies subnacionais de produo de informaes e ainda das universidades pblicas e privadas. Tambm as tcnicas de brainstorming, grupos de discusso e anlise de situaes anlogas podem ser aplicadas nesta etapa.
Importante: deve-se atentar que muitos Programas possuem objetivos ou atendem a pblicos-alvo muito especficos, por isso dificilmente existiro indicadores disponveis no SEN que sejam vlidos e confiveis para expressar as mudanas esperadas na realidade trabalhada. Nesses casos, o gestor deve ter em mente que, desde o incio, quando do desenho do programa, devero ser mapeadas as demandas de informaes necessrias ao monitoramento e avaliao de resultados, a fim de que sejam planejados os processos de captao, tratamento, armazenamento e recuperao dos registros administrativos a serem utilizados na construo dos indicadores.
Passo 6 Realizar anlise de trade-off A expresso trade-off denota um conito de escolha dentre diversas opes, ou seja, ganha-se com a escolha de um indicador candidato mas perde-se com a no escolha de outro. Como otimizar os resultados de uma anlise desse tipo? A resposta est em realizar duas anlises bem distintas e encadeadas: uma quantitativa seguida de outra qualitativa. A primeira anlise, a quantitativa, deve ser baseada em critrios objetivos conforme estabelecidos no passo 4. Uma ferramenta til para viabilizar esse tipo de vericao a Matriz de Priorizao de Indicadores, composta pelos seguintes elementos:
59
1. linhas: representam os indicadores que so candidatos ao Programa; 2. colunas: as seguintes informaes esto dispostas na matriz: a. interessado no acompanhamento do indicador; b. tipo do indicador: chave, complementar de resultado e/ou especco; c. natureza: identica se o critrio eliminatrio ou classicatrio; d. total: apresenta o somatrio dos pontos obtidos pelo indicador candidato, a partir do atendimento ou no dos critrios estabelecidos. Para os critrios eliminatrios recomendam-se duas opes para o preenchimento das clulas que representam a interseo da linha do indicador candidato com a coluna do critrio eliminatrio: 0 no atende 1 atende
J os critrios classicatrios possuem duas colunas que representam: o grau de atendimento do indicador candidato ao critrio estabelecido; e o grau de importncia do critrio (peso) no contexto do Programa. Para preenchimento das clulas correspondentes a cada indicador candidato, recomenda-se uma escala de trs nmeros para a primeira coluna e de quatro nmero para a segunda, conforme representao a seguir17: Grau de atendimento: 0 Nenhum Grau de importncia: 3 Baixa 5 Mdia 7 Alta 9 Muito Alta 1 Pouco 2 Muito
Na Figura 10 est representado um exemplo de matriz de priorizao, em que foram adotados trs critrios eliminatrios e trs classicatrios. Quando um indicador candidato atendeu a um determinado critrio foi inserido (na clula correspondente) um numeral constante das escalas acima. Por meio da coluna Total obteve-se a soma ponderada dos
17 Essas escalas no so obrigatrias, o formulador do programa tem liberdade para denir outras escalas caso as considere mais adequadas realidade do Programa.
60
pontos atribudos para cada indicador e, por meio das opes Dados/ Classicar do software de planilha eletrnica, as linhas dos indicadores candidatos foram classicadas em ordem decrescente de total de pontos obtidos. Figura 10 Matriz de priorizao de indicadores
A ttulo de exemplo, a frmula de clculo utilizada para o total de pontos alcanado pelo primeiro indicador (clula O5), cujo valor foi 26, a seguinte: =F5*G5*H5*((I5*J5)+(K5*L5)+(M5*N5)) Critrios eliminatrios Critrios classicatrios (ponderados)
Observa-se que a soma dos pontos obtidos com os trs critrios classicatrios (I5*J5, K5*L5 e M5*N5) multiplicada por cada um dos valores referentes aos critrios eliminatrios (F5, G5 e H5), ou seja,
61
caso pelo menos um dos critrios eliminatrios seja pontuado com zero (valor em vermelho), a soma total tambm ser zero e o indicador dever ser descartado. Assim sendo, por meio dessa ferramenta possvel fazer um ranking dos indicadores candidatos em ordem decrescente de pontos obtidos, conforme o atendimento aos critrios escolhidos. Deve-se registrar que a matriz de priorizao possui uma dupla nalidade: (1) facilitar a seleo de indicadores segundo o atendimento aos critrios ponderados estabelecidos; (2) explicitar por que indicadores candidatos aparentemente ideais para o Programa no foram selecionados, subsidiando iniciativas no sentido de eliminar as causas do no atendimento e viabilizar a sua utilizao futura. A segunda anlise para escolha dentre os indicadores candidatos a qualitativa. Utilizando como ponto de partida o ranking estabelecido pela matriz de priorizao o gestor pblico dever escolher, preferencialmente dentre as opes melhor pontuadas, aquelas que melhor expressam os resultados esperados para o Programa. Para tanto, dever utilizar critrios subjetivos oriundos de experincias anteriores, opinio especializada, analogia com outros Programas, indicaes de instituies nacionais e internacionais e demais fontes que julgar pertinentes. Dentro de uma viso de melhoria contnua da gesto e do desempenho do programa, cabe registrar que a anlise qualitativa permite tambm: (1) vericar quais indicadores candidatos seriam ideais, mas foram contraindicados ou mesmo eliminados pela anlise quantitativa; (2) vericar por que essas medidas foram reprovadas (quais critrios no foram atendidos); (3) denir e executar um plano com as aes a serem empreendidas no sentido de eliminar as restries de uso desses indicadores; (4) estabelecer um compromisso de reviso dos indicadores do Programa to logo os indicadores ideais no selecionados possam ser operacionalizados. Por m, recomenda-se analisar a possibilidade de os indicadores candidatos no selecionados serem aproveitados pela equipe gerencial como instrumentos complementares de monitoramento, avaliao e melhoria da gesto do Programa.
62
Passo 7 Validar os indicadores selecionados Considerando os indicadores selecionados pela etapa anterior, nesse passo feita uma vericao nal de conformidade e pertinncia, por meio do atendimento aos requisitos propostos no check list a seguir: 1. 2. 3. 4. 5. 6. 7. 8. 9. Os indicadores escolhidos so vlidos para expressar resultados? Tm relao direta com os objetivos do Programa? So oriundos de fontes conveis? So mensurveis? So em quantidade suciente para expressar as dimenses envolvidas? Consideram a dimenso territorial, quando necessria? Expressam questes transversais, quando existirem? As limitaes inerentes aos indicadores foram consideradas? Atendem ao critrio de completude dos atributos exigidos para o seu cadastramento?
A lista de perguntas acima pode ser aplicada total ou parcialmente. Dependendo das respostas encontradas, deve-se avaliar a pertinncia de se manter ou substituir um ou mais indicadores escolhidos, ou ainda de se revisar a teoria do Programa. Cabe registrar ainda que o check list acima tambm pode ser aplicado pelos gerentes na avaliao dos indicadores de Programas existentes, a m de vericar a necessidade de se proceder a uma reviso das medidas em produo por meio, por exemplo, de ocina como a descrita no captulo 7. Passo 8 Cadastrar os indicadores Como ltima etapa, os atributos descritivos dos indicadores escolhidos para o Programa em tela devero ser denidos e cadastrados no sistema de informaes indicado pelo Ministrio do Planejamento, disponvel para acesso por meio da Internet. A descrio desses atributos apresentada no Anexo III, conforme o Manual de Elaborao do PPA 2008-2011, pgina 46.
63
6 Simulao de Uso
Para ns de melhor entendimento do mtodo sugerido, neste captulo ser feita uma simulao de uso do caminho apresentado para a construo ou avaliao de indicadores, no contexto de um Programa de segurana em rodovias.
6.1 Nome do Programa

Segurana Pblica nas Rodovias Federais.
6.2 Evidncias da existncia do problema

Todos os dias pessoas morrem ou cam feridas nas estradas e nas ruas das cidades, vtimas de acidentes de trnsito. Dados do Registro Nacional de Acidentes e Estatsticas de Trnsito (RENAEST) informam que, em 2006, aconteceram 424 mil acidentes de trnsito no Brasil, que causaram cerca de 20 mil mortes, alm de outras 400 mil vtimas. A elevada frequncia e gravidade dos acidentes nas estradas brasileiras transformou o tema num dos mais importantes problemas de Sade Pblica: a primeira causa de morte de indivduos entre 11 a 40 anos de vida; a segunda causa de morte em geral no Brasil; resulta em grande nmero de pessoas incapacitadas, na maioria jovens. So mais de 20 bilhes de reais por ano que deixam de ser aplicados no desenvolvimento para custear danos que poderiam ser evitados. Os dois fatores mais reconhecidos como causa dos acidentes de trnsito so o excesso de velocidade e o lcool, entretanto a desateno, a fadiga e a sonolncia so fatores considerados tambm como grandes contribuintes. Alm desses, h vrias outras razes para a insegurana do cidado nas estradas, dentre as quais destacam-se: x x x x x m conservao e falta de sinalizao das rodovias federais; desrespeito s leis de trnsito; criminalidade nas rodovias; m conservao dos veculos; baixo efetivo da policia rodoviria federal.
65
6.3 Delimitao do problema e do pblico-alvo

Determinou-se que o problema a ser enfrentado o elevado nmero de crimes e infraes nas rodovias federais. Para se ter uma dimenso do pblico-alvo, formado pelos usurios das estradas e rodovias federais e de suas reas adjacentes, o Departamento Nacional de Trnsito estima que estavam em trnsito no Brasil, em janeiro de 2009, cerca de 32 milhes de veculos conduzidos por 40 milhes de motoristas.
6.4 Aplicao do mtodo para construo de indicadores

Passo 1 - Avaliar objetivos e metas O Programa tem como objetivo Aumentar a segurana pblica nas rodovias federais, mediante a preveno e represso de aes delituosas e reduzir os acidentes de trnsito. Em primeiro lugar, a partir desse enunciado possvel perceber que o conceito segurana pblica nas rodovias federais envolve duas dimenses distintas: (1) criminalidade (preveno e represso a delitos); (2) e infraes (acidentes, transitar acima da velocidade permitida etc.). Aplicando-se o modelo SMART possvel vericar que o objetivo : x eSpecco: no se trata de um objetivo genrico, est bem caracterizado, restrito, focado na segurana de estradas e possvel de alcance no contexto de um Programa; x Mensurvel: passvel de aferio a partir de medidas que expressem, por exemplo, ndices de criminalidade e mortalidade; x Atingvel: o objetivo realista e vivel caso a estratgia de implementao seja adequada e suciente; x Relevante: est, de fato, relacionado a um problema identicado que traz fortes impactos negativos para a sociedade. Tambm est alinhado ao Objetivo de Governo Promover um ambiente social pacco e garantir a integridade dos cidados; x Tempo: o objetivo passvel de programao, pode-se estimar um tempo para que seja alcanado. Cabe registrar que, nesse exemplo, a teoria do Programa foi explicitada por meio da aplicao da metodologia do Modelo Lgico, assim baixo o risco de que no sejam consistentes, pertinentes e sucientes os
66
seus principais elementos: causas do problema, objetivo denido, aes previstas e resultados esperados. Portanto, as informaes disponveis indicam que no h necessidade de reviso do objetivo ou da teoria do Programa. Passo 2 - Identicar os principais interessados Alm de tratar de um tema especco e importante para a sociedade em geral, o Programa abrange temas considerados transversais s polticas pblicas, envolvendo outras reas de governo como meio ambiente e criana/adolescente. Nesse contexto, verica-se que os principais interessados pelos resultados so: x Equipe Gerencial do Programa: responsvel pelo desenho, implementao, monitoramento e avaliao do desempenho; x MMA: o Ministrio do Meio Ambiente possui interesse em acompanhar a diminuio da incidncia de transporte irregular de madeiras e contrabando de animais silvestres; x SEDH: a Secretaria Especial dos Direitos Humanos possui interesse no monitoramento das ocorrncias de explorao de crianas e adolescentes s margens das estradas; x MT: o Ministrio do Transportes tem interesse no acompanhamento das condies de uso das estradas. Passo 3 - Denir tipos de indicadores necessrios Conforme identicado no passo 1, o conceito segurana nas estrada federais envolve duas dimenses; portanto, alm de um indicadorchave do Programa, pelo menos mais um indicador complementar de resultado ser necessrio. Alm disso, o Programa envolve questes que interessam a outros rgos, como tambm um tema considerado transversal ao planejamento governamental (criana e adolescente); portanto, recomenda-se que sejam denidos indicadores especcos para esses temas. Assim, estima-se que pelo menos quatro indicadores sejam necessrios. Passo 4 - Denir critrios de seleo Para diferenciar e selecionar os indicadores candidatos, necessrio estabelecer dois tipos de critrios: (1) os eliminatrios, que excluem um indicador candidato quando no forem atendidos; (2) os classicatrios, que permitem estabelecer um ranking segundo os pesos atribudos
67
a cada um desses critrios. Para o Programa em tela, os critrios de seleo denidos poderiam ser os seguintes: Eliminatrios: x proximidade com o objetivo do Programa; x capacidade de mensurao anual. Classicatrios:
18
Quadro 6 Critrios utilizados na seleo de indicadores

Critrio Aderncia escala espacial desejada Confiabilidade da fonte Disponibilidade quando necessrio Economicidade de obteno Estabilidade ao logo do tempo Sensibilidade Validade ou representatividade em relao ao conceito Peso19 7 9 3 7 5 3 9
Passo 5 - Mapear indicadores candidatos Nesse momento deve ser elaborada uma lista contendo os indicadores que, segundo as suas caractersticas (denominao, frmula de clculo, fonte, utilizao em outros Programas etc.), a sensibilidade do gestor pblico, a opinio de um especialista ou outro mtodo qualquer, so candidatos a serem utilizados na medio dos resultados do Programa. Para o contexto desse Programa, foram visitados os seguintes portais de instituies que compem o Sistema Estatstico Nacional: x Departamento de Polcia Rodoviria Federal: disponibiliza variadas estatsticas tanto relativas a infraes quanto a crimes diversos; x Departamento Nacional de Trnsito: permite obter, por exemplo, informaes sumarizadas ou segmentadas (por tipo, regio etc.) do tamanho da frota nacional de veculos;
18 A denio dos pesos discricionria, eles so atribudos segundo o entendimento do gestor.
68
x Datasus: possui grande diversidade de dados relativos a acidentes por causas diversas, no caso relativas a transporte. Para o exemplo em tela, o Quadro a seguir apresenta os indicadores candidatos a reetir os resultados esperados: Quadro 7 Indicadores candidatos
Indicadores Candidatos Crianas/adolescentes vtimas de crime em rodovia por ano Proporo de internaes hospitalares por causas externas Sensao de Segurana Taxa de incidncia de acidentes de trabalho (de trajeto) Razo de mortes em rodovias federais em relao ao tamanho da frota Taxa de mortalidade por causas externas Taxa de variao de acidentes nas rodovias federais Transporte irregular de animais silvestres por ano Transporte irregular de madeiras por ano rea SEDH Sade Justia Sade Justia Sade Justia MMA MMA Fonte 3 2 1 2 3e4 2 3 3 3
1 Pesquisa de opinio 2 Indicadores e Dados Bsicos para a Sade Brasil 2007: www.datasus.gov.br/idb 3 Estatsticas do Departamento de Polcia Rodoviria Federal: www.dprf.gov.br 4 Denatran: www.denatran.gov.br Passo 6 - Realizar anlise de trade-off A anlise de trade-off se inicia com a elaborao da matriz de priorizao de indicadores, que permite consolidar as informaes denidas nos passos anteriores, ou seja, os indicadores candidatos, os interessados nessas medidas, os tipos de indicadores necessrios, os critrios de seleo eliminatrios e classicatrios e, para estes, os pesos de cada um. Para a construo da matriz, inevitvel uma certa subjetividade por parte do formulador do Programa, particularmente no julgamento do atendimento ou no, pelos indicadores candidatos, aos critrios estabelecidos. Por exemplo, o critrio Validade ou representatividade em
69
relao ao conceito pode ter diferentes resultados na planilha, dependendo da interpretao de diferentes responsveis pelo preenchimento. Conforme demonstrado na matriz a seguir, dois indicadores despontaram como os mais bem pontuados dentre os nove avaliados, a saber: 1. Razo de mortes em rodovias federais em relao ao tamanho da frota 2. Taxa de variao de acidentes nas rodovias federais. Considerando que mortalidade em rodovias inclui tanto infraes quanto criminalidade, o primeiro indicador apresenta-se como um forte candidato a Indicador-Chave do Programa. J o segundo pode ser utilizado como um Indicador Complementar de Resultado. Apesar de obterem menor pontuao, outros indicadores candidatos tambm expressam a dimenso Criminalidade contida no conceito Segurana e so de especial proveito aos demais interessados no Programa. Portanto, utilizando a sua prerrogativa discricionria, o gestor poderia ainda escolher mais dois Indicadores Especcos, que neste caso poderiam ser: 3. Transporte de animais silvestres por ano; 4. Crianas/adolescentes vtimas de crimes em rodovias por ano. Figura 11 Simulao de matriz de avaliao quantitativa de indicadores
70
Passo 7 - Validar os indicadores selecionados Nesse passo aplicou-se um check list nal, a m de vericar se os indicadores selecionados podem de fato ser utilizados no contexto do Programa. As perguntas utilizadas foram as seguintes: 1. 2. 3. 4. 5. 6. 7. 8. 9. Os indicadores escolhidos so vlidos para expressar resultados? Tm relao direta com os objetivos do Programa? So oriundos de fontes conveis? So mensurveis? So em quantidade suciente para expressar as dimenses envolvidas? Consideram a dimenso territorial quando necessria? Expressam questes transversais, quando existirem? As limitaes inerentes aos indicadores foram consideradas? Atendem ao critrio de completude dos atributos exigidos para o seu cadastramento?
Considerando que as respostas foram favorveis, os indicadores selecionados foram considerados vlidos para expressar os resultados esperados para o Programa. Passo 8 - Cadastrar os indicadores Por m, a ltima etapa o cadastramento dos indicadores por meio dos respectivos atributos, conforme determina no Manual de Elaborao do PPA. Para o Indicador-Chave os atributos esto exemplicados no Quadro a seguir. Quadro 8 Atributos de um indicador selecionado
Atributo Denominao Unidade de medida ndice de referncia ndices esperados ao longo do PPA ndice ao final do programa Fonte Descrio Razo de mortes em rodovias federais em relao ao tamanho da frota Unidade 16 2008: 14 2009: 12 2010: 10 2011: 8 Departamento de Polcia Rodoviria Federal Departamento nacional de Trnsito
71
Atributo Periodicidade Base geogrfica Frmula de clculo Anual Nacional
Descrio
Relao entre o nmero de bitos ocorridos nas rodovias federais para cada 100.000 veculos da frota nacional.
72
7 Dinmica de Aplicao do Mtodo: Ocina de Indicadores

Existem muitas e diferentes formas de aplicar o mtodo de oito passos apresentado no captulo 5. Nesta seo ser apresentada uma dinmica desenvolvida pela SPI/MP inspirada nas ocinas de Modelo Lgico, bem como os resultados da sua aplicao em um Programa do PPA. Para viabilizar esse empreendimento foi escolhido como piloto o Programa Nacional Microcrdito Produtivo Orientado PNMPO, sob responsabilidade do Ministrio do Trabalho e Emprego MTE, que visa a incentivar a gerao de trabalho e renda entre os microempreendedores populares, formais e informais. Cabe destacar que a realizao desse projeto-piloto possibilitou no apenas a construo de indicadores de resultado para o Programa em tela, mas tambm o alcance de outros dois objetivos igualmente importantes: (1) validar o mtodo de oito passos para construo de indicadores no contexto de um Programa do PPA em execuo; e (2) validar uma dinmica de ocina a ser aplicada tanto isoladamente quanto subsequente a uma ocina de Modelo Lgico.
7.1 Viso geral

A metodologia proposta para a construo de indicadores de Programas por meio de ocina composta de 5 etapas, conforme representadas na Figura 12. A seguir ser feita a descrio de cada uma delas.
73
Figura 12 Metodologia de construo de indicadores por meio de ocina

1. Selecionar Programa 2. Entender a teoria do Programa 3. Realizar entrevistas com principais atores 5. Realizar oficina de indicadores 4. Realizar pr-montagem da oficina
7.2 Descrio do processo

Etapa 1 Selecionar Programa A construo de indicadores por meio de ocina pode acontecer por iniciativa interna (equipe gerencial do programa) ou externa (Unidade de Monitoramento e Avaliao do rgo, Ministrio do Planejamento etc.). Para os programas constantes do PPA vigente, a primeira atividade a ser executada a seleo do Programa para o qual sero construdos indicadores de resultado; naturalmente se o Programa novo ou no caso de o rgo/Poder possuir apenas um Programa essa etapa no necessria. No caso de iniciativa externa, o passo seguinte deve ser um primeiro contato com a gerncia do programa a m de conrmar a viabilidade de envolvimento da equipe, bem como solicitar a indicao de atores-chave tanto para as entrevistas quanto para a ocina. Importante: no faz parte do escopo deste guia apresentar critrios de seleo de Programas que demandam avaliao ou reviso dos indicadores; contudo, o check list apresentado no passo 7 do mtodo descrito no captulo 5 apresenta-se muito til para sinalizar quais Programas seriam candidatos s oficinas de indicadores.
Etapa 2 Entender a teoria do programa A segunda etapa do processo o estudo de documentos e da teoria do Programa, de forma a obter um entendimento claro da realidade que demandou a interveno, ou seja, o problema central, principais
74
causas, consequncias, evidncias de que de fato o problema existe (descritores) e possui relevncia para a agenda de governo. Tambm feito um estudo das referncias bsicas do Programa, a saber: objetivo a ser atingido, pblico-alvo, benecirios a serem alcanados, indicadores existentes e capacidade de interveno, esta materializada por meio das aes denidas, produtos/servios a serem entregues sociedade e resultados esperados. As principais fontes para obteno dessa documentao a gerncia do Programa, a SPI/MP e o sistema SIGPlan. Etapa 3 Realizar entrevistas com principais atores Obtida uma compreenso geral a partir da anlise documental do Programa, recomenda-se aplicar a tcnica de entrevista semiestruturada19 com os atores indicados, a m de: (1) validar o entendimento da documentao analisada; (2) esclarecer aspectos e dvidas decorrentes desta anlise; (3) conhecer recursos, registros e informaes que possam ser utilizados como fontes para novos indicadores; (4) aprofundar outros temas de interesse construo de indicadores; (5) indicar outras pessoas a serem entrevistadas; e (6) obter pontos de vistas, ideias, crticas e sugestes ao processo de construo como um todo. Essa etapa se inicia com a preparao de uma agenda de entrevistas, a comear pela equipe gerencial, bem como a elaborao do roteiro que nortear os encontros. Recomenda-se que esse roteiro seja previamente enviado s pessoas a serem entrevistadas para que possam levantar documentos e organizar os argumentos de resposta. Nesse momento deve ser escolhida uma pessoa responsvel por conduzir as entrevistas, que dever seguir um roteiro pr-estabelecido a exemplo do utilizado no projeto-piloto a ser descrito adiante (veja Anexo V). Tambm deve ser escolhida uma pessoa para realizar os registros de todas as informaes obtidas nos encontros. As entrevistas podem ser presenciais ou, no caso de pessoas residentes em outras localidades, por meio de recursos de comunicao distncia, como teleconferncia, vdeoconferncia e correio eletrnico (e-mail). Etapa 4 realizar pr-montagem da ocina A pr-montagem da ocina inicia-se com a consolidao das informaes levantadas nas etapas anteriores. Neste momento a equipe tcnica rene-se para rever os dados levantados, identicar pontos de convergncia
19 A entrevista semiestruturada segue um roteiro pr-estabelecido, porm permite a formulao outras questes em decorrncia das respostas recebidas.
75
e inconsistncias, nivelar conhecimento, resolver pendncias e dirimir eventuais dvidas que ainda persistam. A pr-montagem continua com a elaborao do contedo a ser tratado no encontro, ou seja, de uma proposta de possveis resultados para cada um dos passos do mtodo descrito no captulo 5, a serem apresentados, discutidos, validados ou modicados no contexto da ocina, com destaque para: o elenco de dimenses abstradas do objetivo do Programa; a lista de indicadores candidatos; e a lista dos critrios a serem aplicados para seleo dos indicadores. Todas essas informaes iro convergir para a primeira verso da matriz de priorizao de indicadores. Em seguida, o responsvel pela sistematizao dos trabalhos dever registrar todas as informaes de pr-montagem (de planejamento e de contedo da ocina) em um relatrio especco. No caso de a iniciativa da ocina ter sido externa, esse documento deve ser enviado equipe gerencial e, se possvel, discutido em reunio agendada para esse m. Essa prtica visa a garantir que dados importantes como indicadores candidatos e critrios de seleo apresentem-se, tanto quanto possvel, consensuais e consistentes, bem como que a equipe gerencial esteja preparada para as intervenes esperadas durante o encontro. Por m, deve ser concebida a dinmica do evento, destacando-se: a elaborao do cronograma de atividades a serem realizadas; o planejamento da logstica (local, coffee break, equipamentos de informtica, recursos de projeo, ip chart etc.); a denio da lista de participantes; e a escolha do responsvel por executar e gerenciar esse planejamento. Importante: 1) alm da equipe gerencial do Programa, todas as pessoas que participaro da oficina devem ter conhecimento prvio do relatrio de prmontagem para que possam elencar propostas, crticas e sugestes ao evento; 2) os convites para a oficina e o material de pr-montagem devem ser enviados com a antecedncia necessria ao bloqueio de agendas e estudo detalhado dos documentos; 3) recomenda-se que sejam elaboradas atas para todas as reunies da equipe tcnica da oficina, particularmente as de pr-montagem, para consultas futuras.
76
Etapa 5 Realizar ocina de indicadores A quinta e ltima etapa do processo consiste em realizar a ocina, que dever nalizar com a seleo dos indicadores e com o registro de eventuais recomendaes, particularmente em relao a melhorias na teoria do Programa. Para tanto, recomenda-se a seguinte dinmica: 1. abertura ocial: caso esteja presente a alta gerncia ou patrocinador, essa pessoa dever realizar a abertura ocial da ocina. Em seguida o moderador dever conduzir os trabalhos conforme o planejamento previamente concebido; 2. apresentao dos participantes: cada participante deve apresentar-se e expor as suas expectativas em relao ao evento; 3. apresentao do planejamento: o moderador deve apresentar os objetivos do encontro, resultados esperados, cronograma de atividades e orientaes gerais. Nesse momento recomenda-se tambm estabelecer um acordo de convivncia20; 4. nivelamento metodolgico: a aplicao do mtodo de oito passos deve ser precedida de uma palestra que aborde aspectos conceituais e instrumentais, ou seja, apresente a base terica necessria construo de indicadores, bem como descreva, dentre outros aspectos: cada um dos passos do mtodo; quais resultados cada passo ir produzir; e quais tcnicas ou ferramentas sero teis ou necessrias em cada passo; 5. aplicao do mtodo: nesse momento o moderador deve apresentar, para cada um dos oito passos, as sugestes de resultado elaboradas pela equipe de pr-montagem para que sejam discutidas, modicadas ou validadas. Caso haja falta de consenso ou impasses, o gerente do Programa dever ser chamado a decidir dentre as alternativas possveis. Conforme a ocina for avanando nos passos previstos, a matriz de priorizao de indicadores elaborada na fase de pr-montagem dever ser modicada para reetir as mudanas determinadas pela ocina. Cabe lembrar que essa ferramenta muito til para viabilizar uma anlise quantitativa, mas cabe aos presentes realizar tambm, e em seguida, uma anlise qualitativa tanto para escolha dentre os
20 Esse acordo pode prever, por exemplo: respeitar as inscries para fala; buscar objetividade; fumar fora do ambiente de trabalho; manter os celulares no modo silencioso; ser pontual.
77
indicadores candidatos (passo 6) quanto para validao dos indicadores selecionados (passo 7); 6. avaliao da ocina: deve ser realizado um processo de avaliao dos trabalhos, de forma que os presentes tenham a oportunidade de expressar-se por escrito e verbalmente. Os resultados apontados devero ser enviados ao grupo responsvel pelo planejamento da ocina, pois serviro de insumos para a melhoria do processo. 7. encerramento: o moderador dever proceder ao encerramento da ocina ou, se achar conveniente, convidar um dos presentes para realiz-lo.
7.3 Papis e responsabilidades

Para a aplicao dessa metodologia, recomenda-se a criao de uma equipe tcnica especca, que possa cumprir os diversos papis descritos no quadro abaixo. Cabe registrar que uma pessoa pode assumir vrios papis, assim como um papel pode ser representado por mais de uma pessoa. Quadro 9 Papis e responsabilidades para a ocina de indicadores
Papis Responsabilidades Participar das etapas de concepo da oficina (forma e contedo) Abrir, conduzir e encerrar o evento Observar o cumprimento de objetivos, tempos, custos e qualidade dos resultados esperados Garantir e incentivar a participao de todos os presentes Registrar todos os dados e informaes coletadas nas diversas etapas da metodologia. Elaborar relatrio de pr-montagem Elaborar relatrio final da oficina de indicadores Coordenar a elaborao do roteiro da entrevista Conduzir as entrevistas Garantir a obteno de todas as informaes requeridas
Moderador
Sistematizador
Entrevistador
78
Papis
Responsabilidades Prestar as informaes necessrias ao entendimento do programa e pr-montagem da oficina Elaborar lista dos participantes das entrevistas e da oficina Validar entendimento, planejamento e relatrio de pr-montagem Decidir nos casos de dvidas, divergncias ou impasses Apresentar-se de forma participativa Contribuir para um debate construtivo Conviver com as divergncias e diferenas de pontos de vista Dirimir dvidas e auxiliar no entendimento conceitual acerca de indicadores Apresentar boas prticas de uso de indicadores Auxiliar na seleo das fontes e das medidas de desempenho Apresentar os conceitos da teoria de indicadores de Programas Apresentar o mtodo de oito passos, as tcnicas e as ferramentas a serem utilizadas na oficina Descrever os resultados esperados em cada um dos passos Providenciar a infraestrutura necessria s entrevistas e pr-montagem Providenciar os recursos (humanos, materiais, financeiros etc.) requeridos realizao da oficina Realizar os contatos e supervisionar as agendas de trabalho de todos os envolvidos
Equipe gerencial do Programa
Participantes
Especialista em indicadores Especialista em metodologia de construo de indicadores
Gestor de logstica
7.4 Descrio do projeto-piloto

A seguir sero descritas as etapas do projeto-piloto em que foi aplicada a metodologia apresentada, realizado em parceria com o Ministrio do Trabalho e Emprego utilizando o Programa Nacional de Microcrdito Produtivo Orientado - PNMPO. Etapa 1 Selecionar Programa O microcrdito produtivo orientado foi institudo pela Lei n 11.110/2005 para incentivar a gerao de trabalho e renda entre microempreendedores populares, formais e informais, cujas atividades produtivas apresentem um faturamento anual bruto de at R$120 mil. O Programa conta com o apoio do Conselho Deliberativo do Fundo de Amparo ao Trabalhador - CODEFAT e do Conselho Monetrio Nacional - CMN para denir as linhas de crdito a serem concedidas, sobretudo no que diz
79
respeito a taxas de juros e encargos, prazos, valores mximos de nanciamento por cliente, montante de recursos anuais a ser disponibilizado para o PNMPO e requisitos para habilitao das instituies nanceiras operadoras. O microcrdito produtivo orientado visa a universalizar o acesso ao crdito para suprir as necessidades nanceiras de atividades produtivas de pequeno porte. A metodologia utilizada de relacionamento direto com os empreendedores, com acompanhamento e orientao por meio dos agentes de crdito e foco em garantias solidrias. Completando cinco anos de existncia, o PNMPO vem apresentando grande crescimento, superando as metas anuais estabelecidas no PPA referentes ao nmero de operaes e volume de crdito. Em termos de cobertura territorial, observa-se que cerca de 70% das instituies habilitadas ao microcrdito se encontram nas regies Sul e Sudeste, sendo que apenas 10% se localizam nas regies Norte e Centro-Oeste. Por outro lado, destaca-se que 85% dos crditos so concedidos para a regio Nordeste, que concentra quase 90% do total de clientes atendidos. Os clientes do Programa so, predominantemente, microempreendedores informais (mais de 95%), mulheres (mais de 60%), com ramo de atividade no comrcio (cerca de 80%). O PNMPO foi selecionado como Programa-piloto em razo dos seguintes aspectos: 1. trata-se de um Programa nalstico21 tpico em que o Governo busca incentivar o microempreendedor que, atuando em geral na informalidade, no tem acesso aos crditos e nanciamentos disponveis ao mercado formal; 2. o Programa foi avaliado por meio da metodologia do Modelo Lgico, portanto pressupe-se que possui documentao acerca dos fatores de contexto, objetivo, pblico-alvo, indicadores, estratgia de interveno e demais informaes adequadas e sucientes ao melhor entendimento; 3. por ocasio das ocinas de Modelo Lgico, a equipe gerencial apresentou-se sempre interessada e motivada tanto no aperfeioamento do desenho quanto na melhoria do desempenho do Programa;
21 Programas nalsticos so aqueles que ofertam bens ou servios diretamente sociedade.
80
4. uma avaliao preliminar demonstra que os indicadores existentes podiam no ser sucientes para expressar todas as dimenses inseridas no objetivo denido. Feita a escolha prvia, a SPI/MP realizou contato com a gerncia do programa a m de vericar a disponibilidade da equipe para participar do piloto, tendo recebido sinal verde para continuidade dos trabalhos. Etapa 2 Entender a teoria do Programa Nessa etapa foram realizados o levantamento e a anlise de publicaes ociais, relatrios e diagramas do Modelo Lgico, leis, folders, resultados de eventos relacionados e demais documentos descritivos do PNMPO, o que permitiu equipe de pr-montagem obter um amplo entendimento dos fatores de contexto, dos objetivos e da estratgia de implementao desenhada para obteno dos resultados esperados. Uma das fontes utilizadas (Modelo Lgico) est representada na Figura 13. A compreenso e a anlise da teoria do Programa foram muito facilitadas em razo de o PNMPO ter sido objeto de avaliao de desenho por meio do Modelo Lgico, o que refora a importncia da aplicao desta metodologia em todos os Programas do Plano Plurianual, particularmente os nalsticos. Etapa 3 Realizar entrevistas com principais atores Para aprofundamento do conhecimento adquirido na anlise documental, foi solicitado ao responsvel pelo gerenciamento do Programa que apresentasse uma lista de pessoas representativas dos processos de planejamento e execuo do PNMPO. A partir dessas listas foi possvel agendar entrevistas semiestruturadas, cujos roteiros encontram-se no Anexo V. Para este projeto-piloto foram utilizados dois roteiros: um mais completo, que orientou o levantamento de informaes oriundas da equipe gerencial ou de especialistas no tema, considerando que esses prossionais detm conhecimentos de maior abrangncia e profundidade; e outro reduzido, mais adequado s instituies parceiras do Programa e orientado captao de informaes de acordo com o escopo de trabalho das mesmas. Ao todo foram realizadas seis entrevistas bastante representativas, cinco presenciais e uma por meio eletrnico, sendo: dois encontros com o gerente do programa; dois com ex-integrantes do programa; um com
81
parceiro representando as instituies de microcrdito (OSCIP); e um encontro com um representante de uma instituio nanceira (Banco Central do Brasil). A partir das respostas recebidas, foi possvel validar os entendimentos acerca dos seguintes temas: (1) objetivo do Programa, considerando a viso do entrevistado e as aes denidas; (2) perl e universo do pblico-alvo e dos benecirios; (3) os parmetros que orientaram a escolha dos indicadores atuais; (4) as fontes utilizadas por esses indicadores; e (5) o grau de validade/pertinncia das medidas existentes. Figura 13 Referncias bsicas do PNMPO
PROBLEMA OBJETIVO GERAL PBLICO ALVO
Dificuldade de Acesso ao Microcrdito Produtivo Orientado a Pequenos Empreendedores Formais e Informais
Ampliar o acesso ao crdito, bem como apoiar e estimular o segmento de instituies que operam o microcrdito produtivo orientado, com nfase no fortalecimento do empreendedorismo de pequeno porte, individual ou coletivo, promovendo a incluso social e o desenvolvimento em mbito local.
Pessoas fsicas e jurdicas empreendedoras de atividades produtivas de pequeno porte, com renda bruta anual de at R$ 60.000,00 (sessenta mil reais) determinada pelo Decreto n 5.288 de 29 de novembro de 2004.
DESCRITORES 60% dos tomadores de crdito no deram continuidade aos seus negcios, o que indica a importncia da devida orientao aos tomadores de crdito 33% dos entrevistados j tiveram acesso a crdito bancrio Segundo dados da pesquisa ECINF (Economia Informal Urbana) existem: 1. 9,7 milhes de empreendimentos informais que no tomaram crdito nos trs meses anteriores pesquisa; 2. 9,3 milhes de empreendimentos informais com faturamento abaixo de R$ 60 mil anuais; 3. 6,6 milhes de empreendedores informais declarando interesse em ampliar ou manter o negcio; 4. 1,4 milho de empreendedores informais declarando falta de crdito como uma das principais dificuldades enfrentadas no ltimo ano.
RESULTADO FINAL
BENEFICIRIOS
ACESSO AO MICROCRDITO PRODUTIVO ORIENTADO AMPLIADO
600 mil empreendedores de pequeno porte em 2008, com crescimento de 20% ao ano.
Fonte: Ministrio do Planejamento ocina de Modelo Lgico
Etapa 4 Realizar pr-montagem da ocina A pr-montagem uma atividade fundamental para diminuir os riscos de conitos ou impasses que levem ao fracasso da ocina, bem como viabilizar a sua realizao no prazo estimado de 1 dia. Para o PNMPO foram realizadas duas reunies de pr-montagem, cujos principais resultados foram os seguintes:
82
Cronograma de atividades O planejamento das atividades foi essencial para nortear os trabalhos e permitir o controle sobre os tempos de durao previstos para cada etapa da ocina. O cronograma resultante dessa etapa est demonstrado na Figura 14. Figura 14 Planejamento da Ocina
Manh 8h30 9h00 9h15 9h45 10h30 12h30 Tarde 14h00 16h00 16h30 17h45 18h00
Coffee Break - Abertura Abertura Institucional Apresentao dos Participantes/Objetivo Oficina/ Programao Nivelamento Metodolgico Aplicao do Guia Metodolgico (Passo a passo p/ construo dos Indicadores Almoo Aplicao do Guia Metodolgico (Anlise quantitativa matriz de priorizao Intervalo Aplicao do Guia Metodolgico - Anlise qualitativa Avaliao da Oficina Encerramento das atividades
Simulao do mtodo de oito passos Um ponto fundamental nesta etapa foi conhecer os diversos pontos de vista dos presentes, para que a discusso fosse a mais ampla e rica possvel. Assim, a equipe tcnica simulou os oito passos do mtodo proposto no captulo 5, de forma a denir sugestes de resultados para cada um dos passos a serem levados para a ocina, com destaque para: trs dimenses abstradas do objetivo do programa (passo 1); critrios de seleo de indicadores (passo 4) e lista dos indicadores candidatos (passo 5). No quadro abaixo so apresentados exemplos dessa lista.
83
Quadro 10 Exemplos de indicadores candidatos denidos na pr-montagem

Dimenso Indicadores Justificativa Apresenta o volume de recursos atualmente em poder dos tomadores de crdito. Frmula De Clculo Saldo da Carteira Ativa, em cada ano/ volume correspondente no ano base de 2007 x 100.
Evoluo do saldo da Carteira Ativa
Sinaliza a efetiva ampliao do acesso Taxa de crescimento ao crdito. importante de novos clientes saber quanto do mercado potencial identificado foi captado, atendido. Acesso ao crdito Taxa de ociosidade do capital Sinaliza o grau de eficincia da aplicao dos recursos.
Nmero de novos clientes/total de clientes x 100.
Valor mdio do capital que permanece na instituio financeira/ volume total disponvel para crdito x 100. Nmero de clientes beneficiados/ nmero total de clientes potenciais x 100. Nmero de contratos quitados renovados/ total contratos x 100.
Taxa de cobertura do pblico alvo
Apresenta o percentual do pblico alvo alcanado pelo Programa. Permite analisar a eficincia das instituies de microcrdito na captao/manuteno de clientes.
Taxa de renovao de contratos

Etapa 5 Realizar ocina de indicadores Inicialmente foram realizadas a abertura ocial, a apresentao dos participantes e a exposio do planejamento das atividades previstas. Em seguida, a m de promover um nivelamento metodolgico, um especialista da SPI realizou uma palestra com durao de 45 minutos abordando a teoria de indicadores, o mtodo de oito passos e as tcnicas e ferramentas a serem utilizadas. Passou-se ento para o primeiro passo do mtodo descrito no captulo 5 (veja Figura 9). No que se refere avaliao dos objetivos e metas, a
84
proposta no era refazer a teoria do Programa, mas denir indicadores a partir das referncias construdas na ocina de Modelo Lgico. No entanto, diante de algumas posies captadas nas entrevistas, houve a recomendao de reviso do Modelo Lgico em data futura, dado que a mencionada ocina aconteceu em maro de 2008. No passo 1 do mtodo, a partir do objetivo Ampliar o acesso ao crdito, bem como apoiar e estimular o segmento de instituies que operam o microcrdito produtivo orientado, com nfase no fortalecimento do empreendedorismo de pequeno porte, individual ou coletivo, promovendo a incluso social e o desenvolvimento em mbito local, apesar de a pr-montagem ter sugerido trs, por consenso foram extradas duas dimenses a serem expressas por indicadores: (1) ampliao de acesso ao crdito; e (2) promoo da sustentabilidade da rede de microcrdito. A primeira dimenso foi denida como a mais relevante. Para melhor denio dos indicadores, importante analisar a relevncia e a utilidade para outros usurios potenciais. Por isso, o segundo passo teve como nalidade conhecer o universo de interessados no Programa. Como resultado, a contribuio dos participantes ampliou consideravelmente a lista inicial de possveis interessados elaborada na pr-montagem, a saber: x x x x x x x x x x x x x x Instituies de Microcrdito; Agentes Financeiros; Ministrio do Desenvolvimento Social; Ministrio da Fazenda; Ministrio do Desenvolvimento Agrrio; Ministrio do Desenvolvimento, Indstria e Comrcio Exterior; Banco Central do Brasil; Presidncia da Repblica; SEBRAE; Organismos Internacionais; rgos de Controle; Academia; Sistema Pblico de Emprego, Trabalho e Renda; Grupos Representativos do Pblico-Alvo.
Na execuo do passo 3, dado que foram extradas duas dimenses do objetivo e foram mapeados muitos interessados, percebeu-se que seriam necessrios os trs tipos de medidas para um Programa: um
85
indicador-chave para expressar a dimenso mais relevante; indicadores complementares, que expressam qualquer das dimenses denidas no passo 1 da ocina; e provavelmente indicadores especcos para atender a necessidades de informaes dos interessados. Na execuo do passo 4, a partir da lista de critrios sugerida na prmontagem o grupo aprovou os seguintes critrios a serem aplicados nos indicadores candidatos: Eliminatrios: Proximidade com o objetivo do Programa; Adequabilidade taxonomia de indicador de resultado; e Mensurabilidade. Classicatrios: Conabilidade da fonte; Disponibilidade quando necessrio; Aderncia escala espacial desejada; Desagregabilidade sociodemogrca; Estabilidade ao longo do tempo; Economia de obteno; e Simplicidade de construo e entendimento. No quinto passo foi realizado o mapeamento dos indicadores candidatos utilizando como ponto de partida os 14 apresentados pela equipe de pr-montagem, sendo que 4 deles j constavam do programa. O grupo ento analisou a pertinncia de cada indicador e, como consequncia, houve a excluso de dois indicadores e a incluso de outros dois formulados pelos presentes. Os indicadores candidatos escolhidos foram agrupados segundo a dimenso que aferiam, tendo sido analisado ainda eventuais limitaes e frmulas de clculo. Nesse momento, a matriz de priorizao de indicadores foi atualizada com os resultados dos passos anteriores aprovados pela audincia. No sexto passo foi realizada a anlise de trade-off. Para tanto, inicialmente realizou-se a anlise quantitativa a partir do atendimento aos critrios eliminatrios e classicatrios, estes ltimos ponderados, utilizando-se para isso da matriz de priorizao de indicadores. Os resultados dessa anlise podem ser vistos na coluna Total da matriz representada na Figura 15. Em seguida foi realizada uma anlise qualitativa dentre as medidas mais bem pontuadas, por meio de debates muito construtivos em que a maioria dos presentes contribuiu, direta ou indiretamente, para a seleo das medidas de desempenho mais adequadas ao Programa. O resultado nal pode ser visto na Figura 15, em que as clulas em vermelho e laranja representam, respectivamente, o indicador-chave e os indicadores complementares.
86
Esse exerccio permitiu tambm evidenciar os indicadores que, embora considerados ideais, no atenderam a um ou mais critrios aplicados. Assim, as anlises realizadas mostraram-se teis para a gerncia do Programa conhecer as lacunas existentes que precisam ser sanadas, caso haja interesse na utilizao futura de um determinado indicador reprovado no passo 6. Figura 15 Matriz nal de priorizao de indicadores
No passo 7 foi aplicado o check list abaixo, a m de vericar se os indicadores escolhidos de fato atendiam a determinados pr-requisitos essenciais sua utilizao como medida de desempenho de Programas do PPA, a saber: 1. Os indicadores escolhidos so vlidos para expressar resultados? 2. So em quantidade suciente para expressar as dimenses envolvidas? 3. Atendem ao critrio de completude dos atributos exigidos para o seu cadastramento? 4. As limitaes inerentes aos indicadores foram consideradas? 5. Deve haver redenio de objetivo ou reviso da teoria do Programa? Trata-se de uma segunda anlise qualitativa (a primeira foi realizada no passo 6) em que o grupo poderia aceitar os indicadores selecionados
87
ou retroceder ao passo anterior e realizar nova anlise de trade-off. Assim, apesar de a segunda e quinta perguntas terem recebido respostas negativas, os presentes consideraram que estas no comprometiam as medidas escolhidas e conrmaram os resultados do passo 6. Finalmente, no passo 8 foram denidos os atributos previstos na legislao para o cadastramento dos indicadores no sistema de informaes disponibilizado pelo rgo central de planejamento para este m (atualmente o SIGPlan). Para alguns atributos de alguns indicadores (ndice ao nal do PPA, por exemplo), optou-se pela xao posterior das informaes considerando que no havia dados sucientes naquele momento. Um exemplo da denio dos atributos est representado na Figura 16. Figura 16 Atributos de um indicador de Programa
Denominao: Evoluo da quantidade de operaes de Microcrdito Produtivo Orientado Unidade de medida: Nmero ndice ndice de referncia: 100 (12/2007) ndices esperados ao longo do PPA: 2008 115,00 2009 132,25 2010 152,08 2011 174,90
ndice ao final do programa: 174,90 Fonte: Relatrios Gerenciais - PNMPO/MTE Periodicidade: Anual Base geogrfica: Nacional Frmula de Clculo: Relao entre o nmero de operaes realizadas no ano corrente e o nmero de operaes realizadas no ano base de 2007 multiplicado por 100. Nmero de referncia em 2007: 963.459 operaes
Aps a aplicao do mtodo de oito passos, foi efetivada uma avaliao do evento como um todo, a m de obter um feedback dos presentes acerca das atividades realizadas e, com isso, dispor de insumos para proceder a ajustes e melhorias tanto no mtodo quanto na dinmica da ocina. Para tanto, foram entregues aos participantes quatro cartes com cores diferentes para que fossem preenchidos conforme a legenda abaixo:
88
x x x x
carto amarelo: pontos fortes; carto azul: pontos fracos; carto rosa: sugestes; carto branco: espao aberto a consideraes diversas.
Por m, foi realizado o encerramento da ocina, primeiro com os presentes expressando-se livremente, em seguida com as palavras do diretor da SPI presente e, por ltimo, com as concluses e agradecimentos do moderador do evento.
7.5 Concluses e Recomendaes

O processo de construo de indicadores de Programas por meio de ocina mostrou-se til e adequado aos ns propostos. Tal resultado era, de certa forma, esperado, considerando que foi inspirado na bem sucedida dinmica de ocina de Modelo Lgico que vem sendo aplicada a muitos e diferentes contextos, sempre com resultados bastante positivos. Tambm o mtodo de oito passos utilizado na ocina mostrou-se consistente e apropriado ao objetivo de construir medidas de desempenho de Programas vlidas e conveis. Contudo, graas aplicao do mtodo a um programa piloto, foi possvel identicar a necessidade de alguns ajustes, merecendo destaque uma nfase maior na anlise qualitativa dos indicadores ao nal do sexto passo, a partir da vericao do grau de proximidade do indicador com o objetivo do programa. Ainda como consequncia da primeira ocina de construo de indicadores de Programas, a seguir so apresentadas algumas recomendaes relevantes: 1. muito importante que a equipe gerencial do Programa seja entrevistada em primeiro lugar, pois eles podero indicar outros atores relevantes a serem contatados. Caso uma rodada de entrevistas no seja suciente, uma nova agenda com as pessoas-chave deve ser providenciada. 2. A lista de indicadores candidatos ao Programa no deve se restringir apenas aos possveis de serem operacionalizados, mas tambm aos indicadores considerados ideais ao contexto. Mesmo que depois no sejam
89
aprovados quando da aplicao dos critrios de seleo, as fragilidades expostas podero subsidiar aes para a sua utilizao futura. 3. Os indicadores candidatos construdos na etapa de pr-montagem, quando no aderentes taxonomia de indicador de resultado ou no aprovados na anlise de trade-off (passo 6 do mtodo), na medida do possvel devem ser utilizados como indicadores de gesto do Programa, principalmente nos processos de execuo e monitoramento. 4. Reitera-se que as entrevistas podem no ser presenciais, pois j existem tecnologias de baixo custo que permitem reunies virtuais por meio de teleconferncia ou videoconferncia. At mesmo o correio eletrnico (e-mail) pode ser utilizado para envio de formulrio ou roteiro de entrevista e recebimento das respostas. 5. Recomenda-se que o nmero de participantes da ocina e a quantidade de critrios a ser aplicada aos indicadores candidatos na anlise de trade-off no sejam muito grandes, pois dicultam a execuo das atividades previstas no prazo estimado de 1 dia para a ocina. Em princpio, indica-se at 10 participantes da ocina e at 8 critrios (eliminatrios e classicatrios) a serem inseridos na matriz de priorizao. 6. Recomenda-se realizar a ocina em local apropriado e fora do ambiente de trabalho dos participantes, a m de possibilitar a dedicao exclusiva e evitar interrupes indesejadas. 7. Recomenda-se que os participantes recebam previamente o material da pr-montagem, sejam incentivados a ler o guia metodolgico (ou pelo menos o guia de referncia, disponvel no Anexo VI) e recebam o nivelamento metodolgico previsto na dinmica da ocina. 8. Recomenda-se que, se possvel, o sistematizador e o moderador (pode ser a mesma pessoa a assumir os dois papis) sejam especialistas contratados, pois tal prtica garante imparcialidade e prossionalismo em atividades essenciais ao sucesso da ocina. 9. Por m, recomenda-se que, dentre os convidados para a ocina, esteja presente um especialista em indicadores, que pode ser encontrado nas instituies especializadas no assunto, como o IBGE, o IPEA e as instituies subnacionais apresentadas no captulo 3 e no Anexo I.
90
8 Consideraes Finais
A proposta de elaborao de um guia metodolgico para a construo de indicadores faz parte da estratgia desenvolvida pelo Governo Federal para as medidas de desempenho dos Programas do Plano Plurianual. Este guia visa a orientar os administradores pblicos na utilizao de to importante instrumento de gesto e aperfeioamento das aes governamentais. Dentre os muitos temas abordados neste documento, em primeiro lugar cabe salientar a importncia de se conhecer e utilizar o Sistema Estatstico Nacional como fonte de indicadores conveis, vlidos e teis s necessidades de diagnstico, implementao e avaliao de polticas pblicas. O IBGE, por exemplo, possui o maior banco de dados da Amrica Latina e dispe de experincia, informaes, tecnologia e expertise suciente para atender a inmeras e diferentes demandas. Outras instituies nacionais e subnacionais, pblicas e privadas, tambm disponibilizam uma gama considervel e diversicada de estatsticas e indicadores sociais, econmicos e ambientais. Tambm o mtodo de oito passos apresentado para a construo de indicadores merece destaque, pois busca fornecer um caminho facilitador do trabalho dos envolvidos na seleo de medidas de desempenho requeridas em lei e necessrias s boas prticas de administrao pblica. Tal mtodo, no entanto, constitui-se de uma trilha, e no um trilho, o que signica dizer que pode ser adaptado ou utilizado parcialmente a partir das suas trs rampas de acesso: a primeira quando se pretende construir indicadores de Programas; a segunda quando se deseja complementar um Programa com novos indicadores; e a terceira rampa de acesso quando se quer avaliar um conjunto de medidas j denidas. Buscou-se tambm fornecer outros recursos facilitadores, como uma sugesto de dinmica de aplicao do mtodo por meio de ocina, concebida a partir das experincias bem sucedidas de utilizao do Modelo Lgico e aplicada na prtica em um Programa-piloto; uma guia de referncia rpida, contendo os principais aspectos a serem considerados na construo de indicadores; uma lista das perguntas mais
91
frequentes, com as respectivas respostas acerca do tema; exemplos de fontes que disponibilizam estatsticas, indicadores e ndices; e, ainda, publicaes que consolidam medidas possveis de serem utilizadas nos Programas do PPA. Por m, tratando-se de uma primeira verso e do carter indito de grande parte do seu contedo, particularmente o mtodo de oito passos e a dinmica de aplicao desse mtodo por meio de ocina, possvel que esse guia possua lacunas e imperfeies, o que poder resultar em revises e ajustes futuros a m de torn-lo o mais aderente possvel s necessidades dos formuladores de polticas, planos e programas de governo.
92
Referncias Bibliogrcas
_______. Decreto n. 6.601, de 10 de outubro de 2008. Dispe sobre a gesto do Plano Plurianual 2008/2011 e de seus programas. Dirio Ocial da Unio, Braslia, DF, 13 out 2008. _______. Guia Referencial para a Medio de Desempenho Institucional. Secretaria de Gesto de Pessoas SEGES/MP. Braslia, 2009. _______. Lei n. 11.653, de 7 de abril de 2008. Dispe sobre o plano plurianual para o perodo de 2008/2011. Dirio Ocial da Repblica Federativa do Brasil, Braslia, DF, 8 abril 2008. _______. Manual de Avaliao do Plano Plurianual 2008/2011. Braslia: DF, 2008. _______. Manual de Elaborao do Plano Plurianual 2008/2011. Braslia: DF, 2007. _______. Plano Plurianual 2008-2011: anlise de implementao. Braslia: DF, 2008. _______. Portaria n. 140, de 10 de junho de 2009. Dispe sobre o Sistema de Monitoramento e Avaliao do PPA 2008-2011. Dirio Ocial da Unio, Braslia, DF, 12 jun 2009. _______. Relatrio de Avaliao do Plano Plurianual 2004-2007. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento e Investimentos Estratgicos. Braslia, 2005. _______. Uso e Construo de Indicadores no PPA. Ministrio do Planejamento, Oramento e Gesto. Secretaria de Planejamento e Investimentos Estratgicos. Braslia, maio de 2007. AUDIT COMMISSION. On target the practice of performance indicators. Londres, 2000. BONNEFOY, C.; ARMIJO, M. Indicadores de desempeo en el sector pblico. Instituto Latinoamericano y del Caribe de Planicacin Econmica y Social ILPES. Santiago do Chile, 2005. CARDOSO, A. L. Indicadores Sociais e Polticas Pblicas: algumas notas crticas. Proposta, N 77, Junho-Agosto, 1998.
93
CARLEY, M. Indicadores Sociais: Teoria e Prtica. Rio de Janeiro: Zahar, 1985. COHEN, E.; FRANCO, R. Avaliao de Projetos Sociais. Petrpolis: Vozes, 2000. COSTA, F. L.; CASTANHAR, J. C. Avaliao de Programas Pblicos: Desaos Conceituais e Metodolgicos. Revista de Administrao Pblica. Rio de Janeiro, set/out, 2003. FEIJ, C.; VALENTE, E. As Estatsticas Ociais e o Interesse Pblico. Bahia Anlise & Dados. Salvador, BA, v. 15, n. 1, p. 43. Junho, 2005. FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Como Elaborar Modelo Lgico de Programas: um roteiro bsico. Nota Tcnica. Braslia: IPEA, 2007. FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Uma experincia de desenvolvimento metodolgico para avaliao de programas: o modelo lgico do programa segundo tempo. Texto para discusso. Rio de Janeiro: IPEA, 2009. GUIMARES, J.R.S.; JANNUZZI, P. M. IDH, indicadores sintticos e suas aplicaes em polticas pblicas: uma anlise crtica. Salvador: ANPUR, Revista Brasileira de Estudos Urbanos e Regionais v.7, n.1, p. 73-90, 2005. IBGE. Indicadores de Desenvolvimento Sustentvel. 2008. IBGE. Sntese dos Indicadores Sociais Uma Anlise das Condies de Vida da Populao Brasileira. 2008. JANNUZZI, P. M. Consideraes sobre o uso, mau uso e abuso dos indicadores sociais na formulao e avaliao de polticas pblicas municipais. Revista do Servio Pblico, Braslia, abr/jun, 2005. JANNUZZI, P. M. Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico. Rio de Janeiro, jan/fev, 2002. JANNUZZI, P. M. Indicadores Sociais no Brasil. Editora Alnea. Campinas, SP, 2003. MAGALHES, M. T. Q. Metodologia para desenvolvimento de sistemas de indicadores: uma aplicao no planejamento e Gesto da poltica nacional de transportes. (Dissertao Mestrado) - Universidade de Braslia. Braslia, 2004.
94
OECD Organization for Economic Co-Operation and Development. Framework for Environmental Indicators. Paris, 2002. OCDE. Governing Regional Development Policy - The Use Of Performance Indicators, 2009. OMS. Catalogue of Health Indicators. Genebra, 1996. PROJECT MANAGEMENT INSTITUTE PMI. Guide of Project Management Body of Knowledge - PMBoK, 2004. ROCHET, C.; BOUT-COLONNA, L.; KERAMIDAS, O. The Risck of Efciency Indicators in the Monitoring of Public Policies. EGPA Reforming the Public Sector. University of Bern. 2005. RUA, M. G. Desmisticando o problema: uma rpida introduo ao estudo dos indicadores. Mimeo, Escola Nacional de Administrao Pblica, Braslia, 2004. SANTAGADA, S. Indicadores Sociais: uma primeira abordagem social e histrica. Pensamento Plural, Pelotas, 2007. TCU. Tcnica de Auditoria - Indicadores de Desempenho e Mapa de Produtos. Braslia, 2000. UNITED NATIONS. Fundamental Principles of Ofcial Statistics. Disponvel em www.un.org. VILLELA, T. M. A.; MAGALHES, M. T. Q.; GOMES, H. A. S.; ARRUDA, B. D. L.; SILVEIRA, L. S. C. Metodologia para Desenvolvimento e Seleo de Indicadores para Planejamento de Transporte. CEFTRU/UnB. Braslia, 2007.
95
Glossrio
Siglas AMS BACEN CAGED DATAPREV DATASUS DIEESE ENAP FEE FGV FIPE FJP IBGE IDH IJSN INEP IPARDES IPEA MTE MUNIC OCDE OIT OMS ONU OSCIP PIB PMC PME PNAD PNSB Descrio Pesquisa Nacional de Assistncia Mdico-Sanitria Banco Central do Brasil Cadastro Geral de Empregados e Desempregados Empresa de Tecnologia e Informaes da Previdncia Social Departamento de Informtica do Sistema nico de Sade Departamento Intersindical de Estatstica e Estudos Socioeconmicos Escola Nacional de Administrao Pblica Fundao de Economia e Estatstica Fundao Getlio Vargas Fundao Instituto de Pesquisas Econmicas Fundao Joo Pinheiro Instituto Brasileiro de Geograa e Estatstica ndice de Desenvolvimento Humano Instituto Jones dos Santos Neves Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira Instituto Paranaense de Desenvolvimento Econmico e Social Instituto de Pesquisa Econmica Aplicada Ministrio do Trabalho e Emprego Pesquisa de Informaes Bsicas Municipais Organizao para a Cooperao e Desenvolvimento Econmico Organizao Internacional do Trabalho Organizao Mundial da Sade Organizao das Naes Unidas Organizao da Sociedade Civil de Interesse Pblico Produto Interno Bruto Pesquisa Mensal do Comrcio Pesquisa Mensal de Empregos Pesquisa Nacional por Amostra de Domiclios Pesquisa Nacional de Saneamento Bsico
97
PNUD POF PPA RAIS SEADE SEI SPI
Programa das Naes Unidas para o Desenvolvimento Pesquisa de Oramentos Familiares Plano Plurianual Relao Anual de Informaes Sociais Sistema Estadual de Anlise de Dados Superintendncia de Estudos Econmicos e Sociais da Bahia Secretaria de Planejamento e Investimento Estratgicos
Termos e Expresses Accountability - Termo da lngua inglesa, sem traduo exata para o portugus, que remete obrigao de membros de um rgo administrativo ou representativo de prestar contas a instncias controladoras ou a seus representados. Trata-se de um conceito da esfera tica com signicados variados, que frequentemente denotam responsabilidade social, imputabilidade, obrigaes e prestao de contas. Uma aproximao possvel para a lngua portuguesa responsabilizao. Brainstormig - Tcnica de gerao coletiva de novas ideias atravs da livre participao e expresso de diferentes indivduos. A tcnica prope que um grupo - de duas a dez pessoas - utilize as diferenas de pensamentos para chegar a um denominador comum, gerando ideias inovadoras que conduzam um empreendimento adiante. Economicidade (ou economia) - a minimizao dos custos de aquisio dos recursos utilizados na consecuo de uma ao, sem comprometimento da qualidade desejada. Efetividade - a medida do grau de alcance dos objetivos estratgicos de governo, tendo como referncia os impactos na sociedade em geral. Eccia - a medida do grau de alcance dos objetivos e metas xadas para um determinado programa, em relao ao previsto. Ecincia - a medida da relao entre os recursos utilizados e os produtos ou servios entregues ao pblico-alvo de um programa, frente a padres estabelecidos. Modelo Lgico - Busca congurar um desenho do funcionamento do programa para resolver ou minimizar os efeitos de um problema identicado. Pode ser a base para um relato do desempenho esperado, ressaltando onde est o problema objeto do programa e como enfrentlo. Os elementos so: recursos, operaes/aes, produtos, resultados
98
intermedirios e nais, hipteses que suportam essas relaes e as inuncias das variveis de contexto. Os pressupostos sobre os recursos e operaes/aes e como esses levam aos resultados esperados so frequentemente referidos como a teoria do programa (FERREIRA, CASSIOLATO E GONZALES, 2007). Programa - Instrumento de organizao da atuao governamental com vistas ao enfrentamento de um problema. Articula um conjunto coerente de aes (oramentrias e no-oramentrias) que concorrem para objetivos preestabelecidos, constituindo uma unidade bsica de gesto com responsabilidade pelo desempenho e transparncia das aes de Governo. Proxy - No contexto de indicadores signica aproximao ou similaridade. Quando no se encontra uma medida especca, vlida e convel para expressar um conceito ou dimenso da realidade, deve-se buscar outra que mais se aproxime dos objetivos da medio. Roadmap - Tcnica de representar um uxo de atividades na forma de caminho ou mapa rodovirio, no qual so colocadas rampas de acesso para identicar diferentes pontos de entrada no uxo, de acordo com o objetivo pretendido para o uso do uxograma. Sistema Estatstico Nacional - Grupo de instituies pblicas e privadas que produzem estatsticas com recursos pblicos, sob coordenao central ou no, abrangendo diferentes reas temticas e nveis federativos. Taxonomia - Palavra de origem grega. Inicialmente foi utilizada para classicar organismos vivos, mas atualmente aplicada em um sentido mais abrangente para a classicao de coisas. Quase tudo - objetos, lugares e eventos - pode ser classicado de acordo com algum esquema taxonmico. Trade-off - Expresso que denota uma situao em que h conito de escolha. Caracteriza-se quando uma ao para resoluo de um problema acarreta outro problema, obrigando a uma escolha. Ocorre quando se abre mo de algum bem ou servio distinto para se obter outro bem ou servio distinto.
99
Anexo I Fontes, Publicaes e Tecnologias

Fontes Existe no Brasil uma grande diversidade de fontes que produzem e disseminam estatsticas, taxas, propores, ndices e outros tipos de indicadores, tanto na rea estatal quanto no-estatal, em geral desconhecidas pelos formuladores de polticas pblicas. No Quadro abaixo so apresentados os principais provedores de indicadores sociais, econmicos e ambientais.
101
102
Endereo Internet www.inep.gov.br www.mct.gov.br www.cnpq.br www.desenvolvimento.gov.br Produo cientfica; recursos aplicados; patentes, indicadores Estatsticas do comrcio; de comrcio exterior; servios; da produo Indicadores de pobreza; indigncia; transferncia de renda, habitao; saneamento; condies urbanas Promoo de direitos humanos; pessoa com deficincia; pessoa idosa; criana e adolescente Dados educacionais, equipamentos, docentes, desempenho escolar Produtos www.sedh.gov.br Indicadores de Programas - Guia Metodolgico www.fazenda.gov.br www.bacen.gov.br www.ipea.gov.br www.fipe.org.br www.fgv.com.br www.mma.gov.br www.ibge.gov.br www.previdencia.gov.br www.datasus.gov.br Estatsticas econmicas em geral Indicadores de desenvolvimento sustentvel Benefcios; penses; aposentadorias; auxlios; acidentes de trabalho Estatsticas da sade; mortalidade, morbidade, atendimentos, vacinaes
Tema
Fonte
Educao
INEP
Cincia e Tecnologia
MCT; CNPQ
Desenvolvimento Econmico
MDIC
Desenvolvimento social
Ministrio do Desenvolvimento www.mds.gov.br Social Ministrio das Cidades www.cidades.gov.br
Direitos Humanos
Secretaria Especial de Direitos Humanos
Economia
Ministrio da Fazenda Banco Central do Brasil IPEA FIPE FGV
Meio Ambiente
Ministrio do Meio Ambiente IBGE
Previdncia
Ministrio da Previdncia Social
Sade
Ministrio da Sade
Tema www.mte.gov.br www.rais.gov.br www.transportes.gov.br
Fonte
Endereo Internet
Produtos CAGED; RAIS; Cadastro de empresas; Estatsticas do trabalho Plano Nacional de Logstica e Transportes - Base de Dados Georreferenciada
Trabalho
Ministrio do Trabalho e Emprego
Transporte
Ministrio dos Transportes
Gerais
IBGE
www.ibge.gov.br
Censo Demogrfico; PNAD; PME, PMC; MUNIC; Sntese dos Indicadores Sociais; Indicadores de Desenvolvimento Sustentvel; Estatsticas de Registro Civil; Pesquisa Nacional de Assistncia Mdico-Sanitria; Pesq. Saneamento Bsico Retrato das Desigualdades; Boletim de Conjuntura Econmica e Social; Acompanhamento e Anlise das Polticas Sociais Estatsticas gerais em nvel estadual e municipal
Gerais www.anipes.org.br www.ibge.gov.br
IPEA
www.ipea.gov.br
Estados e Municpios
ANIPES IBGE
Organismos internacionais
BANCO MUNDIAL CEPAL NAES UNIDAS OCDE PNUD
www.worldbank.org www.cepal.cl www.un.org/databases www.ocde.org www.pnud.org
Estatsticas gerais em nvel mundial
103
Publicaes disponveis na Internet O Sistema Estatstico Nacional periodicamente disponibiliza catlogos e publicaes, impressas ou em meio eletrnico, que consolidam uma grande quantidade de indicadores sociais, econmicos e ambientais que podero ser teis na medio de resultados de programas de governo. Algumas dessas publicaes so descritas a seguir. Sntese dos Indicadores Sociais Editada anualmente pelo IBGE, essa publicao rene um grande nmero de indicadores dos tipos: Demogrcos Educao Domiclios Famlias Casamentos, separaes e divrcios Crianas, adolescentes e jovens Cor ou raa Mulheres Idosos
Disponvel no endereo www.ibge.gov.br
104
Indicadores de Desenvolvimento Sustentvel Tambm editado anualmente pelo IBGE, rene um amplo conjunto de informaes sobre a realidade brasileira nas quatro dimenses do desenvolvimento sustentvel: Ambiental: atmosfera; terra; gua doce; oceanos, mares e reas costeiras; biodiversidade; saneamento. Social: populao; trabalho e rendimento; sade; educao; habitao; segurana. Econmica: quadro econmico; padres de produo e consumo. Institucional: quadro Institucional; capacidade Institucional Disponvel no endereo www.ibge.gov.br.
105
Sistema Nacional de Indicadores para Cidades Publicao do Ministrio das Cidades que rene os indicadores ideais para medio da qualidade de vida urbana, a partir dos seguintes agrupamentos temticos: Condies Habitacionais Organizao urbana e ambiental Estrutura de apoio cidadania Economia municipal Felicidade em geral e satisfao com o servio pblico
Disponvel no endereo www.cidades.gov.br
106
Indicadores Bsicos de Sade Publicao do Ministrio da Sade que rene um grande nmero de indicadores, a partir dos seguintes agrupamentos: Demogrcos Socioeconmicos Mortalidade Morbidade e fatores de risco Recursos alocados sade Cobertura
Disponvel no endereo www.saude.gov.br.
107
Indicadores de Trabalho e Emprego O MTE disponibiliza um acesso a indicadores, desagregados em nvel municipal, relacionados aos seguintes temas: Empregos formais Remunerao mdia Variao do emprego formal Flutuao do emprego Salrio mdio de admisso Seguro desemprego e intermediao Outros indicadores do mercado de trabalho
Disponvel em www.mte.gov.br
108
Indicadores Educacionais O INEP dispe de um sistema de indicadores relacionados aos seguintes grupos temticos: Contexto sociodemogrco Condies de oferta Acesso e participao Ecincia e rendimento escolar
Disponvel em www.edudatabrasil.inep.gov.br
109
Indicadores Econmicos, Regionais e Sociais O IPEA dispe de um sistema para acesso a um grande nmero de indicadores relacionados a: Dados econmicos e nanceiros Dados demogrcos e geogrcos para estados e municpios Dados e indicadores sociais: distribuio de renda, pobreza, educao, sade, previdncia social e segurana pblica. Disponvel em www.ipea.gov.br
110
Instituies Produtoras de Estatsticas Nacional - IBGE
So Paulo Fundao SEADE
111
Paran IPARDES
Bahia - SEI
112
Rio de Janeiro Fundao CIDE
Rio Grande do Sul - FEE
113
Tecnologias A maioria das fontes de indicadores dispe de bancos de dados de alta performance que permitem, alm de acessos regulares, cruzamentos e ltros por diferentes campos como tipo, periodicidade, localizao, gnero, raa, faixa etria e outros. Dentre as principais tecnologias de armazenamento e recuperao de informao disponveis, destacam-se: SIDRA: trata-se de uma poderosa ferramenta do IBGE para recuperao de um amplo espectro de informaes territoriais e por reas temticas como agropecuria, comrcio, contas nacionais, economia, indstria, meio ambiente, oramento familiar, populao, preos, saneamento bsico, sade, servios, trabalho e renda. BME: banco de dados multidimensional de estatsticas, disponvel na pgina do IBGE na Internet, que permite ao usurio credenciado ou que adquiriu o servio - escolher livremente as variveis de seu interesse, o espao geogrco e o perodo de tempo de referncia das informaes. Cidades@, Estados@, Paises@ e MUNIC (Perl dos Municpios): bancos de dados disponveis na pgina do IBGE na Internet, que compem a maior base de dados estatsticos da Amrica Latina. Ipeadata: banco de dados disponvel na pgina do IPEA na Internet para acesso a informaes macroeconmicas, regionais e sociais. Edudatabrasil: banco de dados disponvel na pgina do INEP na Internet para acesso ao sistema de estatsticas educacionais. Datasus: banco de dados disponvel na pgina do Ministrio da Sade na Internet para acesso ao anurio e s informaes bsicas e complementares de sade. Dataprev: banco de dados disponvel na pgina da Previdncia Social na Internet para cesso ao anurio, boletim estatstico, benefcios, segurana e sade ocupacional. Matriz de Informao Social: banco de dados disponvel na pgina do Ministrio do Desenvolvimento Social e Combate Fome para acesso a informaes e indicadores sociais nos mais diversos nveis territoriais (inclusive municpios), dos principais programas e benefcios, a exemplo do Bolsa Famlia e dos Benefcios de Prestao Continuada (BPC).
114
Anexo II Exemplos de Classicao por Temas
Demogrficos Taxa de Natalidade: razo entre o nmero de nascimento e a populao estimada. Taxa de crescimento demogrfico: indica a percentual de crescimento da populao em determinado perodo de tempo. Taxa de urbanizao: indica o percentual da populao de reside em reas urbanas. Sade Taxa de mortalidade infantil: indica a razo entre o nmero de bitos de crianas de at um ano e o total de crianas nascidas vivas. Taxa de mortalidade por causa: indica a razo entre o nmero de bitos por determinada causa e o total da populao. Taxa de morbidade por doena: indica a razo entre o nmero de ocorrncias de determinada doena e o total da populao. Esperana de vida ao nascer: o nmero mdio de anos de vida estimado para um recm-nascido. Indicador de desnutrio: razo entre o nmero de crianas com peso e altura abaixo do normal e o total de crianas de determinada faixa etria. Educao Taxa de analfabetismo: percentual da razo entre o nmero de pessoas analfabetas e o nmero de pessoas com mais de 15 anos. Escolaridade mdia: indica a mdia de anos cursados e aprovados das pessoas com 15 anos ou mais. Taxa de cobertura escolar: razo entre o nmero de matrculas em determinado nvel e o total do pblico-alvo do nvel. Taxa de evaso: percentual da razo entre o nmero de evadidos e o total de matriculados, ao final do ano letivo. Taxa de reprovao: percentual da razo entre o nmero de reprovados e o total de matriculados, ao final do ano letivo. Trabalho Taxa de desemprego: percentual da razo entre o nmero de desempregados e o total da populao economicamente ativa.
115
Proporo de trabalhadores com carteira assinada: razo entre nmero de trabalhadores formais e o total de empregados. Renda PIB per capita: corresponde soma de todos os produtos e servios produzidos internamente, dividida pelo total da populao. ndice de GINI: mede o grau de desigualdade na distribuio da renda produzida por um pas. Proporo de pobres ou indigentes: razo entre o nmero de famlia com renda inferior linha de pobreza ou indigncia, e o total de famlias do espao considerado. Economia ndices de Custo de Vida: indica a inflao mdia de um pas ou regio, a variao de preos de produtos e servios em determinado perodo de tempo. Infraestrutura Proporo de domiclios com acesso a redes (luz, gua, telefone, esgoto etc.) ou servios (coleta de lixo p.e.): proporo entre o total de domiclios com acesso a redes ou servios e o total de domiclios do espao considerado. Segurana Taxa de homicdios: indica o nmero de homicdios por cem mil habitantes. Meio Ambiente Hectare de rea verde por habitante: razo entre a rea verde existente e o total de habitantes da regio. Consumo mdio residencial de energia: gasto mdio de energia eltrica das famlias de determinada regio. Taxa de desmatamento de reas protegidas: rea desmatada em relao rea protegida.
116
Anexo III Atributos dos indicadores do PPA
Atributo Denominao
Descrio Forma pela qual o indicador ser apresentado sociedade. Padro escolhido para mensurao da relao adotada como indicador. Por exemplo, para o indicador taxa de analfabetismo a unidade de medida seria porcentagem, e para o indicador taxa de mortalidade infantil a unidade de medida seria 1/1000 (1 bito para cada 1000 nascimentos). Situao mais recente do problema e sua respectiva data de apurao. Consiste na aferio de um indicador em um dado momento, mensurado com a unidade de medida escolhida, que servir de base para projeo do indicador ao longo do PPA. Por exemplo: no ano de 2006, a taxa de mortalidade infantil foi de 25 para cada 1000 nascimentos.
Unidade de medida
ndice de referncia
Situao que se deseja atingir com a execuo do Programa, ndices esperados expresso pelo indicador, para cada ano do perodo de vigncia ao longo do PPA do PPA. ndice ao final do Programa Resultado que se deseja atingir com a concluso da execuo do Programa. Deve ser preenchido apenas no caso dos Programas temporrios. rgo responsvel pelo registro ou produo das informaes necessrias para a apurao do indicador e divulgao peridica dos ndices. As informaes utilizadas na construo dos indicadores podero ser produzidas pelos prprios rgos executores dos Programas ou outros integrantes da estrutura do Ministrio responsvel. Estes devero manter sistemas de coleta e tratamento de informaes com esta finalidade. Em muitos casos, entretanto, as informaes sero buscadas junto a outras fontes que podem ser instituies oficiais ou mesmo privadas, de reconhecida credibilidade: IBGE, FIPE, FGV, Banco Central, DIEESE, ANBID, entre outras. Frequncia com a qual o indicador apurado. Por exemplo: anual (apurado uma vez ao ano); mensal (apurado uma vez ao ms); bienal (apurado a cada dois anos).
Fonte
Periodicidade
117
Atributo Base geogrfica
Descrio Menor nvel de agregao geogrfica da apurao do ndice. Por exemplo: Estadual (no mbito de um Estado); Municipal (no mbito de um Municpio). Demonstra, de forma sucinta e por meio de expresses matemticas, o algoritmo que permite calcular o valor do indicador. Por exemplo, para o indicador Espao areo monitorado, a frmula de clculo poderia ser Relao percentual entre o espao areo monitorado e o espao areo sob jurisdio do Brasil, assim como para o indicador Incidncia do ttano neonatal o indicador poderia ser Relao percentual entre o nmero de casos novos de ttano neonatal e o total da populao menor de um ano de idade.
Frmula de clculo
118
Anexo IV Perguntas Mais Frequentes

O que um indicador de Resultado? So medidas que expressam os benefcios no pblico-alvo decorrentes das aes empreendidas no contexto do Programa e tm particular importncia no contexto de gesto pblica orientada a resultados. So exemplos a taxa de reprovao escolar e a taxa de homicdios. Qual a importncia dos indicadores no contexto das Polticas Pblicas? Para gerenciar preciso medir. O Estado responsvel por um grande nmero de operaes e projetos, assim preciso quanticar os parmetros que permitam aos gestores pblicos e cidados conhecer, opinar e decidir acerca das mltiplas e complexas aes governamentais voltadas melhoria das condies de vida da sociedade. Qual a relao dos indicadores com a teoria do Programa? Uma boa escolha de indicadores tem relao direta e est condicionada a um bom desenho do Programa, principalmente em relao denio do objetivo. Um indicador aponta resultados no pblico-alvo e o resultado nada mais que um objetivo concretizado. Se o objetivo est mal denido, no h indicador que expresse se o resultado foi bom ou ruim. Como saber se um objetivo de Programa est bem denido? Uma forma de vericar se um objetivo est bem denido aplicar o modelo SMART, acrnimo que signica: (1) eSpecco - um objetivo no deve ser to amplo ou genrico que conduza a interpretaes duvidosas, perda de foco ou impossibilidade de alcance a partir das aes do Programa; (2) Mensurvel - um objetivo ou meta deve ser passvel de aferio; (3) Atingvel - um objetivo ou meta deve ser realista, vivel, possvel de ser atingido em face dos recursos (humanos, materiais, nanceiros etc.) disponveis e das restries impostas; (4) Relevante objetivo deve estar relacionado a um problema, demanda ou oportunidade prioritria para a agenda governamental; (5) Tempo - um objetivo deve ser programvel, deve possuir uma data limite para alcance.
119
Quais so as principais propriedades dos indicadores? Existem trs propriedades consideradas essenciais aos indicadores: Validade ou capacidade de representar a realidade que se deseja medir e modicar; Conabilidade, pois os indicadores devem ter origem em fontes conveis, que utilizem metodologias reconhecidas e transparentes; e Simplicidade, pois devem ser de fcil obteno, comunicao e entendimento pelo pblico em geral. O que so ndices? Os ndices ou indicadores sintticos sintetizam diferentes conceitos da realidade emprica, ou seja, derivam de operaes realizadas com indicadores analticos e tendem a retratar o comportamento mdio das dimenses consideradas. Diversas instituies nacionais e internacionais divulgam indicadores sintticos sendo exemplos o PIB, IDEB, IPC e o IDH. Qual a diferena entre indicadores objetivos e subjetivos? Os indicadores objetivos apontam eventos concretos da realidade e, em geral, so construdos a partir de estatsticas pblicas ou registros administrativos disponveis nos rgos governamentais. J os indicadores subjetivos captam sensaes ou opinies, utilizando-se para sua construo de tcnicas como pesquisa de opinio, grupo focal e grupo de discusso. Qual o objetivo do Sistema Estatstico Nacional e quais instituies o integram? De acordo com o artigo 1o da Lei no 6.183/1974, o Sistema Estatstico Nacional tem como objetivo possibilitar o conhecimento da realidade fsica, econmica e social do Pas, visando especialmente ao planejamento econmico e social e segurana nacional. So integrantes todos os rgos e entidades da administrao pblica direta e indireta, de mbito federal, estadual ou municipal, e entidades de natureza privada que exeram atividades estatsticas e para isso recebam subveno ou auxlio dos cofres pblicos. Qual a principal instituio produtora de estatsticas e indicadores no Brasil? Certamente o Instituto Brasileiro de Geograa e Estatstica - IBGE, que possui a maior base de dados estatstica da Amrica Latina. No contexto do Sistema Estatstico Nacional assume um duplo papel: de coordenao do sistema, por meio da integrao dos subsistemas e da
120
padronizao de procedimentos, conceitos e classicaes; e de principal provedor de dados e informaes para os mais diferentes segmentos da sociedade. Existe um mtodo que oriente a construo de indicadores de resultados? Sim. O rgo central de planejamento indica um mtodo de construo composto de oito passos: (1) Avaliar objetivos e metas, a m de identicar as dimenses que os indicadores devero expressar; (2) Identicar os interessados para que os indicadores sejam de fato teis para os atores envolvidos; (3) Denir os tipos de indicadores necessrios ao contexto do Programa; (4) Denir os critrios de escolha para seleo dentre os indicadores candidatos; (5) Mapear os indicadores candidatos; (6) Realizar uma anlise de trade-off dentre os candidatos; (7) Validar os indicadores selecionados; e (8) denir os atributos dos indicadores validados.
121
Anexo V Roteiro de Entrevista para pr-montagem de Ocina
Equipe Gerencial 1. Considerando as aes atualmente implementadas, qual o objetivo e resultado do programa? (Objetivo: Levantar o real objetivo do programa no o que necessariamente consta do SIGPlan ou o que deveria ser o programa e o resultado que este consegue efetivamente entregar, a partir das aes atualmente implementadas) 2. Na sua opinio, existe necessidade de reformular o objetivo do programa? (Objetivo: Possibilitar reflexes que conduzam ao aperfeioamento da teoria do programa e levantar contribuies para possveis alteraes na redao que consta do PPA) 3. Qual o perfil do pblico-alvo que o programa pretende atingir? H necessidade de reformulao do pblico-alvo? (Objetivo: Mapear o recorte dado pela gerncia do programa para a definio do pblico-alvo) 4. Qual universo desse pblico-alvo na sociedade? (Objetivo: Identificar o quantitativo do pblico-alvo) 5. Atualmente, quantos so beneficiados pelo programa? (Objetivo: Identificar o quantitativo do pblico-alvo efetivamente atendido pelo programa) 6. O que norteou a formulao dos indicadores atuais? (Objetivo: Conhecer os critrios e os parmetros que deram origem aos atuais indicadores) 7. H algum na equipe com experincia na construo e anlise de indicadores? (Objetivo: Identificar possveis entrevistados e bases de dados a serem examinadas, conhecer a importncia que a gerncia d ao tema de indicadores) 8. Quais so as dificuldades encontradas na elaborao dos indicadores do programa? Como tm sido contornadas? (Objetivo: Conhecer antecipadamente possveis empecilhos implantao de novos indicadores)
123
9. So utilizados microdados das pesquisas regulares do Sistema Estatstico Nacional? Em caso afirmativo, quais? Em caso negativo por que? (Objetivo: mapear possveis variveis que so utilizados pela gerncia para gesto do programa e que podero ser incorporadas na elaborao dos indicadores) 10. Tem registros administrativos? Quais so? Como a forma de acompanhamento? Qual suporte tecnolgico? Periodicidade? Tem informaes de preenchimento obrigatrio? So gerados indicadores a partir dos mesmos? Quais? (Objetivo: Conhecer os dados disponveis na gerncia do programa utilizados na gesto do programa e que podero ser utilizados na elaborao dos indicadores) 11. Como voc avalia os atuais indicadores? Baseado em que critrios? (Objetivo: Obter uma anlise do entrevistado acerca da situao atual e coletar possveis sugestes de novos indicadores) 12. Os atuais indicadores, de fato, permitem aferir os resultados? Por que? (Objetivo: Obter uma anlise do entrevistado acerca da situao atual e coletar possveis sugestes de novos indicadores) 13. Quais so os principais interessados/parceiros? E que tipo de informao eles necessitam? (Objetivo: mapear possveis entrevistados e coletar sugestes de novos indicadores) 14. Existem informaes regionalizadas sobre o Programa? (Objetivo: Conhecer os dados disponveis na gerncia do programa utilizados na gesto do programa e que podero ser utilizados na elaborao dos indicadores)
Parceiros 1. Na sua opinio, qual o objetivo do programa e qual o resultado esperado? (Objetivo: Levantar o real objetivo do programa no o que necessariamente consta do SIGPlan ou o que deveria ser o programa e o resultado que este consegue efetivamente entregar. 2. Na sua opinio, existe necessidade de reformular o objetivo do programa? (Objetivo: Possibilitar reflexes que conduzam ao aperfeioamento da teoria do programa e levantar contribuies para possveis alteraes na redao que consta do PPA) 3. Qual o perfil do pblico-alvo que o programa pretende atingir? H necessidade de reformulao? (Objetivo: Mapear o recorte dado pela gerncia do programa para a definio do pblico-alvo)
124
4. Qual universo desse pblico-alvo na sociedade? (Objetivo: Identificar o quantitativo do pblico-alvo) 5. Atualmente, quantos so beneficiados pelo programa? (Objetivo: Identificar o quantitativo do pblico-alvo efetivamente atendido pelo programa) 6. Vocs possuem registros administrativos? Quais so? Como a forma de acompanhamento? Qual suporte tecnolgico? Periodicidade? Tem informaes de preenchimento obrigatrio? (Objetivo: Conhecer os dados disponveis e utilizados na gesto teis na elaborao dos indicadores) 7. Quais so os principais interessados/parceiros? E que tipo de informao eles necessitam? (Objetivo: mapear possveis entrevistados e coletar sugestes de novos indicadores) 8. Vocs possuem informaes regionalizadas? (Objetivo: Conhecer os dados disponveis e utilizados na gesto teis na elaborao dos indicadores) 9. As informaes solicitadas pela gerncia do Programa esto sendo repassadas? Se no, quais so as principais dificuldades. (Objetivo: conhecer o grau de integrao das informaes entre os parceiros) 10. H mesmo uma demanda reprimida? (Objetivo: confirmar a existncia do problema central que o programa pretende resolver) 11. Voc tem sugestes para a melhoria da eficcia do programa? (Objetivo: Identificar recomendaes dos parceiros e apresent-la gerncia do programa).
125
4. Definir critrios de seleo Serviro de base para a seleo e podem ser de dois tipos: Eliminatrios: so os critrios que devem ser obrigatoriamente atendidos, do contrrio a medida dever ser descartada. Classificatrios: serviro para estabelecer um ranking dos indicadores, possibilitando escolhas mais seguras. O que so Indicadores de Programa? So medidas que expressam os benefcios no pblico-alvo decorrentes das aes empreendidas no contexto do Programa e tm particular importncia no contexto de gesto pblica orientada a resultados. So exemplos a taxa de reprovao escolar e a taxa de homicdios.
Perguntas mais frequentes
5. Mapear indicadores candidatos Caso no seja possvel selecionar no SEN, os indicadores devero ser construdos no contexto do programa. Qual a relao dos Indicadores com a teoria do Programa? Uma boa escolha de indicadores tem relao direta e est condicionada a um bom desenho do Programa, principalmente em relao definio do objetivo. Um indicador aponta resultados no pblico-alvo e o resultado nada mais que um objetivo concretizado. Se o objetivo est mal definido no h indicador que expresse se o resultado foi bom ou ruim.
6. Realizar anlise de trade-off Permite analisar vantagens e desvantagens das alternativas.
7. Validar os indicadores selecionados Trata-se de uma anlise qualitativa de conformidade e pertinncia, utilizando-se para isso de um check list. O que so ndices? Os ndices ou indicadores sintticos sintetizam diferentes conceitos da realidade emprica, ou seja, derivam de operaes realizadas com indicadores analticos e tendem a retratar o comportamento mdio das dimenses consideradas. Diversas instituies nacionais e internacionais divulgam indicadores sintticos sendo exemplos o PIB, IDEB e o IDH.
Indicadores de Programas
Guia de Referncia
8. Cadastrar os indicadores Os atributos descritivos dos indicadores escolhidos devem ser cadastrados no sistema disponvel na Internet.
Fontes de Indicadores
Tema
Portal da Internet
www.inep.gov.br
www.mct.gov.br www.cnpq.br
www.mds.gov.br www.cidades.gov.br
Qual a principal instituio produtora de indicadores no Brasil? Certamente o Instituto Brasileiro de Geografia e Estatstica IBGE, que possui a maior base de dados estatstica da Amrica Latina. No contexto do Sistema Estatstico Nacional assume um duplo papel: de coordenao do sistema, por meio da integrao dos subsistemas e da padronizao de procedimentos, conceitos e classificaes; e de principal provedor de dados e informaes para os mais diferentes segmentos da sociedade.
Apresentao Por que Indicadores Marco conceitual Sistema Estatstico Nacional Mtodo de construo Fontes de Indicadores Perguntas mais frequentes
Fevereiro de 2010
www.fazenda.gov.br www.bacen.gov.br www.ipea.gov.br www.fgv.com.br
Informaes adicionais
www.mma.gov.br www.ibge.gov.br
www.previdencia.gov.br
www.datasus.gov.br
www.mte.gov.br www.rais.gov.br
Esse guia de referncia rpida um resumo da publicao Indicadores de Programas - Guia Metodolgico, cuja verso completa pode ser obtida no portal do Ministrio do Planejamento, Oramento e Gesto:
www.ibge.gov.br www.ipea.gov.br
http://www.planejamento.gov.br
Contatos
e-mail: spi@planejamento.gov.br telefone: (61) 2020 4800
Anexo VI Guia de Referncia
www.worldbank.org www.cepal.cl www.un.org/databases www.ocde.org www.pnud.org
Contatos
127
128
Mensurabilidade: a capacidade de alcance e mensurao com preciso e sem ambiguidade. Auditabilidade: qualquer pessoa deve sentir-se apta a verificar a boa aplicao das regras de uso dos indicadores.
Apresentao
Rampa de acesso 1 Para contruir Indicadores de Programa
Mtodo de construo
1. Avaliar objetivos e metas
Ao estabelecer, a partir do PPA 2000-2003, que toda ao destinada a proporcionar bem ou servio para atendimento a demandas da sociedade fosse estruturada em Programas, o Governo Federal determinou tambm que fossem previstos indicadores destinados a quantificar a realidade que se pretendia modificar, considerando a premissa que medir resultados essencial para atestar a conquista de objetivos. Taxonomias
2. Identificar interessados
Rampa de acesso 2 Para complementar Indicadores de Programa existentes
Por que Indicadores?

Rampa de acesso 3 Para avaliar Indicadores de Programa existentes
3. Definir tipos de indicadores
4. Definir critrios de seleo
5. Mapear indicadores candidatos
6. Realizar anlise de trade off
Princpios importantes como performance e transparncia, dentre outros, so vistos como essenciais para a consolidao de um Estado moderno e tm liderado uma profunda reforma nos governos. Essa viso baseia-se na premissa que, como o estado responsvel por um grande nmero de operaes e projetos, preciso quantificar os parmetros que permitem aos gestores, polticos e cidados conhecer, opinar e decidir acerca das mltiplas e complexas atividades estatais, o que faz dos indicadores instrumentos basilares s melhores prticas de administrao pblica.
7. Validar indicadores 8. Cadastrar indicadores
Marco conceitual
Indicadores de Gesto do Fluxo de Implementao: classificao dos indicadores de acordo com a aplicao nas etapas do ciclo de implementao do programa. Podem ser: Insumo: so indicadores ex-ante facto que tm relao direta com a disponibilidade dos recursos humanos, materiais e financeiros a serem utilizados. Processo: so medidas in curso ou intermedirias, que traduzem o esforo empreendido na obteno dos resultados. Produto: so medidas ex-post facto que demonstram o quanto foi entregue de produtos ou servios. Resultado: so de especial interesse para os Programas, pois esto relacionados aos benefcios no pblico-alvo e expressam o grau de cumprimento dos objetivos. Impacto: possuem natureza multidimensional, tm relao com a sociedade como um todo e medem os efeitos das estratgias governamentais de mdio e longo prazos.
Definio
Indicadores so instrumentos que permitem identificar e medir aspectos relacionados a um determinado conceito, fenmeno, problema ou resultado de uma interveno na realidade. A principal finalidade de um indicador traduzir, de forma mensurvel, determinado aspecto de uma realidade dada (situao social) ou construda (ao de governo), de maneira a tornar operacional a sua observao e avaliao.
1. Avaliar objetivos e metas Entender bem objetivos e metas essencial para a escolha de indicadores vlidos. A medio dos resultados ir apontar o grau de alcance dos objetivos e de sucesso do programa.
Propriedades
Indicadores para Avaliao de Desempenho: classificao relacionada avaliao dos recursos alocados e aos resultados alcanados. Podem ser: Economicidade: expressam os gastos incorridos na alocao dos insumos. Eficincia: possuem estreita relao com produtividade, ou seja, o quanto se consegue produzir com os meios disponibilizados. Eficcia: apontam o grau em que um programa atinge as metas e objetivos planejados para o pblico-alvo. Efetividade: em geral so multiprogramticos e medem os efeitos positivos ou negativos na realidade social.
Sistema Estatstico Nacional - SEN

De acordo com a lei 6183, de 11/12/1974, o SEN visa possibilitar o conhecimento da realidade fsica, econmica e social do Pas. Integram o Sistema todos os rgos e entidades da Administrao Pblica direta e indireta, de mbito federal, estadual ou municipal, e entidades de natureza privada que exeram atividades estatsticas e para isso recebam subveno ou auxlio dos cofres pblicos. Os diversos produtos do Sistema como pesquisas (Censo Demogrfico, PNAD, PME) e publicaes (Sntese de Indicadores Sociais, Indicadores de Desenvolvimento Sustentvel, Bsicos de Sade, Mercado de Trabalho etc.) constituem excelentes fontes para a seleo de indicadores de programas.
2. Identificar os principais interessados Faz-se necessrio determinar quem so os principais interessados, pois diferentes envolvidos possuem diferentes necessidades de informao. 3. Definir tipos de indicadores necessrios Os tipos podem ser: Indicador de resultado final: ou indicador-chave, mede o resultado final no seu aspecto mais relevante. Indicador complementar de resultado: s vezes um objetivo de programa possui tal grau de abrangncia que demanda outros indicadores, alm do indicador-chave. Indicador especfico: serve para expressar necessidades dos interessados ou especificidades inerentes ao conceito a ser medido (transversalidades, impactos etc.).
Validade: capacidade do indicador de representar com maior proximidade a realidade que se deseja medir e modificar. Confiabilidade: devem ter origem em fontes confiveis, que utilizem metodologias reconhecidas e transparentes de coleta, processamento e divulgao. Simplicidade: devem ser de fcil obteno, construo, manuteno, comunicao e entendimento. Sensibilidade: a capacidade de refletir tempestivamente as mudanas decorrentes das intervenes realizadas. Desagregabilidade: capacidade de representao regionalizada de grupos sociodemogrficos. Economicidade: capacidade do indicador de ser obtido a custos mdicos. Estabilidade: capacidade de estabelecimento de sries histricas, que permitem monitoramentos e comparaes.

Indicadores Programas-Guia Metodologico

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Indicadores Programas-Guia Metodologico

Загружено:

Авторское право:

Доступные форматы

Ministrio do Planejamento, Oramento e Gesto

Secretaria de Planejamento e Investimentos Estratgicos

Braslia/DF Maro de 2010

2010, Secretaria de Planejamento e Investimentos Estratgicos

Normalizao bibliogr ca DIDAP/CODIN/SPOA

Repblica Federativa do Brasil

Servidores da Secretaria de Planejamento e Investimentos Estratgicos

Afonso Oliveira de Almeida Secretrio de Planejamento e Investimentos Estratgicos

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

1.2 Resultados esperados

1.3 Indicadores e a teoria do Programa

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

1.4 Grandes mitos

Indicadores de Programas - Guia Metodolgico

2.1 Conceito de indicadores

Indicadores de Programas - Guia Metodolgico

2.2 Histrico dos indicadores

Indicadores de Programas - Guia Metodolgico

2.3 Funes Bsicas

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Quadro 1 Requisitos de um bom indicador

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

ndices Indicadores Dados analisados Dados originais

Fonte: Ministrio do Planejamento

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Fonte: Ministrio do Planejamento

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Figura 4 Correlao entre tipos de indicadores e o uxo de implementao de Programas

Mudanas na Sociedade Resultado no Pblico-alvo Produtos Aes

Eficincia Recursos Humanos Materiais e Financeiros Gastos

Problemas, Demandas ou Potencialidades

Fonte: Ministrio do Planejamento

2.6 Propriedades e taxonomias aplicadas gesto de Programas

Indicadores de Programas - Guia Metodolgico

Figura 5 Ciclo de gesto de Programas

Ciclo de Gesto de Polticas Pblicas

Fonte: Ministrio do Planejamento

Quadro 2 Correlao entre etapas, caractersticas e tipologia

Validade, Indicadores Confiabilidade. Analticos. Indicadores Objetivos.

Validade, Confiabilidade e Desagregabilidade.

Sensibilidade, Disponibilidade, Economicidade, Mensurabilidade e Estabilidade.

Indicadores de Programas - Guia Metodolgico

Objetivo Avaliar alcance de objetivos ou a eficcia dos Programas.

Validade, Dis- Indicaponibilidade, dores de Simplicidade e Resultado; Estabilidade.

Realizar alteraValidade, es e ajustes no Confiabilidade Programa. e Desagregabilidade.

Indicadores de Insumo, de Produto e de Resultado. Indicadores Sintticos.

Fonte: Ministrio do Planejamento, adaptado de Jannuzzi (2005)

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

3 O Sistema Estatstico Nacional

Indicadores de Programas - Guia Metodolgico

Indicadores de Programas - Guia Metodolgico

Figura 6 O SEN e as principais instituies integrantes e produtoras de estatsticas