CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

MDULO 6 MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO MUNICIPAL DE SANEAMENTO BSICO

Bem-vindo, mais uma vez, caro capacitando! Agora que j vimos os diversos passos para a elaborao de um Plano de Saneamento Bsico, chegou a hora de refletirmos sobre como iremos avaliar os resultados da implantao das novas polticas de saneamento bsico no seu municpio. Assim, a avaliao constitui-se em passo fundamental para que se tenha o mnimo de controle em qualquer processo de gesto. fazendo uso de instrumentos de avaliao que o gestor pode de fato buscar o que se denomina de melhoria contnua. Nesse sentido, desde a elaborao do Plano, os agentes municipais responsveis pela execuo devem estar atentos a critrios de avaliao e indicadores que sejam os mais objetivos possveis. Desenvolver mecanismos que avaliem a efetividade do plano significa trabalhar para que os objetivos e metas propostos estejam alinhados com a realidade do municpio, tendo um sistema de indicadores que permita, ao final do processo, identificar se o Plano atingiu seu objetivo primordial, que a melhoria da qualidade de vida da populao. A partir disso, esperamos que ao final deste mdulo, voc esteja apto a: Compreender os conceitos de: Eficcia, Eficincia e Efetividade, e sua importncia na avaliao do Plano; Elaborar um Sistema de Avaliao e Reviso do Plano de Saneamento Bsico; Desenvolver um Sistema de Indicadores para o seu municpio; e Estabelecer mecanismos para divulgao do Plano de Saneamento Bsico.

Bons estudos!

Capacitando, Assista ao vdeo Apresentao do Mdulo 6.

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

SUMRIO
1. 1.1. 1.2. AVALIAO DE POLTICAS PBLICAS: IMPORTNCIA, CONCEITOS E TIPOS .................... 4 O que avaliar? ................................................................................................................... 7 O que vai ser avaliado? Qual o objetivo da avaliao? .................................................... 8

1.3. Quais so os princpios da avaliao? Quais princpios de poltica pblica a avaliao deve observar? ................................................................................................................................ 9 1.4. 1.5. 1.6. 1.7. 2. 2.1. 2.2. 2.3. 2.4. 2.5. 3. 4. Quem avalia? Quais so os sujeitos do processo de avaliao? ....................................... 11 Como avaliar? .................................................................................................................... 12 Quando avaliar?................................................................................................................. 14 Quanto custa avaliar? ........................................................................................................ 16 AS DIMENSES DE MONITORAMENTO E AVALIAO ................................................. 18 Cenrios ............................................................................................................................. 18 Metas ................................................................................................................................. 21 Indicadores auxiliares ........................................................................................................ 24 Diretrizes e estratgias ...................................................................................................... 25 Programas .......................................................................................................................... 26 MECANISMOS DE DIVULGAO ANUAL DO PLANO .................................................... 27 SNTESE DE PRTICAS NA AVALIAO E MONITORAMENTO DO PLANO ..................... 28

REFERNCIAS ........................................................................................................................... 31

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

1. AVALIAO DE POLTICAS PBLICAS: IMPORTNCIA, CONCEITOS E TIPOS

A avaliao das polticas pblicas, embora recente no Brasil, uma prtica j consolidada, tendo incio na dcada de 1960. Com vistas a superar essa crise, foram desenvolvidos diversos processos para avaliao das polticas pblicas, definindo-se trs grandes classes de indicadores para nortear a avaliao: eficcia, eficincia e efetividade (BRASIL, 2011a). A
Figura 1 ilustra esses conceitos de forma geral.

Figura 1 Classes de indicadores para avaliao de polticas pblicas

RECURSOS - Meios utilizados para a realizao da atividade. Eles podem ser materiais,
humanos, tecnolgicos e/ou financeiros.

At h pouco tempo quando falvamos em avaliao, abordava-se somente a eficcia como indicador, ou seja, importava basicamente que fossem alcanadas as metas propostas. Porm, esse primeiro indicador no engloba os custos de atendimento, podendo levar falsa sensao de dever cumprido, sem considerar se o custo para atender essas metas foi justo ou no. Evoluiu se, assim, para o conceito de eficincia, o qual considera, alm do atendimento das metas, que estas sejam alcanadas consumindo a menor quantidade possvel dos recursos disponveis, tais como: dinheiro, tempo, pessoas, espao, etc. Infelizmente, mesmo a avaliao da eficincia de um processo, s vezes, nos fornece um cenrio incompleto. Isso ocorre quando a proposta de ao cumprida com um gasto compatvel de recursos, mas os resultados no se manifestam na prtica. Um caso comum so as diversas obras de drenagem realizadas sem o devido estudo tcnico, as quais acabam sendo executadas, mas no se mostram suficientes para resolver os problemas de alagamentos. Assim, se as metas estiverem aqum do objetivo a ser atingido, o resultado obtido, mesmo que cumprida a meta, poder ser insatisfatrio. Nesse sentido, desenvolveu-se a avaliao de efetividade. Busca-se assim, descobrir se o problema que existia inicialmente foi de fato resolvido. Ou seja, o estudo no se restringe a verificar se as tcnicas escolhidas para resolver determinada situao 4

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

foram empregadas, mas sim verificar se a sua implantao resolveu o problema realmente. Isso importante porque muitas vezes o gestor envolve-se de tal forma no processo de implantao de uma tecnologia a construo de uma barragem, por exemplo que esquece que essa tecnologia est sendo implantada para suprir um objetivo maior, qual seja: resolver, nesse caso, o problema de falta dgua. Na Figura 2 voc pode conferir um exemplo das diferenas entre as anlises de eficcia, eficincia e efetividade para um projeto de ampliao de rede de gua em um municpio, podendo ser estendido para os diversos ramos do planejamento pblico.
Figura 2 - Avaliao da eficcia, eficincia e efetividade na implantao de um projeto de ampliao de rede de gua

Assim, tendo esses conceitos em mente, sempre importante lembrar que a avaliao de uma poltica pblica deve verificar o atendimento das metas propostas (eficcia), os recursos utilizados (eficincia) e os efetivos impactos sociais da sua implantao (efetividade). A lista de perguntas (checklist) apresentada no Quadro 1 serve para ajudar a avaliar os reais efeitos das polticas aplicadas. Dessa forma, voc pode utilizar este checklist para iniciar a avaliao de eficincia, eficcia e efetividade dos programas, projetos e aes previstos no Plano de Saneamento Bsico de seu municpio. Voc pode ainda estender seu uso para outros objetos de planejamento.

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Quadro 1 Checklist para avaliao de polticas pblicas

QUESTIONAMENTO O contedo da poltica ou programa traado e realizado foi adequado para alcanar os objetivos pretendidos? EFICCIA A poltica ou programa foi desenvolvido conforme o planejamento inicial? Os objetivos e metas foram atingidos? Os recursos financeiros investidos foram devidamente aplicados? EFICINCIA Os recursos financeiros investidos foram compatveis com os objetivos e metas atingidos? O processo atendeu a um cronograma de execuo factvel? O programa foi implementado segundo princpios de justia social, de moralidade e de probidade administrativa? A poltica ou o programa foi capaz de alterar a realidade? EFETIVIDADE A poltica ou o programa contribuiu para a aproximao ou o afastamento da realidade social desejada? Fonte: Adaptado de Borja (2011) RESPOSTA Sim No

Complexo, no? A avaliao de uma poltica pblica um processo que exige muito planejamento, e por isso sugerimos a elaborao de um sistema de avaliao. Primeiramente, preciso estabelecer os objetivos e a forma segundo a qual ser realizada a avaliao, levando-se sempre em conta a equipe disponvel (quantidade e qualificao dos membros da equipe), o tempo, as tcnicas de pesquisa e o custo envolvido.

ATENO
Avalie bem seus recursos (financeiros, tcnicos, humanos e de infraestrutura) durante o planejamento da sua avaliao. Muitas vezes prefervel uma avaliao mais simples e bem executada a uma avaliao complexa, mas superficial.

Tenha em mente, ainda, que a avaliao deve concentrar-se nos efeitos que o Plano Municipal de Saneamento Bsico exercer sobre a sociedade. Dessa forma, no basta o cumprimento dos indicadores. Deve-se avaliar tambm como o Plano influiu na sade e qualidade de vida da populao, na economia e, ainda, sobre o meio ambiente do local avaliado. Na avaliao da efetividade, esses elementos devem receber destaque. Levando em conta esses apontamentos, podemos comear a traar um sistema de avaliao. Consideramos que, quando bem elaborado, um sistema de avaliao deve ser capaz de responder a sete perguntas bsicas, conforme apresentado na Figura 3.

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

Figura 3 - Perguntas sobre o sistema de avaliao

Fonte: Adaptado de Brasil (2011a)

Como voc pode ver, so vrias as questes que precisam ser respondidas na elaborao de um sistema de avaliao. Nos prximos captulos, com a inteno de lev-lo a refletir sobre o que compreende um processo de avaliao de poltica pblica, vamos fornecer elementos para que voc possa delinear uma resposta para cada uma dessas perguntas bsicas. 1.1. O que avaliar? Primeiramente, vamos falar sobre o processo de avaliao propriamente dito. Avaliar significa, em suma, realizar a aprovao, ou desaprovao, de um objeto de estudo, apoiando-se em dados cientficos, porm, baseando-se tambm em valores polticos, culturais e morais (BRASIL, 2011a). Por mais que dados tcnicos sejam utilizados, a avaliao acaba sendo um processo em parte subjetivo, no sendo neutro e nem totalmente tcnico. Como afirmado por Arretche (1998, p. 29): No existe possibilidade de que qualquer modalidade de avaliao ou anl ise de polticas pblicas possa ser apenas instrumental, tcnica ou neutra. Paralelamente, Fleury (1994) aponta que o grande dilema junto s polticas sociais refere-se ao fato de no haver um critrio lgico-cientfico para definio de justia, havendo sempre, desse modo, uma margem para discusses acerca do que justo e do que no . Em resumo, podemos dizer que toda avaliao de poltica ou programa possui intrinsecamente um carter subjetivo, orientado por valores e vises dos sujeitos participantes do processo. Diante disso, recomenda-se que os grupos avaliadores sejam compostos por diversos sujeitos sociais, com vises distintas, que possam se completar e produzir um processo participativo. 7

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Um processo de avaliao com vises mltiplas tende a gerar melhores resultados, permitindo avaliar de forma mais clara os reais impactos da poltica aplicada. Ele ser justo, sensato, prudente se for suficientemente capaz de determinar os reais efeitos da interveno sob os diversos pontos de vista da sociedade, e assim permitir aos gestores decidir se essa poltica deve ser mantida, modificada ou interrompida. 1.2. O que vai ser avaliado? Qual o objetivo da avaliao? Para que possamos avaliar um plano, devemos primeiramente definir com clareza qual o objetivo a ser alcanado com essa avaliao. Para isso, necessrio que tenhamos domnio do assunto. Afinal, de que forma poderemos nos tornar avaliadores se no possuirmos conhecimento da rea estudada? Lembremos que, no campo do saneamento bsico, com base na Lei n 11.445/07 e no Decreto n 7.217/10, que regulamenta a lei, so definidas quatro reas temticas que devem ser contempladas pelo Plano: abastecimento de gua, esgotamento sanitrio, manejo dos resduos slidos e manejo das guas pluviais. No podemos esquecer, entretanto, que o saneamento bsico existe como uma poltica social, ou seja, ele um direito estabelecido pela Constituio como medida de: promoo sade; proteo ambiental; infraestrutura e desenvolvimento urbano; cidadania. Tradicionalmente, o saneamento bsico caracterizado, apenas, como medida de preveno sade. Mais recentemente, porm, ele vem sendo considerado uma medida de promoo sade, sob a denominao de saneamento promocional (SOUZA; FREITAS, 2006). Em suma, quando falamos em medidas de preveno sade, estamos falando em tornar nossa sociedade livre de doenas que possam ser inibidas graas implementao de polticas de saneamento. Se em algum momento essas polticas forem interrompidas, haver o retorno a uma situao anterior a da implantao delas. No mbito do saneamento bsico tomado em seu sentido usual, a preveno realizada por meio de aes do prprio rgo pblico, com nfase na implantao de estruturas fsicas, havendo pouca participao da sociedade. Em contrapartida, o saneamento promocional possui uma abrangncia maior, englobando no apenas estruturas fsicas relativas a gua, esgoto, resduos slidos, etc., mas tambm aes para promover a educao dos usurios, polticas que estabeleam direitos e deveres dos prestadores e usurios, alm de meios capazes de interligar o setor do saneamento com os demais setores relacionados sade e ao meio ambiente (SOUZA, 2007). Ou seja, no saneamento promocional, o rgo de saneamento atua de forma interligada com os demais rgos da administrao pblica e com a populao atendida, favorecendo a promoo do saneamento nos diversos mbitos da sociedade. importante destacar que aes no campo do saneamento bsico, cujas finalidades sejam exclusivamente de preveno sade, podem facilmente ser ineficazes se no forem acompanhadas de aes efetivas afinadas com o saneamento promocional. Por exemplo, investir na construo de ecopontos para a coleta de resduos no necessariamente resulta na garantia de 8

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

que no sero mais gerados focos de lixo em ruas e encostas. Sem as devidas polticas de educao ambiental junto populao, h o risco de tal iniciativa ser completamente ignorada pelos usurios e o investimento perdido, por consequncia.

E no seu municpio, predomina a viso de saneamento bsico como medida de preveno sade ou de promoo sade?
Para responder a essa questo, leve em conta as caractersticas desses dois tipos de saneamento que acabamos de abordar. Lembre-se dos tpicos referentes a efetividade, eficcia e eficincia em face dos programas, projetos e aes propostos no Plano de Saneamento Bsico de seu municpio.

1.3. Quais so os princpios da avaliao? Quais princpios de poltica pblica a avaliao deve observar? Quando falamos em avaliao de uma poltica pblica, devemos obrigatoriamente nos perguntar:

Quais so os princpios de poltica pblica a serem observados durante a avaliao?

Em primeiro lugar, no temos como falar em implantao de polticas pblicas sem antes definirmos o que exatamente queremos alcanar. Assim, importante destacar que a implantao de polticas pblicas baseia-se no atendimento de alguns princpios, dos quais o avaliador dessas polticas deve ter cincia, de modo que possa determinar a correspondncia que existe entre eles e os efetivos resultados de tais polticas. No que diz respeito aos princpios, podemos tomar como referncia a Lei n 11.445/07. O atendimento aos princpios fundamentais da Lei do Saneamento Bsico consiste em um excelente ponto de partida para qualquer poltica de saneamento. Vamos recordar esses princpios, j vistos nos Mdulos 1 e 2.

Figura 4 ilustra resumidamente esses princpios.

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Figura 4 - Princpios da Lei do Saneamento Bsico

Fonte: Elaborado pelos autores com base na lei 11.445/07

CONTROLE SOCIAL - Conjunto de mecanismos e procedimentos que garantam sociedade

informaes e participao nos processos de formulao, implementao e avaliao das polticas pblicas (BRASIL, 2010b). So processos que garantem a participao de comunidades, movimentos e entidades da sociedade civil em processos de deciso. Como exemplo, citam-se audincias pblicas, consultas, conferncias, grupos de trabalho, comits, conselhos e seminrios.

Apesar de seguirmos essa orientao bsica para os princpios que iro delinear a poltica de saneamento dos municpios, importante lembrar que diferentes comunidades possuem 10

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

diferentes caractersticas socioeconmicas. Assim, decisivo em um processo de avaliao de poltica levar em considerao essas disparidades, o que significa que comunidades distintas devero possuir polticas distintas. Assim, caso voc tenha interesse em aplicar alguma poltica pblica que foi efetiva em outro municpio, importante primeiro analisar as diferenas culturais, sociais e econmicas que existem entre esse municpio e o seu. Por tal motivo, recomenda-se sempre utilizar como referncia locais que possuam caractersticas semelhantes ao seu municpio. Tome, porm, muito cuidado com as diferenas culturais. Muitas vezes, a reao da populao acaba por ser fator determinante para o sucesso que certa poltica pblica poder ou no alcanar. J vimos que os princpios so de suma importncia para estabelecer estratgias de planejamento acerca do saneamento do municpio. Voc viu tambm que, a partir deles, com base nos diagnsticos e nos prognsticos, so estabelecidas diretrizes que, por sua vez, se desdobram em diversos programas, projetos e aes para efetivar o plano de saneamento propriamente dito. Assim, tenha em mente que, para a avaliao da eficcia, da eficincia e da efetividade de cada ao, projeto ou programa, os chamados princpios so os elementos de base que orientaro esse caminho. 1.4. Quem avalia? Quais so os sujeitos do processo de avaliao? Dando sequncia formulao de um modelo de avaliao para o municpio, temos ainda uma pergunta fundamental a ser respondida:

Quem so os responsveis pela avaliao da poltica pblica?

Avaliar uma poltica pblica consiste num processo multidisciplinar. Por isso, deve-se necessariamente envolver de forma crtica e ativa os diversos agentes sociais, de modo que assumam o papel de sujeitos do processo de avaliao. Quando falamos em agentes sociais, estamos englobando todos os sujeitos que influenciam de alguma forma as polticas pblicas, como governantes, tcnicos do Estado, segmentos sociais, setores empresariais que representam a iniciativa privada e setores polticos, entre outros. Apresentamos a Figura 5 para ilustrar este processo.
Figura 5 - Componentes do processo de deciso de polticas pblicas

11

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

interessante destacar que a participao da sociedade na tomada de decises no exclusividade das polticas de saneamento bsico.

A Constituio Federal de 1988 prev a participao da sociedade na tomada de decises de polticas pblicas. Setores como educao, meio ambiente, sade, recursos hdricos, entre outros, possuem instrumentos prprios para assegurar a participao da comunidade no processo de formulao das polticas. Amparada por esses instrumentos, a sociedade estimulada a participar direta e indiretamente desse processo ao exercer sua atribuio de acompanhamento e fiscalizao.

No caso da Lei do Saneamento Bsico, os princpios que garantem a atuao da sociedade esto bem claros no artigo 47, o qual define que, para o controle social dos servios de saneamento, esto asseguradas as representaes destacadas a seguir.

12

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

CONTROLE SOCIAL SEGUNDO A LEI DO SANEAMENTO BSICO (LEI FEDERAL N 11.445/07)

Art. 47. O controle social dos servios pblicos de saneamento bsico poder incluir a participao de rgos colegiados de carter consultivo, estaduais, do Distrito Federal e municipais, assegurada a representao: I dos titulares dos servios; II de rgos governamentais relacionados ao setor de saneamento bsico; III dos prestadores de servios pblicos de saneamento bsico; V de entidades tcnicas, organizaes da sociedade civil e de defesa do consumidor relacionadas ao setor de saneamento bsico.

[Continua]

Assim, o seu desafio, caro capacitando, o de realizar a avaliao da sua poltica pblica por meio do empreendimento de processos de avaliao transparentes, democrticos e participativos. Esses processos podem ocorrer mediante a efetivao de conselhos, comits de acompanhamento e avaliao e/ou audincias e reunies pblicas. Nesse sentido, importante lembrar-se dos conceitos vistos durante o Mdulo 3. Assim, se superado esse desafio, o resultado um sistema poltico integrado com os diversos membros da sociedade, podendo enfim alcanar os princpios propostos na Lei n 11.445/07. 1.5. Como avaliar? A prtica tem mostrado que a avaliao est intrinsicamente relacionada ao de medir. Esta ao consiste em um instrumento indispensvel para permitir a operacionalizao de polticas de desenvolvimento, ajudando tanto os gestores, quanto os cidados comuns a definir objetivos, estudar alternativas, fazer escolhas e ajustar dinamicamente as polticas e objetivos com base na avaliao de seu estado atual (BOLLMANN, 2001). Por tal motivo, existe um esforo muito grande na construo de sistemas de indicadores para avaliao de polticas pblicas. Pases como Alemanha, Japo, Canad, Estados Unidos, entre outros, alm da Organizao das Naes Unidas, vm desenvolvendo estudos nessa rea. Se antes os indicadores abordavam somente a questo econmica, hoje eles evoluram e tomaram propores mais completas e complexas, envolvendo as mais diversas reas.

13

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

ATENO
Uma avaliao de poltica pblica no se limita a um conjunto de indicadores. Estes servem somente para apontar a direo a ser seguida, sendo apenas um dos componentes da avaliao da poltica. De fato, o termo indicador vem do latim indicare, que significa indicar, apontar. Basicamente, os indicadores existem como instrumento para prover as polticas pblicas de informaes sobre o seu desempenho, permitindo assim a efetiva tomada de decises. Ao mesmo tempo, um bom conjunto de indicadores permite aos gestores trabalhar no mbito de previses, fornecendo-lhes condies de estimar como os resultados de uma determinada poltica evoluiro no curso do tempo. Levando em conta que, na maior parte das vezes, nem todos os indicadores necessrios podem ser obtidos de forma objetiva, importante haver uma distino clara daqueles de carter subjetivo, uma vez que estes tero metodologias de coleta bem distintas. Sensaes qualitativas como conforto, bem-estar, satisfao do cidado, etc. so informaes ditas subjetivas, as quais requerem um tipo diferenciado de anlise. Nesse sentido, deve-se tomar um cuidado especial com o fato de informaes subjetivas variarem dependendo das caractersticas da populao entrevistada, ou seja, uma mesma situao pode ser avaliada por dois grupos populacionais de forma completamente diferente. Isso pode ocorrer devido a diferenas econmicas, sociais e culturais entre essas populaes, podendo tambm sofrer a influncia de eventos recentes significativos, como surtos de doenas e perodos de estiagens extremas, por exemplo. Desta forma, tendo em vista a complexidade da realidade contempornea e a dificuldade de mensur-la por mtodos puramente quantitativos, muitos pesquisadores recomendam a incorporao de tcnicas interativas que estimulem a interdisciplinaridade, permitam consultas a experts e a participao dos cidados. Algumas dessas tcnicas voc conheceu nos Mdulos 3 e 4. Com relao a forma como os resultados dos indicadores sero expressos, estes podem ser forma quantitativa, ou seja, por meio de nmeros, ou ento de forma qualitativa. Assim, elementos como capacidade da gesto pblica ou inovao tecnolgica, os quais so difceis de serem quantificados, podem ser expressos de forma qualitativa. Ainda, em muitos casos, mesmo quando a coleta ocorre de forma objetiva, desenvolvida com mtodos tcnico-cientficos, pode ser interessante apresentar os resultados tambm de forma qualitativa. Um exemplo comum de indicador qualitativo em polticas de saneamento bsico a satisfao da populao, a qual pode ser levantada, por exemplo, tanto de forma quantitativa, por meio de uma escala de satisfao, quanto qualitativa, com a coleta de depoimentos. Na Figura 6, voc pode ver, a ttulo de exemplo, uma comparao entre coleta de dados quantitativa e coleta de dados qualitativa no contexto de uma comunidade aps a implantao de um sistema de drenagem.
Figura 6 - Comparao entre um sistema de coleta de dados quantitativo e um qualitativo para avaliao

14

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

da satisfao da populao

Por fim, cabe destacar que, devido ao elevado grau de complexidade, existem limitaes em todos os modelos de sistemas de indicadores. Sendo assim, importante, durante a elaborao do modelo, definir o escopo e quais sero as limitaes do sistema de indicadores, evitando desse modo futuras surpresas durante a anlise dos resultados. Portanto, tenha sempre em mente que todo sistema de indicadores possui limitaes, pois uma representao da realidade e no a realidade em si. importante destacar: O fato dos sistemas de indicadores possurem limitaes no os torna menos importantes, uma vez que a sua funo estabelecer uma aproximao da realidade, e no uma reproduo exata dela. Assim, tenta-se obter o cenrio mais prximo possvel do real dentro das limitaes financeiras, temporais e metodolgicas. Nesse sentido, busque sempre trabalhar, como explicado, com mtodos objetivos (coleta, tratamento e anlise de dados) e subjetivos (entrevistas) em conjunto, uma vez que um indicador ajuda a complementar as deficincias do outro. 1.6. Quando avaliar? Quando falamos em avaliao dos Planos Municipais de Saneamento Bsico, podemos resumir sua utilizao em trs grandes reas, conforme a Figura 7.

Figura 7 - reas monitoradas pelos indicadores

15

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Fonte: Elaborado pelos autores

Primeiramente, o sistema de indicadores tem como objetivo avaliar os resultados do Plano Municipal de Saneamento Bsico. Assim, a sua eficcia, eficincia e efetividade so avaliadas, de modo a verificar se ele est atendendo ao que foi proposto durante o planejamento. fundamental que exista esse acompanhamento, e igualmente importante verificar, caso acontea, o motivo pelo qual no houve atendimento ao proposto. Assim, locais considerados mais crticos ou vulnerveis devem ser monitorados com maior frequncia. natural, ento, por exemplo, haver um controle maior sobre os indicadores de alagamento e sade pblica em reas com histrico de enchentes, sendo possvel, inclusive, o desenvolvimento de indicadores exclusivos para essas reas. Com o passar dos anos, diversos aspectos podem mudar no contexto de um municpio, tais como: aumento ou reduo da populao, ocorrncia de xodo rural, implementao de inovaes tecnolgicas, mudanas no panorama estadual, nacional e internacional, etc. fundamental, ento, que o municpio esteja bem informado, de maneira que disponha de tempo para fazer mudanas no seu planejamento. A avaliao deve ocorrer tambm no caso de situaes de emergncia e contingncia. Situaes extremas, como a ruptura de redes adutoras de gua, devem ser rapidamente informadas aos setores responsveis. Da mesma forma, o sistema deve ser capaz de acompanhar a correo do problema e o andamento do plano de contingncia. Isso importante, pois nem sempre o plano de contingncia desenvolvido para operar por perodos muito longos. No caso de redes adutoras, a existncia de reservatrios ou a ligao com outros subsistemas muitas vezes evita o desabastecimento por algumas horas, porm, se o problema no puder ser resolvido a tempo, pode ocorrer o desabastecimento municipal. Como se pode perceber, existem diversas situaes, as quais voc pode decidir monitorar. Porm, por questes de custos, dificilmente o gestor pblico consegue adotar todos os indicadores que gostaria. Assim, importante avaliar bem seu sistema de indicadores. Por fim, importante destacar que a avaliao ocorrer necessariamente quando da reviso do Plano Municipal de Saneamento Bsico, em prazo no superior a quatro anos da sua aprovao.

16

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

1.7. Quanto custa avaliar? Conforme o esquema apresentado na Figura 3FIGURA 3, falta agora responder a ltima pergunta para formular o sistema de avaliao: qual o custo de avaliar? Vamos comear esta conversa com a seguinte afirmao: todo processo de avaliao gera algum custo ao gestor, direta ou indiretamente, decorrente do emprego de pessoas e/ou materiais. Assim, os indicadores devem ser propostos com o objetivo de atender a necessidades bem especficas, evitando-se a utilizao de indicadores que pouco ou nada agregam ao municpio. Alguns destes custos so mais bvios em termos de retorno financeiro, em especial aqueles que envolvem a utilizao de indicadores para acompanhamento. Por exemplo, monitorar o ndice de perdas de gua auxilia na reduo de custos com o sistema de abastecimento de gua potvel. Em contrapartida, outros, como a composio do resduo municipal, podem no ser to evidentes em termos financeiros diretos, apesar de serem estratgicos para decises em projetos futuros. Em um sistema de avaliao adequado, seus indicadores muitas vezes podem se tornar um sistema complexo e de grandes propores. Vale ressaltar, porm, que a elaborao de um grande sistema de indicadores no resultar, necessariamente, num bom sistema de avaliao. A seleo dos indicadores depende muito da capacidade do gestor de analis-los, sendo que, sem a devida anlise, os indicadores implicam em um aumento de custos desnecessrio. Assim, vamos verificar no Quadro 2 quais so os principais custos que podem ser gerados pelo sistema de indicadores.
Quadro 2 - Principais custos gerados pelo sistema de indicadores PRINCIPAIS CUSTOS GERADOS PELO SISTEMA DE INDICADORES
Treinamento Alguns indicadores podem exigir treinamento especfico, como quando preciso utilizar um equipamento ou software novo, ou quando necessrio um conhecimento tcnico indisponvel na prefeitura, a exemplo das tcnicas de geoprocessamento, que exigem um grande domnio nessa rea. uma etapa fundamental. Alm dos custos decorrentes de equipamentos/insumos, apresentados nos respectivos itens, tem-se o custo de mo de obra. Em muitos casos, como no monitoramento de corpos hdricos, existe tambm a necessidade de deslocamento da equipe, sendo preciso contabilizar os gastos consequentes do uso de veculo (despesas com combustvel, desgaste veicular, motorista, etc.), ou at adquirir veculos com caractersticas especficas, como caminhonetes. A grande dificuldade da anlise de dados que ela, na maior parte das vezes, precisa ser realizada por profissionais especializados, os quais possuem salrios mais elevados. Assim, apesar de utilizar menos profissionais que a coleta de dados, a anlise pode alcanar custos significativos. Importante destacar que tanto na anlise, quanto na coleta, fundamental avaliar a disponibilidade da equipe existente, podendo ser necessria a contratao de novos profissionais. Muitos indicadores demandam anlises de laboratrio. Isso muito comum em ETAs, ETEs e tambm para avaliar a qualidade da gua de rios e crregos. Cabe ao municpio avaliar se mais vantajoso desenvolver e encaminhar as anlises para um laboratrio prprio, ou ento terceirizar a anlise laboratorial.

Coleta dos dados

Anlises dos dados

Anlises laboratoriais

17

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

PRINCIPAIS CUSTOS GERADOS PELO SISTEMA DE INDICADORES

Aquisio e instalao de equipamentos Muitas vezes, necessrio adquirir equipamentos para realizar o monitoramento de indicadores. Exemplos comuns so as balanas rodovirias em aterros sanitrios e estaes de transbordo, as estaes fluviomtricas, os sistemas de micromedio, entre outros. Tambm comum a aquisio de equipamentos de menor porte, como GPS, decibelmetros, molinetes, Estaes Totais, etc. Alguns indicadores podem demandar a aquisio de softwares especficos para sua anlise. Uma situao comum so os softwares de GIS e CAD para elaborao de mapas, porm, diversos softwares comerciais vm sendo desenvolvidos para prefeituras dentro da rea de saneamento. Da mesma forma, pode ser necessria a atualizao/substituio de computadores para suportar essas novas demandas. Com relao a todo indicador que requer trabalho de campo, em particular aqueles que envolvem contato com comunidades, os funcionrios responsveis precisam ser devidamente identificados. Do mesmo modo, caso precisem atuar em locais de risco, devem ser fornecidos os devidos EPIs. importante avaliar o consumo de energia dos novos equipamentos e verificar a existncias de alternativas comerciais de menor consumo. Alm da quantidade, precisa ser avaliada a necessidade de implantao de novas linhas, instalao de transformadores, etc. Indicadores podem necessitar da mais variada gama de insumos. Isso pode ser desde uma planilha e uma caneta para anotaes, at reagentes qumicos e frascos especiais para coletas. Assim, avalie bem quais necessidades aquele indicador ir gerar em termos de insumos com o decorrer do tempo. Equipamentos demandam rotineiramente calibrao e manuteno. Existe uma resistncia quanto realizao da calibrao dos equipamentos devido ao custo associado, porm um equipamento no calibrado ir apresentar resultados incorretos, os quais no possuem utilidade. Ainda, todo equipamento/material possui uma vida til, e por isso importante que esteja prevista a sua substituio futura, uma vez que esse custo pode ser bem significativo. Apesar de no ser uma situao comum, existem casos em que se faz necessria a aquisio de imveis e/ou terrenos. Isso pode se dar, por exemplo, quando houver instalaes distantes da sede, como estaes fluviomtricas, ou ento em municpios com reas muito grandes, onde pode ser mais econmico manter equipes em locais fixos. Esse tipo de situao tambm ocorre durante a construo de grandes obras de saneamento, como barragens, nas quais preciso um acompanhamento mais constante. Fonte: Elaborado pelos autores

Software/ hardware

Uniformes e Equipamentos de Proteo Individual (EPI) Energia eltrica

Insumos diversos

Manuteno/ calibrao/ substituio

Compra/aluguel de imveis e terrenos

Assim, caro capacitando, so diversas as formas pelas quais um indicador pode gerar custos prefeitura. Evidentemente, importante avaliar sempre a relevncia da implantao de cada indicador e como ele ir auxiliar na gesto do servio de saneamento. Logo, da mesma forma que importante definir escalas de prioridades para programas e aes, voc pode definir escalas de prioridades para indicadores, avaliando a importncia da informao, da ao que ele est monitorando e do custo desse indicador. Ainda, como j explicado, verifique se no existem dois ou mais indicadores gerando a mesma informao. Isso tende a acontecer com mais frequncia entre rgos distintos. Um exemplo comum quando o rgo gestor de meio ambiente e a companhia de abastecimento de gua descobrem que ambos esto monitorando a qualidade de gua dos rios. 18

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

2. AS DIMENSES DE MONITORAMENTO E AVALIAO

A avaliao de polticas pblicas deve estar focada na verificao do atendimento dos objetivos propostos inicialmente. Visto que diversos fatores, tanto internos quanto externos, podem afetar essa proposta, importante que a verificao seja realizada em diversas escalas, avaliando tanto a eficincia, eficcia e efetividade dos programas implantados, propriamente ditos, quanto os cenrios, metas e estratgias adotadas inicialmente. A seguir veja cada um desses elementos do Plano no contexto da etapa de avaliao.

2.1. Cenrios Conforme visto no Mdulo 5, um Plano Municipal de Saneamento Bsico precisa ser desenvolvido tendo em mente as diversas possibilidades de ocorrncia de eventos externos. Desta forma, todo processo de deciso intrinsicamente possui um determinado grau de incerteza, tendo em vista que no plenamente conhecido pelo planejador municipal a situao futura de questes como: disponibilidade de recursos, prioridades da administrao, crescimento populacional, sistema econmico municipal, dentre diversos outros. Porm, ao final do processo, necessrio que seja selecionado um cenrio base, o qual considerado o mais provvel de ocorrer, e que servir para todo o processo de tomada de decises. Ocorre, porm que, como mencionado, seleciona-se neste momento aquele cenrio mais provvel, havendo ento a possibilidade deste no se concretizar. Exemplos de instabilidades nos cenrios polticos e econmicos no decorrer da histria so vrios: a quebra da bolsa de Nova York em 1929, a crise do petrleo em 1973 e, mais recentemente, a crise econmica de 2008, so apenas alguns dos vrios exemplos possveis. Da mesma forma, as variaes podem ocorrer de forma positiva. A aprovao da Poltica Nacional de Saneamento Bsico em 2007 e da Poltica Nacional de Resduos Slidos (PNRS) em 2010 representam dois marcos recentes no Saneamento Bsico do Brasil, os quais culminaram no apenas na necessidade de elaborao dos respectivos planos, mas com o comprometimento do poder federal em fornecer subsdios s esferas estaduais e municipais para o cumprimento das metas estabelecidas nessas diretrizes legais. Isso resultou na capacitao de tcnicos, atravs de cursos como este que voc est realizando, e no aumento da disponibilizao de recursos para realizao de investimentos em saneamento bsico. Da mesma forma, essas polticas trouxeram novas diretrizes que precisam ser seguidas pelos municpios. Um dos exemplos mais evidentes foi a aprovao dos sistemas de logstica reversa, trazida pela PNRS (Lei n 12.305, de 2 de agosto de 2010). Esta nova forma de gesto de resduos slidos difere de todos os outros sistemas legais existentes at o momento, sendo ento necessrio que os municpios se adequem a este sistema atravs de da elaborao ou modificao dos programas de gerenciamento de seus resduos slidos. Desta forma, um cenrio de planejamento de gerenciamento de resduos slidos municipais elaborado antes de 2010 provavelmente no est mais adequado ao cenrio legal atual. Essas so apenas algumas das vrias instabilidades, s quais o planejamento est sujeito. Sendo assim, torna-se fundamental que existam ferramentas por parte do municpio para avaliar as 19

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

possveis variaes no cenrio adotado para a execuo do plano. A utilizao de indicadores particularmente importante nesse sentido, uma vez que esses permitem no s avaliar a situao atual, mas tambm, atravs de anlises estatsticas, prever tendncias futuras. A Figura apresenta um exemplo de variao de um indicador genrico com o passar do tempo. Repare que no momento inicial da anlise, com 10 anos de dados, existe uma tendncia de reduo no crescimento do indicador, porm, aos 15 anos j se observa uma tendncia diferenciada, de crescimento. Com 20 anos de informaes j fica claro que a estimativa inicial no adequada.
Figura 8 - Variao dos indicadores com o tempo

Esse tipo de situao observada com o crescimento populacional em diversos municpios, uma vez que existe a tendncia de estabilizao da populao com o passar do tempo. Porm, eventos externos, como a construo de sistemas de locomoo como rodovias, ferrovias e portos, ou a vinda de uma empresa de grande porte, podem alavancar o crescimento novamente.
Para realizar esta avaliao das condies externas em relao ao cenrio previsto, recomenda-se a criao de uma equipe de controle, responsvel por avaliar os indicadores utilizados na elaborao do Plano.

Um conhecimento avanado de estatstica e de anlise de mercado recomendvel nesta etapa, visto que mesmo durante a avaliao, busca-se projetar as tendncias futuras dos cenrios. Tenha em mente que as variaes dos indicadores nem sempre ocorrem de forma to sutil como verificado na Figura . Veja, por exemplo, o caso do crescimento do Produto Interno Bruto (PIB) per capita brasileiro na Figura .

20

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

Figura 9 - PIB per capita no Brasil

Fonte: Brasil Economia e Governo (2013)

Neste caso, a identificao de padres e tendncias muito mais difcil, podendo em alguns casos transparecer uma quase aleatoriedade. Porm, uma anlise estatstica permite identificar que o PIB per capita brasileiro vem, em mdia, crescendo desde 2004 (linha verde). Este crescimento, porm, questionvel, tendo em vista que nos anos de 2011 e 2012 houve uma reduo neste ndice. Assim, neste caso, torna-se importante que os gestores pblicos dediquem uma maior ateno a este indicador, uma vez que ele apresenta sinais de variao em relao ao padro previamente projetado. Esse tipo de raciocnio pode ser adotado para a avaliao de cada indicador, e, ao final do processo, da relao entre estes indicadores, objetivando ento avaliar o andamento dos cenrios municipal, estadual, nacional e mundial, conforme a pertinncia. Importante destacar que quanto antes as tendncias forem identificadas, mais rapidamente, e facilmente, podero ser feitas as devidas alteraes no planejamento. Ainda, cabe aqui trazer, que nem toda tendncia verificada diretamente com indicadores. Diretivas legais, planos governamentais e mesmo grandes eventos (como a Copa do Mundo de 2014) so conhecidos muito antes destes se manifestarem em qualquer indicador, podendo ento as adequaes no planejamento ser feitas com antecedncia. Em contrapartida, outros eventos ocorrem sem aviso, como o caso de fenmenos climticos extremos, ou mesmo certas manifestaes sociais. Nesses casos, importante que aps serem realizadas as medidas emergenciais, os responsveis se renam para avaliar as alteraes que sero necessrias para a execuo do Plano. Capacitando, tenha sempre em mente que a alterao nos cenrios leva necessariamente a alteraes nas metas e, consequentemente, nas diretrizes e estratgias e nos programas, gerando assim um efeito cascata. Desta forma, a modificao destes dever vir acompanhada de novas alteraes no Plano, sendo atravs de alteraes nos programas existentes ou mesmo a criao de novos, conforme ilustrado na Figura 8. O processo de alterao nas demais etapas estar sendo discutido no decorrer deste mdulo. 21

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Figura 8 - Ajuste do plano devido a situaes no previstas

Fonte: Elaborado pelos autores

2.2. Metas Da mesma forma que existe a necessidade de avaliao de cenrios, importante que sejam reavaliadas as metas definidas originalmente, com vistas a avaliar se as mesmas esto atendendo ao seu objetivo. Lembre-se que os cenrios contemplam um contexto mais amplo, que subsidiou a elaborao das diretrizes e estratgias, que, por sua vez, foram desdobradas nos diversos programas, projetos e aes, conforme detalhado no Mdulo 5. J as metas, esto mais diretamente vinculadas com os objetivos que servem de baliza e controle para a efetivao dos programas, projetos e aes. Nesse sentido, devemos ter sempre em mente que uma meta contempla naturalmente certo grau de dificuldade para ser alcanada, induzindo assim aos gestores e executores que se esforcem para alcanar a mesma. Esta, ento, no deve ser impossvel, uma vez que isso iria desmoralizar os responsveis pelas aes, ou ento muito fcil, pois nesse caso ela perderia seu sentido. Desta forma, tendo em vista que a capacidade do municpio para atender uma meta depende tambm de valores externos, tais como: recursos disponveis, expanso populacional, prioridades polticas, etc.; a avaliao das metas est diretamente associada ao cenrio atual adotado pelo Plano. Caso este cenrio sofra alteraes e seja revisto, conforme visto no item 2.1, as metas tambm podero sofrer alteraes para se adequarem a esta nova realidade. No caso de alteraes negativas nos cenrios previstos, como na ocorrncia de crises econmicas, podem-se revisar as metas para baixo. Muito cuidado, porm, nesses casos. Como dito anteriormente, as metas possuem a funo de desafiar a gesto no sentido proativo, com vistas a melhoria contnua. Sendo assim, se a cada dificuldade houver uma reduo das metas, as mesmas perdem o seu objetivo maior. Tambm, a reduo de metas no vista com bons olhos pela populao e pelos rgos de fiscalizao, sendo, por vezes, necessria uma justificativa com forte embasamento tcnico quando houver alguma reduo. Ainda, antes de proceder para a flexibilizao das metas, deve-se reavaliar programas e projetos, 22

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

de forma a identificar a possibilidade de alteraes nestes que possam se adequar ao novo cenrio. Um exemplo seria o aumento abrupto da populao do municpio devido ao incio de uma obra de grande porte, como uma barragem ou uma mineradora. Em um primeiro momento, pode parecer que essas obras iro impactar negativamente os indicadores de saneamento do municpio, porm, possvel atravs de programas de educao ambiental, relocao de recursos e acordos com as empreiteiras, mitigar essas questes ao ponto que o atendimento s metas seja novamente possvel e at maximizado. No caso de alteraes positivas nos cenrios, como o aumento na arrecadao municipal, devemse reavaliar as metas de forma a torn-las mais rigorosas, condizentes com a situao prevista. Tenha em mente, porm, que a reavaliao de metas, quer ela seja positiva ou negativa, deve ser feita com cuidado. Como observamos na avaliao de cenrios, nem sempre as tendncias so to claras, ento a reavaliao de metas ocorre apenas quando existe convico acerca das alteraes no previstas inicialmente. Existe tambm a possibilidade de as metas estabelecidas originalmente serem muito rgidas ou muito leves. Nesses casos, em que houve um equvoco no planejamento, pode-se igualmente alterar as metas no decorrer do tempo, preferencialmente, tornando-as mais rgidas, sempre que possvel. A Figura 9 apresenta um fluxograma resumindo o processo de reavaliao de metas na gesto pblica.
Figura 9 - Reavaliao de metas

Fonte: Elaborado pelos autores

23

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Ao reavaliar metas, deve-se apenas tomar cuidado com o fato de que nem todos os indicadores possuem um crescimento constante, podendo transparecer a impresso de que o atendimento ao mesmo est atrasado ou adiantado. Exemplo disso o ndice de residncias com tratamento de esgotos, associado a necessidade de contrao de ETEs. A construo de uma ETE pode representar desde 10 % at mesmo a quase totalidade do tratamento de efluentes na rea urbana, como no caso de pequenos municpios. Caxias do Sul, no Rio Grande do Sul, por exemplo, aumentou de 15 % para 86 % a taxa de esgoto tratado em um perodo inferior trs anos (SAMAE, 2013). Uma avaliao preliminar poderia, ao incio desse perodo, considerar impossvel atender a meta de tratamento de esgotos, visto que ao final do primeiro ano o ndice de tratamento de efluentes ainda estaria em 15 %. Da mesma forma, uma avaliao posterior poderia dar a impresso de que atingir 100 %, tendo em vista o crescimento at o momento, seria uma tarefa fcil. Isso tambm seria uma inverdade, uma vez que neste momento seriam necessrios diversos estudos, projetos, licenas e financiamentos para permitir a construo de novas ETEs. Sendo assim, esse crescimento inconstante pode ser problemtico na avaliao do atendimento a metas caso a equipe designada no possua conhecimento suficiente sobre o andamento dos programas que esto sendo realizados. Por este motivo, importante que toda reunio de reavaliao de metas seja acompanhada por profissionais tcnicos ou gestores que estejam familiarizados com o andamento dos programas propostos, assim como as dificuldades encontradas na execuo destes.

ATENO
Em muitos casos a dificuldade de planejamento ocorre devido a problemas nos indicadores adotados, os quais no refletem adequadamente a realidade. Nesses casos, deve-se proceder no apenas na reavaliao das metas, mas tambm dos indicadores utilizados para acompanh-la. Importante destacar que as metas dos Planos municipais devem estar, sempre que possvel, em consonncia com as metas estabelecidas pelo Plansab. Nesse sentido, revises nas metas federais podero impactar nas metas municipais, havendo ento a necessidade de revis-las aps ocorrerem revises no Plansab. Alm do Plano Nacional, alguns municpios tambm podero estar subordinados a metas estabelecidas por Planos Estaduais. sempre importante verificar esta condio para ajustar as metas dos municpios de forma a alinharem-se proativamente s metas regionais, estaduais e nacionais, quando for o caso. Assim como j destacado no Mdulo 5, o municpio delinear suas metas tomando por base os mesmos indicadores estabelecidos pelo Plansab colabora para que cada ente da federao contribua com a sua parcela universalizao dos servios de saneamento no Pas. Este entendimento colabora, sem dvidas, para que se alcancem melhores ndices de qualidade de vida 24

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

para todos. 2.3. Indicadores auxiliares Alm dos indicadores-padro adotados pelo Plansab, outros indicadores podem ser de interesse para o municpio. O prprio Plansab j indica que alm dos 23 estabelecidos como prioritrios, outros podem ser teis para certas situaes. Primeiramente, importante considerar aqueles a serem adotados pelo Sistema Nacional de Informaes em Saneamento Bsico (SINISA), o qual ter como base o atual Sistema Nacional de Informaes sobre Saneamento (SNIS), mas trabalhar em conjunto com o Sistema Nacional de Informaes em Recursos Hdricos (SNIRH) e o Sistema Nacional de Informaes em Meio Ambiente (SINIMA), englobando ento um expressivo conjunto de indicadores de natureza operacional e gerencial. Ainda, destaca-se que o Plansab est tambm vinculado a compromissos brasileiros em escala global, como, por exemplo, aqueles firmados junto s Naes Unidas. Da mesma forma, outros indicadores podem ser de relevncia ao Plano Municipal, dependendo da realidade local. Exemplo disso so os municpios em consrcio, os quais tero metas prprias regionais a serem atendidas. Situao semelhante verificada nos comits de bacia hidrogrfica, regulamentados pela Lei n 9.433/97, os quais possuem metas prprias que tambm podem ser contempladas pelo Plano. Ainda, o Plano Estadual de Saneamento Bsico poder trazer exigncias e metas particulares s quais dependero de aes a nvel municipal para seu atendimento. Desta forma, conforme estas metas estaduais so revistas e atualizadas, o Plano Municipal poder se adequar. A Figura 10 apresenta um resumo dos principais planos que precisam estar interconectados aos Planos Municipais. Nesse sentido, necessrio que estes planos possuam objetivos coincidentes e complementares, de forma a todos trabalharem no atendimento de metas comuns. Sendo assim, torna-se importante que a rede de indicadores utilizada para o monitoramento do Plano Municipal de Saneamento Bsico esteja o mximo possvel em sincronia com os indicadores utilizados pelos demais planos.

25

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Figura 10 - Principais planos que devem estar conectados ao plano municipal de saneamento bsico

Fonte: Elaborado pelos autores

2.4. Diretrizes e estratgias Conforme vimos no Mdulo 5, as diretrizes e estratgias iro ditar a elaborao dos programas desenvolvidos para o atendimento dos objetivos e metas. Sendo assim, a avaliao do desempenho destas ocorre em decorrncia do atendimento ou do no das metas. Mudanas nos cenrios ou nas metas iro requerer a reavaliao de diretrizes e estratgias. Como vimos, essas mudanas podem decorrer tanto de alteraes no contexto poltico-econmico at modificaes nas esferas legais. Da mesma forma, a m formulao de cenrios, metas, diretrizes e/ou estratgias durante a elaborao do Plano ir refletir na necessidade de reavaliao deste item. A avaliao da eficcia, eficincia e efetividade dos programas consiste no principal alicerce do processo avaliativo. Uma avaliao bem fundamentada dos programas previstos permitir no apenas averiguar se os mesmos esto cumprindo com o seu papel de melhoria dos servios de saneamento bsico, e consequentemente de melhoria na qualidade de vida da populao, mas tambm conferir a qualidade dos gastos pblicos e indicar eventuais ajustes e correes que precisem ser realizadas. Desta forma, importante saber identificar quando existe a necessidade de reviso de programas e quando precisam ser revistas as diretrizes e/ou estratgias. Em determinados casos os problemas residem da m elaborao ou execuo de programas, enquanto que em outros pode existir um erro estratgico. Assim, antes de qualquer tomada de decises importante avaliar se os problemas de eficcia, eficincia e efetividade so oriundos de qual destas situaes, e s ento atuar na reavaliao, se for o caso, das diretrizes e estratgias. Ressalta-se apenas que a maioria dos programas gera resultados a mdio e longo prazo. Sendo 26

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

assim, alteraes contnuas em diretrizes e estratgias no so interessantes, sendo importante que exista uma continuidade nas aes desenvolvidas, caso contrrio existe um risco de no atendimento s metas devido ineficcia de programas que so constantemente iniciados e, logo aps, encerrados.

2.5. Programas Enquanto as metas e as diretrizes so gerais, os programas precisam ser direcionados e especficos, possuindo ento, um elevado grau de detalhamento. Como resultado, as probabilidades destes possurem possibilidades de serem melhorados so muito maiores. Isso significa que a reviso de programas consiste numa atividade comum, devendo estar previstos encontros entre as equipes para reavaliaes peridicas dos mesmos. Alteraes nos programas podem ocorrer tanto por questes tcnicas quanto financeiras, sendo que a primeira consiste na situao mais comum. Todo programa desenvolvido com um fim especfico, devendo ento atender a um objetivo claro. Por exemplo, um programa de educao ambiental que busque reduzir o consumo de gua pela populao deve, necessariamente, resultar na reduo do indicador de consumo per capita de gua. Caso isso no ocorra torna-se necessrio reavaliar o programa dentro dos trs eixos: eficcia, eficincia e efetividade. A escolha sobre se o mesmo dever ser reestruturado ou substitudo por um novo programa consiste numa deciso a ser tomada pelos gestores e tcnicos responsveis. importante ressaltar que a continuidade ou no de um programa deve levar em conta os impactos decorrentes de seu encerramento a curto e longo prazo, levando em conta principalmente os efeitos do encerramento do programa sobre a populao. Destaca-se aqui que as revises dos programas podem estar direcionadas tanto a pequenas aes operacionais quanto completa reestruturao destes. Em nveis de planejamento, porm, geralmente a atuao se d no segundo caso, sendo os aspectos tcnicos e operacionais tratados a parte pelos profissionais responsveis pela parte tcnica. No caso da constatao de dificuldades financeiras, fundamental realizar estudos para avaliar a possibilidade de continuao dos programas. Quando falamos em saneamento deve-se ter em mente, porm, que a maior parte dos programas trar benefcios indiretos. Programas de tratamento de efluentes, por exemplo, iro resultar na reduo de custos nas reas da sade, visto a reduo do nmero de pessoas infectadas com doenas relacionadas ao saneamento. Assim, a avaliao financeira deve considerar que muitos programas, quando vistos individualmente, podem erroneamente dar a impresso de serem insustentveis, quando na realidade os benefcios deveriam estar sendo avaliados em escala municipal. Isso significa que apesar de ocorrer uma reduo de custos em termos globais para o municpio, em termos setoriais isso no ocorre, sendo que o rgo de saneamento acaba por arcar com os custos e o rgo de sade com os benefcios. Por tal motivo, importante que o oramento municipal preveja essas dissonncias de forma a fazer a alocao correta de recursos, prevendo os gastos oriundos desses programas. Destaca-se ainda que as reavaliaes podem ser feitas com o intuito de melhorar a efetividade dos programas e tambm da gesto de recursos, atuando ento de forma preventiva e no apenas 27

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

corretiva. De fato, recomenda-se que sejam feitas reavaliaes constantes, no mnimo anuais, dos programas implantados, com vistas a avaliar os efeitos dos mesmos sobre a sociedade e como possvel para a equipe melhorar sua efetividade. Essas avaliaes so particularmente importantes no incio da implantao dos programas, uma vez que nesse momento tendem a surgir o maior nmero de problemas, sendo que reunies mensais ou mesmo semanais so interessantes neste primeiro momento. De fato, o principal benefcio oriundo da avaliao de programas se dar atravs da verificao de falhas nos mesmos, seja atravs do no atendimento s metas propostas, seja pela verificao de que os objetivos propostos no esto sendo alcanados.

3. MECANISMOS DE DIVULGAO ANUAL DO PLANO

Conforme estabelecido no Artigo 51 da Lei 11.445/07 a elaborao e reviso dos Planos devero ser acompanhadas da divulgao dos mesmos junto sociedade:
Art. 51: O processo de elaborao e reviso dos planos de saneamento bsico dever prever sua divulgao em conjunto com os estudos que os fundamentarem, o recebimento de sugestes e crticas por meio de consulta ou audincia pblica e, quando previsto na legislao do titular, anlise e opinio por rgo colegiado...

Atualmente existem vrios dispositivos para permitir o acesso ao Plano pela populao. Primeiramente, fundamental que exista pelo menos uma cpia fsica junto prefeitura disponvel para acesso a todos os interessados. Da mesma forma que demais documentos pblicos de carter no sigiloso, a populao pode solicitar cpias parciais ou totais do Plano, sendo que a cobrana ou no do servio fica a critrio de cada municpio. Ao mesmo tempo, recomendada a disponibilizao do Plano atravs da internet, preferencialmente no site da prefeitura. Atualmente, a internet consiste numa ferramenta valiosa para divulgao de informaes e documentos de carter pblico. Deve-se apenas tomar cuidado em relao ao tamanho dos arquivos disponibilizados. Visto que o Plano costuma possuir um nmero considervel de figuras e mapas, muitas vezes o tamanho total do arquivo acaba sendo significativo, podendo impactar negativamente no trfego de dados do rgo. Sendo assim, recomenda-se em determinados casos disponibilizar os arquivos em formatos compactados, separados em diferentes partes (em especial os anexos) ou com menor resoluo de imagens, desde que no comprometa a sua visualizao.

A internet pode ser utilizada tambm como canal de interao, atravs de fruns, e-mails, consultas pblicas e outros mecanismos que permitam populao opinar acerca do Plano.

28

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

Outros mecanismos de divulgao incluem jornais e revistas, radio, televiso, folders, cartazes, emails e divulgao em sites. A escolha dos sistemas mais apropriados ir depender da infraestrutura disponvel e da possibilidade de acesso pela populao local, sendo fundamental que a metodologia adotada assegure populao o acesso ao Plano assim como a possibilidade de opinar e debater acerca de eventuais alteraes no plano. importante prever, ainda, um relatrio anual de monitoramento do Plano, para dar transparncia s aes realizadas ao longo de cada ano, com sntese dos ndices e indicadores adotados, assim como uma avaliao crtica acerca dos resultados obtidos e, quando necessrio, das mudanas que tero de ser adotadas.

4. SNTESE DE PRTICAS NA AVALIAO E MONITORAMENTO DO PLANO

Caro capacitando, com vistas a auxili-lo na avaliao do Plano Municipal de Saneamento Bsico est apresentado a seguir, resumo com os principais elementos a serem considerados durante o processo avaliativo.

29

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

RESUMO DE PRTICAS PARA MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO MUNICIPAL DE SANEAMENTO BSICO O processo de avaliao tem como uma de suas caractersticas principais a interdisciplinaridade. Assim, recomenda-se que o executivo municipal possua uma entidade responsvel por gerir e estimular a participao dos diversos setores da administrao pblica e da sociedade civil no campo do saneamento bsico. Por meio dessa entidade, busca-se a promoo de discusses e posteriores definies do modelo de avaliao das polticas de saneamento bsico. Recomenda-se que essa entidade esteja apoiada por um grupo tcnico que venha a fornecer os subsdios intelectuais necessrios para esse tipo de discusso. Antes de iniciar a avaliao de uma poltica, fundamental que estejam bem estabelecidos os princpios norteadores dessa poltica, a fim de que possam ser verificados na avaliao. De fato, a prpria Poltica Municipal de Saneamento Bsico traz consigo uma srie de princpios que devem ser utilizados quando forem estabelecidas as bases de determinada poltica. Da mesma forma, necessrio que tambm sejam definidos os princpios que sero utilizados na avaliao dos componentes do saneamento bsico, como manejo de resduos slidos e manejo de guas pluviais. Devem ser avaliadas a eficcia, efetividade e eficincia do Plano Municipal de Saneamento Bsico. O sistema de avaliao definido deve abranger todos os componentes do saneamento bsico: abastecimento de gua, esgotamento sanitrio, manejo das guas pluviais e manejo dos resduos slidos. Tenha presente que um sistema de saneamento composto por diversas fases, no se limitando prestao de servios. Assim, o Plano de Avaliao deve contemplar uma srie de funes, como planejamento, prestao de servios, regulao, fiscalizao e controle social. Essa maior abrangncia na avaliao fundamental para permitir que o sistema seja capaz de encontrar as causas dos problemas identificados, de maneira que seja ultrapassada a mera atuao sobre suas consequncias. Sugere-se que toda avaliao tenha como foco os efeitos do Plano Municipal de Saneamento Bsico sobre a sociedade, ou seja, suas repercusses na sade pblica, no meio ambiente, nos cidados e na economia, atendendo assim os princpios da Lei n 11.445/07.

30

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

Na seleo de indicadores necessrio ter em mente que eles existiro principalmente como forma de avaliar os objetivos e metas propostas. Dessa forma, devem ser selecionados somente os indicadores que permitam avaliar se o Plano est atingindo seus resultados de fato. Tambm importante que a avaliao ocorra tanto de forma quantitativa, pelo emprego de indicadores de desempenho, quanto qualitativa, por meio de processos participativos, entrevistas, grupos focais, etc.. Todo indicador possui um custo associado. Se no houver um custo direto, como uma anlise laboratorial, verifique se no existem custos indiretos, como aqueles decorrentes de horas gastas com funcionrios. Deve ser avaliado o contexto poltico, econmico e social tanto do municpio quanto da regio e do pas, com vistas a avaliar a validade do cenrio utilizado para a elaborao do Plano. A sequncia de planejamento Cenrios Diretrizes e Estratgias Objetivos e Metas Programas, Projetos e Aes, deve ser seguida tambm na avaliao. Sendo assim, uma alterao, por exemplo, nos cenrios requer que as metas, diretrizes, estratgias e programas tambm sejam revistos. Alteraes nas aes planejadas somente devem ocorrer em casos de real necessidade, devidamente justifica pelo contexto local. Na linha sequencial de planejamento, apresentado no item anterior, deve se ter em mente que esta possibilidade de alterao deve ser o menos provvel possvel na mesma sequncia apresentada. Ou seja, alterar um Cenrio deve ser o menos provvel e somente ocorrer decorrente de fatores externos e internos fortemente justificados, at porque esta alterao implicar em alterao de todas as outras etapas que dele dependem. J eventuais alteraes em Aes, so relativamente comuns, desde que estejam comprometidas a cumprir com os objetivos do projeto que dependem delas e, consequentemente,do programa a que este projeto se vincula. Todo planejamento ocorre com vistas a obter resultados a curto, mdio e longo prazo. Desta forma, o processo de reviso ocorre com vistas melhoria de resultados, mas tendo sempre em mente que alteraes constantes nos programas no so interessantes no que tange benefcios a longo prazo. fundamental ento que este processo ocorra sempre de forma planejada.

31

CURSO A DISTNCIA PLANOS DE SANEAMENTO BSICO

Caro capacitando! Com esses apontamentos, encerramos este captulo sobre monitoramento e avaliao do Plano de Saneamento Bsico. Isso no significa, porm, que o assunto esteja esgotado. A utilizao de indicadores para avaliao das polticas de saneamento bsico consiste em assunto amplo. Dessa forma, recomendamos a voc, capacitando, que busque complementar os assuntos aqui abordados, por meio das leituras complementares.

REFERNCIAS
ARRETCHE, M. T. da S. Tendncias no estudo sobre avaliao. In: RICO, E. M. (Org.). Avaliao de polticas sociais: uma questo em debate. So Paulo: Cortez; Instituto de Estudos Especiais, 1998. BOLLMANN, H. A. et al. Indicadores ambientais: conceitos e aplicaes. So Paulo: EDUC, 2001. BRASIL. Decreto Federal n 7.2017, de 21 de junho de 2010. Regulamenta a Lei no 11.445, de 5 de janeiro de 2007, que estabelece diretrizes nacionais para o saneamento bsico, e d outras providncias. DOU, Braslia, 2010a. Disponvel em: <http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/Decreto/D7217.htm>. Acesso em: 26 out. 2012. ______. Lei n 8.987, de 13 de fevereiro de 1995. Dispe sobre o regime de concesso e permisso da prestao de servios pblicos previsto no art. 175 da Constituio Federal, e d outras providncias. DOU, Braslia, 1995. Disponvel em: <http://www.planalto.gov.br/ccivil_03/leis/L8987cons.htm>. Acesso em: 24 out. 2012. ______. Lei n 12.305, de 02 de agosto de 2010. Institui a Poltica Nacional de Resduos Slidos; altera a Lei n 9.605, de 12 de fevereiro de 1998; e d outras providncias. DOU, Braslia, 2010a. Disponvel em: <http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/lei/l12305.htm>. Acesso em: 25 out. 2012. ______. Ministrio das Cidades. Peas tcnicas relativas a planos municipais de saneamento bsico. Braslia: Ministrio das Cidades, 2011a. p. 87-115. Disponvel em: <http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/Pe%C3%A7as_Tecnicas _WEB.pdf>. ______. Ministrio das Cidades. Secretaria Nacional de Saneamento Ambiental. Plano Nacional de Saneamento Bsico PLANSAB. Braslia, dez. 2013. Disponvel em: < http://www.cidades.gov.br/images/stories/ArquivosSNSA/Arquivos_PDF/plansab_06-12-2013.pdf >. Acesso em: 10 jan. 2013. BRASIL ECONOMIA E GOVERNO. O crescimento de longo prazo da economia brasileira tem sido satisfatrio? 2013. Disponvel em: <http://www.brasil-economia-governo.org.br/wpcontent/uploads/2013/05/o-crescimento-de-longo-prazo-da-economia-brasileira-tem-sidosatisfatorio.pdf>. Acesso em: 30 ago. 2013. FLEURY, S. Estado sem cidados. Rio de Janeiro: Fiocruz, 1994. 32

MDULO 6 - MONITORAMENTO E AVALIAO DA IMPLEMENTAO DO PLANO DE SANEAMENTO BSICO

IPEA - INSTITUTO DE PESQUISA ECONMICA APLICADA. Comrcio exterior, difuso inter-regional da crise internacional no Brasil e as perspectivas. Comunicado da Presidncia, n. 26, 13 ago. 2009. Disponvel em: <http://www.ipea.gov.br/portal/images/stories/PDFs/comunicado/090813_comunicadoipea26.pd f>. Acesso em: 15 fev. 2012. SAMAE - SERVIO MUNICIPAL DE GUA E ESGOTO DE CAXIAS DO SUL. Esgoto. Disponvel em: <http://www.samaecaxias.com.br/esgoto>. Acesso em: 30 ago. 2013. SOUZA, C. M. N. Relao saneamento-sade-ambiente: os discursos preventivista e da promoo da sade. Sade e Sociedade, So Paulo, v. 16, n. 3, p. 125-137, 2007. Disponvel em: <http://dx.doi.org/10.1590/S0104-12902007000300012>. Acesso em: 14 ago. 2012. SOUZA, C. M. N; FREITAS, C. M. O saneamento na tica da preveno de doenas e da promoo da sade. In: Congreso de la Asociacn Interamericana de Ingeniera Sanitria y Ambiental, 2006, Punta del Leste. Anais... Punta del Leste: AIDIS, 2006.

33