Вы находитесь на странице: 1из 15

Monitoramento e Avaliação de projetos Sócio-ambientais

Capacitação em Desenvolvimento Institucional

Realização

Monitoramento e Avaliação de projetos Sócio-ambientais Capacitação em Desenvolvimento Institucional Realização 2007

2007

Monitoria e Avaliação

1. Porque monitorar?

Leandro Lamas Valarelli

A realidade é fruto da ação de muitos atores. Isto quer dizer que a cadeia de impacto idealizada e expressa no Quadro Lógico de um projecto não traduz o modo como as coisas se dão na realidade.

não traduz o modo como as coisas se dão na realidade. A incerteza, a complexidade, a

A incerteza, a complexidade, a diversidade de

situações e as constantes mudanças na realidade

fazem do nosso projeto uma “aposta”, não uma certeza. Sendo assim, não há caminhos nem resultados certos ou garantidos. Coloca-se a necessidade de acompanhar e aprender sobre a dinâmica social a partir da experiência proporcionada pelo projeto. E a Monitoria e Avaliação são parte e base do aprendizado.

Aprender, entretanto, não é fruto do acaso, mas resultado de uma intenção e de um investimento.

A sistematização da experiência é uma das ações

intencionais de aprendizado que pode promover a interpretação crítica da experiência e gerar

conhecimento.

A monitoria e a avaliação (M&A) são também

fatores que reforçam a transparência, na medida em que permitem o acompanhamento do uso dos recursos, o cumprimento das finalidades das

organizações e o alcance efectivo dos resultados

e objetivos pretendidos pelos seus projetos. O M&A reforça o carácter social e público dos projetos sociais.

Através do M&A são produzidas informações,

análises e juízos que respondem às preocupações

e interesses da sociedade em geral e daqueles

diretamente ou indiretamente envolvidos na implementação e apoio de um projeto. Através da “prestação de contas” os laços e compromissos entre os atores se fortalecem.

2. Relação entre monitoria e avaliação

Monitoria

2. Relação entre monitoria e avaliação Monitoria A Monitoria se refere a algo que está acontecendo

A Monitoria se refere a algo que está acontecendo e consiste na observação da trajetória, na explicação sobre o ocorrido,

tendo como finalidade a realização de ajustes na execução do projecto. Pode estar voltado para o acompanhamento de atividades ou ações; de seus produtos, resultados e impactos; do processo ou do contexto em que se dão.

É tanto um Instrumento para gerenciamento/controlo quanto para o aprendizado, na medida em

que também possibilita a compreensão dos fatores que influenciam o desenvolvimento do projecto

Avaliação

A avaliação refere-se, principalmente ao que já ocorreu e busca explicações para os resultados

obtidos: “como aconteceu?”, Por quê aconteceu deste modo?” Faz-se a análise dos produtos, do alcance dos objetivos, metas e dos impactos do projecto de modo a também aprofundar a compreensão dos fatores envolvidos e as relações entre eles, gerando novas bases para planeamento futuro do projeto ou então para nova iniciativas.

Neste sentido, a avaliação é principalmente um instrumento de compreensão e de aprendizado. Entretanto ela também possibilita a combinação entre aprendizado e controle quando ela se realiza continuamente, ao longo da execução do projeto: a chamada avaliação em processo.

Monitoria & Avaliação

A Monitoria é base/instrumento para a avaliação, embora a avaliação utilize também outras informações, experiências e conhecimentos que não apenas geradas nos momentos de monitoria. De todo modo, Monitoria e Avaliação se articulam no ciclo de Gestão mas se distinguem em função da periodicidade e da profundidade da análise que realizam.

da periodicidade e da profundidade da análise que realizam. 3. O que monitorar É muito comum

3. O que monitorar

É muito comum a existência de acções de monitoria de recursos e de atividades. Porém, há

outras dimensões de um projeto que podem e muitas vezes são as mais importantes de serem monitoradas.

Alguns fatores determinam o que monitorar. Os diferentes atores envolvidos no projeto têm cada um seus interesses e suas próprias perguntas. Tornar explícitos estes interesses e essas perguntas amplia as possibilidades que se discuta e “negocie” as características do processo de M&A, em relação a:

a) Os objetivos centrais do M&A, que podem estar voltados para:

Controlar, gerenciar;

Confirmar, ganhar experiência e confiança;

Aprimorar, mudar;

Divulgar, difundir;

Prestar contas;

Convencer, envolver;

Compartilhar, dividir;

Aprender e ensinar, etc.

b) Os aspectos prioritários que irá focar:

os recursos

as atividades

os resultados

o nível de aprendizado

a motivação dos beneficiários

a relação custo-benefício

etc.

4. Como monitorar

Alguns passos e decisões são fundamentais para se definir como será a monitoria de um projeto.

Definir, a partir da “negociação” dos vários interesses dos atores no M&A, as perguntas mais importantes que deverão orientar os momentos de acompanhamento e avaliação do projeto. Devem ser aquelas perguntas pelas quais há realmente interesse em buscar respostas a ponto de motivar o gasto de energia, tempo e recursos nesta procura.

Definir quem participará do processo de monitoria, com qual finalidade e com que frequência;

Estabelecer os momentos, os mecanismos e instrumentos do processo de monitoria:

reuniões mensais, semestrais ou anuais; reuniões por setores ou gerais; apoiada em indicadores, em discussões prévias com os beneficiários, em visitas a campo;

Definir as ações, os responsáveis e os recursos necessários para viabilizar o M&A, e incluir essas informações no cronograma e na proposta de projecto. Preparar-se para o tempo da equipe e para os recursos necessários, que geralmente são esquecidos.

Deve-se levar em consideração que as características do M&A de um projecto dependerão muito da cultura e dos mecanismos de gestão das organizações envolvidas, que podem ser mais ou menos centralizadoras, mais preocupadas com resultados do que com controlos, etc.

A estrutura e a quantidade de recursos disponíveis também condicionam o tamanho e o grau de complexidade possível e desejável do sistema de M&A, para que não seja inviável e sufoque a própria execução flexível e criativa do projecto. Neste sentido, a melhor regra é a de desenvolver mecanismos e instrumentos que gerem apenas as informações necessárias para apoiar o acompanhamento e a construção das respostas. Deve-se evitar a tentação de gerar montanhas de dados e tabelas que depois ninguém conseguirá processar e menos ainda utilizar: os conhecidos “cemitérios de dados” ‘. Antes de tudo, o M&A tem que ser útil e adequado aos objectivos inicialmente definidos.

Exemplo de quadro com os momentos e procedimentos do PMA (Planejamento, Monitoramento e Avaliação):

Aspectos ou

Momentos e

Envolvidos e formas de participação

 

Atividades e procedimentos

dimensões

periodicidade

 

Planeamento

   

Coordenação executiva, representantes das organizações responsáveis, 4 representantes por comuna escolhidos na comuna

o

Resgate dos resultados da avaliação do ano anterior

Plano

Anualmente,

em Fevereiro

o

Realização de reuniões de 01 dia por resultado, para organização das propostas de acção do ano

Anual de

Trabalho

 

o

Realização de reunião geral de dois dias com todos os envolvidos

Aspectos ou

Momentos e

Envolvidos e formas de participação

 

Atividades e procedimentos

dimensões

periodicidade

 

Monitoria e Avaliação

     

o

Reunião mensal

Mensal

Coordenação executiva, responsável pela administração financeira

o

Elaboração de informe para coordenação política e organizações envolvidas na execução das actividades

Gestão

   

o

Coordenação executiva prepara informe semestral para colectivo de organizações

financeira

Coordenação executiva, responsável pela administração financeira e organizações envolvidas na execução

Anual - Junho

o

Realização de reunião de acompanhamento semestral

o

Elaboração de relatório financeiro para apoiadores e coordenação política

Implementação,

     

metodologia e

Envolvidos em cada linha de actuação e coordenação executiva

qualidade das

Bimensal

o

Reuniões de equipa na sede

atividades e

 

produtos

 

Andamento das

 

Coordenação executiva, organizações e técnicos envolvidos administração comunal, sobas e líderes nas comunas e vilas

o

Reunião de acompanhamento e avaliação das acções do projecto em cada comuna

ações nas

comunidades

Semestral –

Julho

   

Coordenação executiva, organizações envolvidas, administração comunal, sobas e líderes nas comunas e vilas

o

Realização de levantamento junto a uma amostra de famílias nas vilas em torno dos indicadores de resultado

Resultados do

Anual –

o

Realização de reuniões por comuna para apresentar as actividades realizadas no ano pelo projecto e realizar avaliação de acordo com roteiro de discussão

Projeto

Dezembro a

 

o

Levantamento das informações dos indicadores de resultado e do objectivo do projecto

Janeiro

Coordenação executiva, organizações envolvidas, administração comunal, sobas e líderes nas comunas e vilas

o

Realização de reunião geral de síntese da avaliação anual do projeto na sede

o

Elaboração de informe com descrição das acções e a síntese da avaliação anual

Impactos

Após 2 anos

Coordenação executiva, organizações envolvidas, administração comunal, sobas e líderes nas comunas e vilas

o

Avaliação externa do projecto utilizando-se de entrevistas e levantamento dos indicadores de resultado, objectivo do projecto e objectivo geral

o

Realização de reunião geral para apresentação e debate dos resultados da avaliação externa

5. O Papel dos Indicadores Os indicadores são um recurso que permite uma aproximação da

5. O Papel dos Indicadores

Os indicadores são um recurso que permite uma aproximação da realidade. Como o próprio nome já diz, eles “indicam” mas não são a própria realidade. A realidade e sua totalidade são impossíveis de se conhecer por um único instrumento ou método.

Os indicadores baseiam-se em uma variável, ou seja, algum aspecto que varia de estado ou situação, fenômeno que interessa e dessa forma podem expressar algum aspecto deste fenómeno sob uma forma que possamos observá-lo ou mensurá-lo.

Eles podem ser relativos a aspectos tangíveis e intangíveis da realidade:

Tangíveis são aqueles que podem ser observáveis e aferíveis quantitativa ou qualitativamente, como renda, escolaridade, saúde, organização, gestão, conhecimentos, habilidades, formas de participação, legislação, direitos legais, divulgação, oferta.

Os intangíveis são aqueles sobre os quais só podemos captar parcial e indirectamente algumas manifestações: consciência social, auto-estima, valores, atitudes, estilos de comportamento, capacidade empreendedora, liderança, poder, cidadania. São dimensões complexas da realidade, possíveis de observar apenas captando algumas de suas manifestações indirectas, tangíveis, de modo a "cercar" a complexidade do que pretendemos observar.

Os indicadores não têm significado em si mesmos, apenas quando situados nas relações e práticas sociais. Todo indicador tem por trás de suas definições sempre um pacto, um acordo em relação à visão que se tem de um determinado processo e como observá-lo. Portanto, há sempre uma teoria ou uma concepção por trás de um indicador, por mais “ objectivo” e ”neutro” que possa parecer. Por exemplo, por trás do conceito de pobreza ou de renda, aparentemente “objetivos”, existe um grande debate e muitas diferenças. Qual é a condição que define se uma família é pobre? A quantidade de renda em dinheiro que ela consegue obter? Ou além disso também deve ser considerado se esta família tem acesso ou não a serviços de educação e saúde?

Portanto, antes de tudo, um indicador só será um instrumento válido se os envolvidos em um debate estiverem de acordo sobre o seu significado e sobre sua validade.

O uso de indicadores no processo de monitoria e avaliação sempre se prestou a muitos debates. Dois deles são importantes: os critérios para um bom indicador e o papel dos indicadores em um sistema de monitoria e avaliação

5.1. Critérios para a definição de indicadores

Quanto aos critérios, existem várias propostas de como devem ser escolhidos e definidos, lembrando sempre que se trata de indicadores como ferramentas auxiliares da avaliação de projetos de intervenção social, e não de centros produtores de dados e estatísticas nacionais!

Existem os conhecidos critérios EMART ou SMART (smart significa “esperto” em inglês), utilizados tanto para a formulação de objectivos quanto para indicadores. Em relação aos indicadores, estes critérios propõem que um indicador possua as seguintes características:

o

Especifico – um indicador deve poder especificar os efeitos e impactos directamente resultantes de um objetivo do projecto. Cada objetivo, resultado, pressuposto deve ter seu indicador exclusivo.

o

Mensurável

ele

deve

ser

possível

de

ser

medido

na

realidade

por

meios

 

economicamente justificáveis.

 

o

Alcançável – ele deve traduzir uma mudança ou efeito em uma dimensão quantitativa ou qualitativa que possa ser gerada pelo projecto

o

Relevante

ele deve refletir, de forma necessária e absoluta, o conteúdo essencial de um objectivo ao qual se refere

o

Temporal – deve ser possível observar a modificação de um fenômeno ao longo de um determinado período de tempo

Um outro conjunto de critérios se aproxima dos critérios EMART, mas enfatiza a utilidade e consistência do instrumento. Segundo esta abordagem um indicador deve ser:

o

Atribuível

as

mudanças

que

ele

pretende

captar

são

relativas

aos

processos

 

deflagrados pelos atores que estão envolvidos nas acções do projecto.

o

Sensível

ele é capaz de refletir as mudanças que ocorrem no fenômeno em questão, tanto qualitativas, quanto quantitativas, no tempo em que elas

 

ocorrerem

 

o

Viável –

existe disponibilidade de fontes, custo, esforço para produzir a informação requerida pelo indicador

o

Confiabilidade – existe qualidade e uniformidade do levantamento dos dados, o que não quer dizer apenas objectividade. Um indicador pode se apoiar em opiniões das pessoas, um aspecto subjectivo, mas essas opiniões são captadas a partir de perguntas bem formuladas e registradas de modo

 

a

que não exista dúvida sobre o seu significado

 

o

Inteligibilidade – existe transparência em relação à metodologia de construção do indicador. Por mais simples que seja o processo de coleta e registro das informações do indicador, o importante é que seja claro o modo como elas foram obtidas e processadas, para que possam ser entendidas as informações finais do indicador bem como para permitir

 

a

crítica e o aprimoramento do indicador.

 

o

Comunicabilidade - a informação de um indicador tem que ser compreensível por vários indivíduos e grupos, e não apenas por especialistas.

5.2. Os indicadores segundo as abordagens baseadas no Marco Lógico

Os indicadores, na Matriz do Quadro Lógico, são uma espécie de “marca” ou sinalizador, que busca expressar algum aspecto do objectivo ou resultado sob uma forma que possamos observá- lo ou mensurá-lo. Eles servem para:

Especificar os objetivos do projecto;

Focalizar características importantes de um objectivo a ser alcançado e esclarecer o que se deseja alcançar naquele objetivo;

Medir e especificar o conteúdo de cada nível ao qual se relaciona;

Estabelecer as metas a serem cumpridas no decorrer do projecto, indicando qual situação deverá ser alcançada em determinado prazo;

Ajudar na construção do processo de monitoria e avaliação;

Indicar os “momentos” do projeto quando se faz necessária uma avaliação intermediária do mesmo, que possa fornecer dados importantes para a gestão do projeto;

De modo geral um indicador no Quadro Lógico tem que estar especificado em relação aos seguintes aspectos:

Ao grupo-alvo –

À qualidade – quão? como?

À quantidade – quanto?

Ao horizonte temporal – quando?

Ao local – onde?

quem?

Além de definir o que observar, deve-se definir as fontes de verificação, isto é, a indicação sobre onde e/ou junto a quem será buscada a informação do indicador, ou então apontar como ela será produzida pelo projeto.

Indicadores de Objetivo Geral

Os indicadores no nível do objetivo geral serão os indicadores de impacto e deverão medir ou fornecer pistas seguras sobre a influência do projecto na ocorrência da mudança pretendida. Voltando ao caso de Makimbo:

Objectivo

Geral

Melhoria das condições de vida e saúde de crianças e adultos do município de Makimbo

Melhoria das condições de vida e saúde de crianças e adultos do município de Makimbo

Indicador(es)

Redução em pelo menos 70% do índice de mortalidade infantil (crianças até 5 anos) no município de Makimbo

Redução pela metade da quantidade média de viagens que uma família do interior realiza por mês à sede do município

Fontes de Verificação

Fontes de Verificação

Dados existentes na administração municipal

Levantamento a ser realizado pelo projeto ao final de cada ano junto a uma amostra de famílias de cada vila

Indicadores de Objectivo de Projeto

Os indicadores no nível do Objectivo do Projeto serão os indicadores de efeito ou resultado e deverão medir ou fornecer pistas seguras de que as mudanças esperadas no público-alvo estão realmente acontecendo.

Objectivo do

Projeto

Baixo índice de doenças entre adultos e crianças em Makimbo

Indicador(es)

Redução em 70% do número anual de adultos e crianças que receberam atendimento nos postos de saúde por doenças causadas por vectores ligados à água no município de Makimbo

Fontes de Verificação

Fontes de Verificação

Registos dos postos de saúde de Makimbo

Indicadores de Resultado

Os indicadores no nível de resultados são os indicadores de desempenho do projecto e devem apontar as características esperadas destes resultados em termos de Prazo, Quantidade e Qualidade.

   

Fontes de

 

Resultados

Indicador(es)

 

Verificação

 

1.1.

Percentual de famílias por comunas

   

que receberam capacitação em construção

1.

Novas técnicas de captação e

acesso à água potável foram desenvolvidas e disseminadas junto às famílias da sede e do interior de Makimbo

de cisternas e cacimbas

 

1.1.

Registos de

Comuna

 

Semestre

   

presença nas

 

1

 

2

3

 

4

capacitações

Comuna A

10%

 

20%

 

40%

70%

 

Comuna B

-

 

10%

20%

40%

Comuna C

30%

 

50%

 

70%

80%

 

2.1.

Percentual de bombas de poços

   

2.

Está em funcionamento um

artesianos existentes que estão operando

2.1.

Relatórios de

sistema de manutenção regular de redes locais de abastecimento e de bombas de poços artesianos

normalmente:

 

monitoria

 

semestral do

 

Semestre

   

1

 

2

3

4

projecto

 

%

de bombas

 

30

 

50

70

90

 

3.1.

Levantamento

3.

Kits de análise de qualidade de

3.1.

Percentual de vilas de Makimbo que

 

a

ser realizado

água de rios e poços foram produzidos e estão disponíveis para uso regular e constante em todas as vilas e bairros do

possuem e utilizaram o Kit de analise de água nos poços e rios no último mês

pelo projecto ao

final de cada ano junto a uma

Semestre

 

1

 

2

3

 

4

amostra de famílias de cada

município

%

de vilas

 

-

10

40

80

 

vila

 

4.1.

Percentual de famílias por comuna que

 

receberam capacitação em técnicas de tratamento de água, lixo e esgoto

 
 

4.1.

Registos das

 

Comuna

 

Semestre

   

atividades de

 

1

 

2

3

 

4

capacitação

4.

Famílias adquiriram novos

Comuna A

-

 

10%

30%

60%

conhecimentos sobre as técnicas e procedimentos adequados em relação ao tratamento e consumo de água e à disposição do lixo e do esgoto doméstico

Comuna B

-

 

10%

20%

40%

4.2.

Levantamento

Comuna C

30%

 

50%

 

70%

80%

a

ser realizado

4.2.

Percentual de famílias por comuna que

pelo projeto ao final de cada ano junto a uma amostra de famílias de cada

estão a aplicar as técnicas de tratamento

 

de água com regularidade

 

Comuna

 

Semestre

   
 

1

 

2

3

 

4

vila

Comuna A

- 5%

     

50%

Comuna B

- 5%

     

30%

Comuna C

 

30%

   

60%

 

5.1.

que foram iniciadas com menos de um mês

Percentual de actividades planejadas

Relatórios da

monitoria e

5.

Gestão eficiente e eficaz do

de atraso em relação ao planeado

 

avaliação

projeto

5.2.

envio de relatórios e prestações de contas do projecto

Número médio de dias de atraso no

semestral do

projeto

5.3. Indicadores qualitativos e complexos

Características dos indicadores

Indicador – o aspecto que queremos avaliar ou acompanhar as mudanças.

Um indicador deve ter especificado os seguintes aspectos:

Variável(is) – o coração do indicador, o(s) aspecto(s) que varia(m) e que formará(ão) o indicador.

Tipo de medida: define se o indicador será baseado em dados, estimativas ou opinião.

Fonte – onde vai se buscar, obter ou encontrar a informação.

 

Medida do Indicador: especifica qual medida e qual escala será utilizada pelo indicador para expressar o fenômeno. Aponta como se quer a “informação” do indicador: as categorias, escalas e parâmetros que serão utilizados na coleta e sistematização dos dados. Define também como será construída a informação do indicador a partir das informações de cada variável que o compõe, isto é, as formas ou fórmulas de combinam dos resutlados das variáveis. A medida pode ser obtida:

Medindo ou contanto - (números exatos);

 

Graduando ou diferenciando - (“muito bom, regular, muito má”);

 

Classificando - (sim ou não, homem ou mulher, etc.);

 

Descrevendo qualitativamente.

 

Unidade de análise: define qual a unidade sobre a qual serão construídas e comparadas as medidas, se indivíduos, organizações, comunidades, cidades, etc.

Instrumento(s) de coleta e registro – tipos de instrumentos que serão utilizados. Exemplos:

Coleta

Formulário,

=

Calendário,

Questionário,

caderno

de

campo,

Observação,

Imagens.

Registro = Banco de dados, Planilha, quadro negro, fichas, Vídeo, etc.

 

Freqüência de observação, coleta – intervalo de tempo que será necessário levantar as informações de modo a registrar possíveis mudanças na situação.

Freqüência de sistematização – intervalo de tempo em que serão sistematizadas e analisadas as informações coletadas.

Dificuldades e Erros comuns

Indicador X Meta X Produto X Resultado: Produtos ou resultados são os que se espera gerar com as ações. A meta se refere a uma expectativa mais concreta, quantitativa ou qualitativa destes produtos ou resultados num determinado período de tempo. O Indicador é o que eu utilizo como manisfestação deste produto, resultado ou meta, um aspecto de como essa mudança se manifesta concretamente na realidade.

Indicador como “Propaganda enganosa”, isto é, só com uma frase título sem especificação e operacionalização

Tentar produzir Indicador para todas as questões e aspectos do projeto: caminho para a inviabilização do sistema de indicadores, o abandono e a burocratização

Indicador como expressão de causa ou conseqüência do fenômeno que se pretende observar. Ex:

o Indicador de auto-estima = “melhoria no rendimento escolar”

Indicador “preguiçoso” - o próprio fenômeno que se quer observar “quantificado” ou

“medido”. Isto só adia o trabalho para a especificação do indicador. Ex:

o Indicador de auto-estima = “nível de auto-estima”

Indicador como a descrição detalhada de um conjunto de variáveis do fenômeno, sem indicar a medida do fenômeno de foram sintética Ex:

o

Indicador de auto-estima = Nível de auto-estima, que será observado através da combinação das seguintes variáveis: frequência dos hábitos de asseio pessoal; auto-cuidado, percepção sobre sua capacidade de realizar coisas e concretizar desejos, etc.

o

Se não se estabelece uma medida única que combine as várias situações possíveis em cada variável, como se chegará ao tal do “nível de auto- estima””? Se uma coisa acontece e outra não, o que isso significa em relação a ela?

Exemplos

Aspecto – Participação popular nas Políticas Públicas

Indicador = Qualidade da Participação Social nos espaços de formulação de Políticas de Segurança Alimentar e Nutricional

Variável(eis):

a) Existência de espaços de formulação e controle social de políticas

b) Presença de representantes eleitos da sociedade civil nestes espaços

c) Representantes da sociedade civil realizam ou participam de eventos de discussão envolvendo outras organizações além da sua para analisar pautas, formular propostas e planos de ação antes das reuniões oficiais dos espaços

d) Representantes da sociedade civil apresentam propostas consolidadas em documentos ou propostas de lei

Tipo de medida: depoimento lideranças dos municípios

Medida do indicador

a) Medida das variáveis

VARIÁVEL

MEDIDA

Existência de espaços de formulação e controle social de políticas

Sim ou não

Presença de representantes eleitos da sociedade civil nestes espaços

Todos os cargos

Mais da metade dos cargos

Menos da metade dos cargos

Representantes da sociedade civil realizam ou participam de eventos de discussão envolvendo outras organizações além da sua para analisar pautas, formular propostas e planos de ação antes das reuniões oficiais dos espaços

Todas as vezes

Algumas vezes

raramente

Representantes da sociedade civil apresentam propostas consolidadas em documentos ou propostas de lei

Sempre / quase sempre

Algumas

Nenhuma / poucas

b) Medida do indicador

Escala de qualidade de participação construída a partir da combinação dos resutlados das variáveis: inexistência de espaços, sem participação, formal, baixa, média, alta, muito alta

 

EVENTOS

PRÉVIOS DE

DISCUSSÃO

PROPOSTAS CONSOLIDADAS (Peso 3)

PRESENÇA

(Peso 1)

Nenhuma

algumas

Sempre

(Peso 2)

poucas

Quase sempre

 

Todas as vezes

Alta

Alta

Muito alto

Todos

os

Algumas vezes

média

Alta

Muito alto

cargos

raramente

média

Alta

Alta

Mais

da

Todas as vezes

média

Alta

Alta

metade

dos

Algumas vezes

baixa

média

Alta

cargos

raramente

baixa

baixa

média

Menos

da

Todas as vezes

formal

baixa

média

metade

dos

Algumas vezes

formal

baixa

baixa

cargos

raramente

formal

baixa

baixa

Aprendizados sobre o uso de indicadores

Abaixo, algumas considerações a partir das experiências concretas de muitas organizações no uso de indicadores no interior de seus sistemas de monitoria e avaliação.

Um sistema de M&A não precisa e nem pode estar unicamente apoiado em indicadores. Os indicadores são uma ferramenta para o M&A e não o “artista principal”. O coração do M&A deve estar nos aspectos e nas perguntas prioritárias que os atores envolvidos fazem em relação ao projecto. Estas perguntas podem ser respondidas de muitas formas, sendo os indicadores um instrumento útil, mas não exclusivo. Há questões para as quais não é necessário ou relevante a produção de indicadores;

O critério da verdade da qualidade de um indicador é se ele é útil para a discussão em torno das perguntas ou aspectos prioritários e se ele é capaz de fornecer informações relevantes a diferentes actores. Observações em campo, pesquisas qualitativas em profundidade, grupos focais ou mesmo um processo de debate em torno de algumas perguntas podem ser excelentes e adequados mecanismos de confirmação dos resultados e impactos de um projeto;

Iindicadores são necessários quando a mera observação não é capaz de fornecer as respostas ou quando é necessário lançar mão de informações sintéticas e conceituais em processos de diálogo com atores mais distantes;

Se não se consegue fazer um indicador, pode-se construir uma pergunta-guia para orientar um processo de debate, observações de campo, etc;

Um indicador não pode ser utilizado com um elemento de prova, mas uma ferramenta útil, porém limitada de contacto com a realidade e um instrumento de diálogo com outros que estão fora do projecto. Mesmo que os resultados do indicador apresentem uma informação

considerada “positiva”, ele pode não ter sido capaz de captar os complexos processos da realidade tal como estão ocorrendo. Portanto, deve-se aceitá-los sempre com reservas;

Menos é mais! É melhor não tentar tornar “perfeito” o sistema de monitoria, mas sim começar com poucos resultados e impactos que vão sendo monitorizados sistematicamente;

Tentar produzir Indicador para todas as questões e aspectos do projecto é um caminho seguro para a inviabilização do sistema de monitoria e avaliação e para o abandono e burocratização do uso dos indicadores;

O objectivo final da monitoria não é apenas medir o sucesso e sim ser uma ferramenta de gestão e de aprendizagem. Ajustes estratégicos não devem ser vistos como erros. Pelo contrário, adaptações de estratégias como resultado de um processo sistemático de observação e análise são positivas e devem ser consideradas como tais;

A monitoria não funciona se não existirem realmente interesse e motivação, a inquietação e a disposição de aprender e melhorar. Contudo, para que isso aconteça, é necessário que existam espaços para que as informações geradas pela monitoria sejam discutidas e que exista um clima de abertura que aceite a possibilidade de análises críticas, inovações e de criatividade.

6 . As Perguntas Orientadoras

Devem ser significativas, não retóricas, instigantes e relevantes para conhecer as atitudes com relação às práticas, às motivações, dificuldades e perspectivas.

Devem focar aspectos relevantes de processos que são difíceis de mensurar, mas importantes de serem conhecidos e acompanhados.

Exemplo de pergunta orientadora

As novas práticas são suficientes para promover o uso sustentado dos recursos naturais e o desenvolvimento econômico na região?

Área social:

Percebem-se mudanças nas relações de gênero e nas relações de poder na região? Houve mudanças na divisão familiar de trabalho, e na demanda por mão de obra? As práticas contribuem para garantir a segurança alimentar?

Área econômica:

Percebem-se mudanças significativas em outros setores da econômica da região? Houve mudanças nas condições da economia familiar da região? As novas práticas estão gerando ou não condições suficientes para honrar os compromissos financeiros do crédito?

Área ambiental:

Percebe-se uma relação entre os resultados do projeto e alterações na qualidade dos

recursos hídricos superficiais na região?

da produção à médio e longo prazo? Quais mudanças na biodiversidade da região se pode observar?

As práticas garantem uma sustentabilidade

7. Características de um bom sistema de M&A

Um balanço das experièncias desenvolvidas de construção e implementação de sistemas de M&A de programas e projetos, aponta para algumas condições que determinam um bom sistema:

É coerente com a visão e com a concepção que as organizações envolvidas têm sobre os objectivos centrais e as dimensões que um projecto deve considerar e resulta da negociação transparente e não impositiva dos diferentes interesses e expectativas;

Não está baseado apenas em indicadores mas utiliza outros procedimentos e técnicas de observação e investigação da realidade que diversificam os olhares sobre os processos;

Utiliza um conjunto reduzido de indicadores bem definidos, que captam os efeitos atribuíveis às acções, serviços e produtos gerados pelo próprio projecto, sem ter pretensão de dar conta da totalidade. Forma um conjunto simples, capaz de ser compreendido por todos, e não apenas por especialistas, sem ser simplista;

Tem bem definidos e previstos no plano de acção os momentos e procedimentos de discussão, análise e tomada de decisão, bem como as pessoas que participarão e serão responsáveis em cada um destes momentos;

Fornece informações úteis, relevantes e em quantidade que permite a análise e a tomada de decisão;

Está orientado principalmente para o aprendizado, estimulando novas reflexões;

É compartilhado com os grupos e sectores da população junto aos quais a organização intervém, promovendo a sua participação e a construção de parâmetros e indicadores próprios para monitorar e avaliar situações de seu interesse;

Prevê e especifica os meios de verificação que serão utilizados, bem como os responsáveis pela colecta de informação, pela análise e tomada de decisões;

É viável do ponto de vista operacional e financeiro;

Aproveita as fontes confiáveis de informação existentes, poupando recursos, tempo e energia do projecto;

Dissemina de forma clara e ampla os resultados da monitoria e da avaliação para os actores directa e indirectamente envolvidos e interessados, fortalecendo a transparência e o sentido público do projecto e da organização.

Оценить