Академический Документы
Профессиональный Документы
Культура Документы
AVALIAÇÃO
Dois dos principais métodos de avaliação são aqueles conhecidos como (1)Modelo
orientado pela teoria ou Teoria do Programa, que compara os resultados diretos e
indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação
da mesma. Trata-se, na verdade, do teste de uma hipótese causal que orienta a
intervenção na realidade. (2) Modelo de análise de discrepâncias ou Teoria da
Implementação, que compara o desempenho alcançado com os padrões estabelecidos
para insumos, processos e resultados. A discrepância refere-se às diferenças entre a
situação real prévia (linha de base) e o padrão; e entre a situação modificada (resultado) e
o padrão.
Estas duas metodologias, porém, tem uma importante limitação: focalizam estritamente o
grau de consecução dos objetivos do projeto ou programa, quando é possível argumentar
que é possível obter mais informações sobre o desempenho dos projetos ou programas a
partir da combinação de diversos critérios e da adoção de uma perspectiva que focaliza
não somente resultados, mas o ciclo do Programa.
A idéia de ciclo do Programa não implica, aqui, supor uma sucessão idealizada de fases
estanques na realização das políticas públicas. Já se tem consolidado o conhecimento de
que isso representa uma simplificação analítica já que, na realidade, as supostas
“fases”deste “ciclo” se distribuem de maneira irregular e errática, se superpondo e se
interpenetrando. Em termos de monitoramento e avaliação, porém, a idéia do ciclo do
Programa favorece a adoção de uma perspectiva sistêmica, na qual o monitoramento e a
avaliação cumprem a importante função de ferramentas de gestão.
A avaliação interna é aquela realizada por uma equipe que tem participação direta na
execução de um programa ou projeto. A avaliação interna é diferente de “auto-
avaliação”, que consiste em que a pessoa ou pessoas que avaliam tenham como foco o
seu próprio desempenho. Por exemplo, na avaliação do PPA, quando gerentes avaliam as
ações conduzidas por coordenadores de ação sob seu comando, isso é avaliação interna,
mas não é auto-avaliação. A avaliação externa é aquela cujos realizadores não tem
nenhum envolvimento direto com a execução do programa ou projeto. A avaliação mista
consiste em uma metodologia de avaliação, na qual uma equipe interna e uma equipe
externa desenham juntas o projeto de avaliação e todos os instrumentos; coletam e
analisam os dados separadamente e formulam seus julgamentos e conclusões. Então se
juntam para comparar e discutir os resultados, até chegar a um termo comum.
1-Eficácia: significa realizar aquilo que foi pretendido. Suponha-se, por exemplo, que
uma ação de governo é uma campanha de vacinação para 50000 crianças. A eficácia será
dada pelo numero de crianças vacinadas. As perguntas, então, são: os insumos foram
disponibilizados? Estiveram disponíveis a tempo? Foram suficientes para gerar os outputs
pretendidos?
2-Eficiência: significa realizar aquilo que foi pretendido, de acordo com a estratégia
selecionada, com os custos estabelecidos ou menos. A eficiência é um critério que remete
à racionalidade dos processos, não se refere somente aos resultados, mas às relações entre
meios e fins. As perguntas são: Os insumos foram totalmente utilizados para os fins
pretendidos? Houve insumos não utilizados? Algum dos insumos foi usado de maneira
que não contribuiu para os resultados? A escala de utilização dos recursos foi apropriada,
excessiva ou insuficiente? Houve atrasos?Erros?Haveria algum método de obter o mesmo
resultado com custo e prazo menor? Houve perdas, desperdícios? Houve atrasos na
disponibilização dos insumos? Houve inadequação de quantidade ou qualidade dos
insumos? Houve erros de operação dos processos ou de gestão dos recursos e atividades?
4-Impacto: significa que, além dos efeitos, houve conseqüências indiretas da ação
realizada. Os impactos geralmente não são imediatos. Podem ser previstos e imprevistos,
positivos e negativos. Os impactos são mais abrangentes que os efeitos, freqüentemente
atingindo áreas não diretamente ligadas à área da ação. Para avaliar impactos levantam-
se questões tais como: Quais as conseqüências positivas e negativas que o projeto trouxe?
Quais as conseqüências da sua implementação na sua vizinhança setorial ou
institucional? Que mudanças foram geradas na vida da população-alvo e de seus grupos
vizinhos?
Método de Monitoramento:
Logo no início da implementação (ou antes, se for possível) cada programa ou projeto
deve estabelecer um sistema de monitoramento que contemple os seguintes pontos:
3-Quem será responsável por juntar dados dispersos, agrega-los. Com que freqüência
isso será feito e que métodos serão usados na análise dos dados.
Além disso, também deve ser examinado o comportamento dos pressupostos e dos pré-
requisitos estabelecidos na MML.
Avaliação:
Critério: Impacto
Questões de Avaliação Critérios/Medidas Dados Fontes Métodos de
para os necessários Coleta
Questões Questões Resultados
Principais Auxiliares Obtidos
Em que medida o As tecnologias Comparar a Numero de Entrevistas,
objetivo global do
foram estabelecidas informação recém pessoas literatura,
projeto foi e mantidas na obtida com os treinadas, documentos.
realizado desde aagencia relatórios numero de
sua conclusão? implementadora? anteriores atividades de
Houve ganhos no treinamento,
planejamento, etc
formulação de
alternativas,
implementação,
operação e
manutenção das
atividades?
O projeto As pessoas treinadas Comparar a Treinamentos Entrevistas,
contribuiu para na equipe são informação atual realizados questionários
fortalecer a suficientes para as com o Relatório Mudanças de
capacidade atividades de Final tecnologia
institucional da planejamento e
agencia desenho?
implementadora? Existe recrutamento
adicional de
pessoal?
Existem orçamentos
adicionais para
fortalecer a agencia
?
Existem Em que medida as Nível de Agencias Entrevistas e
mudanças funções da agencia satisfação das questionários
positivas ou implementadora Descrever o agências
negativas foram resultado da envolvidas.
resultantes da aperfeiçoadas?Quais discussão com as
intervenção do os efeitos positivos agencias
projeto? e negativos do implementadoras e
Projeto?Quais ex-treinandos
foram os ganhos
obtidos com o
projeto?
Quanto o projeto Os usuários se Nível de Entrevistas
contribuiu para o mostram satisfeitos Descrever o satisfação dos
desenvolvimento com os serviços resultado da usuários com
de base de dados oferecidos pelo discussão com os serviços
para pesquisa e projeto? Foi usuários e prestados
desenvolvimento? disponibilizada autoridades
infra-estrutura para
realizar as tarefas do
projeto com
sucesso?
Houve fatores Houve mudanças Alocação de Entrevistas,
externos que nas políticas Descrever o recursos documentos
afetaram a governamentais que resultado da orçamentários
consecução do afetaram o alcance discussão com
objetivo superior? dos objetivos do autoridades Política
projeto?Algum fator governamental
econômico atrasou o
trabalho dos
prestadores de
serviços? Após o
encerramento do
projeto que eventos
influenciaram no
alcance dos
objetivos?