O quadro metodológico da avaliação de programas e intervenções públicas

Augusto Mateus

Março 2003
 Questões fundamentais da avaliação de programas e intervenções públicas
Relevância
Em que medida o diagnóstico dos problemas, necessidades e desafios (ameaças – oportunidades) adere às
realidades da “população-alvo” e aos contornos e tendências do respectivo “contexto” social, económico e institucional ?
Pertinência
Em que medida são os objectivos da intervenção pertinentes para as necessidades da “população-alvo”, no quadro da
consideração das “lições da experiência”, e para as prioridades, num contexto em evolução, aos níveis nacional e da UE ?
Coerência
Estão garantidas condições de exequibilidade ou consistência da estratégia adoptada, nomeadamente
ao nível das soluções de afectação, especialização e coordenação de meios (intra-programa e inter-programas)
e ao nível da hierarquia, complementatidade e articulação convergente dos objectivos prosseguidos ?
Eficiência
De que modo são os recursos transformados em realizações ou resultados? Que indicações fornece a comparação
entre “custos” e “benefícios” para as decisões relativas a afectações alternativas de recursos ? Qual o grau de penetração
das medidas, acções e projectos nos diferentes segmentos relevantes dos destinatários (“população-alvo”) ?
Eficácia
Até que ponto contribuiu a intervenção para alcançar os seus objectivos específicos e globais? Qual a dimensão das sinergias
e efeitos internos e externos do programa em termos de “valor acrescentado” sectorial, regional, nacional e comunitário ?
Utilidade
A intervenção teve impacto nos grupos ou populações-alvo, em relação às suas necessidades e problemas ?
Como compara a “situação de chegada” da “população-alvo” com a “situação de partida” do programa
(ou, no plano intercalar, as situações intermédias conhecidas ou estimadas) ?
Sustentabilidade
É possível identificar e quantificar as grandes mudanças e efeitos estruturais “produzidos” pelo programa ?
Em que medida se pode esperar que as alterações (ou benefícios) perdurem após a conclusão da intervenção?
A realização do programa configura uma experiência institucional de aprendizagem colectiva com influência futura ?
Sociedade, Economia, Região, Sector, ...
Articulação
nacional -
“População-Alvo”
Impactos comunitário
Desafios
Impactos
“CONTEXTO” Articulação Impactos
Problemas Necessidades sectorial/regional -
nacional

Dimensão Políticas, Acções e Intervenções Públicas

Estratégica Efeitos indirectos
Diagnóstico e induzidos
Concepção

OBJECTIVOS INSTRUMENTOS RECURSOS OPERAÇÕES REALIZAÇÕES RESULTADOS

Execução Efeitos directos e

Lições da Decisão imediatos
Experiência
Dimensão Operacional

Avaliação Desempenho

Racionalidade Coerência Eficiência Eficácia Sustentabilidade Utilidade

A B C
Custo- Sinergias Efeitos Partida vs.
Relevância Interna Benefício Estruturais Chegada

Recursos- Efeitos-
Objectivos Evolução
Pertinência Externa Realizações Controlo População-
Alvo
Desvios
Plano Nacional Gestão Acompanhamento
Plano Comunitário Adaptações
D
 O ciclo de vida do programa e a segmentação dos seus objectivos
Dimensão Estratégica

Diagnóstico
Concepção

OBJECTIVOS INSTRUMENTOS
OBJECTIVOS

Lições da
Experiência

Operacionais Específicos Globais

(bens e serviços (efeitos (efeitos
Decisão
produzidos) mais “curtos” e mais “longos” e
mais “rápidos”) mais “lentos” )

“input” “output” “outcome” “outreach”

Impactos

RECURSOS OPERAÇÕES REALIZAÇÕES RESULTADOS Impactos

Impactos
Execução Efeitos directos e Efeitos indirectos
imediatos e induzidos

Dimensão Operacional
 Indicadores de recursos (“input”)
(referem-se ao orçamento atribuído a cada nível da intervenção)
Os indicadores financeiros são utilizados para acompanhar os progressos em termos de autorização e de pagamento
(anual) dos fundos disponíveis para cada operação, em relação ao seu custo elegível

Indicadores de realizações (“output”)

(dizem respeito à actividade)
São frequentemente medidos em unidades físicas ou monetárias (por exemplo, número de empresas que receberam
apoio financeiro, número de postos de formação oferecidos, etc.).

Indicadores de resultados (“outcome”)

(referem-se ao efeito directo e imediato causado por uma intervenção)
Fornecem informações sobre as alterações, por exemplo, no comportamento, na capacidade ou no desempenho dos
beneficiários directos. Estes indicadores podem ter um carácter físico ou financeiro (por exemplo, efeito de alavanca
sobre os recursos do sector privado)

Indicadores de impacto (“outreach”)

(referem-se às consequências da intervenção para além dos efeitos imediatos sobre os seus beneficiários directos)
É possível definir dois conceitos de impacto:
(1) os impactos específicos são os efeitos que ocorrem ao fim de um determinado lapso de tempo, mas que estão
directamente ligados à acção empreendida;
(2) os impactos globais são efeitos a mais longo prazo que afectam uma população mais vasta. É evidente que a
medição deste tipo de impacto é complexa, sendo muitas vezes difícil estabelecer relações causais evidentes.
A Avaliação da concepção e da estratégia do programa

Relevância
“População-Alvo”

Desafios “CONTEXTO”

Problemas Necessidades

Políticas, Acções e Intervenções Públicas Racionalidade

Pertinência

OBJECTIVOS RECURSOS
INSTRUMENTOS

Coerência
 A Avaliação da concepção e da estratégia do programa
Sociedade,
Economia, Desafios
Região, Racionalidade Avaliação da aderência da estratégia à realidade
( o ”querer” faz sentido ? )
Sector, ...
Problemas Necessidades
Relevância Avaliação da qualidade do diagnóstico

Problemas/Necessidades e Desafios (Oportunidades-Ameaças)

Políticas, Dimensão A identificação realizada é explícita?, clara?, rigorosa?, completa?,
Acções e Estratégica mensurável?
Diagnóstico
Intervenções A “situação de partida” está bem caracterizada? O horizonte de referência
Concepção para essa caracterização está actualizado?
Públicas A dimensão dos problemas/necessidades está correctamente
avaliada e focalizada? Os desafios considerados articulam, aos vários
OBJECTIVOS INSTRUMENTOS níveis, as oportunidades e as ameaças?

Relações causa-efeito
Lições da A construção de diagramas ou árvores inversas de ligações ou
Experiência fluxos (problemas soluções) permite confirmar as formulações
contidas no programa (soluções problemas)?
A lógica analítica (explicação) suporta a lógica decisional (intervenção)?
Avaliação
Racionalidade Coerência Identificação da “População-Alvo” ( problemas vs. soluções )
Os destinatários (pessoas, organizações, factores materiais e imateriais)
A estão bem delimitados e estimados?
A hierarquia dos problemas/necessidades/desafios em relação à
“população-alvo” existe e é apoiada em estudos quantificados?
Relevância Interna
Caracterização do contexto ou envolvente externa
As diferentes dimensões (económica, política, institucional, social, ...) são
Pertinência Externa cobertas por variáveis e indicadores adequados?
As tendências de evolução são detectadas e/ou referidas?
As fontes informação são suficientes?
Plano Nacional

Plano Comunitário
Comprovação da existência de um entendimento adequado
ao nível das motivações da intervenção
 A Avaliação da concepção e da estratégia do programa
Sociedade,
Economia, Desafios
Região, Racionalidade Avaliação da aderência da estratégia à realidade
( o ”querer” faz sentido ? )
Sector, ...
Problemas Necessidades
Avaliação da qualidade da formulação dos objectivos
Pertinência e da mobilizaçãodas lições da experiência

Lógica de “prestação de contas” nos compromissos assumidos

Dimensão
Os compromissos assumidos pelos poderes públicos, através do programa
Políticas, são concretos?
Acções e Estratégica
Diagnóstico Os resultados e impactos pretendidos/esperados estão definidos sem
Intervenções ambiguidade?
Concepção
Públicas
Estratégia única com prioridades de intervenção ( afectação e
especialização )
OBJECTIVOS INSTRUMENTOS - ao nível da convergência dos objecticos específicos
O programa responde a prioridades centrais para as quais contribuem
directamente os diferentes objectivos específicos?
- ao nível da especificação das realizações das acções ou medidas
Lições da As acções ou medidas têm uma realização bem definida para
Experiência alcançar essas prioridades?

Explicitação do perfil temporal

Avaliação
Os ciclos de execução das diferentes acções, bem como dos projectos
Racionalidade Coerência públicos e privados, estão definidos? A respectiva calendarização é
convergente e/ou sequencialmente articulada ?
A Consideração de experiências anteriores
Existem referências a experiências anteriores de programação?
Relevância Interna Existem referências a estudos de avaliação e a recomendações neles
contidas? Algum ou alguns dos objectivos e instrumentos escolhidos
resultam, explicitamente, de um lógica de “evitar erros” ou “repetir êxitos”,
Pertinência Externa por referência a anteriores intervenções nacionais ou comunitárias?

Mobilização dos agentes económicos

Plano Nacional As condições de envolvimento dos diferentes agentes económicos são
adaptadas às suas reais características?
Plano Comunitário
Comprovação do potencial da estratégia do programa
para responder aos problemas/necessidades da população-alvo
 A Avaliação da concepção e da estratégia do programa
Sociedade,
Economia, Desafios
Região, Coerência Avaliação da exequibilidade da estratégia
( existe “poder” para alcançar o ”querer” ? )
Sector, ...
Problemas Necessidades
Avaliação da consistência interna
Interna
do programa

Coerência global da relação entre objectivos e recursos

Políticas, Dimensão Os meios envolvidos no programa são suficientes? Correspondem aos
Acções e Estratégica objectivos pretendidos?
Diagnóstico
Intervenções A repartição dos meios pelos diferentes níveis de organização do programa
Concepção corresponde à hierarquia formal?
Públicas

OBJECTIVOS INSTRUMENTOS Hierquia e complementaridade dos objectivos

A formulação dos objectivos estabelece uma hierarquia vertical
bem definida entre eles? A construção de árvores de objectivos permite
confirmar a inexistência de conflitos entre objectivos, seja
Lições da ao mesmo nível, seja a níveis hierarquicamente diferentes?
Experiência
Adesão dos objectivos aos problemas/necessidades
A identificação das cadeias ou mecanismos de transmissão dos
Avaliação
efeitos permite “encaixar” o programa (meios soluções) no diagnóstico
Racionalidade Coerência (causas problemas)?
A lógica decisional faz-se no sentido problemas soluções meios,
enquanto a lógica analítica de avaliação permite a sua interrogação em
A dois tempos:
- ao nível da relevância ( causa – efeito ) esclarecendo o caminho
Relevância Interna soluções problemas;
- ao nível da coerência interna ( mecanismo(s) de transmissão dos
efeitos dos instrumentos nos objectivos ) esclarecendo o caminho
Pertinência Externa meios soluções.

Inserção no contexto
As variáveis de contexto têm uma relação causal (positiva, negativa ou
Plano Nacional neutra) adequadamente considerada na formulação dos objectivos?

Plano Comunitário
Comprovação da correspondência aos diferentes níveis do programa,
seja entre objectivos, seja entre prioridades estabelecidas e recursos afectados
 A Avaliação da concepção e da estratégia do programa
Sociedade,
Economia, Desafios
Região, Coerência Avaliação da exequibilidade da estratégia
( existe “poder” para alcançar o ”querer” ? )
Sector, ...
Problemas Necessidades
Avaliação da consistência externa
Externa
do programa

Articulação entre programas sectoriais

Políticas, Dimensão Existem relações (verificáveis através de matrizes de impactos cruzados e de
Estratégica influências recíprocas) de independência, complementaridade, sobreposição
Acções e Diagnóstico ou conflitualidade entre objectivos, aos diferentes níveis de programação, e
Intervenções entre diferentes intervenções com incidência directa na mesma população-
Concepção
Públicas alvo?

OBJECTIVOS INSTRUMENTOS Articulação entre programas sectoriais e regionais

Para além dessas relações, existem sinergias ao nível do território e ao nível
do sector com efeitos cruzados positivos identificáveis na respectiva
população-alvo? Os objectivos específicos das componentes sectorias
Lições da desconcentradas “encaixam” de forma consistente nas estratégias regionais?
Experiência
Articulação entre os programas sectoriais/regionais e o QCA
O contributo dos objectivos da intervenção para os objectivos de nível
Avaliação QCA estão bem estabelecidos? Os efeitos de “spill-over” do programa, e
Racionalidade Coerência sobre o programa, estão considerados?

Articulação entre fundos e fontes de financiamento

A
As medidas e acções financiadas pelos diferentes fundos articulam-se e
complementam-se nos diferentes níveis de programação ou apenas
Relevância Interna convergem por caminhos autónomos nos objectivos globais?
Os financiamentos públicos e privados complementam-se sem
“insuficiências” ou “excessos” de dotação?
Pertinência Externa
Articulação com prioridades e orientações comunitárias
As prioridades comunitárias estão devidamente contempladas aos diferentes
Plano Nacional níveis da intervenção? O valor acrescentado comunitário da intervenção é
identificável e mensurável?
Plano Comunitário
Comprovação da correspondência aos diferentes níveis do programa,
seja entre objectivos, seja entre prioridades estabelecidas e recursos afectados
B Avaliação das realizações e efeitos do programa

Impactos

Eficácia

RESULTADOS

OBJECTIVOS RECURSOS REALIZAÇÕES

Eficiência
 B Avaliação das realizações e efeitos do programa
Sociedade, Articulação
Economia, Impactos nacional -
comunitário Contributo para a avaliação do desempenho
Região, Eficiência
Impactos (articulação c/ avaliação da eficácia)
Sector, ...
Articulação Recursos- Avaliação da eficiência do programa
sectorial/regional - Impactos Realizações (e das causas da sua ineficiência, se aplicável)
nacional

Avaliação focalizada do custo das realizações do programa

Políticas, Acções Qual o custo das realizações do programa (custo médio ou repartição dos
Efeitos indirectos resursos afectos pelas realizações obtidas)? É possível realizar algum tipo
e Intervenções e induzidos de “benchmarking” (comparação com outras medidas ou acções, no
Públicas programa, ou em outros programas, no presente ou no passado - eficiência
absoluta vs eficiência relativa)?

Avaliação da eficiência global do programa

RECURSOS OPERAÇÕES REALIZAÇÕES RESULTADOS Articulação dos indicadores de realização física e finaceira; Discussão das
utilizações ou afectações alternativas dos recursos; Apreciação da
Execução articulação entre “operadores” ou “agentes” e “destinatários”; Grau de
Efeitos directos penetração das medidas e acções nos diversos segmentos de destinatários.
e imediatos
Análise
Custo- Racionalidade da afectação de recursos
Avaliação Desempenho Benefício

Eficiência Eficácia Sustentabilidade

Aplicação da lógica da análise custo-benefício ( quando aplicável )
Identificação de “custos” e “benefícios” dos projectos e criação de um
B referencial único de medida dos mesmos; tratamento do ciclo de vida e das
Custo- economias e deseconomias externas; verificação da racionalidade das
Sinergias decisões.
Benefício

Recursos- Efeitos- Análise das eventuais causas da ineficiência do programa

Realizações Objectivos Ao nível da gestão e acompanhamento (Informação e divulgação suficientes?
Envolvimento adequado do sector público e do sector privado? Tempos de
análise e decisão suficientemente rápidos? Articulação convergente dos
Coerência ritmos de execução das diferentes medidas e acções? Gestão adequada da
Externa Gestão Acompanhamento “procura” do programa? Selectividade ?)

Verificação das condições de eficiência do programa

D e recomendações para aumentar e/ou corrigir ineficiências
 B Avaliação das realizações e efeitos do programa
Sociedade, Articulação
Economia, Impactos nacional -
comunitário Contributo para a avaliação do desempenho
Região, Eficácia
Impactos (articulação c/ avaliação da eficiência)
Sector, ...
Articulação Efeitos- Avaliação da eficicácia do programa
sectorial/regional - Impactos Objectivos (e das causas da sua ineficácia, se aplicável)
nacional

Avaliação focalizada das realizações e efeitos do programa

Políticas, Acções Quantificação das lógicas de “output”, “outcome” e “outreach” (objectivos
Efeitos indirectos operacionais, específicos e globais vs. realizações, resultados e impactos)
e Intervenções e induzidos medindo efeitos directos, indirectos e induzidos, efeitos imediatos e
Públicas mediatos, efeitos transitórios e estruturais; efeitos macroeconómicos.

Avaliação global do grau de eficácia do programa

Utilização de técnicas de análise para medir, com base em fontes
RECURSOS OPERAÇÕES REALIZAÇÕES RESULTADOS diversificadas de informação (estatísticas, inquéritos, sistema de informação
do programa) a transformação da “situação de partida” da “população-alvo”
Execução (modelos econométricos, “input-output”, “shift-share”, “impact-mapping”,
Efeitos directos ...) e, assim, o grau de realização dos objectivos prioritários do programa.
e imediatos
Sinergias sustentabilidade
Avaliação Desempenho

Sustentabilidade
Avaliação dos efeitos de sinergia
Eficiência Eficácia
Os efeitos conjugados na população-alvo são superiores aos efeitos das
medidas e do programa considerados separadamente? É possível quantificar
B o “valor acrescentado” das sinergias internas e externas do programa?
Custo- Existem efeitos externos negativos?
Sinergias
Benefício
Análise das eventuais causas da ineficácia do programa
Recursos- Efeitos-
Objectivos Ao nível da concepção (Diagnóstico?, Estratégia?, Objectivos?, Recursos? ...)
Realizações Ao nível da alteração do contexto sócio-económico (Conjuntural?, Estrutural?
Tansitória? Permanente?, Assimétrica?, ...)
Ao nível da gestão e acompanhamento (Informação e mobilização dos
Coerência
destinatários? Participação suficiente dos mesmos?)
Externa Gestão Acompanhamento
Verificação das condições de eficácia do programa
D e recomendações para a aumentar e/ou para corrigir ineficácias
D Avaliação do impacto global na população-alvo

“População-Alvo”

Desafios “CONTEXTO”

Sustentabilidade Utilidade
Problemas Necessidades
Impactos
 D Avaliação do impacto global na população-alvo
Sociedade,
Economia, “População-Alvo”
Região, Sustentabilidade Avaliação da extensão e durabilidade das mudanças
concretizadas
Sector, ... Desafios
Efeitos
Problemas Necessidades Impactos Estruturais

Identificação dos grandes efeitos estruturais do programa

Políticas, Acções Efeitos indirectos Aprofundamento da análise dos efeitos do programa através da avaliação
e Intervenções e induzidos dos efeitos mais “longos” (indirectos e induzidos) e de maior “duração”
Públicas (mediatos); Articulação da lógica “problemas-necessidades” com a lógica
“desafios”, seja em termos de identificação das zonas de validade das
estratégias adoptadas,
seja em termos da consideração das mudanças estruturais concrestizadas;
Articulação das dinâmicas económicas, sociais e institucionais; Análise das
OBJECTIVOS REALIZAÇÕES RESULTADOS transformações endógenas ao nível da organização e capacidade da
“população-alvo”.
Efeitos directos
e imediatos

Sinergias
Avaliação

Desempenho
Identificação de sinergias
(óptica de convergência futura de comportamentos e estratégias)
Eficácia Sustentabilidade Utilidade
O quadro de sinergias e “externalidades” detectado configura uma
experiência institucional de aprendizagem colectiva, com tradução verificável
C na evolução das estratégias públicas e privadas?
Sinergias Efeitos Partida vs. O programa contribuíu para um quadro melhorado de acesso à informação e
Estruturais Chegada partilha dos melhores paradigmas de diagnóstico e das melhores práticas?

Evolução
População-
Coerência Alvo
Externa
Comprovação da existência de condições de durabilidade
e reprodutividade dos resultados e impactos do programa
 D Avaliação do impacto global na população-alvo
Sociedade,
Economia, “População-Alvo”
Região, Utilidade Avaliação dos benefícios para os destinatários
(à luz do quadro problemas/necessidades)
Sector, ... Desafios
Evolução
Problemas Necessidades Impactos População-
Alvo
Identificação da evolução da “população-alvo” no período
Políticas, Acções de execução do programa objecto da avaliação
Efeitos indirectos
e Intervenções Utilização dos indicadores de diagnóstico e de contexto para caracterizar a
e induzidos
evolução da “população-alvo”, em termos absolutos e em termos relativos
Públicas (quadros nacional e comunitário).

Identificação dos impactos do programa

Avaliação dos contributos efectivos do programa para a evolução verificada
OBJECTIVOS REALIZAÇÕES RESULTADOS na “população-alvo”, tomando como referência principal as grandes
prioridades estabelecidas no programa ou intervenção.
Efeitos directos
e imediatos Identificação da percepção pelos destinatários dos impactos efectivos
do programa
Os impactos calculados são validados pelos destinatários?
Avaliação
Partida vs.
Chegada
Desempenho
Caracterização e comparação da “siruação de partida” com
Eficácia Sustentabilidade Utilidade a “situação de chegada”
A comparação das situações de “partida” e de “chegada” apresenta duas
vantagens que permitem ajudar a situar com maior rigor e objectividade o
C contributo global do programa para a evolução da situação da “população-
Sinergias Efeitos Partida vs. alvo” e, portanto, a respectiva utilidade. São elas:
Estruturais Chegada a) a adopção de uma lógica de programação ou planeamento,
subjacente às intervenções, através da comparação entre o
“previsto” e o “realizado”;
Evolução
População- b) a consideração não de todas as dimensões mas, apenas, das
Coerência Alvo que respeitam a lógica e objectivos do programa.
Externa
Comprovação da existência de benefícios reais para a
“população-alvo” percebidos pelos destinatários
Sociedade, Economia, Região, Sector, ...
Relevância
“População-Alvo”

Desafios “CONTEXTO”

Sustentabilidade Utilidade
Problemas Necessidades
Impactos
Desempenho

Políticas, Acções e Intervenções Públicas Racionalidade

Pertinência Eficácia

Acompanhamento RESULTADOS

OBJECTIVOS RECURSOS OPERAÇÕES REALIZAÇÕES

INSTRUMENTOS

Gestão

Coerência Eficiência

Avaliação Desempenho

Racionalidade Coerência Eficiência Eficácia Sustentabilidade Utilidade

Gestão Acompanhamento