Avaliação aleatorizada

do início ao fim
Como Combater a Corrupção?
Evidências a partir de Auditorias e
Fiscalizações por Sorteios Públicos

Claudio Ferraz
Professor PUC-Rio
Pesquisador afiliado do J-PAL
Objetivos da aula

• Conhecer a avaliação de impacto aleatorizada de uma política

do início ao fim

• Traçar paralelo com a teoria abordada ao longo das aulas

anteriores, reconhecendo a prática de cada uma das etapas
de uma avaliação

2
Estrutura

I. Por que avaliar impacto?

II. Teoria da Mudança

III. Como aleatorizar, tamanho amostral e poder

IV. Medição

V. Aspectos operacionais e desafios

VI. Uso da evidência

Estrutura

I. Por que avaliar impacto?

II. Teoria da Mudança

III. Como aleatorizar, tamanho amostral e poder

IV. Medição

V. Aspectos operacionais e desafios

VI. Uso da evidência

Problema: corrupção em governos locais
• Brasil repassa grande parte de seus recursos repassados a municípios para
a provisão de serviços públicos (educação, saúde etc.)

• Uma proporção significativa de recursos desaparece por causa de

corrupção (estimativas de 10% a 20%)

• Corrupção afeta a qualidade dos serviços públicos e o processo de

desenvolvimento local (exemplo educação)

5
 Português
Portuguese Matemática
Math

.5

.5
Standardized test scores

Standardized test scores

normalizadas

normalizadas
Exemplo:

0
corrupção em

-.5

-.5
-1

-1
educação e

Notas

Notas
-1.5

-1.5
aprendizagem 0
Proportion
.2
of items
.4
with
.6
corruption
Proporção de apontamentos de corrupção
0
Proportion
.2
of items
.4
with
.6
corruption
Proporção de apontamentos de corrupção

Português
Portuguese Matemática
Math

.5

.5
Notas normalizadas
Standardized test scores

Standardized test scores

normalizadas
0

0
-1 -.5

Notas -.5
-1
-1.5

-1.5
0 .1 .2 .3 .4 0 .1 .2 .3 .4
Fonte: Ferraz; Finan; Moreira, 2012 Share of
Proporção deaudited resources
auditorias withcorrupção
contendo corruption Proporção
Share of de
audited resources
auditorias with corruption
contendo corrupção
 Contexto
• Apesar de consenso sobre
efeitos maléficos da corrupção,
pesquisadores têm dificuldade
em medir corrupção e seus
efeitos

• Não há consenso sobre a

melhor forma de combater
corrupção

• Em parte por que há pouca

evidência rigorosa sobre
impacto de políticas anti-
corrupção

Veículo usado como transporte escolar

passa por ponte mal construída

Fonte: J-PAL
Como combater a corrupção?

• De cima para baixo – foco em auditorias e punição

(ex. tribunais de contas)

• De baixo para cima – foco em participação e controle

da sociedade civil (ex. conselhos municipais)

8
Pergunta: como combater a corrupção?

• De cima para baixo – foco em auditorias e punição (ex.

tribunais de contas)

• De baixo para cima – foco em participação e controle da

sociedade civil (ex. conselhos municipais)

• Política alternativa – mistura ambas as políticas. Auditar, mas

prover a informação que possa ser utilizada pela sociedade
civil e pelo poder judiciário

9
Contexto: O Programa de Fiscalização por Sorteios
Públicos

• Implementado em 2003, o Programa de Fiscalização por Sorteios

Públicos seleciona municípios de forma aleatória para fazer uma
auditoria do uso de recursos federais

• Objetivos
– Desencorajar o mau uso de recursos públicos
– Fortalecer a participação da sociedade civil

10
 Efeitos de informação sobre corrupção
• Informação sobre corrupção aparece normalmente no processo eleitoral

• Municípios com maior cobertura de mídia, maior concorrência política e

sociedade civil mais ativa tendem a descobrir mais ocorrências de corrupção

• Além disso, auditorias são feitas normalmente em localidades mais

problemáticas

• Como podemos isolar o efeito da divulgação de informação sobre corrupção?

11
Sorteio de municípios
Auditorias da CGU
50 a 60 municípios
selecionados a
cada 3 meses de
uma amostra de
municípios com
menos de 450 mil
habitantes

Sorteio realizado pela antiga Controladoria

Geral da União (CGU)

Fonte: CGU (Controladoria Geral da União) 12

O Programa - passo a passo
1. Coleta de informações depois do sorteio
• CGU reúne dados de recursos federais transferidos aos municípios, e
• Gera ordens de serviço associadas aos recursos de programas

2. Fiscalização nos municípios

• Conduzida por 10 a 15 auditores da CGU, que
• Examinam contas e documentos, e
• Inspecionam a qualidade e entrega de serviços

3. Divulgação dos resultados

• Relatório detalhado é enviado à CGU em Brasília, e
• Resumo com principais constatações é enviado a órgãos de controle, Câmara de
Vereadores e publicado na Internet e na mídia
13
Perguntas da avaliação

• A divulgação de informação sobre políticos corruptos tem impacto sobre

resultados eleitorais?

• O efeito da informação depende das opiniões prévias dos eleitores sobre o

nível de corrupção dos atuais prefeitos?
– Efeito negativo quando níveis de corrupção forem mais altos?
– Efeito positivo quando níveis de corrupção forem mais baixos?

• O impacto da divulgação de informação depende da existência de mídia

local?

14
I. Por que avaliar impacto?

II. Teoria da Mudança

III. Como aleatorizar, tamanho amostral e poder

IV. Medição

V. Aspectos operacionais

VI. Desafios após a implementação da pesquisa

VII. Uso da evidência

 Problemas/ Alta incidência de corrupção
necessidades em governos locais

Insumos/ Auditores para realizar Mídia local para divulgar

atividades fiscalizações informações

Relatórios das auditorias Informações de auditorias

Produtos disponibilizadas para a população

Eleitores obtém informação de auditorias sobre corrupção,

bem como órgãos de controle e judiciário
Resultados
intermediários

Prefeitos são vistos Prefeitos são vistos como Aumentam

como políticos inábeis políticos corruptos processos contra
políticos
Penalização de
corruptos nas Menores taxas de
Resultados
finais
urnas corrupção 16
Premissas

• Mídia local se dedica a difundir informação sobre auditorias, e eleitores

têm acesso a ela

• Eleitores acreditam nas auditorias, entendem a informação, e mudam

atitudes

• Eleições servem como um momento de premiação, e são efetivas:

votos produzem mudanças

• Existem candidatos não corruptos para substituir corruptos

17
Hipótese causal

“Se a realização e divulgação de auditorias sobre o uso

de recursos federais por gestores municipais geram
informações à população sobre grau de corrupção de
prefeitos, isto levaria à exposição e penalização de
corruptos, e à redução de taxas municipais de corrupção,
contribuindo para a mitigação da corrupção”

18
I. Por que avaliar impacto?

II. Teoria da Mudança

III. Como aleatorizar, tamanho amostral e poder

IV. Medição

V. Aspectos operacionais e desafios

VI. Uso da evidência

 Tratamento: Divulgação das Auditorias
O que o Governo Federal fez
• Antes das eleições de outubro 2004. Auditou e disseminou informações sobre
os níveis de corrupção em 376 municípios aleatoriamente definidos
• Depois das eleições de outubro 2004. Disseminou os relatórios de auditoria de
300 municípios

Assim, temos informações sobre 2 grupos de municípios

• Grupo de tratamento. Informações foram disseminadas ANTES das eleições,
potencialmente afetando a percepção dos eleitores sobre o prefeito candidato
à reeleição
• Grupo de controle. Informações foram disseminadas DEPOIS das eleições

20
Intervenção: Divulgação

Número de municípios selecionados

Pré eleição Pós eleição

Fonte: Ferraz & Finan, 2008

21
Definição do tratamento

Tratamento Controle
Divulgação das Divulgação das
auditorias antes das auditorias depois
eleições das eleições

22
Comparações
Performance, nas urnas, de
candidatos à reeleição para
prefeito que tiveram suas
auditorias divulgadas antes da
eleição
Chance de prefeitos com
resultados de corrupção mais
graves serem reeleitos
Performance, nas urnas, de
candidatos à reeleição para
prefeito que tiveram suas
X auditorias divulgadas
após a eleição
Chance de prefeitos com
X resultados de corrupção menos
graves serem reeleitos
23
Comparações
Performance, nas urnas, de
candidatos à reeleição para
prefeito que tiveram suas
auditorias divulgadas antes da
eleição
Chance de prefeitos com
resultados de corrupção mais
graves serem reeleitos
Chance de prefeitos serem
reeleitos em cidades com
estações de rádio locais
Performance, nas urnas, de
candidatos à reeleição para
prefeito que tiveram suas
X auditorias divulgadas
após a eleição
Chance de prefeitos com
X resultados de corrupção menos
graves serem reeleitos
Chance de prefeitos serem
X
reeleitos em cidades sem
estações de rádios locais
24
Marco Amostral

• Unidade de análise são os municípios

• Porém a CGU selecionou municípios, de forma aleatória, por meio de

sorteios, em uma amostra de todos os municípios com menos de 450
mil habitantes

• Em julho de 2005, havia relatórios para 669 municípios selecionados

nos 13 primeiros sorteios

• Foram incluídos somente os municípios com prefeitos que pudessem

ser reeleitos, resultando numa amostra final de 373 municípios

27
 Desenho da avaliação
Como foi feita

Em 2005, das 669

municípios auditados,
373 municípios tinham
prefeitos que podiam
ser reeleitos

Amostra para avaliação

205 municípios 168 municípios

Auditorias foram Auditorias foram
divulgadas antes da divulgadas depois
eleição de 2004 da eleição de 2004

Grupo de tratamento Grupo de comparação

26
 Ponderações da aleatorização

Procedimentos para checar aleatorização

• Embora seja feita aleatorização de definição de municipalidades
auditadas, para se garantir que os dois grupos analisados (de tratamento,
com auditorias pré-eleitorais; e de controle, com auditorias pós processo
eleitoral) são semelhantes, é realizado estudo das diferenças entre eles

• No caso, não foram observadas diferenças significantes entre os dois grupos

27
Linha de base-
aleatorização
0.35
Pós eleições
Post-election
0.3
Pré eleições
Pre-election
0.25

0.2

0.15

0.1

0.05

0
0 1 2 3 4 5 6 7
Número
Numerode
de violações-corrupção
violações-corrupção

Fonte: Ferraz & Finan, 2008

29
 Elementos do desenho
• Municípios espalhados pelos estados, baixa probabilidade de contaminação
(corrupção em município x afetar eleição em município y)

• Análise no mesmo nível do tratamento, não há preocupação com

estratificação e correlação intra-cluster

• Cálculo de poder: como se sabe que 380 municípios seriam suficientes para
detectar efeito? Dados secundários – seria fácil expandir a amostra se não
fosse possível detectar efeito

30
 Elementos gerais
• Avaliação utiliza dados secundários

• Brasil tem ótimas bases de dados administrativos: resultados eleitorais,

dados do SUS, censo escolar, RAIS, Prova Brasil

• Muitos estudos e avaliações aleatorizadas podem ser feitos com dados

secundários

• Precisa-se somente relacionar tratamento com a unidade de observação

31
I. Por que avaliar impacto?

II. Por que aleatorizar?

III. Teoria da Mudança

IV. Como aleatorizar, tamanho amostral e poder

V. Medição

VI. Aspectos operacionais e desafios

VII. Uso da evidência

 Definição de indicadores
• Indicador de grau de corrupção associado às auditorias
– Tipicamente ligados a fraudes em contratos públicos, notas frias, empresas
fantasmas e sobrepreço
– Estabelecimento de quais irregularidades eram corrupção e quais apenas má
administração
– Foi então desenvolvido indicador de grau de corrupção identificado

• Também foram desenvolvidos indicadores relativos à

– Performance eleitoral e perfil dos candidatos - Tribunal Superior Eleitoral
– Demais dados municipais - Instituto Brasileiro de Geografia e Estatística

33
Dados: dados administrativos

• Coleta de dados administrativos

– Codificar medidas de corrupção disponíveis na página da CGU

– Juntar dados do Censo, dados eleitorais, características municipais

34
I. Por que avaliar impacto?

II. Por que aleatorizar?

III. Teoria da Mudança

IV. Como aleatorizar, tamanho amostral e poder

V. Medição

VI. Aspectos operacionais e desafios

VII. Uso da evidência

 Aspectos operacionais
• Aleatorização permitida pela impossibilidade de auditar todos os municípios
ao mesmo tempo

• Não foram encontradas evidências de que houvesse

– Falta de uniformidade das auditorias pré e pós eleições
– Favorecimento de prefeitos ou partidos

• Avaliação de baixo custo, dada a disponibilidade de dados administrativos

36
I. Por que avaliar impacto?

II. Teoria da Mudança

III. Como aleatorizar, tamanho amostral e poder

IV. Medição

V. Aspectos operacionais e desafios

VI. Uso da evidência

Quais foram os efeitos das auditorias nos
resultados eleitorais?

38
 Resultados
Divulgação de auditorias reduziu reeleição de prefeitos acusados
de corrupção
TAXAS DE REELEIÇÃO POR NÍVEL DE
CORRUPÇÃO

• Em municípios em que
Auditoria pós Auditoria pré-
eleições - eleições -
comparação tratamento

auditorias apontaram
dois casos de corrupção,

TAXAS DE REELEIÇÃO
auditoria reduziu
probabilidade de
reeleição em 7 pontos
percentuais (pp), e 3
violações em 18 pp
NÚMERO DE VIOLAÇÕES DE CORRUPÇÃO

Fonte: Ferraz & Finan, 2008

39
 Resultados
Divulgação de auditorias reduziu reeleição de prefeitos acusados
de corrupção
TAXAS DE REELEIÇÃO POR NÍVEL DE
CORRUPÇÃO

• Eleitores informados
Auditoria pós Auditoria pré
eleições - eleições -
comparação tratamento

puniram mais
severamente candidatos

TAXAS DE REELEIÇÃO
envolvidos em altos níveis
de corrupção

• E premiaram políticos
honestos
NÚMERO DE VIOLAÇÕES DE CORRUPÇÃO

Fonte: Ferraz & Finan, 2008

40
 Resultados
Divulgação em rádios locais puniu candidatos corruptos e ajudou
candidatos sem acusações
MUDANÇA NA PROBABILIDADE DE REELEIÇÃO

• Em auditorias que identificaram 3 casos 3 CASOS DE

CORRUPÇÃO
NENHUM CASO
DE CORRUPÇÃO
de corrupção, candidatos a reeleição

PONTOS PERCENTUAIS
em municípios com estação de rádio
local viram reduzidas em 16 pontos
percentuais (pp) suas chances de
serem reeleitos
UMA ESTAÇÃO

NENHUMA
• Entre candidatos não corruptos, a ESTAÇÃO NENHUMA

divulgação das auditorias aumentam a

ESTAÇÃO

probabilidade de reeleição em 17 pp Diferença estatisticamente

significante (a 90%)

em cidades com rádios locais UMA ESTAÇÃO

Fonte: Ferraz & Finan, 2008

41
 Conclusões

• Eleitores se importam com

corrupção, mas muitas
vezes não têm acesso à
informação

• Quando informados sobre

corrupção, eleitores
mudam a maneira como
votam

Eleitora vota durante eleição no Brasil

Fonte: Evaldo Peres (AP)
 Conclusões

• Veículos de mídia
podem fortalecer a
responsabilização e
influenciar eleitor na
escolha de candidatos

• Políticos honestos são

recompensados nas
eleições

Moradoras discutem candidatos durante período eleitoral

Fonte: J-PAL
Conclusões

Os resultados são importantes para se entenderem os

efeitos da política no bem-estar dos eleitores

Divulgação de Eleitores escolhem

Melhora na
informação sobre o melhores
qualidade do
desempenho dos formadores de
governo
políticos políticas públicas

44