Aspectos operacionais

Marco Gonzalez-Navarro
Professor da Universidade de Toronto
Pesquisador afiliado do J-PAL
Contexto

• Os aspectos operacionais são um dos fatores que determinam a

qualidade de uma avaliação de impacto

• Os esforços não são sempre visíveis para beneficiários de um

programa, mas são essenciais para que uma avaliação funcione

• Podem parecer simples, mas não o são: pode haver sucessos

inesperados e andamento do projeto pode fugir ao planejado

• Para evitar que isso aconteça, temos técnicas e aprendizados

1
Desafios operacionais

2
 Exemplo

Avaliação de educação por

computadores

3
Educação sexual por meio de curso online

• Intervenção: iniciativa de promoção de educação sexual

entre jovens na Colômbia por meio de curso online

• Infraestrutura necessária: computadores e acesso à internet

• Período: 2009

4
Desafio
Havia escolas que não possuíam acesso à
internet, precondição para a aplicação do curso

5
Falhas comuns
• Má comunicação entre equipe de pesquisa e implementador: não é
seguido o protocolo de aleatorização ou há uma interpretação confusa
de resultados após a intervenção

• Planejamento mal desenvolvido: entrevista é realizada em um momento

inadequado, provocando altos níveis de desgaste

• Gastos maiores do que o orçado: não há fundos suficientes para terminar

a avaliação

• Monitoramento inadequado: um entrevistador registra respostas erradas,

comprometendo a qualidade dos dados

6
Estrutura da aula

• Etapas de um projeto e planejamento

• Colaboração entre implementadores e pesquisadores

• Levantamento de dados

• Gestão orçamentária

• Monitoramento

• Ética

7
Etapas de um projeto de avaliação
 Intervenção

Seleção e capacitação de
equipe de campo

Desenvolvimento da
intervenção
Preparação
Avaliação de processos/
monitoramento Análise
Desenho Orçamento de dados
Levantamento de
Aprovação ética dados
Desenho de questionário

Linha de base

Linha de
acompanhamento

Linha de saída

Monitoramento

9
Gerir um projeto é um processo que requer…

1. Planejamento

2. Monitoramento

3. Gestão de recursos

4. Flexibilidade e capacidade de reação

10
O que é um planejamento?

• Definir alcance: atividades e entregas

• Identificar recursos e limitações

• Estabelecer níveis de risco e qualidade

• Identificar stakeholders

11
O que devo fazer para planejar?

1. Criar estrutura de trabalho (Diagrama de Gantt)

2. Papéis e responsabilidades

3. Produzir orçamento

4. Mapear stakeholders

12
Ferramentas de planejamento

13
 2016
Ativ. Sub-atividade Responsável Inicio Fim Status
Ene Feb Mar Abr mai
Entrevista linha de base

Criar entrevista Joana 01-Ene 03-Mar Feito

Contratar Joana 03-Mar 15-mai
Feito
entrevistadores
Coletar dados Joana 15-mai 15-Jun Em
processo
Intervenção

Desenvolver Paula 1-Mar Diagrama

30-mai de Gantt
Em
material processo
Aleatorizar Paula 15-Jun
1. Definir Xetapas
16-Jun

Distribuir Paula 1-Jul 15-Ago

X
intervenção
Entrevista final

Atualizar Joana 1-Nov 1-Dic

X
entrevista
Contratar Joana 1-Dic 13-Dic
X
entrevistadores
Coletar dados Joana 15-Dic 15-Ene X
Análise X
Limpeza de
dados e análise
3.
Rita Programar
16-Enedatas
15-Mare status
X
 2016
Ativ. Sub-atividade Responsável Inicio Fim Status
Ene Feb Mar Abr mai
Entrevista linha de base

Criar entrevista Marta 01-Ene 03-Mar Feito

Contratar Marta 03-Mar 15-mai
Feito
entrevistadores
Coletar dados Marta 15-mai 15-Jun Em
processo
Intervenção

Desenvolver Julia 1-Mar 30-mai Em

material processo
Aleatorizar Julia 15-Jun
2. Atribuir responsabilidades
16-Jun X
Distribuir Julia 1-Jul 15-Ago
X
intervenção
Entrevista final

Atualizar Marta 1-Nov 1-Dic

X
entrevista
Contratar Marta 1-Dic 13-Dic
X
entrevistadores
Coletar dados Marta 15-Dic 15-Ene X
Análise X
Limpeza de
dados e análise
3.
Rita Programar
16-Enedatas
15-Mare status
X
 2017
Ativ. Sub-atividade Responsável Início Fim Status
Jan Fev Mar Abr Mai
Entrevista linha de base

Criar entrevista Marta 01-Jan 03-Mar Feito

Contratar Marta 03-Mar 15-Mai
Feito
entrevistadores
Coletar dados Marta 15-Mai 15-Jun Em
processo
Intervenção

Desenvolver Julia 1-Mar 30-Mai Em

material processo
Aleatorizar Julia 15-Jun 16-Jun X
Distribuir Julia 1-Jul 15-Ago
X
intervenção
Entrevista final

Atualizar Marta 1-Nov 1-Dez

X
entrevista 3. Programar
Contratar Marta 1-Dez 13-Dez
X datas e status
entrevistadores
Coletar dados Marta 15-Dez 15-Jan X
Análise X
Limpeza de
dados e análise
3.
Rita Programar
16-Jandatas
15-Mare status
X
Matriz de Responsáveis
RACI Chart - Responsible, Accountable, Consulted and Informed

Matriz de Responsáveis
Accountable
Responsável (responsável
Atividade (pela operação) superior) Consultado Informado

Atividade 1

Atividade 2

Fonte: Baseado em Chart 10-5, Stakeholder Analysis Matrix ©2008 Project Management Institute. A Guide to the Project
Management Body of Knowledge®, (PMBOK® Guide) – Fourth Edition

17
Mapeamento de stakeholders: quem são?

• Pesquisadores

• Equipe de pesquisa
• Níveis de interação
• Participantes do programa
• Interesse na
• Instituição implementadora
avaliação
• Financiadores
• Responsabilidades
• Audiência (resultados)

• Potenciais futuros
implementadores

18
Matriz de análise de stakeholders

Matriz de análise de Stakeholders

Interesse no Análise de
Stakeholder Estratégias
projeto impacto/risco

Fonte: Baseado em Chart 10-5, Stakeholder Analysis Matrix ©2008 Project Management Institute. A Guide to the Project
Management Body of Knowledge®, (PMBOK® Guide) – Fourth Edition

19
Plano Original

Realidade

20
Colaboração entre
implementadores e pesquisadores
Colaboração entre implementadores e pesquisadores

• Avaliações aleatorizadas normalmente implicam intensa colaboração

entre atores numa experiência enriquecedora

• Ela requer comunicação constante (na formulação e implementação),

alinhamento de interesses e expectativas (no desenho da pesquisa) e
entregas intermediárias de produtos

• Assim, é importante ter regras do jogo e responsabilidades pactuadas

para manter uma boa relação

22
O que caracteriza uma organização
implementadora adequada?

• Escala
• Representatividade
• Experiência
• Estabilidade de equipe
• Reputação
• Flexibilidade
• Compreensão (que pode ser desenvolvida ao longo do processo)
• Desejo de conhecer o impacto de sua ação

23
Documentos para balizar colaboração

Contrato & Plano de Trabalho:

• Condições contratuais
• Pagamentos
• Multas
• Direitos de propriedade intelectual
• Datas e prazos

Acordo de confidencialidade:
• Acesso à informação
• Gestão de dados
• Obrigações
26
Levantamento de dados
Etapas de levantamento de dados

Acompanhamento
Linha de Linha de
e Avaliação de
base Processos saída

26
O que considerar ao se levantar dados?

• Impactos esperados

• Disponibilidade dos entrevistados (risco de desgaste)

• Considerações logísticas

• Momentos que minimizem distorções

27
Equipe de campo

• Apesar de o uso de ferramentas tecnológicas ser cada vez mais comum,

entrevistar ainda é um processo que requer contratação de pessoal

• Entrevistas presenciais
Vantagem: capacidade de adaptação
Desvantagem: influência nas respostas

• Por isso é muito importante a seleção, capacitação e monitoramento da

equipe de campo

28
Seleção: definir perfil para equipe de campo
• Habilidades interpessoais
• Cordialidade
• Flexibilidade
• Empatia
• Capacidade de reação
• Paciência
• Experiência em levantamento de dados
• Afinidade com o estudo e o contexto
• Domínio de tecnologias de comunicação

29
Capacitação

Teórica:
• Protocolos
• Aspectos éticos
• Passos a seguir
• Plano de reação

Prática:
• Jogo de papéis
• Simulação

30
Gestão do orçamento
Tipos de custos

Diretos Indiretos
• Trabalho de campo • Aluguel de escritório
• Trabalho técnico • Gastos de escritório
• Serviços básicos (luz, água etc.)
• Serviços de terceiros

32
Componentes de custos

ITEM 1º trimestre 2º trimestre 3º trimestre 4º trimestre Total

ENTRADAS - - - - -

SAÍDAS
I. CUSTOS DIRETOS

II. CUSTOS INDIRETOS

Custos diretos
Trabalho Técnico
• Salários de pesquisadores
• Visitas a campo
• Custos administrativos
Trabalho de Campo
• Equipe temporária: Entrevistador/
Digitador/ Supervisor/ Coordenador
• Capacitação
• Materiais para campo: caixas, mapas,
comunicação
• Materiais para entrevistas: impressões
• Transporte e alimentação
• Local de armazenamento das
entrevistas
• Seguros pessoais em campo
• Monitoramento
• Incentivos
• Imprevistos
34
Parâmetros de custos

• Equipes de Trabalho de Campo: terceirizado versus estagiários

• Duração: tempo total de desenho, implementação e análise
Parâmetros de • Fases: quantidade de levantamentos de dados
pesquisa • Instrumentos
• Contexto Local: seguros, impostos, idioma

• Fontes de Dados e Instrumentos: fontes de dados (coletados nos

campo versus dados administrativos)
• Tamanho da Amostra: a quantidade de unidades na amostra,
Parâmetros de quanto maior a amostra, mais caro é medir
Implementação • Unidade Amostral: a unidade amostral (p. ex. nível individual,
agrupamentos ou clusters)
• Dispersão da Amostra: as distâncias entre unidades de medição

35
Recomendações

• Atualizar custos passados

• Liquidez: assegurar entradas de recursos em momentos oportunos

• Incluir taxas de empréstimos

• Flutuações de taxas de câmbio

• Contextualizar e justificar gastos

• Fazer acompanhamento

36
Monitoramento
“Nenhum plano de batalha sobrevive
ao contato com o inimigo.”
Helmuth von Moltke
(1800 – 1891)

38
Sistema de acompanhamento

• É relevante tanto para o levantamento de dados como para

o acompanhamento de entrevistadores

• Permite detectar falhas na implementação ou ameaças à

qualidade dos dados a tempo para reagir oportunamente

• Entrega informações a respeito dos dados para sua posterior

interpretação

39
 Componentes do monitoramento
• Monitoramento da implementação
• Análises
• Backchecks (checagens)
• Digitação

Monitorar o orçamento
• Compartilhar orçamento e expectativas com a equipe
• Manter um orçamento atualizado com entradas e saídas
• Fazer relatórios financeiros constantes
• Manter a noção da liquidez orçamentária

40
O caso Tuskegee

• Objetivo: estudar a progressão de sífilis entre 1932 e 1972 no Alabama

(EUA) para demonstrar necessidade de tratamento adequado para a
doença

• Problema: 399 pacientes com a doença não foram informados do

diagnóstico e não receberam medicamentos

• Resultado: Após caso ser revelado, Congresso americano criou uma

comissão de proteção a pessoas em pesquisas. Em 1979, a comissão
publicou o “relatório de Belmont”, que define princípios éticos de
pesquisa com seres humanos
Registro de projetos

Contém a história de um projeto

Marcos que devem ser incluídos:

• Início de processos com datas
• Decisões acordadas
• Mudanças à programação
• Lições aprendidas

Fonte: Lucas Almeida, The Noun Project

42
Ética
 Os princípios do relatório de Belmont

Respeito às pessoas Risco-benefício Justiça

Na seleção e tratamento
Consentimento Informado Importante ponderação
da amostra

Convite deve ter • Ponderar relação • Individual: o

informações sobre a: risco-benefício da tratamento dos
• Organização pesquisa sujeitos deve ser
• Pesquisa • Nas pesquisas imparcial
• Confidencialidade sociais, os riscos se • Social: a carga que
• Intervenções associam mais a implica participar da
• Metodologia de temas que pesquisa é diferente
contato com envolvam para diferentes
envolvidos confidencialidade grupos

44
Respeito às
pessoas Personally Identifiable Information (PII)

Definição: informação que pode ser utilizada para identificar uma

unidade individual e habitacional com um alto nível de confiança (p. ex.
RG, nome, endereço)

Tipos de dados
• Dados Primários: levantados para a pesquisa
• Dados Secundários: foram produzidos por outras pessoas ou instituições

Precauções para a não identificação eventual

• Criptografia dos dados
• Segurança física dos dados

Importância da proteção de dados

45
Comitês de ética
Institutional Review Board (IRB): Grupo designado por uma instituição
(p. ex. Universidade) para aprovar, monitorar e revisar pesquisas que
envolvam pessoas

No Brasil: Comissão Nacional de Ética em Pesquisa (CONEP)

Avaliação desenhada  postula-se a um Comitê de Ética

• Formulário de candidatura
• Instrumentos de pesquisa
• Documentos de consentimento informado
• Entrevistas
• Cartas de apoio

46
Levantamento de dados com parceiros externos

Por que pode ser desejável?

• Experiência
• Maior escala
• Equipes de trabalho
• Redes de contato

Os conselhos aqui são relativos ao cuidado para que os

documentos associados (termos de referência, protocolos,
contrato, planejamento etc.) detalhem bem as
necessidades da pesquisa

47
Conclusões
Em resumo

• Os aspectos operacionais de um projeto contemplam inúmeros desafios

• Para os usuários das avaliações de impacto, muitas vezes esses aspectos

são uma parte pouco visível, mas são o motor que permite obter resultados

• Há muitos erros que podem ser cometidos e estes podem ter sérias
consequências, mas também há mecanismos para nos precavermos

49