ESCOLA SUPERIOR DO MINISTÉRIO PÚBLICO

DA UNIÃO

PROGRAMA DE PÓS-GRADUAÇÃO
ESPECIALIZAÇÃO EM GESTÃO DE PESSOAS

AVALIAÇÃO DE REAÇÃO DE CURSOS A DISTÂNCIA.

ESTUDO DE CASO: ACEITAÇÃO DE CURSOS POR
PARTE DOS USUÁRIOS DA PLATAFORMA EAD - MPF.
Karina Felix Ramos
Brasília
2015
 AVALIAÇÃO DE REAÇÃO DE CURSOS A DISTÂNCIA.
ESTUDO DE CASO: ACEITAÇÃO DE CURSOS POR PARTE
DOS USUÁRIOS DA PLATAFORMA EAD - MPF .

Monografia apresentada ao Programa de Pós-Graduação da

Escola Superior do Ministério Público da União para a
obtenção do grau de Especialista em Gestão de Pessoas.

Orientadora
Cibele de Araújo Aguiar
 BREVE HISTÓRICO

Projeto Plataforma EaD MPF

Início: 2012
Prazo: 3 meses para sua completa
implantação.
 PRINCIPAIS MOTIVOS:
a) demanda por eventos envolvendo várias unidades do
MPF;
b) unificação das orientações gerais e melhores práticas
em diferentes áreas do MPF;
c) demanda por diárias e passagens em eventos de
treinamento;
d) as restrições à utilização de diárias e passagens nos
três últimos exercícios devido a questões orçamentárias;
e) a necessidade de capacitar pessoas em pontos remotos
do país;
f) a utilização anterior pela TI de um ambiente de
educação a distância em Moodle.
 PRINCIPAIS PRODUTOS:
a) implantação de um ambiente de educação a
distância com identidade visual do MPF;
b) desenvolvimento de um curso piloto para ser
utilizado na plataforma a ser implantada;
c) elaboração de uma minuta de
regulamentação para o uso da plataforma de
EaD; e
d) elaboração de um relatório com proposta de
soluções para a operação da plataforma.
RESULTADOS 2013/2014:
2013:
• 10 cursos;
• 1700 participantes.
2014:
• 20 cursos;
• + de 4 mil participantes
TOTAL (2013/2014):
• 30 CURSOS
• Mais de 6 mil participantes
OBJETIVO GERAL DESTE ESTUDO:

realizar uma avaliação dos cursos realizados nos

dois primeiros anos após a implantação da
plataforma EaD no Ministério Público Federal.
 OBJETIVOS ESPECÍFICOS:
(i) identificar quais parâmetros de
avaliação de reação seriam adotados
como indicadores de satisfação,
(ii) realizar a análise destes
indicadores, com o objetivo de
quantificar esta aceitação.
 COLETA DE DADOS:
• a partir do sistema Moodle, dos
resultados das avaliações preenchidas
pelos participantes ao final de cada
curso,
• banco de dados GPS, em relatórios por
meio do sistema de pesquisas e
relatórios GPS Consulta.
QUANTIFICAÇÃO DA ACEITAÇÃO DOS
CURSOS:
• Compreendendo o universo de
cursos ministrados pela EaD MPF em
2013 e 2014;
• com base na avaliação preenchida
pelos participantes ao final de cada
curso.
 REFERENCIAL TEÓRICO:
• Para Mourão e Meneses:
a avaliação de TD&E e de sua efetividade não
constitui apenas um evento isolado, mas o estudo
de um complexo fenômeno que demanda a adoção
de um modelo teórico orientador.

• Modelo de Kirkpatrick:
a estrutura mais popular para guiar avaliações de
TD&E.
 MODELO DE KIRKPATRICK:
quatro níveis de avaliação das ações
de TD&E:
• reação,
• aprendizagem,
• desempenho no cargo (indivíduo)e
• resultados (organização).
 MODELO DE HAMBLIN:
• preocupação central:
• avaliar os resultados de um evento instrucional.
• níveis avaliados:
• reação (satisfação do treinando com o treinamento);
• aprendizagem (cumprimento dos objetivos
instrucionais);
• comportamento no cargo (aplicação dos CHAs –
conhecimentos, habilidades e atitudes aprendidos); e
• resultados:
• organização (mudança nos processos organizacionais) e
• valor final (efeitos nos indicadores financeiros).
 ABAD E CARVALHO:
• Os autores entendem que os níveis possuem
relação linear, sequencial e têm correlação
alta entre eles. No entanto asseveram que as
pesquisas empíricas, nacionais e estrangeiras
têm chegado a resultados diferentes, não
encontrando relações diretas entre os níveis.
MODELO IMPACT
 ABBAD ET AL:
• modelo IMPACT - Modelo Integrado de
Avaliação do Impacto do Treinamento no
Trabalho:
em sentido ideal, um evento instrucional
deveria produzir reações favoráveis nos
participantes.
 KIRKPATRICK E HAMBLIN:
definiram o nível de avaliação de reação:

• mensura as opiniões dos participantes sobre

diversos aspectos do treinamento.
• reações ao treinamento são resultados
imediatos do treinamento, suposta e
positivamente relacionados com os demais
níveis de avaliação de aprendizagem,
comportamento no cargo e resultados.
 ABBAD et al:

• avaliar reações constituiria, de acordo com

essas abordagens, um importante primeiro
passo na avaliação da efetividade do
programa de TD&E
RELACIONAMENTO ENTRE OS NÍVEIS
AVALIATIVOS:

• pesquisas nacionais e internacionais têm

oferecido apoio, ainda que parcial, a essas
suposições de relacionamento entre os níveis.
 ABBAD E SILVEIRA:
• aconselham que mais investigações sejam feitas
neste âmbito: “Mesmo com tantos avanços em
avaliação de treinamento, muito pouco se sabe
sobre as variáveis que predizem a aprendizagem”.
• As autoras asseveram que este estudo não
corroborou os achados recentes, quanto ao
poder preditivo de dados demográficos, como
idade e nível de instrução e sugerem que
variáveis motivacionais também sejam
estudadas.
 INSTRUMENTO AVALIATIVO
EaD MPF:
• questionário do tipo likert;
• escala que varia de 0 (péssimo) a 5 (excelente);
• última questão (objeto do estudo), escala de 0 a
10 ;
• caso o item não seja adequado à sua realidade,
deve então registrar NA (não se aplica);
• questionário dividido em grandes temas com
mesma escala, cada qual comportando uma série
de questões.
 INSTRUMENTO AVALIATIVO
EaD MPF:
Temas abordados:
• I. Ambiente de Aprendizagem;
• II. Avaliação dos Procedimentos do Curso;
• III. Avaliação do Tutor;
• IV. Avaliação dos Resultados do Curso;
• V. Nota Global do Curso.
Neste último tema, o aluno é orientado a,
considerando todos os aspectos avaliados do curso,
de forma global, atribuir uma nota ao curso, em
uma escala de 0 a 10.
RESULTADO MOSTRADO NO
MOODLE:
 CONCLUSÕES:
• 6.121 servidores treinados;
• 4.389 responderam à avaliação de reação do
respectivo curso (71,70% do total de
participantes);
• 4.094 avaliaram os cursos em que participaram
com notas entre sete e dez pontos (93,27% dos
respondentes).
Obs: em todos os cursos, a moda, ou seja, a
frequência com mais respondentes esteve acima de
oito pontos.
 CONCLUSÕES:
• A bibliografia apresentada aponta para a
efetividade da avaliação de reação como
instrumento na aferição da opinião dos
participantes em um curso, de forma a
assegurar se um evento foi ou não aceito pelo
público-alvo no momento exato após sua
aplicação.
 CONCLUSÕES:
• O objetivo de quantificar a aceitação dos
cursos foi alcançado, com base na avaliação de
reação dos cursos, os quais foram em geral
bem avaliados, apresentando um índice de
93,27% das avaliações apontando para valores
acima de 7 pontos para uma avaliação geral da
plataforma.
 CONCLUSÕES:
• Sugere-se que, para os próximos cursos, os
instrumentos de avaliação sejam ajustados
conforme o proposto por Abbad et al, por ser
este um modelo já validado.