MMALA: Um Modelo de Maturidade para

Adoção de Learning Analytics

Candidata: Elyda Freitas

Orientador: Prof. Dr. Fernando da Fonseca de Souza
Coorientador: Prof. Dr. Vinícius Cardoso Garcia
 Agenda de Apresentação
1. Introdução
2. Referencial Conceitual
3. Metodologia
4. MMALA: Um Modelo de Maturidade para Adoção de
Learning Analytics – Da concepção à primeira avaliação
5. Avaliação Final do MMALA por Opinião de Especialistas
6. MMALA: Modelo de Maturidade para Adoção de
Learning Analytics (versão final)
7. Considerações Finais
8. Referências

2
INTRODUÇÃO

3
 Introdução
• Learning Analytics (LA) refere-se à “medição,
coleta, análise e descrição de dados sobre
estudantes e seus contextos, com o propósito
de entender e otimizar o aprendizado e os
ambientes em que ocorrem”

SoLAR - Society for Learning Analytics Research

4
 Introdução
• O Modelo de Maturidade é “uma estrutura
conceitual, composta por processos bem
estabelecidos, por meio do qual uma
organização desenvolve-se de modo sistêmico
a fim de atingir um estado futuro desejado”.

Almeida Neto et al. (2015)

5
 Motivação
• LA tem sido aplicada especialmente sob uma
perspectiva “bottom-up”
– A outra perspectiva, “top-down”, é ainda pouco
representativa (Siemens et al. 2013)

• São necessários instrumentos que ajudem as

instituições a lidar com a complexidade da
adoção de LA

6
 Questão de Pesquisa
• Quais são as práticas necessárias à adoção de
Learning Analytics e como estruturá-las para
fornecer um roteiro alinhado à perspectiva
“top-down”?

7
 Justificativa
• A adoção de LA precisa ser desenhada com
cuidado para ser benéfica
Greller e Drachsler (2012)

• A utilização de um Modelo de Maturidade

pode permitir às instituições empregar LA de
modo planejado e sistemático
8
 Objetivos
• Geral
– Desenvolver um Modelo de Maturidade para adoção de
Learning Analytics em Instituições de Ensino Superior, com
atenção aos desafios vigentes da área.

• Específicos
– Identificar as dificuldades relatadas para a adoção e uso de LA a
fim de contemplar no modelo as ações que ajudem a minimizar
tais problemas;
– Definir as áreas que devem compor o Modelo de Maturidade
para Adoção de LA;
– Definir a estrutura do modelo e seus níveis de maturidade; e
– Avaliar o modelo proposto utilizando diferentes procedimentos
técnicos.
9
 Hipóteses
• H1: Considerando os variados desafios relacionados à
adoção de LA, o modelo ora proposto pode ser
considerado abrangente para atender àqueles desafios
já conhecidos da área.

• H2: Considerando o propósito do Modelo de

Maturidade para Adoção de Learning Analytics, os
itens propostos podem ser considerados coerentes em
cada área tratada pelo modelo.

• H3: O modelo proposto pode ser considerado

adequado ao seu propósito de apoiar a adoção de LA.
10
REFERENCIAL CONCEITUAL

11
 Learning Analytics
• LA se utiliza dos dados resultantes da
interação dos usuários com os Sistemas de
Gestão de Aprendizagem - bem como com
outras fontes
– Para realizar análises que auxiliam o aluno e o
professor a compreender e avaliar o processo de
ensino e aprendizagem, permitindo a tomada de
decisões e a melhoria desses processos.

12
 Learning Analytics
• Benefícios
– Professores recebem informações que facilitam o
acompanhamento dos estudantes
– Identificação de objetos de aprendizagem com
problemas
– Identificação do perfil e comportamento dos
estudantes
– Envio de mensagens de feedback personalizadas

13
 Revisão Sistemática de Literatura
• Pergunta de Pesquisa: “Como Learning
Analytics tem sido aplicada para apoiar o
ensino e aprendizagem?”
– Quais técnicas/ferramentas têm sido utilizadas?
– De que modo o uso de LA melhorou o ensino e
aprendizagem na instituição?
– Quais são os desafios na implementação de
Learning Analytics?

14
 Revisão Sistemática de Literatura
• Fontes de Informação: ACM Digital Library e IEEE Xplore
• Estratégia de Busca: Busca automática
• Equipe de Busca: 3 pesquisadores
• String de busca:

((“technique" OR "method" OR "performance" OR

"approach" OR "practice" OR "manner" OR "procedure")
AND ("application" OR "tool" OR "implementation") AND
("teaching" OR "learning") AND ("learning analytics"))

15
 Revisão Sistemática de Literatura
• Quais são os Desafios na Implementação de Learning
Analytics?
– Resultados analisados por Síntese Temática (Cruzes e Dyba, 2011)
Temas de Ordem Superior Temas
Gestão de Dados  Aquisição de Dados
 Qualidade de Dados
 Infraestrutura de TI
 Limitações da Arquitetura das Aplicações
 Integração de Dados
Administração e Capacitação  Questões Financeiras
 Despreparo/ Dificuldades de Uso
Questões Pedagógicas  Complexidade na Interpretação dos Resultados
 Necessidade de Envolvimento de Outros Profissionais
 Aspectos Pedagógicos
Avaliação das Soluções  Avaliação das Soluções
Legislação, Privacidade e Ética  Ética e Privacidade
 Desafios Legais 16
 Revisão Sistemática de Literatura
• Os resultados gerados pela pesquisa mostram
– a extensão e diversidade dos desafios
– a necessidade e a utilidade de um guia abrangente

• Desse modo, o Modelo de Maturidade pode

ser considerado um instrumento adequado
para apoiar as instituições no enfrentamento
desses desafios
17
 Modelos de Maturidade
• Os Modelos de Maturidade podem ser utilizados
em diferentes domínios

• Os MM definem categorias e áreas de processos

– uma categoria é composta por um conjunto de áreas
de processo
– “Uma área de processo é um conjunto de melhores
práticas relacionadas a uma área” (CMMI, 2010)

18
 Modelos de Maturidade
• Dentre os benefícios da utilização de MM, estão:
– maior consciência sobre o domínio: seu estado,
importância, potenciais, requisitos, complexidade, entre
outros (Wendler, 2012)
– ajuda as organizações a estabelecer objetivos para a
melhoria de processo e identificar oportunidades de
otimização (Soria et al., 2009)
– pode ser usado como base para o desenvolvimento de
planos de ação para fechar lacunas de desempenho e
melhorar a maturidade (Caralli et al., 2012)

• MM por si só não representam a solução definitiva

19
TRABALHOS RELACIONADOS

20
 Síntese dos Trabalhos Relacionados
Trabalho/ Ano Síntese

DMM / 2014 Descreve em detalhes as áreas de processos e atividades que permitem às instituições evoluir
no Gerenciamento de Dados. Porém, a análise dos dados está concentrada apenas em uma
área de processo, a de Medição e Análise.
DMBoK / 2009 Expõe as atividades necessárias para o bom funcionamento dessa tarefa. Não se trata de um
Modelo de Maturidade.
D&A MM / 2016 Os modelos apenas descrevem as áreas de conhecimento para este domínio e o perfil das
organizações para cada nível de maturidade. Não descrevem o conjunto de atividades que
TDWI MM/ 2014
ajudem a atingir níveis mais altos de maturidade.
Índice de Avalia anualmente as IES a fim de quantificar seu nível de maturidade para analytics. O índice é
Maturidade / calculado com base em um questionário dividido em áreas. Também não se trata de um Modelo
Aplicado desde de Maturidade.
2012
SHEILA Apoia as instituições na adoção de LA. Está focado no desenvolvimento de políticas, o que é
Framework / recomendado no MMALA nos níveis mais altos de maturidade 21

2017
METODOLOGIA

22
 Esquematização da Pesquisa
• A partir da
metodologia de
Becker et al.
(2009), baseada
em Design
Science

23
MMALA: MODELO DE MATURIDADE PARA ADOÇÃO
DE LEARNING ANALYTICS EM INSTITUIÇÕES DE
ENSINO SUPERIOR – DA CONCEPÇÃO À PRIMEIRA
AVALIAÇÃO
24
 Definição do Problema
• A adoção de LA é um desafio que envolve
diferentes aspectos das Instituições de Ensino
Superior
– Dada a extensão e diversidade dos desafios é
importante e útil que as IES tenham um guia que
identifique as áreas que requerem atenção para a
adoção da LA

25
 Comparação dos Modelos de Maturidade
Existentes
Área / Atividade DMBoK DMM TDWI D&A MM
Arquitetura X X X X
Gestão de Réplicas (Distribuição) X X X X
Integração de Dados X X X X
Data Warehouse X X X X
Análises (Habilidades, Técnicas,
X X X X
Aplicações)
Governança de Dados X X X
Metadados X X X
Gerenciamento dos Dados (Modelagem e
X X X
Manutenção do BD)
Fatores Organizacionais (Liderança,
Financiamento, Cultura, Valor, X X X
Comunicação)
Segurança dos Dados X X X
Qualidade de Dados X X X
Administração do SGBD X X X
Business Intelligence X X X
Gestão de Documentos X
26
Processos de Suporte X
Big Data X
 Determinação da Estratégia de
Desenvolvimento
• A estratégia de desenvolvimento selecionada
consistiu em:
– incluir no modelo proposto as categorias e áreas de
processos existentes nos modelos analisados e
consideradas essenciais para tratar os desafios de
Learning Analytics.
– Propor novas áreas de processos, as quais dão suporte
aos desafios específicos da área de LA

• O modelo proposto não se resume a uma simples

convergência dos MM analisados

27
 Desenvolvimento do Modelo
• A estrutura do modelo foi definida com base
no DMM

28
 Desenvolvimento do Modelo
• Para o desenvolvimento do modelo foram
utilizadas 3 fontes de informações:
– Revisão Sistemática de Literatura que indicou os
desafios da implementação de LA
– Comparação entre Modelos de Maturidade de
áreas correlatas
– Revisão Bibliográfica exploratória – que inclui os
resultados dos projetos SHEILA e LALA

29
 Desenvolvimento do Modelo
Categorias Áreas de Processos
 Aquisição de Dados (DA, do inglês Data Acquisition)
MMALA: Gestão dos


Qualidade de Dados (DQ, do inglês Data Quality)
Propriedade dos dados (DO, do inglês Data Ownership)
Dados

Modelo de 
Infraestrutura (Arquitetura / Integração de Dados) (INF, do inglês
Infrastructure)
Financiamento (FUN, do inglês Funding)

Maturidade Administração


Liderança (LEA, do inglês Leadership)
Identificação e envolvimento dos stakeholders (SII, do inglês Stakeholders
e Capacitação Identification and Involvement)
para Adoção 

Comunicação (COM, do inglês Communication)
Capacitação dos stakeholders (STR, do inglês Stakeholders’ Training)

de Learning 


Planejamento pedagógico das soluções (PPS, do inglês Pedagogical
planning of solutions)
Alinhamento das necessidades da instituição às teorias e às evidências

Analytics Apoio
Pedagógico
pedagógicas (ALI, do inglês Alignment of the institution's needs to theories
and pedagogical evidence)
 Apoio na interpretação dos resultados (SIR, do inglês Support in
Interpreting Results)
 Desenvolvimento de soluções próprias (DOS, do inglês Development of
own solutions)
Análise de  Aquisição de soluções prontas (ACQ, do inglês Acquisition of ready-made
Dados solutions)
 Avaliação da eficácia das soluções (EVA, do inglês Evaluating the
effectiveness of solutions)
 Política de Uso dos dados (DUP, do inglês Data Usage Policy)
Legislação,
 Permissões (informed consent/ opt-out) (PER, do inglês Permissions) 30
Privacidade
 Adequação às leis e a normas locais e nacionais (LAW, do inglês
e Ética
Compliance with local and national laws and regulations)
 Desenvolvimento do Modelo
• Foram definidos 4 níveis de maturidade para o
MMALA

31
 Desenvolvimento do Modelo
• O MMALA foi avaliado inicialmente por meio
de questionário

• Os dados foram analisados estatisticamente e

qualitativamente

32
 Desenvolvimento do Modelo
• A análise estatística trouxe os seguintes
resultados:
– O instrumento utilizado pôde ser considerado
adequado para avaliar o Modelo de Maturidade
– As 5 categorias foram consideradas suficientes para a
composição do modelo e as áreas de processos estão
adequadas às suas respectivas categorias
– As áreas de processos de 4 categorias foram
consideradas importantes pelos respondentes,
havendo divergência apenas quanto à importância das
áreas de processos da categoria Análise de Dados
33
 Desenvolvimento do Modelo
• A análise qualitativa, por sua vez, permitiu a
identificação de temas que devem compor o MMALA
– Tais como Segurança dos Dados, padronização para dados
e arquitetura, entre outros
– A maior parte das sugestões foi incluída no modelo final
nas categorias e áreas de processos anteriormente
propostas

• Foi possível identificar ainda a necessidade de inclusão

de uma nova área de processo na categoria de Apoio
Pedagógico, a ser denominada de Intervenção Baseada
nos Resultados

34
 Concepção de Transferência e Avaliação e
Implementação do Meio de Transferência
• A fim de atender a esta etapa da metodologia
e divulgar o modelo à comunidade de LA, duas
estratégias foram elaboradas
– A primeira delas foi a própria concepção do
questionário e sua ampla divulgação
– A segunda estratégia de transferência consistia na
divulgação científica do modelo

35
MMALA – Categorias e Áreas de Processos
Categorias Áreas de Processos
 Aquisição de Dados (DA)
Gestão dos  Qualidade de Dados (DQ)
Dados  Propriedade dos dados (DO)
 Infraestrutura (INF)
 Financiamento (FUN)
 Liderança (LEA)
Administração  Identificação e envolvimento dos stakeholders (SII)
e Capacitação  Comunicação (COM)
 Capacitação dos stakeholders (STR)
 Planejamento pedagógico das soluções (PPS)
Apoio  Apoio na interpretação dos resultados (SIR)
Pedagógico  Intervenção Baseada nos Resultados (RBI, do inglês Result-based
Intervention)
 Desenvolvimento de soluções próprias (DOS)
Análise de  Aquisição de soluções prontas (ACQ)
Dados
 Avaliação da eficácia das soluções (EVA)
Legislação,
 Legislação, Privacidade e Ética (LPE, do inglês Legislation,
Privacidade e
Privacy, and Ethics) 36
Ética
AVALIAÇÃO FINAL DO MMALA POR
MEIO DE OPINIÃO DE ESPECIALISTAS

37
 Opinião de Especialistas
• “A obtenção de opiniões de especialistas é um
processo formal de aquisição de informações
ou respostas a perguntas específicas sobre
certos problemas necessários para atingir
determinados objetivos analíticos”.
Ayyub (2000)

• A metodologia proposta por Li e Smidts (2003)

foi a selecionada para o processo de avaliação
38
 Definição do Problema
• Consiste na avaliação do modelo no que se refere
a:
– Abrangência - o modelo ora proposto pode ser
considerado abrangente para apoiar as instituições
nos desafios relacionados à adoção de LA;
– Consistência – a descrição dos elementos do modelo
(propósito, objetivos e práticas funcionais) pode ser
considerada coerente em cada área de processo; e
– Adequação ao problema – o modelo pode ser
considerado adequado ao seu propósito de apoiar a
adoção de LA.
39
 Seleção dos Especialistas
Especialista Áreas de Atuação País
Valeria Henriquez Learning Analytics, Melhoria de Processos de Software Espanha

Pedro J. Muñoz-Merino Learning Analytics, Mineração de Dados Educacionais, Espanha

Gamificação, Tecnologias Educacionais
Yi-Shan Tsai Learning Analytics, Educação, Literatura Infantil Reino
Unido
Nora'ayu Ahmad Uzir Learning Analytics, Visualização de Informação e Self- Malásia
Regulated Learning
Roberto Martinez-Maldonado Learning Analytics, Interação Humano-Computador Austrália
Taciana Pontual Learning Analytics, Tecnologia para Educação, Interface Brasil
Humano Máquina
Boban Vesin Learning Analytics, e-learning, sistemas de recomendação Noruega
Rodrigo Lins Rodrigues Learning Analytics, Mineração de Dados Educacionais Brasil
Margarita Ortiz Learning Analytics, Gamificação, Inovações Pedagógicas Equador
Ranilson Paiva Learning Analytics, Mineração de Dados Educacionais, Brasil
Visualização de Dados
Elaine Harada T. de Oliveira Learning Analytics, Informática na Educação Brasil
Miguel Angel Zúñiga Prieto Learning Analytics, Computação em Nuvens, Arquitetura de Equador
Software 40
Wannisa Matcha Learning Analytics, Aprendizagem Assistida por Tecnologias Tailândia
 Treinamento dos Especialistas
(Regulação dos Especialistas)
• A estratégia para minimizar o viés foi a
inclusão da justificativa a cada uma das
opiniões emitidas sobre o modelo
– Além disso, os respondentes poderiam entrar em
contato em caso de dúvidas
– Analogamente, os autores da pesquisa poderiam
consultar os respondentes em caso de
necessidade de esclarecimento sobre quaisquer
respostas
41
 Elicitação das Opiniões
• O questionário para elicitação das opiniões foi
elaborado com base naquele usado em Garcia (2010)
– O questionário, adaptado, foi avaliado por 4 pesquisadores
– E passou por uma aplicação piloto, com dois participantes

• Optou-se por incluir os seguintes itens do MMALA nessa

avaliação: propósito, objetivos e práticas funcionais

• As opiniões agregadas, mesmo que obtidas por média

simples, são consistentemente melhores que a opinião
individual de especialistas (Armstrong, 1985 apud Li e Smitds,
2003)

42
 Agregação das Opiniões - Os itens estão
descritos corretamente?
Propósito Objetivos Práticas Funcionais

DA 31% 54% 69%

DQ 69% 46% 85%
DO 85% 54% 77%
IN F 92% 54% 92%
FU N 62% 85% 77%
LE A 54% 62% 77%
SII 77% 62% 69%
COM 69% 46% 85%
STR 62% 62% 92%
PPS 92% 62% 69%
SIR 92% 92% 85%
RBI 92% 77% 69%
DOS 62% 62% 62%
AC Q 54% 54% 92%
EVA 77% 85% 85%
LP E 100% 69% 62%
43
 Agregação das Opiniões – Itens
precisam ser incluídos ou excluídos?

44
 Agregação das Opiniões –
Concordância às Sentenças
• S1: O MMALA pode apoiar instituições de ensino
superior na adoção de LA e orientá-las para um uso mais
maduro de LA
• S2: Uma instituição de ensino superior pode obter
benefícios usando este Modelo de Maturidade para
Adoção de Learning Analytics
• S3: MMALA é um guia abrangente para apoiar a adoção
de LA e seu progresso
Proporção de concordância Alpha de Índice de Teste de Cochran
Sentenças
(concorda + concorda fortemente) Cronbach Confiança (75%) (valor-p)
S1 92,3%
S2 76,9% 0,865 0,656 a 0,955 0,135
S3 92,3% 45
 Tomada de Decisão – Mudanças
nos Propósitos e Objetivos
• Os seguintes itens foram ajustados a partir das
sugestões dos especialistas
– Propósito da área de processo de Aquisição de
Dados
– Objetivos das áreas de processos de Qualidade de
Dados e Comunicação

46
 Tomada de Decisão - Mudanças
nas Práticas Funcionais
• Os especialistas entraram em consenso
quanto à corretude das práticas funcionais do
MMALA
– Com um índice de concordância sempre superior
a 60%
– optou-se por não realizar alterações nas práticas
funcionais propostas para o MMALA

47
 Tomada de Decisão – Inclusão de
Objetivos
• Os seguintes objetivos foram incluídos
– Infraestrutura - Para o estabelecimento de
protocolo de interconexão entre sistemas
– Liderança - Para contemplar a elaboração do
planejamento estratégico
– Identificação e Envolvimento dos Stakeholders -
definição de papéis dos stakeholders.

48
 Tomada de Decisão – Inclusão de
Práticas Funcionais
• As seguintes práticas funcionais foram incluídas
– Infraestrutura – recomendação da disponibilização de
API para consumo de dados e monitoramento deste
consumo. E para orientar que cada usuário acesse
seus próprios dados
– Identificação e Envolvimento dos Stakeholders -
definição de responsabilidades dos stakeholders
– Capacitação dos Stakeholders - treinamento de
pesquisadores e da equipe de TI para o
desenvolvimento de soluções; e
– Desenvolvimento de Soluções Próprias - manutenção
e desativação de ferramentas

49
 Tomada de Decisão – Exclusão de
Objetivos e Práticas Funcionais
• Em nenhum dos itens do MMALA houve
maioria que indicasse a necessidade de
exclusão

50
 Discussão sobre a Avaliação por
Especialistas
• Pode-se concluir que o MMALA pode ser
considerado:
– Consistente: a descrição dos elementos do
modelo pode ser considerada coerente em cada
área de processo
– Abrangente: para apoiar as instituições nos
desafios relacionados à adoção de LA
– Adequado: para atender ao problema da adoção
de LA
51
 Discussão sobre a Avaliação por
Especialistas
• É importante para a compreensão do modelo:
– A identificação dos aspectos compartilhados entre
objetivos e práticas funcionais
– A informação sobre as áreas de processos
relacionadas

• A categoria “Administração e Capacitação”

está mais adequada se nomeada “Governança
e Capacitação”.
52
 Possíveis Ameaças à Validade da
Avaliação
• Ausência das áreas de processos relacionadas e
produtos de trabalho
– Pode ter dificultado a compreensão do modelo

• Duração da avaliação
– Os participantes poderiam sentir-se cansados ou
entediados durante a avaliação

• Viés
– Não foi possível avaliar o viés nas contribuições dos
especialistas
53
MMALA: MODELO DE MATURIDADE PARA
ADOÇÃO DE LEARNING ANALYTICS (VERSÃO
FINAL)
54
Categorias e Áreas de Processos
Categorias Áreas de Processos
 Aquisição de Dados (DA)
 Qualidade de Dados (DQ)
Gestão dos Dados
 Propriedade dos dados (DO)
 Infraestrutura (INF)
 Financiamento (FUN)
 Liderança (LEA)
Governança e
 Identificação e envolvimento dos stakeholders (SII)
Capacitação
 Comunicação (COM)
 Capacitação dos stakeholders (STR)
 Planejamento pedagógico das soluções (PPS)
Apoio Pedagógico  Apoio na interpretação dos resultados (SIR)
 Intervenção Baseada nos Resultados (RBI)
 Desenvolvimento de soluções próprias (DOS)
Análise de Dados  Aquisição de soluções prontas (ACQ)
 Avaliação da eficácia das soluções (EVA)
Legislação, Privacidade e
 Legislação, Privacidade e Ética (LPE)
Ética
55
56
 Principais Contribuições
• Estudo sobre Learning Analytics e Modelos de
Maturidade
– Conceitos, benefícios, aplicações
– Desafios da adoção de LA

• Desenvolvimento do MMALA
– Objetivos de pesquisa atingidos
– Hipóteses confirmadas

• Validação do MMALA
– Por meio da avaliação de 13 especialistas da área

57
 Principais Contribuições
• O MMALA é um instrumento para apoiar a
adoção de LA
– O MMALA identifica as 16 áreas que devem ser
consideradas quando da adoção de LA
– Além do propósito, os objetivos e as práticas a serem
realizadas em cada uma dessas áreas, as quais estão
organizadas em 4 níveis de maturidade

• O MMALA foi desenvolvido seguindo uma

metodologia rigorosa e foi avaliado em duas
ocasiões
58
 Principais Contribuições
• Espera-se que os resultados obtidos com a
execução desta tese possam contribuir com a
democratização do uso de Learning Analytics
– Cooperando, por conseguinte, para a melhoria do
processo de ensino e aprendizagem

59
 Publicações
• Learning Analytics: A Brief Overview about Applications and its
Advantages, pôster apresentado na conferência International Conference
on Advanced Learning Technologies and Technology-enhanced Learning
(ICALT 2019 – Qualis A3);
• Learning Analytics em Ação: Uma Revisão Sistemática de Literatura,
artigo completo publicado no Simpósio Brasileiro de Informática na
Educação (SBIE 2019, Qualis A3);
• Towards a Maturity Model for Learning Analytics Adoption: An Overview
of its Levels and Areas, artigo completo publicado na conferência
International Conference on Advanced Learning Technologies and
Technology-enhanced Learning (ICALT 2020 – Qualis A3); e
• Avaliação de um Modelo de Maturidade para Adoção de Learning
Analytics em Instituições de Ensino Superior, submetido à Revista Latino-
Americana de Tecnologia Educativa (RELATEC, Qualis A2, sob avaliação).
• MMALA: A Maturity Model for Adopting Learning Analytics, com vistas à
submissão à revista Australasian Journal of Educational Technology (AJET,
Qualis A1).
60
 Limitações
• Revisão Sistemática de Literatura
– Foram utilizadas duas bases de dados (ACM
Digital Library e IEEEXplore)
– O estudo exploratório trouxe resultados
complementares
• Aplicação do MMALA em ambiente real
– Poderia trazer informações complementares sobre
os cenários em que o MMALA pode trazer
maiores benefícios
61
 Trabalhos Futuros
• Análise dos demais resultados da avaliação dos
especialistas, investigando também os itens sobre os
quais estes entraram em consenso quanto à sua
corretude

• Aplicação do modelo de maturidade proposto em

Instituições de Ensino Superior

• Ampliação do MMALA
– Incluindo as métricas que ajudem a quantificar se os
objetivos para a execução de cada prática foram atingidos
62
 Referências
• ALMEIDA NETO, H. R.; MAGALHÃES, E. M. C.; MOURA, H. P.; et al. Avaliação de um Modelo
de Maturidade para Governança Ágil em Tecnologia da Informação e Comunicação. In: iSys
– Revista Brasileira de Sistemas de Informação, Rio de Janeiro, v. 8, n. 4, p. 44-79, 2015.
• AYYUB, B. M. Methods for expert-opinion elicitation of probabilities and consequences for
corps facilities, 2000. Disponível em:
<https://www.iwr.usace.army.mil/Portals/70/docs/iwrreports/00-R-101.pdf>. Acesso:
25/06/2020.
• BECKER, J.; KNACKSTEDT, R.; PÖPPELBUß, J. Developing maturity models for IT management
– A Procedure Model and its Application. Business & Information Systems Engineering, v. 1, n.
3, p. 213–222, 2009.
• CARALLI, Richard; KNIGHT, Mark; MONTGOMERY, Austin. Maturity Models 101: A Primer for
Applying Maturity Models to Smart Grid Security, Resilience, and Interoperability. White
Paper, Carnegie Mellon University, 2012.
• CMMI. CMMI para Desenvolvimento – Versão 1.3. Software Engineering Institute, Carnegie
Mellon, 2010.
• CRUZES, D. S.; DYBA, T. Recommended Steps for Thematic Synthesis in Software
Engineering. In: International Symposium on Empirical Software Engineering and
Measurement, Banff, AB, 2011, p. 275-284.
63
 Referências
• GARCIA, Vinicius Cardoso. RiSE Reference Model for Software Reuse Adoption in Brazilian
Companies. Ph.D. Thesis - Universidade Federal de Pernambuco, 2010.
• GRELLER, W.; DRACHSLER, H. (2012). Translating Learning into Numbers: A Generic
Framework for Learning Analytics. Educational Technology & Society, v.15, n.3, p. 42–57.
• LI, M.; SMIDTS, C. A ranking of software engineering measures based on expert opinion.
IEEE Transactions on Software Engineering, v. 29, n.9, 2003, p. 811–824.
• SIEMENS, G.; DAWSON, S.; LYNCH, G. Improving the quality and productivity of the higher
education sector: policy and strategy for systems-level deployment of learning analytics.
Society for Learning Analytics Research. December 2013.
• SORIA, I. M. de; ALONSO, J.; ORUE-ECHEVARRIA, L.; Vergara, M. Developing an enterprise
collaboration maturity model: Research challenges and future directions. In: IEEE
International Technology Management Conference (ICE), Leiden, 2009, p. 1-8.
• WENDLER, Roy. The maturity of maturity model research: A systematic mapping study. Inf.
Softw. Technol., v. 54, n. 12, dez. 2012, p. 1317-1339.

64
Muito Obrigada!
MMALA: Um Modelo de Maturidade para
Adoção de Learning Analytics

Candidata: Elyda Freitas

Orientador: Prof. Dr. Fernando da Fonseca de Souza
Coorientador: Prof. Dr. Vinícius Cardoso Garcia