Aula3 PDF

06/09/2019
O PROTOCOLO
Professor
Denis Silva da Silveira
dsilveira@ufpe.br
ENTENDENDO A
02 01
R E V I S Ã O Coleta dos dodos
do estudo.
Formulação do
problema.
S I S T E M Á T I C A
Como proposta por Kitchenham

(2004), ela apresenta três etapas: 03
planejamento, condução e publicação Avaliação dos
dos resultados. dados
coletados. 04 05
Análise e
Conclução e
interpretação dos
apresentação.
estudos válidos.
KITCHENHAM, B. A. Procedures for performing systematic reviews, Technical Report TR/SE-

0401. Department of Computer Science, Keele University, Keele, Staffs, UK, 2004.
Prof. Denis Silveira
1
06/09/2019
FORMULAÇÃO DO
PROBLEMA
Tem como objetivo de identificar que tipo

de evidência o estudo deve investigar.
Através da formulação do problema, é
possível definir que estudos são relevantes
para a investigação em curso.
É nessa etapa que se define a questão de
pesquisa que guiará o estudo.
QUESTÕES DE
PESQUISA
Devem estabelecem o foco para a
identificação, extração e análise dos estudos
primários.
Portanto, elas precisam ser bem pensadas e
formuladas.
Mas, o que deve ser levado em consideração
ao formular as questões de pesquisa?
2
06/09/2019
ASPECTOS
IMPORTANTES
Os aspectos que devem ser levados
em consideração ao se formular as
questões de pesquisa são:
Qual grupo de pessoas, programas ou

empresas são de interesse para a revisão?
KITCHENHAM, B. A., CHARTERS, S.: Guidelines for performing

systematic literature reviews in software engineering (version 2.3).
Technical Report, EBSE Technical Report EBSE-2007-01, Keele University
and Durham University, 2007.
ASPECTOS
IMPORTANTES
Qual a tecnologia, a ferramenta, o

procedimento ou a metodologia que se
refere o seu estudo?

10
3
06/09/2019
ASPECTOS
IMPORTANTES
Como é definido o tratamento de controle?

Em particular, a intervenção “placebo” é
criticada? Normalmente, esse aspecto é
considerado apenas na medicina.

11
ASPECTOS
IMPORTANTES
Os resultados são estatisticamente

significativos? Eles são significativos do
ponto de vista prático?

12
4
06/09/2019
ASPECTOS
IMPORTANTES
Em qual lugar e segmento foi realizado o

estudo (academia ou indústria)? Quais são
os incentivos para os sujeitos?

13
ASPECTOS
IMPORTANTES

14
5
06/09/2019
P
Population
I
Intervention
CComparison
O Outcome
C Context
População Intervenção Comparação Resultado Contexto

Referindo-se a Referindo-se a Comparado a quê? O que você está Em que tipo de
Quem? O que ou como? tentando realizar organização ou
ou melhorar? circunstâncias?
PETTICREW, M.; ROBERTS, H., Systematic Reviews in the Social Sciences: A Practical Guide, Blackwell Publishing, 2005, ISBN 1405121106.
15
UM
EXEMPLO
PICOC
População: trabalhos focados em critérios de usabilidade para modelos de processos, considerando todos
os tipos de modelos e domínios de aplicação;
Intervenção: testes de usabilidade de modelos de processos que usam qualquer metodologia,
ferramenta, tecnologia e procedimentos;
Comparação: não aplicável; nossa intenção é elencar as características de usabilidade que estão sendo
usadas para validar modelos de processos;
Resultado: visão geral sobre as características de usabilidade e benefícios em usá-las nos modelos;
Contexto: trabalhos de pesquisa. Estamos trabalhando em um contexto de pesquisa com profissionais,
acadêmicos, consultores e estudantes.
16
6
06/09/2019
UM
EXEMPLO
QP
Questão Principal
QR: Quais modelos de usabilidade foram usados para verificar a qualidade dos modelos de
processos?
17
UM
EXEMPLO
QE
Questões Específicas
QE1: Quais características de usabilidade foram utilizadas nos modelos de processos?

QE2: Como as características foram utilizadas nos modelos de processos?
QE3: Quais métricas foram utilizadas para avaliar as características de usabilidade utilizadas
nos modelos de processos?
18
7
06/09/2019
IDENTIFICAR AS
STRINGS
DE
BUSCA
Os termos-chave em nossa questão de pesquisa

levaram à definição das strings de busca.
QR: Quais modelos de usabilidade foram usados para verificar a qualidade dos modelos
de processos?
19
SELECIONAR AS
BASES DE DADOS
20
8
06/09/2019
SELECIONAR AS
BASES DE DADOS
Essas são as bibliotecas que cobrem os fóruns mais importantes na área, sem
restrições de data (por exemplo, documentos de periódicos, anais de
conferências e trabalhos de workshops), incluindo as melhores conferências e
workshops.
21
FORMULAR AS
STRINGS
DE
BUSCA
QR: Quais modelos de usabilidade foram usados para verificar a qualidade dos modelos
de processos?
22
9
06/09/2019
FORMULAR AS
STRINGS
DE
BUSCA
usabilidade foram usados para verificar a qualidade dos modelos
QR: Quais modelos de usabilidade
processos
de processos?
Usabilidade: ( usability )OR synonym ).
Modelos de Processos: ( “process

“businessmodel”
processOR
model” ) process” )OR BPM ).
“business
23
DEFINIR UMA
ESTRATÉGIA
A pesquisa automática usa os A pesquisa manual que deve

termos de pesquisa para seguir a abordagem bola de
encontrar os estudos primários neve para identificar estudos
sobre fontes de dados primários adicionais.
eletrônicas.
24
10
06/09/2019
DEFINIR CRITÉRIOS DE
SELEÇÃO
Os critérios devem selecionar os estudos válidos para a pesquisa.
IMPORTANTE: recomenda-se que esta seleção seja conduzida por mais de um
pesquisador, de modo a confrontar os resultados da seleção e, assim, diminuir as
chances de uma classificação incorreta dos dados.
25
SELEÇÃO
Os critérios de inclusão e exclusão devem ser definidos para ajudar na seleção dos estudos
relevantes para análise e extração de dados.
EXEMPLOS: (I1) artigos de conferências e workshops, revisados por pares, que

usam os conceitos de usabilidade nos modelos de processos.
26
11
06/09/2019
SELEÇÃO
EXEMPLOS: (I2) estudos relevantes citados pelos autores dos artigos identificados
durante o estudo exploratório ou obtido pela pesquisa de bola de neve.
27
SELEÇÃO
EXEMPLOS: (I3) estudos relevantes sugeridos por especialistas sobre o tema da

pesquisa. KITCHENHAM, B. A.; Guidelines for Performing Systematic Literature Reviews in Software Engineering,
Technical Report, Department of Computer, Science University of Durham, Durham, UK, 2007.
28
12
06/09/2019
SELEÇÃO
EXEMPLOS: (E1) literatura informal, estudos secundários e terciários e estudos de

conferências, oficinas e periódicos sem revisão por pares.
29
SELEÇÃO
EXEMPLOS: (E2) estudos com o mesmo conteúdo ou estudos duplicados.
30
13
06/09/2019
SELEÇÃO
EXEMPLOS: (E3) estudos que não responderam à questão de pesquisa.
31
SELEÇÃO
EXEMPLOS: (E4) estudos que não estão escritos em inglês.
32
14
06/09/2019
SELEÇÃO
EXEMPLOS: (E5) estudos não disponíveis para download nas bases de origem e
cujos autores não responderam às nossas solicitações.
33
SELEÇÃO
EXEMPLOS: (E6) estudos que não atendam aos critérios de qualidade .
critérios de qualidade
34
15
06/09/2019
VOLTANDO A
ESTRATÉGIA
Aplicar os critérios em 4 rodadas.
1) analisar todos os estudos candidatos por meio de
leitura de títulos e resumos;
2) com os demais estudos, ler a introdução e as
conclusões, excluindo mais alguns e incluindo outros;
3) analisar os estudos candidatos incluídos pelos critérios
I2 e I3 por meio da leitura de texto completo;
4) analisar os estudos candidatos pelo critério E6.
35
C R I T É R I O S D E Q U A L I D A D E
Não há uma definição acordada sobre o que é um estudo de alto nível de qualidade. Mas, há um
consenso de que a qualidade dos estudos escolhidos é fundamental para obter resultados
confiáveis em uma revisão [1].
Com base em [2] e em informações de impacto bibliométrico, apresentamos quatro critérios de

avaliação da qualidade (QA1 – QA4) para ser aplicado no critério de exclusão E6.
[1] KITCHENHAM, B. A.; Guidelines for Performing Systematic Literature Reviews in Soft- ware Engineering, Technical Report, Department of
Computer, Science University of Durham, Durham, UK, 2007.
[2] JAMSHIDI, P., GHAFARI, M., AHMAD, A., PAHL, C.; A Protocol for Systematic Literature Review on Architecture-Centric Software Evolution
36
16
06/09/2019
Lista de itens para verificar a qualidade dos estudos.

Itens Gerais (G)
Critério de Qualidade: QA1
1. Definição do problema do estudo:

(1.0) Os autores fornecem uma descrição explícita do problema para o estudo.
(0.5) Os autores fornecem uma descrição geral do problema.
(0.0) Não há descrição do problema.
JAMSHIDI, P., GHAFARI, M., AHMAD, A., PAHL, C.; A Protocol for Systematic Literature Review on Architecture-Centric Software Evolution Research,
Technical Report, Lero-TheIrish Software Engineering Research Centre, Dublin City University, Oct. 2012.
37

Itens Gerais (G)
2. Em qual ambiente o estudo foi realizado:

(0.1) O estudo apresenta uma descrição explícita do ambiente em que a pesquisa foi
realizada (e.g., laboratório, como parte de um projeto, em colaboração com a indústria,
etc.).
(0.5) O estudo apresenta uma ideia geral sobre o ambiente em que a pesquisa foi realizada.
(0.0) Não há descrição sobre o ambiente.
38
17
06/09/2019

Itens Gerais (G)
3. A metodologia apresenta o método referindo-se à forma como o estudo foi organizado:

(1.0) O estudo apresenta explicitamente o plano (com diferentes etapas, prazos, etc.) que
eles usaram para realizar a pesquisa ou a forma como a pesquisa foi organizada.
(0.5) O estudo apresenta uma descrição geral sobre o plano do pesquisa ou a forma como a
pesquisa foi organizada.
(0.0) Não há nenhuma descrição de como a pesquisa foi planejada/organizada.
39

Itens Gerais (G)
4. As contribuições do estudo se referem aos seus resultados:

(1.0) O estudo apresenta explicitamente as contribuições/resultados.
(0.5) O estudo apresenta de forma geral os seus resultados.
(0.0) Não há descrição dos resultados da pesquisa.
40
18
06/09/2019

Itens Gerais (G)
5. O estudo apresenta insights para novos estudos:

(1.0) O estudo apresenta explicitamente insights e/ou lições aprendidas.
(0.5) O estudo apresenta de forma geral alguns insights e/ou lições aprendidas.
(0.0) Não há nenhuma descrição de insights no estudo.
41

Itens Gerais (G)
6. Os autores descreveram as limitações do estudo:

(1.0) O estudo lista explicitamente as limitações/problemas encontrados na execução da
pesquisa.
(0.5) O estudo lista, em linhas gerais, algumas limitações/problemas na execução da
pesquisa.
(0.0) Não há descrição das limitações do estudo.
42
19
06/09/2019

Itens específicos (S)
1. Sobre a validação do estudo:

(1.0) Há aplicação de algum experimento para validar a verificação da usabilidade nos
modelos de processos.
(0.5) Há aplicação de algum estudo de caso para validar a verificação da usabilidade nos
modelos de processos.
(0.0) Não há nenhuma validação no estudo.
43

2. As descrições de como as características de usabilidade são aplicadas nos modelos de processo

são apresentadas:
(1.0) São fortemente detalhadas.
(0.5) São relativamente detalhadas.
(0.0) São apresentadas informalmente.
44
20
06/09/2019

3. As características de usabilidade em termos de restrições são:

(1.0) Especificadas formalmente por uma linguagem formal.
(0.5) Especificadas informalmente.
(0.0) Não há especificação das restrições.
45

4. Sobre métricas para validar as características de usabilidade:

(1.0) Há uma definição formal de métricas.
(0,5) Há uma definição semiformal de métricas.
(0.0) Há um definição ad-hoc de métricas.
46
21
06/09/2019
O QA1 pode ser calculado (QualityScore) usando a seguinte equação:
• Estudos com pontuação >= 3,0 podem ser considerados de "alta“ qualidade;
• Estudos com pontuação >= 1,5 e < 3,0 podem ser considerados aceitáveis (qualidade “média”);
• Estudos com pontuação < 1,5 podem ser considerados de “baixa” qualidade e, portanto, podem
ser excluídos da nossa revisão.
IMPORTANTE: não estamos avaliando a qualidade dos estudos em si, estamos apenas o alinhamento
de suas contribuições com as nossas questões de pesquisa.
47
O QA2 pode classifica os estudos de acordo com os fóruns em que foram publicados.
• “Alto” para trabalhos publicados em fóruns classificados como A; e

• “Médio” para trabalhos publicados em fóruns classificados como B, de acordo com o CORE-ERA1
para conferências e SJR2 para periódicos.
1http://portal.core.edu.au/conf-ranks/
2https://www.scimagojr.com/journalrank.php .
48
22
06/09/2019
O QA3 pode classificar os artigos de acordo com suas citações, dando “alto” aos trabalhos com mais de
cinco citações e “médio” aos trabalhos com uma a cinco citações. Os números das citações são coletados
no Google Scholar.
49
O QA4 serve para relaxa o QA3 considerando, por exemplo, que artigos publicados após 2013, podem ter
menos citações por serem relativamente recentes.
Nesse caso, os artigos que têm relevância potencialmente alta têm pelo menos uma citação e os artigos
que não foram citados têm relevância potencialmente média. Para ser incluído em nossa revisão, um
artigo deve obter QA1> = 1,5 e seus critérios de impacto bibliográfico QA2-QA4 devem ser “médios” ou
superiores.
50
23
06/09/2019
Assim, para os estudos serem incluídos na revisão, o

estudo deve obter QA1 >= 1,5 e seus critérios de impacto
bibliográfico QA2-QA4 devem ser “médios” ou “altos”.
51
NA COLETA
52
24
06/09/2019
53
54
25
06/09/2019
55
56
26
06/09/2019
57
58
27
06/09/2019
59
60
28
06/09/2019
61
62
29
06/09/2019
63
64
30
06/09/2019
65
66
31
06/09/2019
67
68
32
06/09/2019
69
70
33
06/09/2019
71
72
34
06/09/2019
E AGORA
O CÉU É O LIMITE
73
74
35
06/09/2019
O PROTOCOLO
Professor
Denis Silva da Silveira
dsilveira@ufpe.br
75
36

Aula3 PDF

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Aula3 PDF

Загружено:

Авторское право:

Доступные форматы

06/09/2019

Como proposta por Kitchenham

KITCHENHAM, B. A. Procedures for performing systematic reviews, Technical Report TR/SE-

Tem como objetivo de identificar que tipo

Prof. Denis Silveira

Prof. Denis Silveira

Qual grupo de pessoas, programas ou

KITCHENHAM, B. A., CHARTERS, S.: Guidelines for performing

Qual a tecnologia, a ferramenta, o

KITCHENHAM, B. A., CHARTERS, S.: Guidelines for performing

Como é definido o tratamento de controle?

KITCHENHAM, B. A., CHARTERS, S.: Guidelines for performing

Os resultados são estatisticamente

KITCHENHAM, B. A., CHARTERS, S.: Guidelines for performing

Em qual lugar e segmento foi realizado o

KITCHENHAM, B. A., CHARTERS, S.: Guidelines for performing

KITCHENHAM, B. A., CHARTERS, S.: Guidelines for performing

População Intervenção Comparação Resultado Contexto

Prof. Denis Silveira

Prof. Denis Silveira

QE1: Quais características de usabilidade foram utilizadas nos modelos de processos?

Prof. Denis Silveira

Os termos-chave em nossa questão de pesquisa

Prof. Denis Silveira

Prof. Denis Silveira

Prof. Denis Silveira

Usabilidade: ( usability )OR synonym ).

Modelos de Processos: ( “process

Prof. Denis Silveira

A pesquisa automática usa os A pesquisa manual que deve

Prof. Denis Silveira

Prof. Denis Silveira

EXEMPLOS: (I1) artigos de conferências e workshops, revisados por pares, que

Prof. Denis Silveira

Prof. Denis Silveira

EXEMPLOS: (I3) estudos relevantes sugeridos por especialistas sobre o tema da

Prof. Denis Silveira

EXEMPLOS: (E1) literatura informal, estudos secundários e terciários e estudos de

Prof. Denis Silveira

EXEMPLOS: (E2) estudos com o mesmo conteúdo ou estudos duplicados.

Prof. Denis Silveira

EXEMPLOS: (E3) estudos que não responderam à questão de pesquisa.

Prof. Denis Silveira

EXEMPLOS: (E4) estudos que não estão escritos em inglês.

Prof. Denis Silveira

Prof. Denis Silveira

EXEMPLOS: (E6) estudos que não atendam aos critérios de qualidade .

Prof. Denis Silveira

Prof. Denis Silveira

Com base em [2] e em informações de impacto bibliométrico, apresentamos quatro critérios de

Lista de itens para verificar a qualidade dos estudos.

Critério de Qualidade: QA1

1. Definição do problema do estudo:

Lista de itens para verificar a qualidade dos estudos.

Critério de Qualidade: QA2

2. Em qual ambiente o estudo foi realizado:

Lista de itens para verificar a qualidade dos estudos.

Critério de Qualidade: QA3

3. A metodologia apresenta o método referindo-se à forma como o estudo foi organizado:

Lista de itens para verificar a qualidade dos estudos.

Critério de Qualidade: QA4

4. As contribuições do estudo se referem aos seus resultados:

Lista de itens para verificar a qualidade dos estudos.