Академический Документы
Профессиональный Документы
Культура Документы
Belm
2016
Belm
2016
nosso
cotidiano
andando,
me
Agradecimentos
Agradeo aos meus colegas de turma que me ajudaram quando eu precisei! Pessoas
que eu conheci, e que eu vou tentar no esquecer do que j fizeram por mim. Cito em particular
o, Andr Bahia, Marcelo Maia, Rafael Mesquita, Leonardo Sarraf, entre outros que podem ter
me fugido a memria. Estes me ajudaram de forma indispensvel em algum momento do curso,
ajuda essa que se eu no tivesse, provavelmente no conseguiria chegar nesse ponto no ano de
2016.
E por ultimo, e claro, no menos importante, agradeo ao meu coorientador Thiago
Sylas que teve participao vital na construo deste trabalho em todos os sentidos. E ao meu
orientador Sandro Bezerra pela ateno, motivao, preocupao e empenho (Obrigado por no
desistir de mim!).
Cada um teve participao fundamental no desenvolvimento deste trabalho, direta ou
indiretamente, e eu sou realmente muito grato.
RESUMO
ABSTRACT
SUMRIO
1
INTRODUO .......................................................................................... 13
1.1
1.2
JUSTIFICATIVA................................................................................... 14
1.3
MOTIVAO ....................................................................................... 16
1.4
OBJETIVOS ......................................................................................... 16
1.5
METODOLOGIA .................................................................................. 17
1.6
2.3
2.4
2.5
CONSIDERAES FINAIS................................................................... 31
CONSIDERAES FINAIS................................................................... 50
CONSIDERAES FINAIS................................................................... 66
CONCLUSES .......................................................................................... 67
5.1
5.2
5.3
5.4
REFERNCIAS ................................................................................................ 71
APNDICE A PROTOCOLO DE REVISO ................................................. 73
APNDICE B ESTUDOS PRIMRIOS ......................................................... 91
APNDICE C ESTUDOS EXCLUDOS ........................................................ 96
LISTA DE FIGURAS
LISTA DE QUADROS
Quadro 1 Seleo de Fontes de Pesquisa ................................................................. 37
Quadro 2 Escala de Likert-5 ....................................................................................... 48
Quadro 3 Escala para cada Critrio de Qualidade ..................................................... 48
Quadro 4 Nveis de Qualidade ................................................................................... 50
Quadro 5 Meios que mais Publicaram Estudos .......................................................... 61
Quadro 6 Ativos de medio por estudo .................................................................... 64
LISTA DE TABELAS
Tabela 1 Seleo de Estudos Primrios .................................................................... 55
Tabela 2 Nmero de Estudos por Autor ..................................................................... 57
Tabela 3 Nmero de Estudos por Instituio.............................................................. 59
INTRODUO
Este captulo apresenta a introduo deste trabalho. Est dividido nas seguintes sees:
viso geral, justificativa, motivao, metodologia, objetivos de trabalho e sua estrutura.
1.1
VISO GERAL
1.2
JUSTIFICATIVA
1.3
MOTIVAO
1.4
OBJETIVOS
1.5
METODOLOGIA
O mtodo utilizado na pesquisa foi o mtodo dedutivo, pois partiu-se de princpios gerais
sobre ativos para medio no contexto de projeto de software para serem aplicados a casos
especficos.
A pesquisa realizada neste trabalho foi feita por meio da coleta, anlise e extrao de
informaes em estudos presentes na literatura sobre ao assunto. E como os critrios de anlise
foram estabelecidos antes do incio da coleta, e mantidos at o fim, pode-se considerar esta uma
pesquisa focada e organizada, podendo esta pesquisa servir como base para pesquisas futuras
sobre ativos para medio no contexto de projeto de software.
considerada quanto a seus objetivos como descritiva por procurar descobrir, com a
preciso possvel, informaes referentes s publicaes na rea de ativos para medio,
disponveis na literatura mundial.
Quanto tcnica, este trabalho fez a opo pelo Mapeamento Sistemtico da literatura.
Esta opo justifica-se porque o mtodo escolhido permite verificar na literatura, de uma forma
confivel, criteriosa e rigorosa, a produo cientfica, num intervalo de tempo predefinido, sobre
ativos para medio.
A pesquisa utilizou-se de 06 (seis) fontes de dados internacionais e 02 (duas) fontes de
dados nacionais, previamente escolhidas e expostas no protocolo de reviso que ser apresentado
17
no Captulo 3. A pesquisa nas fontes escolhidas foi por meio de strings de busca, que foram
utilizadas para chegar aos estudos desejados em todas as fontes.
Os estudos retornados passaram por uma seleo, por meio de critrios de incluso e
excluso seguindo todas as definies e restries estabelecidas em um protocolo pr-definido.
1.6
ESTRUTURA DO TRABALHO
18
2.1
FUNDAMENTAO TERICA
MEDIO DE SOFTWARE
Para que uma organizao possa atingir um determinado objetivo, a mesma precisa tomar
decises que contribuam para o alcance desse objetivo, porm para que essas decises sejam as
mais assertivas possveis em relao ao objetivo determinado preciso conhecer e usufruir de
informaes que possam servir de subsdio para que dvidas sejam sanadas e opes de soluo
surjam e, desta forma, seguir uma linha de raciocnio com uma probabilidade maior de acerto em
relao deciso tomada (COSTA, 2015).
No contexto de desenvolvimento de software, o processo de medio tem por finalidade
gerar informaes capazes de apoiar a tomada de deciso a fim de atingir os objetivos da
organizao e por esse motivo o processo de medio deve estar sempre alinhado aos objetivos
estratgicos da organizao para que se obtenham os resultados desejados.
O processo de medio possui grande importncia no que tange ao planejamento
estratgico de uma organizao. Por exemplo, se a organizao deseja aumentar a produtividade
de um determinado setor da empresa, deve-se buscar saber qual a produtividade atual, quanto de
retrabalho est sendo realizado, o que mais afeta para que se tenha retrabalho, dentre outras
informaes relevantes e, dessa forma, conhecendo o que est afetando o ndice atual de
retrabalho pode-se tomar decises para que isso seja minimizado. A estratgia adotada ser
estabelecida a partir dos resultados do processo de medio, por exemplo, se a equipe no
apresentar um alto ndice de retrabalho, mas se for o caso de algum trabalho estar despendendo
muito tempo por conta da metodologia aplicada, a medida a ser tomada nesse caso pode ser
desenvolver um novo mtodo mais gil para o mesmo fim. Vale mencionar que, sendo a medio
um processo complexo, a mesma deve ser planejada e seus resultados analisados por um
profissional que entenda de fato do processo, mesmo porque as medidas resultantes do processo
para anlise so dados quantitativos, ou seja, s ser obtido como resposta nmeros, e
geralmente grficos so usados para melhorar a interpretao dessas medidas (COSTA, 2015).
O processo de medio deve estar sempre de acordo com os objetivos estratgicos e
19
organizacionais da empresa, uma vez que esse o grande diferencial das organizaes que de
fato sabem utilizar o processo de medio das outras que simplesmente acumulam dados inteis,
pois em consonncia com os objetivos da organizao sabe-se o porqu de se estar utilizando os
indicadores e as medidas escolhidas.
O processo de medio para poder ser bem executado precisa anteriormente ser bem
elaborado e planejado e para auxiliar nisso um conjunto de passos foram elaborados, os quais
podem ser encontrados tanto na literatura quanto nos guias dos modelos de processos, tais como
nos guias do MPS.BR e do CMMI. As subsees a seguir mostram um seguimento no raciocnio
de como elaborar o processo de medio, assim como os pontos que o formam (COSTA, 2015).
aumentar a produtividade da equipe, outras informaes que poderiam ser usadas para isso
seriam saber o percentual de retrabalho, o que est agregando valor ao projeto ou mesmo qual o
percentual de tarefas rejeitadas e o porqu do percentual apresentado.
Solingen e Berghout (1999) afirmam que o resultado da aplicao do GQM e uma
estrutura hierrquica com trs nveis (Figura 1): o nvel conceitual (Objetivo), o nvel
operacional (Questo ou Necessidade de Informao) e o nvel quantitativo (Medida). Atravs de
uma abordagem top-down e orientada a objetivos, so definidos objetivos que so refinados em
questes. Medidas so, ento, definidas de forma que sejam adequadas para responder as
questes. A anlise das medidas permite verificar o grau de alcance dos objetivos.
O mtodo GQIM (PARK et al., 1996), uma variao do mtodo GQM, que est
baseado no entendimento de que identificar questes e medidas sem visualizar um indicador
muitas vezes no suficiente (ROCHA et al., 2012). Por exemplo, se ao utilizar o mtodo GQM
obteve-se a resposta de que a produtividade semanal da equipe 85%, isso seria bom ou ruim?
difcil dizer, pois no se tem nenhum parmetro de comparao, entretanto com o uso de
indicadores, limites podem ser estipulados e assim tm-se parmetros para comparar. Neste caso,
uma suposio de possveis limites seria: abaixo de 80% a produtividade est em um estado
crtico e preciso tomar alguma medida; entre 80% e 90% encontra-se em um estado de alerta,
ou seja, no to preocupante, mas alguma ao corretiva pode ser tomada; e acima de 90% est
dentro dos padres esperados, tudo certo com o desenrolar das atividades e nenhuma ao
corretiva precisa ser tomada. Nesse caso, com o uso do GQIM e a aplicao de indicadores e
tendo por base os limites indicados, sabe-se que uma produtividade de 85% encontra-se em um
21
estado de alerta. Vale mencionar que os limites de cada indicador variam de acordo com o
indicador trabalhado e de acordo com a organizao que o est definindo.
Optou-se pelo mtodo GQIM para ser utilizado neste trabalho pelo fato do mesmo
trabalhar com base no GQM que uma metodologia amplamente difundida e conhecida
(ROCHA et al., 2012) e acrescentar esta metodologia indicadores que oferecem um auxlio no
que tange aos procedimentos tanto de coleta quanto de anlise e ainda oferece um suporte em
relao anlise dos dados, pois apresenta como o prprio nome j sugere, indicadores para se
ter uma noo melhor sobre os valores apresentados no resultado.
2.2
22
2.3
apresentar uma avaliao justa de um tpico de investigao, usando uma metodologia confivel,
rigorosa e auditvel.
A principal meta de uma Reviso Sistemtica da Literatura consiste em realizar pesquisa
exaustiva na literatura, em busca de evidncias que possam apoiar uma determinada hiptese, ou
simplesmente a busca por conhecimento aprofundado acerca de certo fenmeno de interesse.
Para tal, a reviso sistemtica faz uso de estudos previamente publicados e validados,
relacionados ao tpico de interesse: os estudos primrios, estudos de natureza experimental que
envolvem hipteses e resultados obtidos com pesquisas, e experimentao, a partir de diferentes
mtodos, como surveys, estudo de caso e experimentos. Na Engenharia de Software, os estudos
experimentais consistem em uma importante maneira de se obter maiores informaes a respeito
de novas tecnologias, metodologias e boas prticas quanto ao desenvolvimento de software
(MAFRA; TRAVASSOS, 2006).
A reviso sistemtica consiste em pesquisa: organizada e metdica na literatura, que
possui como caracterstica a abrangncia, j que engloba todos ou, pelo menos, a grande maioria
dos estudos relevantes questo de pesquisa; no tendenciosa, pois, possui um protocolo de
reviso, no sendo dirigida por interesses pessoais de seus pesquisadores; passvel de replicao,
por possuir um protocolo de reviso definido a priori (MAFRA; TRAVASSOS, 2006).
No entanto, uma Reviso Sistemtica da Literatura necessita de um esforo muito maior
por parte dos pesquisadores, alm de ser uma reviso que necessita de mais recursos humanos
que uma reviso informal, j que aconselhvel a participao de no mnimo dois pesquisadores
para sua conduo, para garantir sua confiabilidade e eliminar vis individual.
Inconsistncia dos resultados. Para Biolchini et al. (2005), nas revises informais,
a presena de inconsistncia um fator negativo, j que dificulta o entendimento e
julgamento do pesquisador. J nas Revises Sistemticas, essa inconsistncia
um fator de incentivo para o pesquisador, j que por meio dessa inconsistncia
pode ser percebida a falta de robustez para o fenmeno em estudo, o que pode
auxiliar no apoio ou no de suas hipteses;
25
Uma reviso sistemtica deve ser conduzida por meio de um protocolo pr-estabelecido
para garantir que essa reviso tenha de fato valor cientfico e possibilidade de repetio, pois
caso isso no acontea, as revises tornam-se informais e dependentes dos revisores que a
conduziram, diminuindo o grau de confiabilidade das mesmas.
O mapeamento sistemtico , tambm conhecido com estudo exploratrio, um tipo de
reviso sistemtica, onde se realiza uma reviso mais ampla dos estudos primrios, em busca de
identificar quais evidncias esto disponveis, bem como identificar lacunas no conjunto dos
estudos primrios onde seja direcionado o foco de revises sistemticas futuras e identificar
reas onde mais estudos primrios precisam ser conduzidos (KITCHENHAM, 2004). O estudo
de mapeamento sistemtico fornece uma viso geral de uma rea de pesquisa, identificando a
quantidade, os tipos de pesquisas realizadas, os resultados disponveis, alm das freqncias de
publicaes ao longo do tempo para identificar tendncias (PETERSEN et al., 2008).
A reviso sistemtica segue uma metodologia especfica e peculiar, apresentada por
Kitchenham (2007), em que define: Revises Sistemticas comeam pela definio de um
protocolo de reviso, que especifica a questo de pesquisa a ser tratada e os mtodos que sero
usados para sua realizao; que so baseadas em uma estratgia de busca definida pelo
pesquisador, a qual objetiva identificar o mximo possvel de estudos relevantes questo de
pesquisa; onde a estratgia de busca documentada nos mnimos detalhes, para que o leitor
possa avaliar seu rigor, completude e replicabilidade; exigem critrios explcitos de incluso e
excluso de estudos primrios, de forma a avaliar a necessidade destes estudos para a pesquisa;
especificam a informao a ser obtida a partir de cada estudo primrio, incluindo critrios de
qualidade para avaliao de cada estudo; alm de ser um pr-requisito para uma meta-anlise
quantitativa de dados.
26
Desta forma, Kitchenham (2007) resume as etapas de uma reviso sistemtica em trs
fases principais: planejamento, conduo e apresentao. Essas etapas so explicadas nas
prximas subsees.
2.3.2.1
Que critrios foram utilizados para avaliar a qualidade dos estudos primrios?
27
Travassos (2007), por meio de alguns passos, confirma e acrescenta novas informaes
sobre o que a fase de planejamento deve contemplar:
A etapa de conduo do mapeamento pode ser dividida nas seguintes fases: busca
primria, seleo dos estudos primrios, categorizao dos estudos.
A fase de busca primria definida pela utilizao de strings de busca nas fontes de
pesquisa definidas, tendo como resultado um conjunto de estudos primrios potenciais para a
pesquisa.
A fase de seleo dos estudos primrios onde ocorre a execuo do processo de seleo
definido no protocolo de reviso, com a aplicao dos critrios de incluso e excluso prdefinidos nos estudos retornados da busca primria, tendo como resultado o conjunto de estudos
que sero utilizados na pesquisa.
A fase de avaliao da qualidade dos estudos primrios ocorre aps a seleo, onde estes
so avaliados inicialmente com base em critrios de qualidade, previamente estabelecidos.
Depois dessa avaliao atribuda uma nota final para cada estudo e com base em uma tabela
28
com faixas de notas atribudo um nvel de qualidade. Porm esta etapa no esta dentro do
escopo deste trabalho.
A fase de extrao dos dados pode ser realizada por meio de formulrios, podendo ser
apoiada por uma ferramenta computacional, para a categorizao desses dados obtidos dos
estudos primrios selecionados.
Para Travassos (2007), o processo para realizar a etapa de conduo de uma reviso
sistemtica definido pelos seguintes passos:
Realizao das Buscas nas fontes definidas: o processo deve ser transparente,
repetvel e documentado, assim como as mudanas que ocorrem no processo;
Extrao dos dados, desde informaes gerais dos estudos s respostas para as
questes de pesquisa. Formulrios so um bom meio para registrar todos os dados
necessrios e o uso de uma ferramenta computacional pode apoiar a extrao e
registro dos dados e posterior anlise;
Sntese dos dados realizada de acordo com as questes de pesquisa, por meio de
quadros para realar as similaridades e diferenas entre estudos. Se dados
quantitativos esto disponveis, pode-se considerar fazer uma meta-anlise.
29
2.4
TRABALHOS RELACIONADOS
30
2.5
CONSIDERAES FINAIS
31
32
PLANEJAMENTO DA REVISO
3.1
PROTOCOLO DE REVISO
33
Com base no objetivo de investigao desta reviso foi definida a seguinte questo de
pesquisa, a qual guiou esta Reviso Sistemtica da Literatura :
35
Relevncia da fonte.
Foram apenas considerados os estudos obtidos por meio das fontes selecionadas e em
conformidade com os critrios de incluso e excluso;
36
A pesquisa estar restrita aos resultados publicados entre 01 de janeiro de 2005 at junho
de 2015, contemplando, desta forma, um perodo de mais de 10 anos, dada a necessidade
de identificar os objetivos de medio, necessidades de informao, indicadores e
medidas mais utilizados no contexto de processos de desenvolvimento de software. Vale
ressaltar que esse perodo pode ser adequado de acordo com as limitaes das dos autores
nestes idiomas.
Com base na relevncia das fontes para o tpico de interesse deste trabalho foram
elencadas onze possveis fontes de interesse. Assim, levando em considerao os critrios de
seleo e as restries da pesquisa, foram selecionadas as fontes de pesquisa (Quadro 1) nas
quais foram realizadas as buscas dos estudos primrios, de acordo com disponibilidade de
pesquisa e relevncia para rea de Qualidade de Software.
Quadro 1 Seleo de Fontes de Pesquisa
Fonte
ACM
Selecionada?
Sim
-
Sim
El Compendex
Sim
Sim
Scopus
Sim
Jairo
No
Justificativa
Mquina de busca
ineficiente.
Sim
Sim
37
No
Falta de disponibilidade.
No
Falta de disponibilidade.
Sim
POPULAO
o Ingls: Software Development, Software Project, Project, Development,
Organization, Enterprise, Company, Industry, Institute, Research Group,
Technology Center;
o Portugus: Desenvolvimento de Software, Projeto de Software, Projeto,
Desenvolvimento,
Organizao,
Empresa,
Companhia,
Indstria,
INTERVENO
o Ingls: GQM, GQIM, PSM, BSC, COBIT;
o Portugus: GQM, GQIM, PSM, BSC, COBIT;
RESULTADOS
o Ingls: Measurement Process, Measuring, Software Measurement,
Measurement, Objective Measurement, Information Need, Question,
Indicator, Measure;
o Portugus: Processo de Medio, Medindo, Software de Medio,
Medio, Objetivo de Medio, Necessidade de Informao, Questo,
Indicador, Medida.
A string de busca o agrupamento das palavras-chave, por meio dos operadores <OR> e
<AND>. O operador <OR> utilizado para o agrupamento das palavras-chave e sinnimos, por
39
Portugus:
("Software"
OR
"Softwares"
AND
("Projeto"
OR
o Para
El Compendex:
("Project" OR "Development" OR
2014)
OR
LIMIT-TO(PUBYEAR,
2013)
OR
LIMIT-
A etapa de seleo de estudos primrios pode ser dividida em: Definio de Critrios de
Incluso e Excluso de Estudos Primrios e Definio do Processo de Seleo dos mesmos.
CE.3)
Artigos repetidos (em mais de uma fonte de busca) tiveram apenas sua
primeira ocorrncia considerada;
CE.4)
considerada,
salvo
casos
em
que
haja
informaes
complementares;
CE.5)
CE.6)
CE.7)
CE.8)
CI.2)
44
A qualidade de um artigo pode ser mensurada pela relevncia e valor cientfico de seu
contedo; tambm considerado um critrio de excluso, a ser aplicado durante a conduo da
pesquisa. Desta forma, durante a anlise dos estudos primrios e coleta de resultados, foram
aplicados os critrios de qualidade definidos abaixo, permitindo um processo adicional de
validao dos estudos, de forma a identificar possveis trabalhos que ainda devem ser
desconsiderados da pesquisa e observar o grau de importncia dos estudos individualmente para
quaisquer comparaes durante a sntese dos dados (KITCHENHAM, 2004).
Adicionalmente, a avaliao da qualidade pode servir como recomendao de estudos
para futuras pesquisas, fornecendo informaes a respeito da qualidade das informaes de cada
estudo avaliado (KITCHENHAM, 2004).
45
Os critrios de qualidade que foram aplicados aos estudos primrios foram adaptados de
Costa, (2010), uma vez que descreviam critrios abrangentes o suficiente para cobrir o escopo
dos estudos a serem considerados, com alteraes para se adequarem aos objetivos e questes de
pesquisa desta reviso sistemtica. Segue a lista dos critrios de qualidade e suas categorias:
Os critrios de qualidade foram:
1. Introduo/Planejamento
a. Os objetivos ou questes do estudo so claramente definidos (incluindo
justificativas para a realizao do estudo)?
b.
2. Desenvolvimento
a. Existe uma clara descrio do contexto no qual a pesquisa foi realizada?
b. O trabalho bem/adequadamente referenciado (apresenta trabalhos
relacionados ou semelhantes e se baseia em modelos e teorias da
literatura)?
3. Concluso
a. O estudo relata de forma clara e no ambgua os resultados?
b. Os objetivos ou questes do estudo so alcanados?
4. Critrios para a Questo de Investigao
46
Escala de Likert-5
Concordo totalmente (4)
1b.
Escala
4 - Define e justifica o estudo claramente.
3 - Define claramente o estudo, porm a justificativa no clara.
2 - Define claramente o estudo, mas no justifica.
1 - A definio dos objetivos do estudo no clara.
0 - No define o estudo.
4 Define o tipo de estudo, referenciando na literatura a metodologia.
3 Define o tipo de estudo, porm sem referenciar a metodologia.
2 No define o tipo de estudo. possvel inferir facilmente.
1 No define o tipo de estudo. possvel inferir com dificuldade.
0 No possvel inferir o tipo de estudo.
48
2b.
3a.
3b.
4a.
4b.
5a.
Escala
4 Define claramente uma seo com o contexto da pesquisa.
3 O contexto da pesquisa est includo em uma seo no exclusiva.
2 O contexto da pesquisa est disperso ao longo do texto.
1 O contexto da pesquisa est disperso e insubstancial.
0 O contexto da pesquisa no abordado.
4 O texto apresenta uma seo de trabalhos relacionados.
3 O texto apresenta trabalhos relacionados em uma seo no
exclusiva.
2 O texto apresenta trabalhos relacionados dispersos ao longo do
texto.
1 O texto no apresenta trabalhos relacionados, mas se apoia na
literatura.
0 O texto no apresenta trabalhos relacionados nem se apoia na
literatura.
4 Resultados so claramente apresentados na seo de concluso.
3 Resultados so claramente referenciados na seo de concluso.
2 Resultados apresentados na concluso no so claros.
1 Resultados referenciados na concluso no so claros.
0 No so apresentados resultados.
4 Os resultados esto totalmente aderentes ao objetivo do estudo.
3 Os resultados esto aderentes ao objetivo do estudo, no entanto o
autor faz ressalvas.
2 Os resultados so parcialmente aderentes ao objetivo do estudo.
1 Os resultados no esto aderentes ao objetivo do estudo.
0 No alcanado nenhum resultado.
4 Algum dos elementos claramente descrito.
3 Algum dos elementos apresentado, mas no aprofundado.
2 Algum dos elementos avaliado, porm no descrito.
1 Algum dos elementos citado indiretamente.
0 Nenhum dos elementos apresentado direta ou indiretamente.
4 Apresenta uma ferramenta disponvel para uso em verso funcional.
3 Apresenta ferramenta em verso funcional porm no disponvel
para uso.
2 Apresenta um projeto ou proposta de ferramenta, incluindo a
descrio de funcionalidades.
1 Apresenta apenas algoritmos de apoio ou anlises de ferramentas de
suporte GRH.
0 No so apresentadas ferramentas de apoio.
4 O mtodo de experimento definido e referenciado claramente.
3 O mtodo de experimento definido claramente.
2 O mtodo de experimento citado.
1 O mtodo de experimento no citado, porm possvel inferir.
0 No possvel inferir o mtodo de experimento.
49
7a.
8a.
Escala
4 O texto descreve critrios para a escolha dos estudos.
3 O texto no descreve critrios para a escolha dos estudos, porm
apresenta estudos que discordam do estudo apresentado.
2 O texto descreve apenas estudos aderentes ao estudo apresentado.
1 O texto descreve estudos insuficientes.
0 O texto no descreve estudos base.
4 O protocolo de reviso apresentado, descrito e seguido.
3 O protocolo de reviso apresentado e descrito, porm h
evidncias de que no foi seguido adequadamente.
2 O protocolo de reviso no foi suficientemente descrito.
1 O protocolo de reviso apenas foi citado ao longo do texto.
0 No h um protocolo de reviso.
4 A rea de atuao, tamanho e origem da organizao so
informados.
3 Apenas duas das caractersticas do item 4 so informadas.
2 Apenas uma das caractersticas do item 4 informada.
1 Nenhuma das caractersticas do item 4 informada.
0 O estudo no foi conduzido em uma ou mais organizaes.
3. Deve-se, ento, dada a soma das pontuaes, enquadr-los em um dos cinco nveis
de qualidade classificados por Beechan (2007), tais como, apresentados no Quadro 4.
Quadro 4 Nveis de Qualidade
Faixa de Notas
3.2
Avaliao
Excelente
>86%
Muito Boa
66%-85%
Boa
46%-65%
Mdia
26%-45%
Baixa
< 26%
CONSIDERAES FINAIS
O planejamento de uma reviso sistemtica uma das etapas mais importantes desse
processo, pois durante essa etapa que so definidos aspectos que norteiam o pesquisador
50
durante a conduo da reviso, fazendo com que o mesmo no perca o foco, alm de eliminar
provveis vieses.
O protocolo de reviso o artefato que garante o carter repetvel de uma reviso
sistemtica, alm de comprovar que a reviso realizada foi planejada e que as decises tomadas
durante essa etapa foram registradas. O processo para a definio do protocolo de reviso no
sequencial, o que garante a reviso, modificao e/ou refinamento do planejamento de forma
iterativa.
Esse captulo apresentou a fase de planejamento da reviso sistemtica que foi realizada
no contexto desse trabalho, com a definio do protocolo de reviso.
51
Esse captulo apresenta a principal contribuio deste trabalho, a aplicao das tcnicas
de Mapeamento Sistemtico da literatura durante a fase de conduo que apresentada conforme
definida no protocolo de reviso, discutida no Captulo 3.
4.1
CONDUO DO MAPEAMENTO
No contexto desse trabalho, a fase de conduo foi dividida em: Busca Primria, Seleo
de Estudos Primrios e Avaliao de Qualidade dos Estudos. A execuo, resultados e anlise
dos mesmos, so apresentados nas subsees seguintes.
Em acordo com o que foi definido no protocolo de reviso, no que diz respeito ao mtodo
de busca realizado nas fontes selecionadas, foi executada em cada fonte a busca primria, com
uma string de busca especfica. A partir disso, obteve-se um total de 1592 estudos, no qual 618
trabalhos foram identificados na ACM, 50 na IEEE, 44 na ISI Web Knowledge, 53 na El
Compedex, 65 na Scopus, 209 na CLEI, 442 no SBQS, e por fim, 111 trabalhos foram
identificados no WAMPS. Como pode ser visualizado no grfico da Figura 2.
52
111
442
209
44
65 53
50
WAMPS
7,0%
27,8%
SBQS
13,1%
WAMPS
3,1%
4,1% 3,3%
2,8%
53
importante frisar que a quantidade de estudos retornada por cada fonte pode ser
justificada por diversos fatores, tais como, a quantidade total de estudos na fonte e a relevncia
da fonte para a questo de pesquisa.
Nas fontes de pesquisa CLEI, SBQS e WAMPS a busca foi feita de forma manual, e
dessa forma os estudos retornados desta base j foram considerados estudos includos de acordo
com os critrios de incluso.
Tendo em vista que o nmero de estudos retornados na busca primria foi satisfatrio
para que continuasse a conduo da reviso, aps o download de todos os estudos, foi realizada a
verificao com relao as restries da pesquisa. Os estudos que foram aprovados foram
inseridos em uma Tabela de Seleo criada para cada fonte de pesquisa.
A partir do processo de seleo definido no Captulo 3, cada um dos pesquisadores
selecionou, inicialmente, os estudos primrios por meio da leitura do ttulo, palavras-chaves,
resumo e concluso de cada estudo retornado, para, assim, aplicarem os critrios de incluso e
excluso. Aps esse processo, as Tabelas de Seleo dos pesquisadores para cada fonte foram
comparadas e por fim, durante reunies entre estes, foi realizado o consenso entre as
divergncias para a incluso de estudos, seguindo o que previamente foi definido no protocolo de
reviso.
Aps o processo de seleo, o nmero de estudos foi bastante reduzido, j que apenas 44
estudos foram selecionados, podendo ser vistos no Apndice B. Assim, estudos retornados,
listados no Apndice C, foram excludos pelos pesquisadores, os principais motivos foram: no
apresentam primria ou secundariamente abordagens de Medio de Software ou eram estudos
repetidos, ou seja, estavam disponveis em mais de uma fonte de pesquisa selecionada.
54
Estudos Retornados
618
50
44
53
65
209
442
111
1592
Estudos Includos
3
6
4
3
1
1
2
0
20
Aps o processo de seleo dos estudos primrios, pode-se verificar que embora a
IEEEXplore apresente um nmero pequeno de estudos retornados, com 3,14%, essa fonte teve
uma grande representatividade, quando comparada com as demais. Nos estudos primrios
selecionados esta fonte obteve 30%. E se somada a Isi Web of Knowledge, a outra base com o
menor nmero de artigos retornados, as duas compem 50% dos estudos primrios selecionados.
Isso pode ser explicado pela ordem que o processo de seleo ocorreu, j que muitos estudos
dessas bases permaneceram em detrimento aos estudos de outras fontes que foram enquadrados
no critrio de excluso de estudos repetidos. A ordem das bases do processo de seleo segue a
mesma ordem em que as mesmas aparecem na Tabela 1, essa ordem foi estabelecida
considerando a estabilidade da base em relao string de busca definida para a mesma e a
relao dos artigos retornados com o tema da pesquisa
Uma das restries dessa pesquisa era o ano de publicao dos estudos, que deveria estar
entre 01 de janeiro de 2005 at junho de 2015, neste caso, todos os estudos primrios
selecionados foram publicados no perodo desejado. A pesquisa contemplou, desta forma, um
perodo de mais 10 anos, podendo, assim, identificar as informaes acerca da literatura mundial
atual para Medio de Software.
55
4
3
3
Nmero de estudos
2
2
1
1
0
0
2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Figura 4 Nmero de Estudos ao Longo dos Anos
56
Na Tabela 2 pode-se observar o nmero de publicaes por autores que entraram nesta
pesquisa atravs de suas publicaes dentro do espao de tempo determinado.
Tabela 2 Nmero de Estudos por Autor
58
N de Estudos
3
2
2
2
2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
59
No grfico da Figura 5 pode-se observar quais os pases que mais publicam sobre
Medio de Software no contexto de projetos de software. Pode-se observar tambm a
importncia do Brasil, no que diz respeito qualidade de software, porm essa expressividade
pode-se dar devido escolha de fontes de pesquisas nacionais para compor esta pesquisa. A
Itlia, como se pode observar, apresentou um nmero de publicaes superior, seguida pela
China, Sucia e Brasil. Isso pode ser explicado devido esses pases entrarem em parceria para
produzir um determinado trabalho e/ou apresentarem especialistas no processo de medio que
publicaram trabalhos que condizem com o objetivo desta pesquisa, visto que muitos trabalhos
que tratam sobre o processo de medio foram encontrados no processo de seleo, porm s
esto sendo levados em considerao para a anlise, os que trataram especificamente do objetivo
desta pesquisa.
5
4
4
3
3
2
2
1
Estudos
1
0
A distribuio dos trabalhos por tipo de publicao pode ser visualizada na Figura 6, em
que pode-se perceber que a maioria dos estudos primrios, 70% (14 estudos), foi publicada em
eventos, outra parcela, que corresponde a 30% (6 estudos) foram publicados em peridicos, e por
ltimo, no se identificou nenhum relatrio tcnico condizente com a pesquisa. Pode-se observar
que a grande maioria dos estudos includos, foram publicados atravs de eventos, e isso pode ser
60
explicado devido ao fato de que a computao uma cincia relativamente nova. Ento ainda
no existem tantos peridicos especializados na rea de Engenharia de Software.
6
Evento
Peridico
Relatrio Tcnico
14
International
Informatics
(ICCI*CC )
International Federation for Information
Processing - IFIP
The Journal of Systems and Software
Information and Software Technology
Ingeniera Investigacin y Tecnologa
International Conference on Data and Software
Engineering (ICODSE)
Advances in Engineering Software
International
Conference
on
Software
Engineering and Service Science (ICSESS)
Simpsio Brasileiro de Qualidade de Software
(SBQS)
Conferncia Latinoamericana de Informtica CLEI
Evento
2
1
1
Peridico
Peridico
Peridico
Evento
Peridico
Evento
Evento
Evento
A distribuio dos estudos entre acadmico ou voltados para a indstria pode ser
visualizada no grfico da Figura 7, onde se observa uma quantidade maior de estudos
acadmicos (75%). Isso pode ser explicado devido ao foco do meio acadmico ser o de produzir
trabalhos cientficos e de pesquisa, o que no uma regra para o meio industrial, que tambm
produz trabalho de pesquisa, mas que nem sempre apresenta como foco a publicao dos
mesmos, alm do que mesmo que um trabalho apresente um estudo de caso em um meio
organizacional, se este for produzido por uma instituio acadmica, permanecer o carter
acadmico. Outro fator que pode influenciar o meio industrial apresentar poucos trabalhos
relacionados ao objetivo da pesquisa deste trabalho que por vezes isso pode estar relacionado a
objetivos estratgicos da organizao e muitas empresas preferem no expor esse tipo de
informao.
62
5
Industrial
Acadmico
15
A distribuio dos Ativos de medio em relao aos trabalhos selecionados pode ser
visualizada na Figura 8. Dos trabalhos selecionados, todos apresentaram um determinado
objetivo de medio, uma grande parcela (80%) apresentou necessidades de informao,
somente 20% apresentaram indicadores e 75% apresentaram medidas em seu trabalho. Isso pode
ser explicado, devido metodologia GQM ser a mais utilizada at ento quando se trata de
processo de medio, dessa forma o nmero de trabalhos que apresentam indicadores
expressivamente menor.
Objetivo de
Medio
14
20
Necessidade de
Informao
Indicador
Medida
16
O Quadro 6 apresenta os ativos de medio que cada estudo includo possui, os mesmos
esto ordenados por base e em seguida por ano de publicao. Nesse quadro, os artigo recebem
uma marcao com um X nas colunas OM (Objetivos de Medio), NI (Necessidades de
63
Base
OM NI I M
Scopus
X X X
SBQS
SBQS
CLEI
X
M:
Com relao qualidade dos estudos, foi possvel notar prevalncia nos estudos com
qualidade Excelente e Muito Boa, contando com 10 e 5 estudos, respectivamente. Em
seguida, houve 4 ocorrncias de trabalhos de qualidade Boa. Houve apenas 1 estudo de
qualidade Mdia, ao passo que no foi identificado nenhum estudo com qualidade Baixa. A
Figura 9 sintetiza estas informaes.
0%
5%
Excelente
20%
50%
25%
Muito Boa
Boa
Mdia
Baixa
Com base na avaliao da qualidade realizada, pde-se verificar que os estudos quanto
sua forma apresentavam em sua maioria uma excelente qualidade, sendo assim, este poderia ser
um indicativo da qualidade do contedo dos mesmos.
65
4.2
CONSIDERAES FINAIS
66
CONCLUSES
5.1
VISO GERAL
Com o objetivo geral de realizar uma Reviso Sistemtica da Literatura para a Medio
de Software, no captulo introdutrio foi apresentada a contextualizao deste trabalho, por meio
de uma viso geral sobre o assunto principal da pesquisa, sua justificativa e motivao, alm de
seus objetivos e a metodologia aplicada para a realizao deste.
No segundo captulo foi introduzido o conceito de Medio de Software e a importncia
da seleo do mtodo de medio. Aps, foi mostrado o conceito Engenharia de Software
Baseada em Evidncia e a definio de estudos primrios e secundrios. Em seguida foi
apresentado o conceito de Reviso Sistemtica da Literatura, seu diferencial em relao a
revises informais e sua metodologia.
O terceiro captulo apresentou os resultados da fase de planejamento da reviso, mais
especificamente o protocolo de reviso, onde esto inseridas as definies que devem nortear
toda a conduo de uma reviso, desde a definio da questo de pesquisa at a forma de
extrao dos dados.
O quarto captulo exps os resultados da fase de conduo da reviso, onde foram
apresentados: a quantidade de estudos retornados pelas buscas primrias realizadas nas fontes
escolhidas; os resultados do processo de seleo, que definiu os estudos primrios analisados; a
anlise realizada nos estudos primrios selecionados e a sumarizao de alguns nmeros.
67
5.2
RESULTADOS OBTIDOS
Por meio deste trabalho, obteve-se o Protocolo de Reviso Sistemtica da Literatura para
a Medio de Software. Este protocolo garante a repetio de pesquisas como essa, alm de sua
possvel utilizao para auxlio na realizao de novas revises sistemticas. Como resultado
pde-se, tambm, apresentar o conjunto de estudos primrios selecionados nesta pesquisa, bem
como dados extrados destes estudos que demostram a tendncia de publicaes nesta rea, o que
possibilita a descoberta de abordagens (tcnicas, modelos de processos, frameworks de processo,
ferramenta, metodologias e afins) que apoiam a realizao de boas prticas para tal gerncia.
Este fato pode auxiliar organizaes para o desenvolvimento ou evoluo de seu processo para
Medio de Software, alm de uma viso geral de como se encontra o fenmeno estudado na
literatura, quais as principais pesquisas e quais as provveis lacunas encontradas.
5.3
5.4
TRABALHOS FUTUROS
Considerando que esta reviso serviu como insumo para a elaborao de um catlogo de
ativos mais utilizados no processo de medio no contexto de desenvolvimento de software
dentro do Projeto SPIDER, como Dissertao de Mestrado do coorientador deste trabalho, e
considerando, ainda, que serviu tambm para definir estatsticas relacionadas s abordagens
(modelos, processos, frameworks, etc.) encontradas nas publicaes rejuradas das fontes de
pesquisa, esta seo ir identificar sugestes de prosseguimentos do trabalho apresentado,
indicando possveis evolues que podem torn-lo mais completo e adequado para a medio de
software.
69
contedo podem ser encontradas, alm do que, sua efetividade quanto ao que se prope pode ser
avaliada.
70
REFERNCIAS
71
72
Histrico de Revises
Data
Verso
Descrio
Autor
Thiago Sylas
de pesquisa).
Definio das fontes de buscas, critrios de
0.2
01/04/2015
Thiago Sylas
qualidade
Definio da Estratgia de Extrao de
06/04/2015
0.3
Thiago Sylas
pesquisa secundrias
73
Protocolo de Reviso
Contexto
O projeto SPIDER (acrnimo para Software Process Improvement Development and Research)
surgiu em 2009 com o objetivo de propor abordagens sistematizadas para apoiar a
implementao de programas de melhoria de processo de software. Com relao abordagem
para sistematizar a implementao de processos, o Projeto SPIDER tem como possibilidades:
Utilizao de ferramentas j existentes no mercado; A adequao de ferramentas j existente no
mercado; A criao de novas ferramentas. O Projeto SPIDER foca, ainda, na utilizao de
software livre, o que proporciona a liberdade: de executar o programa; de estudar como o
programa funciona, e adapt-lo para as suas necessidades; de redistribuir cpias; de modificar o
programa; e de liberar estas modificaes (GNU, 2011). Utilizar software livre para a
implementao de modelos de qualidade pode ocasionar em diminuio de custos e tempo de
implementao (OLIVEIRA, 2010).
Neste contexto, esta reviso sistemtica parte de um projeto de dissertao de mestrado
vinculado ao Projeto SPIDER com o objetivo de reunir conhecimentos a respeito da
implementao do Processo de medio, criando assim um catlogo das principais Necessidades
de Informao, Indicadores e Medidas (NIIM) utilizadas para sua realizao, bem como a
definio de em qual contexto estas NIIMs so melhores utilizadas. Nessa pesquisa tambm
ser desenvolvida uma ferramenta para auxiliar o processo de medio durante o
desenvolvimento de software.
O processo de medio tem por finalidade gerar informaes capazes de apoiar a tomada de
deciso a fim de atingir aos objetivos da organizao. Vale mencionar que o processo de
medio deve estar sempre de acordo com os objetivos estratgicos e organizacionais da
empresa, para que desta forma se possa realmente chegar a informaes capazes de contribuir
para os objetivos em questo, esse o grande diferencial das organizaes que de fato sabem
utilizar o processo de medio das outras que simplesmente acumulam dados inteis.
74
Neste contexto, esta reviso sistemtica ser um instrumento metodolgico para apoiar a criao
de um catlogo contento questes, indicadores e medidas utilizadas na literatura e no dia-a-dia de
empresas desenvolvedoras de software durante a implantao do processo de medio.
Objetivos
Esta reviso sistemtica ter objetivo de identificar os objetivos de medio, necessidades de
informao, indicadores e medidas mais utilizados no contexto de processos de desenvolvimento
de software com o intuito de estabelecer um catlogo. Desta forma, tm-se a seguinte estrutura,
conforme proposto em Santos (2010):
Com o propsito de: identificar abordagens para apoiar o Processo de Medio de Software.
Referncias
75
Formulao da Pergunta
Questes de pesquisa so a base de uma reviso sistemtica da literatura. Esta pesquisa objetiva
investigar as propostas da literatura no que tange a seguinte indagao:
Para tal, foi definida a seguinte questo de pesquisa a qual guiar esta reviso sistemtica da
literatura:
Q1.
1.1.1. Para Q1
76
estrutura:
1.2.Questes Secundrias
Um conjunto de questes secundrias referentes questo principal foi estabelecido, questes
essas para serem respondidas durante a fase de extrao de informaes (para maiores detalhes,
consultar seo 15). Tais questes tm objetivo de esclarecer detalhes importantes que esta
reviso procura identificar, para colaborar com o projeto onde esta se insere.
Escopo da Pesquisa
Visando estabelecer limites viveis para a execuo desta pesquisa, foram definidos critrios
para seleo das fontes de pesquisa e restries para garantir a viabilidade da mesma.
77
as
verses
completas
de
artigos
apresentando
somente
resumo/abstract.
1.4.Restries
Devido ao carter da pesquisa, esta no dever incorrer em nus financeiro aos pesquisadores
Portanto apenas sero selecionadas as fontes que possibilitem consultas de forma gratuita ou a
partir do acesso pelo domnio da UFPA. Sero apenas considerados os estudos obtidos atravs
das fontes selecionadas e em conformidade com os critrios de incluso e excluso. A pesquisa
estar restrita aos resultados publicados entre 01 de janeiro de 2005 at a data de realizao das
buscas, contemplando, desta forma, um perodo de mais de 10 anos, dada a necessidade de
identificar abordagens para apoio s atividades de Medio de software mais atuais.
Sero considerados apenas artigos em ingls ou portugus devido proficincia dos autores
nestes idiomas.
Os mtodos de busca nas fontes podem ser definidos como: mtodo de busca manual e mtodo
de busca automtica.
de
busca
web
(http://www.google.com.br/)
Scholar
(http://scholar.google.com.br/).
1.7.Palavras-Chave e Sinnimos
A partir das questes de pesquisa, palavras-chave foram identificadas em acordo com a estrutura
Populao, Interveno e Resultados. Por considerar estudos nos idiomas Portugus e Ingls, as
palavras-chave foram definidas para ambos os idiomas, para a posterior formulao das strings
de busca. Para cada questo, segue a listagem de palavras-chave definidas:
POPULAO
79
1.8.Strings de Busca
Para elaborao da string de busca, as palavras-chave e sinnimos relacionados so agrupadas
por meio de operador <OR> e os conjuntos de termos so agrupados com o operador <AND>, de
acordo com a estrutura PICO (ou PIO no caso desta pesquisa) conforme segue (Santos, 2010):
1.8.1. Para Q1
o Ingls: ("Software" OR "Softwares" AND ("Project" OR "Development" OR
"Organization" OR "Enterprise" OR "Company" OR "Industry" OR "Institute"
OR "Research Group" OR "Technology Center")) AND (("GQM" OR
"GQIM" OR "PSM" OR "BSC" OR "COBIT") AND ("Measurement Process"
OR "Measuring" OR "Software Measurement" OR "Measurement") AND
("Objective" OR "Information Need" OR "Question" OR "Indicator" OR
"Measure")).
Listagem de Fontes
80
Com base nos critrios de seleo de fontes e nas restries definidas na seo 5, tem-se a
seguinte listagem de fontes:
Sero considerados artigos escritos em portugus e ingls, a primeira por ser importante
considerar pesquisas de mbito nacional, dada a relevncia do Programa MPS.BR para o estudo,
e a segunda para expandir a abrangncia da pesquisa, uma vez que a lngua definida como
padro na grande maioria dos peridicos e conferncias internacionais.
CE.2)
CE.3)
CE.4)
CE.5)
CE.6)
CE.7)
CE.8)
1.
2.
Introduo/Planejamento
a. Os objetivos ou questes do estudo so claramente definidos (incluindo justificativas
para a realizao do estudo)?
b. O tipo de estudo est definido claramente?
Desenvolvimento
82
a.
b.
3.
4.
5.
6.
7.
8.
Para a execuo desta reviso sistemtica cada mtodo de busca definido anteriormente seguir
os seguintes processo:
Durante a conduo desta reviso sistemtica, os estudos primrios sero identificados conforme
o processo seguinte:
A qualidade de um artigo pode ser mensurada pela relevncia e valor cientfico de seu contedo;
tambm considerado um critrio de excluso, a ser aplicado durante a conduo da pesquisa.
Desta forma, durante a anlise dos estudos primrios e coleta de resultados, sero aplicados os
critrios de qualidade (definidos na seo 12), permitindo um processo adicional de validao
dos estudos, de forma a identificar possveis trabalhos que ainda devem ser desconsiderados da
pesquisa e observar o grau de importncia dos estudos individualmente para quaisquer
comparaes durante a sntese dos dados (KITCHENHAM, 2005).
Adicionalmente, a avaliao da qualidade pode servir como recomendao de estudos para
futuros pesquisas, fornecendo informaes a respeito da qualidade das informaes de cada
estudo avaliado (KITCHENHAM, 2005).
84
Artigos que, porventura, sejam excludos por no se adequarem aos critrios de qualidade devem
ser citados, juntamente com as razes para sua excluso. Aps este passo, os artigos includos na
pesquisa passaro pela fase de extrao de dados.
Os critrios (1) a (4) se aplicam a todos os estudos primrios avaliados, enquanto os critrios (5)
a (8) se aplicam especificamente aos respectivos tipos de trabalho mencionados.
Escala de Likert-5
Concordo totalmente (4)
Concordo parcialmente (3) Deve ser concedido no caso em que o trabalho atenda
parcialmente aos critrios da questo.
Neutro (2)
85
Escala
1a.
1b.
2a.
2b.
3a.
3b.
4b.
5a.
6a.
8a.
Avaliao
Excelente
>86%
Muito Boa
66%-85%
Boa
46%-65%
Mdia
26%-45%
Baixa
< 26%
Cada publicao selecionada avaliada com relao ao tipo de abordagem que ela utiliza. Esta
aderncia registrada na tabela Avaliao da Qualidade.
88
1.11.
Extrao de resultados
Para cada estudo primrio analisado durante a etapa de extrao de resultados, ser feito um
resumo e sero observados os detalhes referentes s questes secundrias da pesquisa (ver 4.2).
Desta forma, ser analisado:
1.12.
Disposio das Informaes
O principal grfico gerado em relao questo de pesquisa o da quantidade de artigos que
abordam uma determinada tcnica. Outros grficos podem ser desenvolvidos ao longo da
Extrao dos Resultados, como, por exemplo:
90
Ttulo
Ano de
Publicao
Fonte
2009
ACM
2011
ACM
2010
ACM
2011
ACM
2011
ACM
2015
ACM
2013
CLEI
2006
CLEI
an industrial environment
Formulation and Empirical
EP2
EP3
as is to non-software development
domains?
A case study of measuring process
EP4
EP5
EP6
EP7
Assessment in Software
Development Projects
Applying Software Metrics to
EP8
91
2014
El Compendex
2010
El Compendex
2007
El Compendex
2011
El Compendex
2008
IEEE
2011
IEEE
2010
IEEE
2011
IEEE
2013
IEEE
2011
IEEE
2007
IEEE
EP11
EP12
EP13
EP14
for IT Services
Linking Software Development and
EP15
EP16
EP17
EP18
EP19
92
2009
IEEE
2005
IEEE
2008
IEEE
2006
IEEE
2014
IEEE
2010
IEEE
2011
IEEE
2009
IEEE
implementation
Automated support for processEP21
EP22
EP23
EP24
EP25
EP26
Factor
Towards a Multi-agents Architecture
EP27
EP28
2013
ISI Web of
Knowledge
93
DSFMS
An empirical research agenda for
EP29
2014
productivity
ISI Web of
Knowledge
Organizations- Discovering
2014
ISI Web of
Knowledge
2005
measurement plans
Critical Success Factors To Evaluate
EP32
2008
Projects
Linking Software Development and
EP33
2010
Measurement
Measuring process innovations and
EP34
improvements
2007
ISI Web of
Knowledge
ISI Web of
Knowledge
ISI Web of
Knowledge
ISI Web of
Knowledge
Avaliao da Acessibilidade de
EP35
2007
SBQS
2010
SBQS
2007
SBQS
Software
Anlise da Estrutura e Contedo de
uma Base de Medidas Visando ao
EP36
EP37
MPS. BR nvel F
94
2010
SBQS
2010
SBQS
2013
SBQS
2013
SBQS
2013
Scopus
2014
WAMPS
2014
WAMPS
Software
Uma Proposta de Medio para
Avaliar a Qualidade em Uso dos
EP39
EP40
EP41
EP42
metrics selection
Indicaes de Abordagens para
Rastreabilidade de Requisitos no
EP43
EP44
95
ID
Titulo
Ano de
publicao
Critrios
Fonte
de
Excluso
2011
ACM
EC2
2011
ACM
EC2
2015
ACM
EC2
2006
CLEI
EC2
2007
El Compendex
EC2
2007
IEEE
EC2
2009
IEEE
EC2
2005
IEEE
EC2
safety
A Case Study on Improving
EE2
EE3
EE4
EE5
EE6
EE7
EE8
96
measurement plans
Framework for Quantitative S/W
EE9
Development Performance
Measurement and Analysis in
2008
IEEE
EC2
2006
IEEE
EC2
2014
IEEE
EC2
2010
IEEE
EC2
2011
IEEE
EC2
2009
IEEE
EC2
Semiconductor Industry
EE10
EE11
EE12
EE13
EE14
EE15
2005
measurement plans
ISI Web of
Knowledge
EC2
TO EVALUATE INFORMATION
TECHNOLOGY OUTSOURCING
2008
ISI Web of
Knowledge
EC2
PROJECTS
Linking Software Development and
EE17
2010
Measurement
EE18
2007
ISI Web of
Knowledge
SBQS
EC2
EC2
97
MPS. BR nvel F
Uma Infra-Estrutura de Apoio a um
EE19
2010
SBQS
EC2
2010
SBQS
EC2
2013
SBQS
EC2
2013
SBQS
EC2
2014
WAMPS
EC2
2014
WAMPS
EC2
Software
Uma Proposta de Medio para
EE20
EE21
EE22
EE23
EE24
98