NBR 14598 9126 - ISO IEC - Guia para Utilização Das Normas Sobre Avaliação de Qualidade de Produt

& !#&% @ $ #$$ # ' @ "& !
# &% $ % #

$ $
Andr Koscianski1, Andr Villas-Boas2, Claudete Maria Rgo 3 Cleusa Asanome 4 , Danilo Scalet 5, Danton Romero6 , Jeanine M. Cieslak 7 , Marco Paludo8, Ronaldo S. Frossard 9, Tnia Mara Vostoupal 5 ABNT Associao Brasileira de Normas Tcnicas SC10 - Subcomit de Software Rua Mateus Leme, 1142 CEP 80610-903 Curitiba PR Brasil abnt_sw@pr.gov.br
#$&
Este guia tem como objetivo facilitar a compreenso das diversas Normas elaboradas ou em elaborao pela ISO/IEC( 9126 e 14598) que tratam do assunto modelo de qualidade e avaliao de qualidade de produto de software. Isto feito atravs de comentrios ou explicaes sobre os textos dessas Normas. Este trabalho est sendo desenvolvido no mbito da CE de Qualidade de Software da ABNT.
Maio de 1999
1 Os autores esto vinculados s seguintes instituies: 1 CEFET-PR, 2 FUNDAO CPqD, 3 CTI, 4 UEL, 5 CELEPAR, 6 EMBRATEL, 7 SEGURADORA GRALHA AZUL, 8 BANESTADO, 9 CITS
Comisso de Estudos de Qualidade de Software (CE21:101.01)
SUMRIO
1.
INTRODUO .................................................................................................................4 1.1 1.2 ORGANIZAO DO GUIA...............................................................................................5 CONVENES ...............................................................................................................6
2. 3. 4.
VISO GERAL SOBRE A ELABORAO DE NORMAS........................................7 PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE ..............................9 MODELO DE QUALIDADE DA 9126-1......................................................................24 4.1 OS NVEIS HIERRQUICOS DAS CARACTERSTICAS DE QUALIDADE INTERNAS E EXTERNAS .............................................................................................................................25 4.2 RELAO ENTRE CARACTERSTICAS DE QUALIDADE EXTERNAS E INTERNAS ...........26 4.3 QUALIDADE EM USO ...................................................................................................26
5. 6. 7. 8.
ESCOLHENDO MTRICAS ........................................................................................28 PROCESSO PARA ADQUIRENTES...........................................................................30 6.1 PROCESSO DE AQUISIO...........................................................................................30 PROCESSO PARA O AVALIADOR ...........................................................................32 PLANEJAMENTO E GESTO ....................................................................................36 8.1 8.2 A FUNO DE SUPORTE AVALIAO NO NVEL DA ORGANIZAO ........................36 A FUNO DE SUPORTE AVALIAO NO NVEL DO PROJETO ..................................37 PREFCIO E INTRODUO ..........................................................................................38 ESCOPO ......................................................................................................................39 REFERNCIAS .............................................................................................................39 TERMOS E DEFINIES ...............................................................................................39 ENTRADA PARA A AVALIAO...................................................................................39 INTERPRETAO DE RESULTADOS .............................................................................40 TABELAS RESUMO DAS NORMAS ISO/IEC 14598 E 9126...............................42 TABELA 1 - VISO GERAL DAS NORMAS 14598........................................................42 TABELA 2 - VISO GERAL DAS NORMAS 9126 ..........................................................45 GLOSSRIO ...............................................................................................................46 REFERNCIAS BIBLIOGRFICAS ......................................................................65
9.
DOCUMENTAO DE MDULOS DE AVALIAO ...........................................38 9.1 9.2 9.3 9.4 9.5 9.6
10. 1.1 1.1 11. 12.
Guia para utilizao das normas sobre avaliao de qualidade de software-ISO/IEC 9126 E ISO/IEC14598
LISTA DE FIGURAS
FIGURA G1.1 - PROCESSO DE AVALIAO ..................................................................5 FIGURA G2.7 NVEIS DE PONTUAO PARA AS MTRICAS..............................17 FIGURA G3.3 QUALIDADE INTERNA E EXTERNA .................................................24 FIGURA G4.4 QUALIDADE EM USO ............................................................................26 FIGURA G5. 1: O PROCESSO DE AVALIAO ............................................................34
GUIA PARA UTILIZAO DAS NORMAS SOBRE QUALIDADE DE PRODUTO DE SOFTWARE ISO/IEC 9126 E 14598
1. INTRODUO
A avaliao de produto de software tem sido uma das formas empregadas por organizaes que produzem ou adquirem software para obteno de maior qualidade nestes produtos, sejam eles produtos completos ou partes a serem integradas num sistema computacional mais amplo. Para que a avaliao seja mais efetiva importante que se utilize de um modelo de qualidade que permita estabelecer e avaliar requisitos de qualidade e tambm que o processo de avaliao seja bem definido e estruturado. As famlias de normas ISO/IEC JTC1/SC7 9126 e 14598 descrevem um modelo de qualidade, um processo de avaliao e alguns exemplos de mtricas que podem ser utilizadas por organizaes que pretendam fazer avaliao de produto de software. Este Guia foi elaborado pela Comisso de Estudos de Qualidade de Software da ABNT, baseado na experincia de seus membros atuando h cerca de 5 anos no trabalho de normatizao nacional e internacional. As normas internacionais de avaliao de produto de software so recentes, algumas ainda em elaborao, e a compreenso completa do processo de avaliao exige a anlise das duas famlias de normas, ISO/IEC 9126(partes 1 a 4) e ISO/IEC 14598(partes de 1 a 6). A famlia ISO/IEC14598 est organizada por diferentes objetivos de avaliao (ponto de vista do desenvolvedor, adquirente e avaliador independente). Assim sendo, a aplicao do modelo e processo definido nestas normas pode tornar-se complexa, principalmente para interessados que ainda no tiveram maior contato com o tema. O objetivo deste guia facilitar a compreenso dessas diversas normas, dando uma viso completa de todo o processo de avaliao de produto de software, utilizando trechos dos textos originais das respectivas normas, organizados de modo a se ter uma viso de conjunto e complementados por comentrios ou explicaes. Este guia foi elaborado considerando o seguinte pblico: Desenvolvedores de software que pretendam utilizar avaliao de produtos intermedirios ou finais como forma de aprimorar seu processo de desenvolvimento e consequentemente melhorar a qualidade do produto de software resultante; Pessoas ou organizaes que adquirem software e que pretendem utilizar a avaliao de qualidade como um processo de seleo desses produtos; Organizaes que executem avaliao independente de produto de software e que pretendam utilizar normas internacionais como referncia para o processo de avaliao; Professores e estudantes universitrios com interesse em qualidade de software
1.1 ORGANIZAO DO GUIA A organizao deste guia est orientada pelo processo de avaliao de produto de software, descrito na Norma 14598-1 e representado na Figura 1(da Norma). O item 2 d uma viso geral sobre a finalidade e o processo de elaborao de normas nacionais e internacionais. No item 3 esto apresentadas as etapas do processo de avaliao de produto de software. Os itens 4 e 5 apresentam informaes complementares e necessrias ao entendimento do processo de avaliao. O item 6 fornece algumas informaes complementares especficas para o processo de aquisio de software. O item 7 complementa o processo de avaliao quando se trata de avaliao por organizaes independentes. O item 8 apresenta as funes de suporte ao processo de avaliao obtidas da Norma 145982 Planejamento e Gesto. O item 9 apresenta uma sistemtica para documentao de mdulos de avaliao, obtida da Norma 14598-6 Documentao de Mdulos de Avaliao. O item 10 apresenta tabelas com uma viso integrada da srie de Normas 9126 e 14598, com seus objetivo, pblico alvo, contedo e uso. O item 11 apresenta um glossrio de termos que so utilizados no processo de avaliao.
Estabelecer o propsito da avaliao (7.1) Estabelecer Requisitos de Avaliao Identificar tipos de produto(s) a serem avaliados (7.2) Especificar modelo de qualidade (7.3) 9126-1 Caractersticas de qualidade 9126-2 Mtricas externas 9126-3 Mtricas internas 14598-6 Mdulos de avaliao
Selecionar mtricas (8.1) Especificar a Avaliao Estabelecer nveis de pontuao para as mtricas (8.2) Estabelecer critrios para julgamento (8.3) Projetar a Avaliao
Produzir o plano de avaliao (9.1)
Obter as medidas (10.1) Executar a Avaliao Comparar com critrios (10.2) Julgar os resultados (10.3)
Figura G1.11 - Processo de Avaliao
1 Os nmeros entre parnteses da figura correspondem aos itens da norma 14598-1 que tratam do assunto.
1.2 CONVENES Norma 14598-1 Como as normas utilizadas neste trabalho sero todas da ISO/IEC, sero referenciadas apenas pelo seu nmero Caso haja verso brasileira de alguma norma, ser utilizado o prefixo NBR. Quando o texto do guia for obtido do original de alguma norma, estar contido num quadro, tendo como ttulo a identificao principal da norma. Este smbolo indica que o texto a seguir complementar ao texto principal e destina-se a envolvidos no processo de avaliao de software em desenvolvimento. Este smbolo indica que o texto a seguir complementar ao texto principal e destina-se a envolvidos no processo de avaliao com vistas a aquisio de software. Este smbolo indica que o texto a seguir complementar ao texto principal e destina-se a envolvidos em processo de avaliao de software por terceira-parte. Este smbolo indica que o texto a seguir explicativo, elaborado pelos autores deste guia visando facilitar a compreenso. G1.1 Figura Avaliao Processo de Nmero da figura em relao ao guia (G1) e nmero da figura(1) em relao a Norma a qual ela pertence As normas 9126 e 14598 utilizam uma terminologia prpria, expresses destacadas no texto encontramse explicadas em um glossrio ao final do guia
NBR 12119 Titulo Texto extrado de norma
DES
AQ
TER
Definies do glossrio
importante lembrar que estamos utilizando o nome NORMA para todos os documentos, mas nem todos se encontram na mesma fase de elaborao (ver as Referncias Bibliogrficas e item 2 Viso Geral sobre Elaborao de Normas).
2. VISO GERAL SOBRE A ELABORAO DE NORMAS

Normalizao o processo de aplicar regras estabelecidas e executar uma atividade de maneira ordenada. Objetiva-se com a utilizao de normas no desenvolvimento e teste de software propiciar benefcios quantitativos como reduo de custo, tempo e erros e qualitativos como adequao, facilidade de uso e uma melhor percepo pelo usurio, atravs de uma linguagem comum estabelecida entre fornecedores e consumidores. importante destacar tambm que o uso de normas auxilia na obedincia ao Cdigo do Consumidor e a maior competitividade internacional. As normas podem ser internacionais, regionais, nacionais e organizacionais em funo da sua rea de aplicao. Normas nacionais so editadas por uma organizao nacional de normas. No Brasil, esta organizao a Associao Brasileira de Normas Tcnicas - ABNT. Ela reconhecida como Foro Nacional de Normalizao. Foi fundada em 1940 e uma entidade privada, sem fins lucrativos, e representa o Brasil nas entidades de normalizao internacional como a ISO e a IEC. Ela composta de Comits Brasileiros-CB e Organismos de Normalizao Setorial-ONS que fazem o planejamento, a coordenao e controle das Comisses de Estudo-CE que elaboram e mantm atualizadas as Normas Brasileiras. A partir da percepo de necessidade de uma norma o CB ou ONS avalia e decide pela incluso em seu Programa de Normalizao Setorial-PNS. , ento, criada uma CE, integrada voluntariamente por produtores, consumidores e neutros (universidades, centros de pesquisa, etc.) que elabora um Projeto de Norma, baseada no consenso de seus participantes. O Projeto de Norma votado pelos associados da ABNT e outros interessados e as sugestes recebidas so analisadas pela CE e na seqncia aprovada como Norma Brasileira. O passo seguinte a impresso e distribuio atravs dos postos de venda da ABNT. Os organismos internacionais mais importante para o setor de software so a ISO e a IEC. A International Organization for Standardization - ISO uma organizao nogovernamental estabelecida em 1947. Sua misso promover o desenvolvimento da normatizao e atividades relacionadas a nvel mundial. O seu trabalho resulta em acordos entre pases e que so publicados como Normas Internacionais. Todos os pases tem o direito de participar dos trabalhos da ISO em Comits Tcnicos ou Subcomits. A participao pode ser to tipo P, quando h atuao ativa nos trabalhos e com a obrigao de votar, ou do tipo O, quando participa como observador recebendo cpias dos documentos, participando das reunies e apresentando comentrios, mas sem votar.
A International Electrotechnical Commission - IEC, fundada em 1906 a organizao mundial que publica as normas internacionais relacionadas com eletricidade, eletrnica e reas relacionadas. Conta com a participao de mais de 50 pases.
Na rea de tecnologia de informao, a ISO e IEC, estabeleceram um comit conjunto- Joint Technical Committees - JTC para a elaaborao de normas na rea. Os trabalhos so organizados de acordo com as reas de especializao e ento so criados os Working Groups, numerados sequencialmente na ordem em que foram estabelecidos. Os trabalhos dos grupos so chamados de projetos e classificados conforme a etapa de desenvolvimento em que se encontram.
A Tabela 1 mostra a seqncia de etapas de projetos atravs dos quais o trabalho desenvolvido e fornece o nome do documento associado a cada etapa. Tabela 1 - Etapas de Projeto e documentos associados Documentos associados Etapas de Projeto Nome Abreviao
0 - Preliminary stage 1 - Proposal stage 2 - Preparatory stage 3 - Committee stage 4-Enquiry stage 5 - Approval stage 6 - Publication stage
Preliminary work item New work item proposal Working draft(s) Committee draft(s) Draft International Standard Final Draft Standard International
PWI NP WD CD DIS FDIS ISO/IEC
International Standard
Na ABNT as normas relacionados com software esto subordinadas ao Comit CB 21 - Computadores e Processamento de Dados. Este Comit um participante tipo P da ISO/IEC/JTC 1, ISO/TC 154 e ISO/TC 184, ligado a ele est o Subcomit de Software SC10, composto por diversas Comisses de Estudos, entre elas a CE21:101.01 que trata das normas relativas a Qualidade de Software. Esta Comisso participa da elaborao das sries de Normas 9126, 14598, alm das Normas 12119 e 14756. Elaborou as normas brasileiras NBR 13596 (correspondente a ISO/IEC 9126:1991) e NBR 12119. A norma NBR 14598-1 j passou pelo processo de aprovao nacional e aguarda sua publicao.
3. PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE
NORMA 14598-1
Estabelecer o propsito da avaliao (7.1) Estabelecer Requisitos de Avaliao Identificar tipos de produto(s) a serem avaliados (7.2) Especificar modelo de qualidade (7.3) 9126-1 Caractersticas de qualidade
7. Estabelecer requisitos de avaliao 7.1 Estabelecer o propsito da avaliao 7.1.1 Geral O propsito da avaliao de qualidade de software apoiar diretamente o desenvolvimento e a aquisio de software que atenda as necessidades do usurio e do cliente. O objetivo final assegurar que o produto fornea a qualidade requerida - que ele atenda as necessidades explcitas e implcitas dos usurios (incluindo operadores, destinatrios dos resultados do software, ou mantenedores de software. 7.1.2 Aquisio Na aquisio de um produto de software sob encomenda, convm que o adquirente estabelea requisitos de qualidade externa, especifique os requisitos para o fornecedor, e avalie compras potenciais em relao a estes requisitos antes da aquisio. Quando um produto est sendo desenvolvido, o objetivo da especificao dos requisitos de qualidade assegurar que o produto atenda as necessidades explcitas e implcitas do usurio (ver ISO/IEC 14598-3). Na compra de um produto de software, a avaliao pode ser utilizada para comparar produtos alternativos e para assegurar que o produto selecionado atende os processo para requisitos de qualidade (ver ISO/IEC 14598-4 no caso de adquirentes e ISO/IEC 14598-5 no caso de processo para avaliadores, incluindo requisitos para avaliao de terceira-parte).
AQ
Informaes adicionais sobre aquisio de produtos de software podem ser obtidas nos itens Processo para Adquirentes e Processo de Aquisio. NORMA 14598-1
7.1.3 Fornecimento O fornecedor pode utilizar os resultados da avaliao de produto de software para assegurar que os produtos atendem os critrios de qualidade requeridos, que podem ter sido definidos pelo adquirente, ou por comparao com outros produtos. 7.1.4 Desenvolvimento Convm que a avaliao de software seja utilizada para prever e verificar a qualidade durante o desenvolvimento, especificando requisitos de qualidade interna para os produtos intermedirios no processo de desenvolvimento. A
qualidade externa do produto completo para o uso pretendido pode subseqentemente ser avaliada em relao aos requisitos iniciais (ver ISO/IEC 14598-3 no caso do processo de avaliao para desenvolvedores). Os resultados da avaliao de qualidade de software podem ser utilizados para obter feedback sobre o quanto os diferentes processos de desenvolvimento, mtodos de projeto ou ferramentas CASE podem ser utilizados para atender os requisitos de qualidade. 7.1.5 Operao A organizao que opera um sistema de software pode utilizar a avaliao de qualidade de software para validar que os requisitos de qualidade so atendidos sob diferentes condies de operao, e para fornecer feedback aos responsveis pela manuteno sobre a necessidade de qualquer alterao. 7.1.6 Manuteno A organizao que mantm o sistema de software pode utilizar a avaliao de software para validar se os requisitos de qualidade ainda so atendidos, e se os requisitos para manutenibilidade e portabilidade so atingidos.
O texto abaixo, obtido da 14598-1 distingue propsitos de avaliao para produtos intermedirios e finais.
Norma 14598-1 O propsito da avaliao de qualidade de produto intermedirio pode ser : decidir quanto aceitao de um produto intermedirio de um subcontratado; decidir quanto ao encerramento de um processo e quando enviar produtos para o prximo processo; prever ou estimar a qualidade do produto final; recolher informaes sobre produtos intermedirios para controlar e gerenciar o processo. propsito da avaliao de qualidade de produto final pode ser: decidir quanto aceitao do produto; decidir quando liberar o produto; comparar o produto com produtos competidores; selecionar um produto entre produtos alternativos; analisar os efeitos positivos e negativos da utilizao de um produto; decidir quando aprimorar ou substituir o produto. O estabelecimento do propsito da avaliao, em qualquer das situaes apresentadas anteriormente deve envolver um avaliador. Informaes adicionais sobre o processo para avaliadores podem ser obtidas no item Processo para o avaliador.
TER
10
NORMA 14598-1 7.2 Identificar os tipos de produto(s) a serem avaliados O tipo de produto de software, quer seja um dos produtos intermedirios ou final, a ser avaliado depender do estgio no ciclo-de-vida e do propsito da avaliao (ver Figura 4). O objetivo que quando o produto seja realmente utilizado pelo usurio ele atenda as necessidades explcitas e implcitas. A qualidade externa pode ser julgada apenas para um sistema completo de hardware/software do qual o produto de software seja uma parte. As mtricas externas so aplicadas durante a execuo do software. Os valores das medidas externas necessariamente dependem de mais fatores alm do software, assim o software tem que ser avaliado como parte de um sistema em operao.
Mais informaes sobre a influncia do estgio do ciclo-de-vida para a escolha dos produtos a serem avaliados podem ser obtidos no item Qualidade e o ciclo-de-vida do software . Dependendo do tipo de avaliao a ser realizada, isto , avaliao de produtos intermedirios ou finais, modelo de qualidade utilizado e tipo de requisitante da avaliao, o avaliador deve participar da identificao dos produtos a serem avaliados. Mais informaes sobre o processo para avaliadores podem ser obtidas no item Processo para Avaliadores. Nesta fase do processo de avaliao a identificao do produto a ser avaliado ainda preliminar. No decorrer das outras fases do processo mais informaes so obtidas, o que contribui para uma melhor identificao dos produtos a serem avaliados. Dvidas que podero ocorrer dependendo da fase em que se encontra a avaliao: quando se trata de produto final, de acordo com o escopo da avaliao, poder ser selecionado todo o produto de software, ou eventualmente apenas alguns de seus componentes. Esta definio ocorrer quando no mnimo os requisitos bsicos de qualidade estiverem definidos. Ser ento necessrio voltar a esta fase de definio de produtos para a sua complementao. Um fator que pode ser determinante na seleo dos componentes a serem avaliados a disponibilidade de mtodos de avaliao na organizao que ir realizar a avaliao. Por exemplo, suponha-se que um propsito de avaliao seja a escolha entre alguns produtos de mercado e que um dos requisitos de qualidade para esta escolha seja segurana de acesso a dados. Suponha-se tambm que a organizao no disponha de mtodos de avaliao deste requisito de qualidade. Esta no disponibilidade poder determinar que os componentes do produto que tratam especificamente de segurana de acesso sejam
TER
11
desconsiderados para efeito de avaliao ou que este requisito, caso seja muito importante, tenha que ser avaliado por outra organizao; j para o produto intermedirio, a definio de qual produto intermedirio ser avaliado mais complexa, pois depende em primeiro lugar do ciclode-vida de desenvolvimento adotado pela organizao e do estgio em que se encontram seus respectivos produtos. Alm disso, deve-se considerar que as mtricas internas devem ser escolhidas de modo a refletir a futura qualidade externa do produto e, assim sendo, necessrio conhecer-se os requisitos externos, para ento definir-se que mtricas internas so aplicveis aos produtos intermedirios de modo a se obter uma avaliao efetiva. As primeiras vezes que estas definies de produtos intermedirios para avaliao so feitas, no se constituem em um trabalho simples, porm, em termos prticos, a partir da existncia de um histrico de mtricas aplicadas na organizao, provvel que exista uma referncia emprica a ser considerada, tanto para a seleo de mtricas como para identificao dos produtos a serem avaliados. E como j dito, a escolha inicial tende a ser refinada nas demais fases de avaliao.
NORMA 14598-1 7.3 Especificar o modelo de qualidade A primeira etapa na avaliao de software selecionar as caractersticas de qualidade relevantes, utilizando um modelo de qualidade que desdobre a qualidade de software em diferentes caractersticas. Os modelos de qualidade para avaliao de software geralmente representam a totalidade dos atributos de qualidade de software classificados em uma estrutura de rvore hierrquica de caractersticas e subcaractersticas. O nvel mais alto desta estrutura composto pelas caractersticas de qualidade e o nvel mais baixo composto pelos atributos de qualidade do software. A ISO/IEC 9126 -1 fornece um modelo de propsito geral o qual define seis amplas categorias de caractersticas de qualidade de software: funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade e portabilidade. Estas podem ser subdivididas em subcaractersticas que possuem atributos mensurveis. O efeito combinado das caractersticas de qualidade em uma situao particular de uso definido como qualidade em uso. Os requisitos de produto de software expressam as necessidades do usurio para o produto de software considerado e so definidos antes do desenvolvimento. Se um produto de software dividido em componentes principais, os requisitos derivados do produto global podem variar para os diferentes componentes, bem como requerer critrios de avaliao diferentes. Antes da avaliao de qualidade, convm que os requisitos de qualidade sejam especificados em termos de caractersticas e subcaractersticas de qualidade (ver ISO/IEC 9126-1). No estgio inicial da avaliao, convm que esses requisitos de qualidade sejam estudados e identificados, para o planejamento e implementao da avaliao. Convm que o desenvolvedor estabelea requisitos de qualidade externa para cada caracterstica de qualidade que seja relevante. Convm que a completitude e correo da especificao dos requisitos de qualidade seja avaliada para assegurar que todos os requisitos necessrios tenham sido especificados e que requisitos
12
desnecessrios tenham sido excludos. O desenvolvedor necessita avaliar o produto em relao a estes requisitos antes da entrega. As necessidades explcitas e implcitas precisam ser atendidas para que se alcance qualidade. Assim, importante verificar se as necessidades implcitas esto especificadas com detalhes suficientes para cada caracterstica de qualidade relevante. Se possvel, convm que os requisitos sejam avaliados quanto ao atendimento de necessidades implcitas por intermedirios de compras ( procurers), compradores e usurios finais. A experincia do usurio com prottipos freqentemente conduz a uma definio mais precisa quanto aos requisitos de qualidade em uso. Convm que o desenvolvedor identifique os requisitos de qualidade interna. Quando so utilizados requisitos de qualidade interna, convm que o desenvolvedor identifique-os usando um modelo de qualidade que os relacione com os requisitos de qualidade externa, e utilize os requisitos internos para verificar a qualidade dos produtos intermedirios durante o desenvolvimento.
Uma explicao mais detalhada do modelo de qualidade da 9126-1 pode ser obtida no item Modelo de qualidade da 9126-1. Apesar da 14598-1 possibilitar o uso de qualquer modelo de qualidade, a aplicao deste processo de avaliao torna-se muito mais simples se for utilizado o modelo da 9126-1, pois todas as normas da famlia 14598 esto fortemente relacionadas quele modelo. A norma 14598-1 no muito clara quanto forma e momento adequado de se definir os requisitos esperados para o produto de software e que devem ser avaliados. Nesta fase de especificao do modelo de qualidade dado um certo destaque para a definio dos requisitos de qualidade para cada uma das caractersticas de qualidade relevantes. Porm, neste ponto ainda no foram definidas mtricas externas a serem utilizadas, dificultando o processo de quantificao dos requisitos. Assim sendo, pode-se definir, por exemplo, que tempo de resposta relevante para uma determinada transao, mas a quantificao deste requisito ainda depende da mtrica a ser aplicada. Esta constatao nos leva a perceber que o processo de identificao de requisitos de qualidade necessita ser refinado em estgios posteriores da avaliao. Podem ser aplicadas diversas tcnicas de identificao de requisitos, mas sua efetividade pode ser aumentada a partir da construo de listas de verificao obtidas a partir do prprio modelo de qualidade da 9126-1. Caso no seja adotada esta sistemtica, ao final do processo de obteno de requisitos, de qualquer maneira, ser necessrio fazer seu mapeamento com relao ao modelo de qualidade escolhido, como por exemplo no modelo mostrado a seguir.
13
Caracterstica de Qualidade: Usabilidade Subcaracterstica: Operacionalidade Id. Descrio do Requisito O produto de software dever possibilitar a customizao das funes pelo prprio usurio Prioridade Essencial Alocado (S/N) Sim
U01
Observao: somente podero ser customizadas as funes s quais o usurio tem acesso autorizado. A prioridade de atendimento ao requisito Essencial devido ao nmero elevado de usurios que executam somente algumas funes do sistema. Subcaracterstica: Apreensibilidade Id. Descrio do Requisito O produto de software dever apresentar help de contexto para campos. Prioridade Essencial Alocado (S/N) Sim
U02
Observao: Caracterstica de Qualidade: Funcionalidade Subcaracterstica: Adequao Id. Descrio do Requisito Dever ser disponibilizada uma funo genrica para customizao do software pelo prprio usurio. Prioridade Alocado (S/N) Essencial Sim
F01
Observao: requisito identificado a partir de um outro requisito ligado usabilidade: O software dever possibilitar a customizao das funes pelo prprio usurio . Dever ser disponibilizada uma funo para cadastro de usurios, senhas e funes s quais o usurio possui acesso. Essencial Sim
F02
Observao: No existiro restries em relao aos dados de cada funo, ou seja, se o usurio possuir autorizao para acessar determinada funo poder atualizar todos os dados desta funo. Subcaracterstica: Segurana de acesso Id. Descrio do Requisito O acesso ao produto dever ser permitido somente a usurios autorizados, com solicitao de senha de acesso. Prioridade Alocado (S/N) Essencial Sim
F03
Observao: O acesso s funes do produto dever ser permitida somente a usurios autorizados. Essencial Sim
F04
Observao:
14
Na avaliao de produtos intermedirios (tais como diagramas, cdigo de programas, documentao etc.), s possvel avaliar o cumprimento de requisitos de qualidade interna. Neste caso tais requisitos devero ser estabelecidos a partir dos requisitos de qualidade externa. Por exemplo, caso eficincia seja um requisito esperado para o produto em produo, provavelmente a definio da ordem de complexidade dos algortmos (O(n), O(Log(n)) ser um dos requisitos internos a serem avaliados como forma de prever esta eficincia desejada. Na prpria definio de requisitos externos podero surgir alguns requisitos de qualidade interna. Isto pode acontecer seja pela experincia dos agentes envolvidos, ou por padres adotados na prpria organizao, pois possvel que organizaes que j mantm histricos de mtricas adotadas os utilizem habitualmente nos seus processos de avaliao. Este primeiro nvel de definio de requisitos j permitir uma reviso dos produtos a serem avaliados e que foram definidos na fase de identificao de produtos.
NORMA 14598-1
Selecionar mtricas (8.1) Especificar a Avaliao Estabelecer nveis de pontuao para as mtricas (8.2) Estabelecer critrios para julgamento (8.3) 9126-2 Mtricas externas 9126-3 Mtricas internas 14598-6 Mdulos de avaliao
8. Especificar a Avaliao 8.1. Selecionar mtricas importante que as medies de um produto de software possam ser feitas fcil e economicamente e que as medidas resultantes sejam fceis de usar. A forma pela qual as caractersticas de qualidade tm sido definidas no permite sua medio direta. necessrio estabelecer mtricas que se correlacionem s caractersticas do produto de software. Todo atributo interno quantificvel do software e todo atributo externo quantificvel do software interagindo com seu ambiente e que se correlacione com uma caracterstica, pode ser definido como uma mtrica. Mtricas podem ser diferenciadas, dependendo do ambiente e das fases do processo de desenvolvimento em que so utilizadas. Convm que as mtricas utilizadas no processo de desenvolvimento estejam correlacionadas com as mtricas sob a perspectiva do usurio, pois essas so decisivas. Convm que as mtricas internas tenham validade para efeito de previso, isto , convm que estejam correlacionadas com algum critrio externo desejado. Por exemplo, convm que uma medida interna de um atributo particular de um software esteja correlacionada com algum aspecto de qualidade mensurvel quando o software utilizado. importante que as medies resultem em valores que coincidam com as expectativas; por exemplo , se a medio sugere que o produto de alta qualidade ento convm que esta constatao seja consistente com a satisfao que o produto proporciona s necessidades especficas de um usurio.
15
Maiores informaes sobre critrios para seleo de mtricas podero ser obtidas no item Escolhendo mtricas. Um critrio adicional para seleo de mtricas pode ser baseado na definio dos requisitos de qualidade considerados fundamentais (ou de maior importncia). Em outras palavras, o primeiro nvel de seleo de mtricas pode ser para prover medies para os requisitos de qualidade obrigatrios. Ao mesmo tempo, requisitos considerados acessrios podero sugerir o descarte prvio de qualquer proposta de mtrica para os mesmos. Isto evita o uso de mtricas desnecessrias que terminam por simplesmente onerar o processo de avaliao. A partir do momento que os requisitos foram estabelecidos, os mesmos podero ser melhor definidos a partir da escolha de uma mtrica que, ao mesmo tempo permita a especificao deste requisito e tambm a sua avaliao. Nesta fase da avaliao poder ser completada a lista de requisitos, mantendo-se sem identificao apenas aqueles requisitos que no foram percebidos pelos agentes envolvidos, ou tambm aqueles considerados implcitos, ou seja, pode ser entendido como um requisito pelo requisitante da avaliao, mas no ser repassado ao avaliador.
AQ
No caso de aquisio de produtos de software de prateleira, as mtricas selecionadas devem identificar a qualidade em uso do produto e o nvel de cobertura aos requisitos de avaliao, permitindo assim a classificao dos resultados, e portanto possibilitando a seleo de um determinado produto entre produtos similares. Para produtos sob encomenda ou para modificaes em software existente, deve-se considerar mtricas internas para avaliao dos produtos intermedirios, que permitam predizer a qualidade do produto final.
NORMA 14598-3 O desenvolvedor deve definir as condies sob as quais as medies devem ser executadas. Isto significa que se deve identificar outros atributos cujos valores influem nas medies e definir os valores desses mesmos atributos. O texto acima se aplica no apenas a desenvolvedores, mas claramente a avaliadores de forma geral. Na definio de atributos de qualidade a serem avaliados, deve-se observar possveis influncias de outros atributos no resultado da avaliao inicialmente determinada. Por exemplo, caso o atributo tempo de aprendizado seja utilizado para avaliao de usabilidade, provavelmente ser necessria a avaliao de um outro atributo capacitao dos envolvidos, pois esta capacitao com certeza influencia na aprendizagem. importante ressaltar que existem diversas fontes de rudo e impreciso agindo sobre as mtricas de software. Mais detalhes podem ser encontrados no item Escolhendo Mtricas.
16
NORMA 14598-1 8.2 Estabelecer nveis de pontuao para as mtricas As particularidades (features) quantificveis podem ser medidas quantitativamente usando-se mtricas de qualidade. O resultado, isto , o valor medido, mapeado numa escala. Este valor, por si s, no mostra o nvel de satisfao. Para isso, a escala precisa ser dividida em faixas correspondentes aos diversos graus de satisfao dos requisitos. So exemplos:

dividir a escala em duas categorias : satisfatria e insatisfatria; dividir a escala em quatro categorias delimitadas por: o pior caso, o nvel atual para um produto existente ou alternativo, e o nvel planejado. O nvel atual estabelecido para controlar se o novo sistema no se deteriora em relao a situao atual. O nvel planejado o que considerado alcanvel com os recursos disponveis. O pior caso o limite para a aceitao pelo usurio, no caso em que o produto no alcance o nvel planejado (Figura 7).
Ultrapassa os requisitos Nvel planejado Valor medido Nvel atual Mnimo aceitvel Pior caso satisfatrio Intervalo alvo
Inaceitvel
insatisfatrio
Escala de medio
Nveis de pontuao
Figura G2.7 Nveis de pontuao para as mtricas Ao elaborar uma escala como a apresentada na figura 7 da ISO/IEC 14598-1, um avaliador deve observar dois pontos importantes: cada mtrica ser relacionada a uma escala especfica. Um grande nmero de mtricas implicar num trabalho cuidadoso para estabelecer e documentar todas as escalas. Alm disso, preciso que exista um mtodo para sintetizar os resultados de avaliao, principalmente para subsidiar decises como adquirir ou no adquirir o produto. Maiores explicaes sobre como e o que documentar no processo de avaliao podem ser obtidas no item Documentao de Mdulos de Avaliao.
17
os nveis de pontuao (ou faixas de corte mnimo aceitvel, intervalo alvo, inaceitvel) podem no ser conhecidos de antemo. Esses nveis sero particulares de cada caso e de cada organizao. Nas primeiras avaliaes esses valores podem ser difceis serem estabelecidos, mas depois de alguma experincia haver dados disponveis para que a organizao comece a estabelecer com segurana os seus critrios de qualidade. Esses critrios podero ser ento descritos com preciso, como por exemplo:a mtrica X possui como valor mnimo aceitvel 5.3 kbytes/seg.
NORMA 14598-1 8.3 Estabelecer critrios para julgamento Para julgar a qualidade do produto, o resultado da avaliao de cada caracterstica precisa ser sintetizado. Convm que o avaliador prepare um procedimento para isto, com critrios diferentes para caractersticas de qualidade diferentes, onde cada caracterstica poder estar representada em termos de suas subcaractersticas ou de uma combinao ponderada de subcaractersticas. O procedimento normalmente incluir outros aspectos como tempo e custo, os quais contribuem para o julgamento da qualidade de um produto de software num ambiente particular.
Julgar a qualidade significa em essncia interpretar os resultados das medies. O primeiro passo nesse sentido j foi realizado no item 8.2 da 14598-1, quando se estabeleceram nveis de pontuao para as mtricas. O que seria desejvel a seguir obter concluses sobre qualidade, a partir do conjunto de valores obtidos da aplicao de mtricas. A seguir apresentamos a sugesto(dos autores deste guia) de um mtodo para obter resultados sintticos de avaliao, descrito em algumas etapas. Etapa 1): mapear todas os resultados de mtricas para uma escala [0, 1], em que 0 significa o pior resultado possvel, enquanto 1 representa o melhor. A maioria das mtricas sugeridas na 9126-2 e 9126-3 j segue esse padro. Etapa 2): estabelecer pesos para as caractersticas e subcaractersticas de qualidade de software. Os pesos devem representar a importncia relativa de cada item no julgamento global de qualidade do produto. Os valores devem ser obtidos principalmente a partir do requisitante da avaliao quem, em ltima instncia, deve dizer o que importante e o que no importante na sua viso sobre a qualidade do produto. O avaliador poder contribuir auxiliando o requisitante, impondo restries ou negociando, como por exemplo: a medio de confiabilidade implica testes muito caros (ex.: causar muitos crashes e deixar o sistema fora do ar), ento devemos verificar cuidadosamente o quo importante esta caracterstica e considerar a possibilidade de verificar s at uma determinada profundidade. Etapa 3): calcular mdias ponderadas usando os valores das mtricas e os pesos das respectivas caractersticas ou subcaractersticas. No se recomenda atribuir pesos aos atributos, uma vez que: i) os atributos no esto rigorosamente definidos na 9126; ii) um mesmo atributo pode ser utilizado para avaliar vrias subcaractersticas.
18
possvel assim calcular mdias agrupando as mtricas de cada caracterstica de qualidade. Por exemplo, calcular uma mdia ou nota ponderada para usabilidade, dadas as mtricas relacionadas com as subcaractersticas de usabilidade e os pesos atribudos a cada subcaracterstica. O mesmo pode ser feito com cada caracterstica, separadamente. O processo pode ser repetido no nvel de caractersticas de qualidade, permitindo que se compute um ndice (ou nota) nico, representando a qualidade do software. Este procedimento permite: 1) confrontar diretamente produtos, no caso de avaliaes comparativas (por exemplo, visando seleo para posterior aquisio); 2) examinar os resultados da avaliao em diferentes nveis de detalhe: desde o resultado nico e sinttico, at os resultados colhidos individualmente pelas mtricas, passando por mdias ponderadas para cada caracterstica. A comparao s possvel quando a avaliao utilizada sobre os produtos for idntica, ou seja: utilizar as mesmas mtricas e mesmos pesos, alm de mesmo ambiente de avaliao, hardware, usurios etc. Mais detalhes sobre reproducibilidade de avaliao se encontram no item Escolhendo mtricas e Processo para o avaliador.
NORMA 14598-1
Projetar a Avaliao
Produzir o plano de avaliao (9.1)
9. Projetar a avaliao 9.1 Produzir o plano de avaliao O Plano de Avaliao descreve os mtodos de avaliao e o cronograma das aes do avaliador (ver a srie ISO/IEC 14598 partes 3, 4 e 5 ). Convm que ele esteja consistente com o Plano de Medies (ISO/IEC 14598-2).
DES
NORMA 14598-3 O desenvolvedor de software deve especificar aes (procedimentos) para coleta dos dados a serem executadas para obter valores reais para cada mtrica externa ou interna. Isto inclui a especificao de cronogramas, responsabilidades, e o uso de ferramentas de coleta de dados e de anlise. Se for necessrio treinamento especial para o pessoal, isto tambm deve ser planejado. O desenvolvedor deve tambm definir o grau de preciso da medio. Todo modelo estatstico aplicado deve ser especificado, incluindo requisitos de entrada de dados, estratgias de amostragem etc.
19
O desenvolvedor deve definir aes em caso de eventualidades, como avaliaes extras, caso os resultados das medies sejam no conclusivos ou alarmantes. Esta explicao do texto da norma 14598-3 vale para qualquer enfoque de avaliao. No processo de aquisio, a elaborao do plano de avaliao pode considerar questes como: Se o fornecedor est disposto e apto a prover acesso documentao, ferramentas, software, cursos ou treinamentos requeridos; A confidencialidade e propriedade de informaes; Custos associados com a disponibilidade de ambiente de testes; Os pontos limite entre atividades de avaliao e ; As ferramentas de avaliao.
AQ
Para produtos sob encomenda ou modificaes em produtos existentes, o fornecedor deve, durante o processo de desenvolvimento, definir as seguintes atividades: verificao, reviso conjunta e auditoria, teste e validao. Para o avaliador este plano bastante detalhado. Informaes adicionais sobre o processo para avaliadores podem ser obtidas item Processo para o avaliador.
TER
NORMA 14598-1
Obter as medidas (10.1) Executar a Avaliao Comparar com critrios (10.2) Julgar os resultados (10.3)
10. Executar a avaliao
TER
Ver informaes sobre o processo para avaliadores Avaliadores.
no item Processo para
NORMA 14598-1 10.1 Tomar as medidas Para medio, as mtricas selecionadas so aplicadas ao produto de software. Como resultado obtm-se os valores nas escalas das mtricas.
20
DES
NORMA 14598-3 O desenvolvedor de software deve coletar os valores reais das medidas para os atributos internos definidos de acordo com as aes para coleta de dados definidas. Se os requisitos de qualidade forem modificados, o desenvolvedor deve reconsiderar as especificaes da avaliao e o projeto da avaliao. O desenvolvedor deve tomar as medidas necessrias para assegurar a qualidade dos dados coletados. As aes devem incluir, quando apropriado, validao de ferramentas automticas para coleta de dados e utilizao de pessoas para conferncia dos dados.
Esta explicao do texto da norma 14598-3 vale para qualquer enfoque de avaliao.
NORMA 14598-1 10.2 Comparar com critrios Na etapa de pontuao, o valor medido comparado com critrios predeterminados (por exemplo como mostrado na Figura 7).
AQ
No processo de aquisio devem ser consideradas as deficincias encontradas no produto e se as mesmas podem ser aceitas, ainda que o nvel de pontuao para uma determinada mtrica seja considerado inaceitvel. No caso de aceitar-se uma deficincia relacionada a um requisito obrigatrio, deve-se justificar tal atitude. Tambm devem ser consideradas avaliaes adicionais, caso sejam aceitos produtos com deficincias detectadas, ou ainda sejam percebidas deficincias no prprio processo de avaliao.
NORMA 14598-1 10.3 Julgar os resultados O julgamento a etapa final do processo de avaliao do software, onde um conjunto de nveis pontuados so resumidos. O resultado uma declarao de quanto o produto de software atende os requisitos de qualidade. Ento a qualidade resumida comparada com outros aspectos como tempo e custo. Finalmente uma deciso gerencial ser tomada baseada nos critrios gerenciais. O resultado uma deciso gerencial quanto aceitao ou rejeio, ou quanto liberao ou no do produto de software. Os resultados da avaliao so importantes para decises sobre os prximos passos no ciclo-de- vida de desenvolvimento do software. Por exemplo, os requisitos devem ser alterados ou so necessrios mais recursos para o processo de desenvolvimento?
21
NORMA 14598-3
DES
Convm que o desenvolvedor de software utilize os valores obtidos para os indicadores definidos para estimar a qualidade do produto final, levando-se em conta, para tanto, a experincia da organizao do desenvolvedor em projetos anteriores com requisitos de qualidade similares. Tambm convm que o desenvolvedor utilize os valores obtidos para monitorar tendncias de forma a identificar riscos de desenvolvimento, tomando aes de contingncia quando necessrio. O desenvolvedor deve fazer um julgamento dos resultados da avaliao e para tanto convm que os valores obtidos sejam resumidos e comparados com outros valores, como tempo e custo, de maneira a sustentar uma deciso sobre o resultado do desenvolvimento (por exemplo melhorando o produto, revendo os requisitos etc.). Por fim, o desenvolvedor deve rever os resultados da avaliao e a validade do processo de avaliao, dos indicadores e das mtricas aplicadas. Convm que a retroalimentao sobre esta reviso seja utilizada de maneira a melhorar o processo de avaliao e os mdulos de avaliao. Quando for necessrio melhorar os mdulos de avaliao, convm que seja includa a coleta de dados sobre indicadores extras, de maneira a valid-los para uso posterior .
Quando a avaliao feita para produtos de software em desenvolvimento, esta etapa de julgar os resultados pode ser feita mais de uma vez ao longo do ciclo de desenvolvimento do produto, sendo utilizada para a previso da qualidade final do produto em operao. Mantendo-se um histrico de resultados de avaliaes ao longo do ciclo de vida do produto, isto , um registro dos valores obtidos pelas mtricas, deve ser possvel acompanhar a evoluo do software durante seu desenvolvimento. A partir da, torna-se possvel identificar as tendncias mencionadas acima no texto da 14598-3, como por exemplo, curvas de queda de eficincia, de usabilidade etc. Na verdade, manter registros de avaliao um recurso valioso seno essencial, tanto para acompanhar o desenvolvimento de produtos, como para melhorar a preciso do prprio processo de avaliao. Lembramos que para estabelecer os nveis de pontuao de mtricas, mencionado no item 8.2 da 14598-1, necessrio conhecer de antemo o que um resultado bom ou um resultado ruim de uma medio. Um histrico de experincia prtica enriquecer sobremaneira esse julgamento.
AQ
No processo de aquisio, quando tratar-se de produtos de software de prateleira deve-se redigir concluses com respeito aceitabilidade do produto e a deciso final de comprar ou no comprar. A deciso de compra do produto pode, tambm, gerar um contrato de aquisio do produto contendo solicitaes de ajustes das deficincias identificadas.
Nos produtos sob encomenda, o adquirente pode decidir pela realizao de modificaes para soluo das deficincias encontradas no produto durante a avaliao e durante o desenvolvimento, isto , antes do produto estar finalizado. No caso de produtos j acabados, a deteco de deficincias pode levar a uma negociao para que o fornecedor realize modificaes. Um teste de aceitao do
22
produto que resulte bem sucedido um critrio aconselhvel antes da entrega do produto ao adquirente. Na medida em que os requisitos de qualidade sejam mais estritos ou mais complexos, de se esperar um aumento tanto no nmero de atributos do software quanto no nmero de mtricas utilizadas. Isto traz como conseqncia uma maior dificuldade para emitir um julgamento ou simplesmente enunciar resultados sobre a qualidade de um produto. Por exemplo, uma avaliao com o propsito de escolher entre trs produtos para aquisio, tendo sido utilizadas 50 mtricas no processo. Ao fim do processo, o requisitante da avaliao poderia sugerir algumas questes, como: se usabilidade era mais importante do que a eficincia, como isso foi computado? qual a influncia da mtrica nmero 23 na determinao do resultado final? como se chegou concluso de que o produto A era melhor que B e C?
O procedimento sugerido aps o item 8.3 da norma 14598, neste Guia, um mtodo possvel para auxiliar a resposta a tais perguntas. Utilizando-se aquele procedimento, temos que a influncia de cada mtrica ou cada caracterstica representada diretamente pelo seu peso aritmtico. Os resultados da avaliao podem ser analisados levando em conta tais pesos. Eventualmente o requisitante da avaliao pode sugerir alterar a importncia de uma caracterstica, visando obter maior clareza sobre os resultados. Por exemplo: seja uma avaliao comparativa entre produtos A e B. Na avaliao original usabilidade tinha peso maior que eficincia e o produto A teve maior nota final. O cliente pode sugerir inverter os pesos, e verificar se tal produto continua sendo superior ao concorrente. Estabelecer diferentes cenrios pode contribuir para aumentar a certeza sobre uma deciso de compra. O avaliador responsvel pela concluso da avaliao(ver item Processo para Avaliadores), mas ele s far o julgamento final, caso isto esteja estabelecido na especificao da avaliao. O mais comum que o avaliador entregue o relatrio da avaliao, que pode ter algum tipo de concluso, ao requisitante e este faa o julgamento final com base neste relatrio. Isto ocorre porque o julgamento final pode levar em considerao decises estratgicas, especficas da organizao, como por exemplo custo, adaptaes etc.
TER
23
4. MODELO DE QUALIDADE DA 9126-1
NORMA 9126-1 5.4 Utilizando um modelo de qualidade Convm que a qualidade de produtos de software seja avaliada usando um modelo de qualidade definido. Convm que este modelo de qualidade seja usado durante o estabelecimento de metas de qualidade para produtos de software finais e intermedirios. Convm que a qualidade do produto seja hierarquicamente decomposta por meio de um modelo de qualidade composto de caractersticas e subcaractersticas as quais possam ser usadas como uma lista de verificao de tpicos relacionados com qualidade. Os itens 6 e 7 definem um modelo hierrquico de qualidade (embora outros meios de categorizar qualidade podem ser mais apropriados em determinadas circunstncias). praticamente impossvel medir todas as subcaractersticas (internas e externas) para todas as partes de um produto de software de grande porte. Da mesma forma, em geral no prtico medir qualidade em uso para todos os possveis cenrios de uso. Os Recursos para avaliao precisam ser alocados entre os diferentes tipos de medies dependendo dos objetivos de negcio e da natureza do produto e do processo utilizado no projeto. 6. CARACTERSTICAS DE QUALIDADE INTERNAS E EXTERNAS O modelo de qualidade nesta parte da srie ISO/IEC 9126 categoriza os atributos de qualidade de software em seis caractersticas (funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade e portabilidade) as quais so, por sua vez, subdivididas em subcaractersticas (Figura 3). As subcaractersticas podem ser medidas por meio de mtricas internas e externas.
Qualidade de produto de software
Funcionalidade
Confiabilidade
Usabilidade
Eficincia
Manutenibilidade
Portabilidade
Adequao Acurcia Interoperabilidade Segurana de acesso Conformidade
Maturidade Tolerncia a Falhas Recuperabilidade Conformidade
Inteligibilidade Apreensibilidade Operacionalidade Atratividade Conformidade
Comportamento em relao ao tempo Comportamento em relao aos recursos
Conformidade
Analisabilidade Modificabilidade Estabilidade Testabilidade Conformidade
Adaptabilidade Capacidade para ser instalado Co-existncia Capacidade para substituir Conformidade
Figura G3.3 Qualidade interna e externa Cada caracterstica e subcaracterstica do software que influenciam a caracterstica de qualidade possui uma definio. Para cada caracterstica e subcaracterstica, a capacidade do software determinada por um conjunto de atributos internos que podem ser medidos. Exemplos de mtricas internas so dadas na norma 9126-3. As caractersticas e subcaractersticas podem ser medidas externamente pelo grau
24
da capacidade do sistema contendo o software. Exemplos de mtricas externas so dados na norma 9126-2.
O modelo de qualidade da 9126-1 representado por um desdobramento hierrquico das caractersticas de qualidade de produto de software, estando bem definido nos seus dois primeiros nveis (caractersticas e subcaractersticas) e deixando o terceiro nvel de desdobramento (atributos) a critrio do usurio do modelo. As caractersticas pretendem abranger todos os aspectos de qualidade de software, ou seja, deve ser possvel especificar qualquer requisito de qualidade utilizando-se das 6 caractersticas. A subcaracterstica conformidade est presente em todas as caractersticas, tendo em vista que o produto pode ser aderente a legislao, padres internos e normas diversas associadas a cada uma das caractersticas. As definies atribudas pela 9126 a cada caracterstica e subcaracterstica so tais que no permitem sobreposio. Exemplificando, a definio de usabilidade da 9126 no permite que, na avaliao dessa caracterstica, se considerem fatores que so prprios de portabilidade. A norma admite, contudo, que um atributo de qualidade possa influenciar mais de uma subcaracterstica ou caracterstica. Por exemplo: nmero de linhas de cdigo atributo tanto de analisabilidade quanto de adaptabilidade. 4.1 OS NVEIS HIERRQUICOS DAS CARACTERSTICAS DE QUALIDADE INTERNAS E EXTERNAS A ISO/IEC 9126-1 nos conduz a um entendimento dos conceitos que definem as diversas caractersticas e subcaractersticas de qualidade de produto de software, porm, na prtica, ainda no facilita o suficiente a definio dos requisitos de qualidade a partir dela. As definies de caractersticas de qualidade nos permitem perceber um possvel universo de requisitos que se enquadram no conceito apresentado, mas dificilmente permitiriam elaborar uma declarao de requisitos mais cuidadosa, quanto s mesmas. No faz sentido, por exemplo, uma declarao do tipo o produto de software deve ter uma usabilidade de 0,5, pois esse nmero no teria qualquer significado (pelo menos no estado-da-arte em que se encontra o tema de medio de qualidade de software). O primeiro desdobramento em subcaractersticas serve para delimitar melhor o amplo universo contemplado pela caracterstica. Introduz conceitos mais detalhados que facilitam a especificao de requisitos, ajudando a pensar na caracterstica de qualidade a partir de seus componentes. Mas este desdobramento ainda no suficiente para especificar os requisitos de qualidade. Uma declarao do tipo A operacionalidade deve ser igual a 0,8, por exemplo, continua sem fazer sentido. Assim, o usurio da norma que necessite elaborar sua declarao de requisitos deve, ento, fazer o prximo nvel de desdobramento, os atributos, que no esto presentes na ISO/IEC 9126-1, identificando aspectos relevantes ao produto de software, e que se enquadrem nas caractersticas e subcaractersticas citadas. Desta forma, uma declarao do tipo O tempo de uso do produto de software at que se tenha domnio operacional do mesmo dever ser inferior a 20 horas, por
25
exemplo, adequada como requisito da subcaracterstica operacionalidade, que faz parte da caracterstica usabilidade. Observe que foi necessrio descer ao nvel do atributo tempo para se ter domnio operacional para que o requisito pudesse ser declarado de forma objetiva e no ambgua. O documento ISO/IEC 9126-2 define exemplos de mtricas externas que se associam a atributos de qualidade e que podem ser uma referncia inicial, facilitando a tarefa de definir atributos. 4.2 RELAO ENTRE CARACTERSTICAS DE QUALIDADE EXTERNAS E INTERNAS O modelo de qualidade da ISO/IEC 9126-1 privilegia a viso do usurio do produto de software que, em geral, atua a partir da operao do sistema do qual o produto de software faz parte. Esta a viso de qualidade externa. Porm, o efeito externo percebido no uso do produto de software decorrente de seus atributos internos, tpicos de sua arquitetura, tais como o nvel de modularizao dos programas, a documentao gerada, o tipo de dilogo utilizado na interao com o usurio etc. Esses atributos internos mantm correlaes com as caractersticas e subcaractersticas externas do produto de software. Cada atributo interno pode influenciar uma ou mais caractersticas e subcaractersticas, sendo que a identificao das correlaes existentes no um trabalho simples, depende de cada organizao que desenvolve software. Apesar disso, se a organizao fizer este investimento, cada vez mais ela ter mais condies de melhor e garantir a qualidade de seus produtos pois ela ser capaz de especificlos e avali-los(atravs das caractersticas, subcaractersticas e atributos externos) cada vez com mais preciso. 4.3 QUALIDADE EM USO NORMA 9126-1 7 Caractersticas de qualidade em uso Os atributos de qualidade em uso so categorizados em quatro caractersticas: efetividade, produtividade, segurana e satisfao (Figura 4).
Qualidade
em uso
efetividade
produtividade
segurana
satisfao
Figura G4.4 Qualidade em uso A qualidade em uso a viso de qualidade do usurio. A obteno de qualidade em uso dependente da obteno da necessria qualidade externa, a qual por sua
26
vez dependente da obteno da necessria qualidade interna (Figura 2). As medidas so normalmente necessrias em todos os trs nveis, pois atingir os critrios para medidas internas no usualmente suficiente para garantir a obteno dos critrios para medidas externas, e atingir os critrios para medidas externas de subcaractersticas no usualmente suficiente para garantir a obteno de critrios para qualidade em uso. Exemplos de mtricas de qualidade em uso so dadas no relatrio tcnico 9126-4. 7.1 Qualidade em uso A capacidade do produto de software de permitir a usurios especficos atingir metas especificadas com efetividade, produtividade, segurana e satisfao em um contexto de uso especificado. Nota 1: Qualidade em uso a viso do usurio da qualidade de um ambiente contendo software, e medida por meio dos resultados do uso do software em ambientes, e no pelas propriedades do software.
A viso do modelo de qualidade levando em conta os resultados obtidos a partir do uso do software no ambiente especificado, uma inovao em relao ao modelo original da 9126(1991) e tambm pode ser usada como referncia para definio de requisitos de qualidade esperados para o ambiente de uso, assim como para a avaliao dos resultados obtidos. Quando utilizado o modelo de qualidade em uso para definio de requisitos, tambm necessrio o estabelecimento das regras de derivao de atributos de caractersticas externas para o produto de software a partir das caractersticas de qualidade em uso.
27
5. ESCOLHENDO MTRICAS
A preciso de uma avaliao de qualidade depende em grande parte das mtricas escolhidas. Para aumentar a confiabilidade dos resultados so apresentadas a seguir algumas caractersticas que as mtricas deveriam apresentar. Tais caractersticas esto de acordo com os requisitos de avaliao enumerados na 14598-1(itens 3 e 8.1.2), 14598-5(item 4.3) e 9126-1(item 6.4), alm de incluir outros fatores significativos para o resultado final. So eles: 1. significncia: os resultados da medio devem agregar informao sobre o comportamento do software ou suas caractersticas de qualidade. As mtricas consideradas no relevantes para o propsito da avaliao poderiam ser (ou seria conveniente que fossem) descartadas. 2. custo e complexidade: a aplicao da mtrica deve ser econmica e tecnicamente vivel dentro do processo de avaliao. Uma medio pode no satisfazer este critrio por: i) demandar um investimento acima do oramento, como laboratrios e usurios-teste; ou ii) exigir condies tcnicas fora do alcance do avaliador, como emprego de estatstica muito sofisticada ou paralisao das atividades da organizao para executar um teste. 3. repetibilidade: o uso da mtrica i) no mesmo produto; ii) com a mesma especificao de avaliao; iii) com os mesmos avaliadores, usurios-teste e ambiente: deveria produzir resultados aceitos como idnticos. Sempre que os resultados puderem sofrer alguma variao, algum tratamento adequado (por exemplo, estatstico) deve ser aplicado. Para exemplificar, a medio de tempo de resposta de uma query SQL em um ambiente de rede com diversas tarefas em andamento, simulando o ambiente de uso real, poderia ser calculada pela mdia de vrias tentativas. 4. reproducibilidade: o uso da mtrica i) no mesmo produto; ii) com a mesma especificao de avaliao; iii) com diferentes avaliadores, usurios-teste e ambiente: deveria produzir resultados aceitos como idnticos. Valem os mesmos comentrios de 3. acima. 5. validade: deve ser possvel demonstrar a corretude e preciso ou a margem de erro dos resultados da medio. importante considerar neste requisito todos os fatores que podem influir no resultado, como: (a) caractersticas de hardware -considerando o exemplo do tem 3. acima, se houverem problemas com o meio fsico como m conexo de cabos de rede, claro que o resultado da medio ser falseado. (b) caractersticas de software - configurao de parmetros do sistema operacional e do prprio software, e combinaes desses fatores. Por exemplo, em alguns casos a configurao, verso ou mesmo a ordem de
28
carga de daemons ou device drivers3 pode alterar resultados de desempenho. (c) avaliadores - deve ser verificado com que peso e de que forma ocorre a influncia humana no processo. Por exemplo, no julgamento do requisito ajuda on-line para cada item de interface, os avaliadores podem discordar sobre a definio de item (janelas e menus inteiros ou botes, editores etc.). (d) modelos matemticos - sempre que a manipulao matemtica dos dados obtidos puder introduzir diferenas, isto deve estar explicitado. Por exemplo, uso de interpolao para prever o resultado de uma medida que no est sendo de fato realizada. 6. objetividade: os resultados da medio devem ser objetivos, i.e., no podem sofrer influncia de opinio e sentimentos do avaliador, usurios de teste etc. Quando isto no for possvel, a mtrica deve oferecer algum tratamento (p.ex., estatstico) de correo. 7. imparcialidade: a medio no deve ser tendenciosa. Este requisito pode ser descumprido de vrias formas:
publicao parcial de resultados - por exemplo a declarao 80% de usurios satisfeitos no explica qual o tipo de usurio, satisfeito em relao ao que e sob quais circunstncias. Isto vale para as observaes 5. a, b, c, e d acima. ambiente tendencioso - utilizando novamente o exemplo do tem 3., seria preciso definir com muita preciso o que significa simular o ambiente real de uso. Uma definio possvel mas que por si s no garante um processo imparcial, seria: utilizar como ambiente fsico a prpria organizao, fora de expediente, empregando usurios de teste.
A aplicao das caractersticas para as mtricas depende do grau de sofisticao da avaliao. Para exemplificar, a caracterstica 5.b acima pode introduzir uma grande dificuldade ou mesmo inviabilizar o processo de avaliao, na medida em que, teoricamente, a parametrizao de todo elemento de hardware ou software envolvido no processo deveria ser verificada. Essa exigncia poderia ser relaxada para apenas os elementos mais influentes nos resultados, determinados pelo avaliador, ou at mesmo nenhum no caso de uma avaliao mais informal.
3 Exemplo no sistema operacional MS-DOS: a ordem em que aparecem device drivers no arquivo de
configurao CONFIG.SYS pode alterar o desempenho do sistema.
29
6. PROCESSO PARA ADQUIRENTES

A Norma 14598-4 est dividida em dois processos distintos: um para aquisio de produtos de software de prateleira e outro para aquisio de produtos de software sob encomenda ou modificaes em produtos de software existentes. O Processo para Adquirentes resultado da combinao do processo genrico de avaliao e do processo de aquisio definido pela NBR 12207 Processo do Ciclo de Vida do Sofware. O propsito da avaliao no processo de aquisio pode ser a comparao de produtos alternativos ou garantir que um produto desenvolvido ou modificado sob encomenda atenda os requisitos inicialmente especificados. Outras normas podem apoiar a avaliao no processo de aquisio como: 12119 - quando deseja-se adquirir pacotes de software 14598-5 - quando forem requeridas avaliaes independentes. 12207 a qual define o processo de aquisio a ser seguido pelo Processo para Adquirentes. 6.1 PROCESSO DE AQUISIO O processo de aquisio definido pela NBR 12207 constitudo das seguintes atividades: a) Iniciao O adquirente inicia o processo de aquisio a partir de uma necessidade em adquirir, desenvolver ou melhorar um sistema, produto ou servio de software. Nesta atividade so identificados e analisados os requisitos de sistema, os quais podem ser: de negcio, organizacionais e de usurio, segurana entre outros. Ao final desta atividade so consideradas opes de aquisio, incluindo anlise de risco, custo e benefcio para cada opo, sendo alguns exemplos: comprar um produto de prateleira, desenvolver internamente, contratar o desenvolvimento, melhorar um produto existente ou uma combinao das opes anteriores. Caso a opo escolhida seja a aquisio de produto de prateleira, o adquirente deve assegurar que os requisitos sejam satisfeitos, que a documentao do produto esteja disponvel, os direitos de propriedade sejam satisfeitos e que o suporte futuro esteja planejado. b) Preparao do pedido de proposta Nesta atividade realizada a documentao dos requisitos de aquisio. Alm disto so determinados os pontos de controle nos quais o progresso do fornecimento dever ser revisado e auditado. c) Preparao e atualizao do controle Nesta atividade realiza-se a seleo de fornecedores, baseando-se na avaliao das propostas dos fornecedores, bem como suas capacidades. Um contrato com o fornecedor deve ser preparado e negociado, incluindo custo
30
e cronograma de execuo. Quando o processo est andando, o adquirente deve possuir o controle de mudanas no contrato. d) Monitorao do fornecedor A monitorao do fornecedor consiste em atividades de avaliao aplicadas durante a execuo do contrato levando aceitao e entrega do produto de software. e) Aceitao e concluso A aceitao e concluso so atividades executadas durante a aceitao do produto e entrega do produto de software final, obedecendo os critrios de aceitao previamente definidos durante a atividade de iniciao.
31
7. PROCESSO PARA O AVALIADOR

A Norma 14598-5 - Processo para o avaliador fornece requisitos e recomendaes para implementao prtica de avaliao de produto de software. Ela segue o processo de avaliao como definido na 14598-1(ver Figura 1 Processo de Avaliao) e detalha as fases deste processo para a funo de avaliao. O processo de avaliao proposto na norma pode ser usado para avaliar produtos j existentes ou produtos em desenvolvimento. Pode ser utilizada por avaliadores de laboratrio, fornecedores de software, adquirentes de software (ver Norma 145984), usurios e entidades certificadoras, cada um com objetivos especficos. O processo de avaliao descrito como um procedimento passo-a-passo, de tal forma que os requisitos de avaliao possam ser expressos em termos de caractersticas de qualidade, como definido na NBR 13596, e na nova verso da 9126-1. A avaliao leva em considerao vrios documentos que podem ser considerados como parte do produto de software, por exemplo, documentos de projeto, relatrios de teste e validao, cdigo fonte e documentao de usurio. importante ressaltar que o objetivo principal de avaliao de produto de software fornecer resultados quantitativos sobre a qualidade de produto de software que sejam compreensveis, aceitveis e confiveis por quaisquer das partes interessadas. Assim, a norma fornece orientaes para manter o nvel de objetividade da avaliao o mais alto possvel em todas as circunstncias. A seguir mostrado quais as possveis partes interessadas nos papis de requisitante de uma avaliao ou de avaliador. Norma 14598-5 5.2.2 Partes envolvidas na avaliao Potenciais requisitantes de avaliaes podem ser: - desenvolvedores de software; - fornecedores de software; - adquirentes de software; - usurios de software; - integradores de sistemas atuando como adquirentes de software. Potenciais avaliadores podem ser: - laboratrios de testes de terceira-parte ; - equipes de testes integrantes de organizaes de produo ou distribuio de software; - equipes de testes integrantes de organizaes compradoras ou usurias de software; - equipes de testes integrantes de organizaes integradoras de sistemas; - organizaes que fazem comparaes entre produtos. 5.3 Caractersticas do processo de avaliao O objetivo principal do processo de avaliao descrito nesta parte da ISO/IEC 14598 promover as seguintes caractersticas desejveis em um processo de avaliao:
32
repetibilidade: convm que avaliaes repetidas do mesmo produto, com a avaliador, produzam mesma Especificao de Avaliao, pelo mesmo resultados que possam ser aceitos como sendo idnticos; reprodutibilidade: convm que avaliaes do mesmo produto, com a mesma especificao de avaliao, por avaliadores diferentes, produzam resultados que possam ser aceitos como sendo idnticos; imparcialidade: convm que a avaliao no seja tendenciosa com relao a algum resultado particular; objetividade: convm que os resultados das avaliaes sejam baseados em fatos, isto , desprovidos de sentimentos ou opinies do avaliador.
NOTA: Avaliaes de um mesmo produto podem ser conduzidas com diferentes especificaes de avaliao. Assim sendo, no so comparveis e podem levar a resultados diferentes
5.4 Processo de Avaliao O processo de avaliao consiste de um conjunto de atividades, que so conduzidas pelo requisitante da avaliao e pelo avaliador cooperativamente. As atividades do processo usam como base os dados fornecidos pelo requisitante, pelo avaliador, ou produzidos por outras atividades do conjunto. Elas produzem dados que so os resultados do processo de avaliao e que tambm podem ser utilizados por outras atividades do processo.
As principais entradas para o processo de avaliao so a descrio do produto e seus componentes e mtodos e ferramentas para a avaliao. As principais sadas so os registros das aes e resultados da avaliao e o relatrio da avaliao. A Figura 1 d uma idia geral das entradas e sadas de cada fase do processo de avaliao para o avaliador.
33
Norma 14598-5
Requisitos do Estabelecimento requisitante dos requisitos da avaliao Requisitos de avaliao
Especificao da avaliao Especificao de avaliao pr-definida
Especificao de avaliao
Descrio do produto
Plano de avaliao Projeto da avaliao
Registros de avaliao
Entradas fornecidas pelo avaliador
Mtodos de avaliao
Registro de aes de reviso
Execuo da avaliao Ferramentas de avaliao Sntese dos resultados de avaliao
Relatrio de avaliao preliminar
Componentes do produto
Relatrio de avaliao revisado
Concluso da avaliao Entradas fornecidas pelo requisitante
Figura G5. 1: O processo de avaliao As atividades do processo de avaliao so as seguintes (ver Figura 1): estabelecimento dos requisitos de avaliao, onde devem ser descritos os objetivos da avaliao relacionando-os com o uso do produto de software e os riscos associados. Vrios pontos de vista podem ser considerados: aqueles dos diferentes usurios do produto tais como compradores, fornecedores, desenvolvedores, operadores ou mantenedores do produto.
O item Processo de avaliao de produto de software deste Guia trata deste tpico e os itens 7.1, 7.2, 7.3 da 14598-1 tambm tratam deste assunto especificao da avaliao cujo objetivo definir o escopo da avaliao e as medies a que o produto ser submetido. baseada nos requisitos de avaliao e na descrio do produto fornecida pelo requisitante; O item Processo de avaliao de produto de software deste Guia trata deste tpico e os itens 8.1, 8.2, 8.3 da 14598-1 tambm tratam deste assunto. projeto da avaliao que resulta num plano baseado na especificao da avaliao. O plano deve documentar os mtodos de avaliao a serem usados pelo avaliador, para realizar as medies especificadas na especificao de avaliao e deve mostrar o cronograma da avaliao de acordo com os recursos necessrios e disponveis para realizar a avaliao. No plano deve estar relacionados os mtodos a serem utilizados de acordo com cada parte do produto onde estes mtodos sero utilizados. Os mtodos podem estar em forma de mdulos de avaliao(ver item Documentao de Mdulos de Avaliao)
34
O item Processo de avaliao de produto de software deste Guia trata deste tpico e o item 9.1 da 14598-1 tambm tratam deste assunto. execuo do plano de avaliao consistindo em inspeo, medio e teste dos produtos e de seus componentes de acordo com o plano de avaliao. Estas aes podem ser executadas utilizando-se de ferramentas de software (normalmente do avaliador), tanto para as medies como para a interpretao dos resultados. As aes executadas pelo avaliador so registradas assim como todos os dados referentes ao produto sendo avaliado e os resultados obtidos. A partir disso criada uma verso preliminar do relatrio de avaliao; O item Processo de avaliao de produto de software deste Guia trata deste tpico e os itens 10.1, 10.2, 10.3 da 14598-1 tambm tratam deste assunto. concluses da avaliao, que consiste na reviso do relatrio de avaliao e liberao dos dados de avaliao, assim como a devoluo, pelo avaliador, do produto avaliado e de seus componentes. Este tpico no relatado separadamente no Processo de avaliao da 14598-1, ele est englobado nos itens 10.1, 10.2, 10.3 da 14598-1.
35
8. PLANEJAMENTO E GESTO
A Norma 14598-2 tem como objetivos bsicos a organizao das atividades necessrias ao suporte das avaliaes realizadas dentro dos vrios projetos de uma organizao. Essas atividades so, entre outras, o fornecimento de requisitos, recomendaes e orientaes para uma funo de suporte avaliao de produtos de software. A funo de suporte avaliao deve motivar e treinar as pessoas envolvidas em avaliao dentro da organizao e preparar documentos, mtodos e tecnologias adequadas para avaliao. A gesto de tecnologia para avaliao est relacionada com o planejamento e gesto de processos, mtricas e ferramentas para avaliao. O pblico alvo da 14598-2 so as pessoas responsveis pelo(a): 1. gerncia do uso de tecnologias de avaliao, 2. suporte avaliao de produtos de software, 3. gerncia de organizaes de desenvolvimento de software, 4. funo de garantia da qualidade. A funo de apoio avaliao deve fornecer um suporte abrangente organizao para projetos de desenvolvimento de software, aquisio de software e avaliao de software. Ela deve desempenhar papis que incluam: obteno de padres e de informaes tcnicas, desenvolvimento de padres e ferramentas domsticas, desenvolvimento de critrios para benchmark, avaliao da eficcia e da qualidade de qualquer desenvolvimento de software, coleta e anlise de resultados de avaliaes, disseminao dos resultados de avaliaes, facilitao da transferncia de tecnologia (baseada na experincia interna de avaliao), e suporte a projetos de avaliao e seus respectivos gerentes. aquisio ou
Ela pode ser interna, ou externa, organizao que est avaliando o software Esta funo dever ser pensada em dois nveis, como ser descrito a seguir: no nvel da organizao e no nvel dos projetos. 8.1 A FUNO DE SUPORTE AVALIAO NO NVEL DA ORGANIZAO As organizaes encarregadas de desenvolver, adquirir ou avaliar software devem ter as responsabilidades de avaliao e de garantia de qualidade claramente definidas e incorporadas em um plano. Os seguintes requisitos e recomendaes devem ser seguidos mesmo que as atividades de avaliao sejam terceirizadas: 1. planejamento do uso e da melhoria da tecnologia de avaliao 2. implementao da tecnologia de avaliao 3. transferncia da tecnologia de avaliao
36
4. avaliao da tecnologia de avaliao usada 5. gerenciamento das experincia de avaliao 8.2 A FUNO DE SUPORTE AVALIAO NO NVEL DO PROJETO Todo projeto deveria ter associado um projeto de avaliao. O apoio a esse projeto de avaliao deve ser dado pela funo de suporte de avaliao existente dentro da organizao. Esse suporte inclui o planejamento da avaliao (atravs da elaborao de um Plano de Avaliao Quantitativa, que auxilia o gerente de projeto a definir e monitorar os seus objetivos quantitativos de qualidade) e a promoo desse plano de avaliao e da tecnologia usada para outros projetos dentro da organizao. A implementao do plano deve ficar a cargo do gerente do projeto em questo. A funo de suporte de avaliao pode obter a confiana dos gerentes de projeto com relao utilidade de um plano de avaliao atravs de ferramentas de divulgao (por exemplo, palestras, reunies tcnicas etc.). Para cada projeto de avaliao deve ser elaborado um Plano de Avaliao Quantitativa que possua a seguinte estrutura de tpicos: 1. Introduo 2. Objetivos da avaliao 3. Caractersticas de qualidade aplicveis 4. Lista de prioridades 5. Objetivos de qualidade 6. Cronograma 7. Definio de responsabilidades 8. Categorias de medio 9. Uso e anlise de dados 10.Relatrios 11.Outros requisitos
37
9. DOCUMENTAO DE MDULOS DE AVALIAO
A avaliao de um produto de software depende basicamente de um conjunto de mtricas as quais fornecem informaes sobre propriedades do software, essas mtricas so objeto de estudo pela ISO e fazem parte dos relatrios tcnicos 9126-2 e 9126-3, no entanto para se utiliz-las de maneira eficiente e de forma que permita a troca de informaes sobre avaliaes necessrio que seja padronizada a forma de document-las. Os mdulos de avaliao (M.A.) so a soluo para essa padronizao. As vantagens dessa documentao so: Fornecer uma referncia comum na descrio da base terica dos M.A. Identificar um conjunto desenvolvimento de M.A. mnimo de requisitos para documentao e
Fornecer uma ferramenta para coleta e catalogao de um grande nmero de M.A.
Um mdulo de avaliao um conjunto estruturado de dados e instrues usados para avaliao. Ele especifica os mtodos de avaliao aplicveis para uma dada caracterstica (ou subcaracterstica) e identifica as evidncias (por exemplo, amostra de cdigo) que ele necessita. Tambm define o procedimento elementar de avaliao e o formato para relatar os resultados obtidos. Mas como a tarefa de avaliao de produto de sofware muito abrangente, envolvendo aspectos diferentes de caractersticas e subcaractersticas, as quais podem necessitar de diferentes tcnicas de avaliao, gerando um grande nmero de dados, faz-se necessrio controlar esta complexidade. Este controle feito estruturando-se a avaliao em unidades mais simples, ou seja, deve-se desenvolver os MA de forma que eles foquem um aspecto especfico de qualidade usando uma tcnica especfica de avaliao. O uso de mdulos de avaliao produzidos segundo esta norma garante que a avaliao pode ser repetvel, reproduzvel e imparcial, conforme explicado na norma 14598-5. Os mdulos de avaliao fornecem um elo de ligao entre as tcnicas de avaliao e indicadores e mtricas de qualidade. Quando alguma outra norma da famlia 14598 prescrever a aplicao de uma tcnica de avaliao, o mdulo de avaliao pertinente dever ser selecionado de uma biblioteca de mdulos de avaliao. Os objetivos bsicos de se padronizar os mdulos de avaliao so: o fornecimento das informaes necessrias a uma avaliao e o modo de utiliz-las, a disponibilizao dessas informaes de um modo homogneo, a facilitao do reuso dos M.A. e padronizao segundo requisitos padro. O modelo bsico de um M.A. o seguinte: 9.1 PREFCIO E INTRODUO No prefcio so dadas informaes sobre: preparao, aprovao, contribuies e alteraes sofridas pelo MA, bem como o relacionamento com outras normas ou outros documentos. Na introduo so introduzidos princpios, conhecimentos prvios e base tcnicas lgicas em que se baseia o mdulo de avaliao.
38
9.2 ESCOPO No escopo so identificadas as caractersticas (ou subcaractersticas), o nvel de avaliao, as tcnicas utilizadas e o escopo de aplicao do MA. As caractersticas, ou subcaractersticas, que o mdulo de avaliao pode avaliar so as definidas na norma ISO/IEC 9126 ( funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade e portabilidade). Um MA pode contribuir para uma, ou mais, caractersticas ou subcaractersticas, mas como foi dito h pouco interessante que cada um se atenha a uma nica (sub)caracterstica por facilidade de gesto. Os nveis de avaliao so relacionados com a importncia da caracterstica, ou subcaracterstica, avaliada. Convm que o nvel seja descrito levando-se em considerao o uso pretendido do software e o ambiente no qual o produto de software operar (por exemplo, condies de segurana, restries de segurana de acesso, riscos econmicos e restries de aplicao). Ele define a profundidade ou eficcia da avaliao em termos de tcnicas de avaliao a serem aplicadas e resultados de avaliao a serem obtidos. Diferentes nveis de avaliao fornecem diferentes nveis de confiabilidade sobre a qualidade do produto de software. A tcnica da avaliao aplicada pelo mdulo de avaliao inclui a teoria relevante, modelos ou heursticas que sirvam de base para a avaliao. Se a descrio no auto-contida, referncias adequadas devem ser includas. As tcnicas tem uma grande ligao com o nvel de avaliao escolhido. Alguns exemplos de tcnicas de avaliao so: modelos de crescimento de confiabilidade, teste funcional, anlise esttica de cdigo e inspeo de cdigo. A aplicabilidade deve identificar o escopo de aplicao do mdulo de avaliao. Por exemplo, o mdulo de avaliao pode ser aplicvel a uma linguagem de programa particular, ou classe de linguagens imperativas. 9.3 REFERNCIAS Nas referncias so fornecidas todos os documentos normativos e normas tcnicas relevantes. Tambm se mencionam aqui outros MA, caso este MA dependa do resultado de outros mdulos de avaliao. 9.4 TERMOS E DEFINIES So definidos todos os termos tcnicos usados no mdulo de avaliao, ou feita referncia a fontes nas quais as definies podem ser encontradas. 9.5 ENTRADA PARA A AVALIAO So identificadas as entradas, os dados e as mtricas e medidas usadas. A entrada de produto identifica todas informao que so requeridos com entrada para o mdulo de avaliao. Estes devem ser classificados como componentes de produto (especificao de requisitos de software, descrio do projeto de software, descrio de programa, cdigo fonte, cdigo executvel, documentao de usurio), informao de produto (relatrio de reviso de requisitos de software, relatrio de reviso de projeto de software, relatrio de reviso de programa, relatrio de teste de unidade, relatrio de reviso de documentao de usurio) e informaes de
39
suporte (plano de garantia de qualidade, plano de gesto de configurao, plano de teste de programa e descrio da linguagem de programao e compilador). Os dados especificam quais elementos de dados sero extrados dos documentos de entrada e de outras evidncias. Os elementos de dados so o material a partir dos quais as mtricas de avaliao so computadas, embora em alguns casos os dados brutos podem eles prprios constiturem mtricas. Como exemplos de elementos de dados podemos ter: Nmero de linhas de cdigo contendo comentrios; Freqncia de distribuio de comprimentos de sentenas no manual de usurio; Nmero de palavras em cada mensagem de ajuda; Nmero de falhas observadas por hora de operao; Nmero de TOKENS de um tipo especificado encontrados em cada mdulo por um analisador lxico especificado. As mtricas e medidas descrevem como elas so calculadas a partir dos elementos de dados. Caso elas sejam combinadas para se obter mtricas de mais alta ordem, ento a dependncia deve ser explicitada. Tambm devem ser estabelecidas todas as suposies e pr-condies a serem satisfeitas antes das medidas. 9.6 INTERPRETAO DE RESULTADOS Na interpretao de resultados so descritos o mapeamento de medidas e feito o relato da avaliao. O mapeamento de medidas especifica o significado das medidas, isto , especifica como interpretar os resultados das medies. Isto inclui a escala de avaliao sobre a qual os valores obtidos pelas mtricas definidas so mapeados. Se o mapeamento no-trivial ento os detalhes dos algoritmos (por exemplo, funes) necessrios para a execuo do mapeamento devem ser definidos. Se necessrio o item deve descrever como vrias medidas obtidas para uma nica (sub)caracterstica pode ser combinada em uma valorao para a (sub)caracterstica. A acurcia da medida tambm deve ser especificada. No relato deve-se descrever o contedo do relatrio com o resultado da aplicao do mdulo de avaliao e a visualizao dos valores obtidos. Anexo de Procedimento de aplicao Ele no inclui requisitos normativos para o mdulo de avaliao, porque a informao fornecida neste item de carter especfico da organizao e portanto imprprio para padronizao. Quando um mdulo de avaliao includo numa biblioteca de mdulos de avaliao de uma organizao interessante que este anexo seja includo na documentao do referido mdulo. Ele descreve novos termos, os recursos necessrios e as instrues de avaliao. Caso algum termo tcnico no tenha sido definido no item correspondente definies, mas seja utilizado pelo MA, ele deveria ser definido ou ento ser feita referncia a alguma fonte nas quais as definies possam ser encontradas. Os recursos necessrios especificam as fontes necessrias para a aplicao do mdulo de avaliao (ferramentas de software necessrias, HW/SW necessrio, equipamentos de teste, habilidades e qualificaes (por exemplo, certificao) requisitadas pelo avaliador, ou organizao avaliadora, esforo de mo-de-obra da aplicao e outros recursos necessrios. Nas instrues de avaliao so descritas, completamente, detalhes do procedimento a ser seguido. Isto inclui a seleo de evidncias (por exemplo, amostras do cdigo), a gerao e registro de dados puros, regras de contagem,
40
algoritmos para computao de mtricas a partir de dados puros, o registro de resultados e requisitos para a reteno de trabalho e documentao final Na documentao se esboa a descrio do uso do mdulo de avaliao.
41
10. TABELAS RESUMO DAS NORMAS ISO/IEC 14598 E 9126

Estas tabelas foram montadas com o objetivo de mostrar de forma resumida toda a srie de Normas ISO/IEC relacionadas com avaliao de produto de software. As informaes so apresentadas no seguinte formato. Identificao da Norma nome como registrado na ISO e ABNT Objetivo a que se refere a norma Pblico Alvo para quem essas normas podem ser teis Contedo o que apresentado na norma Uso quando ou onde o norma til
TABELA 1 - VISO GERAL DAS NORMAS 14598 IDENTIFICAO DA NORMA ISO/IEC 14598-1 Information Techonology Software Product Evaluation Part 1 - General Overview
S
OBJETIVO viso geral das outras partes da 14598, as relaes entre si e com o modelo de qualidade na 9126
PBLICO ALVO
S
CONTEDO
S
USO deve ser usada em conjunto com a ISO/IEC 9126 ou outro modelo de qualidade S pode ser usada por todos aqueles que necessitam verificar a qualidade de um produto de software
ISO/IEC 14598-2 Information Techonology Software Product Evaluation Part 2 - Planning and Management
apresenta requisitos, recomendaes e orientao para uma funo suporte que responsvel pelo gerenciamento de avaliao de produto de software e as tecnologias necessrias para tal.
S
ISO/IEC 14598-3 Information Techonology -
define o processo de avaliao de produto
definies tcnicas S modelo geral S compradores para processo S avaliadores de avaliao de S responsveis por produto de avaliao de software produto de S requisitos para software mtodos de medio e avaliao de produto de software S requisitos e pessoas responsveis orientaes para o por: S gerenciar o uso das processo de tecnologias de avaliao avaliao relacionados a S dar suporte a empresa como um avaliao de produto todo ou ao departamento de de software gerncia ou suporte S gerenciar o de avaliao desenvolvimento de software S gerenciar qualidade S requisitos e S gerente de projeto S projetista de software orientaes para S responsvel por avaliao
S
desenvolvedores
apoio ao processo de avaliao conforme o PBLICO ALVO
definio, acompanhamento e controle da qualidade do
42
IDENTIFICAO DA NORMA Software Product Evaluation Part 3 - Process for Developers
OBJETIVO de software para ocorrer concorrentemente com o seu desenvolvimento
PBLICO ALVO qualidade S mantenedor de software
CONTEDO
USO software durante o desenvolvimento
ISO/IEC 14598-4 Information Techonology Software Product EvaluationPart 4 - Process for Acquirers
descreve um processo para adquirir ou reutilizar um produto de software
relacionados ao projeto S o processo define as atividades S adquirente necessrias para anlise dos requisitos de avaliao, para especificar, projetar e executar as aes de avaliao e conclu-la S requisitos e S gerente de projeto S engenheiros de orientaes para sistemas avaliao S desenvolvedores relacionados ao projeto ou mantenedores de S define as software atividades para a S fornecedores, aceitao ou seleo adquirentes e usurios de software de um produto de software seja ele de prateleira, desenvolvido ou modificado sob encomenda ou reutilizado.
S avaliadores de laboratrios S fornecedores, adquirentes e usurios de software S entidades certificadoras
deve ser usada na aceitao ou seleo de um produto de software
ISO/IEC 14598-5 Information Techonology Software Product Evaluation Part 5 - Process for Evaluators
ISO/IEC 14598-6 Information Techonology Software Product EvaluationPart 6 - Evaluation Module
S requisitos e orientaes para avaliao relacionados ao projeto S define as atividades para analisar os requisitos de avaliao, para especificar, projetar, executar as aes de avaliao e concluir a avaliao S especialistas em S define a S requisitos e estrutura e o tecnologia de avaliao orientaes para contedo da avaliao de produto de documentao a ser software relacionados ao utilizada para departamento de descrever um gerncia ou suporte mdulo de de avaliao S
descreve um processo para avaliao de produtos de software
deve ser usada para a definio e acompanhamento de um processo de avaliao
um mdulo de avaliao especifica os mtodos de avaliao aplicveis a avaliao de caractersticas de qualidade e as
43
IDENTIFICAO DA NORMA
OBJETIVO avaliao
PBLICO ALVO
CONTEDO
USO
ISO/IEC 12119 Software Packages - Quality requirements and Testing NBR ISO/IEC 12119 Pacotes de Software- Teste e requisitos de qualidade(Vers o Brasileira da ISO/IEC 12119)
estabelece os requisitos e instrues a respeito de como testar um pacote de software em relao aos requisitos estabelecidos para o pacote.
avaliadores de laboratrios S fornecedores, adquirentes e usurios de software S entidades certificadoras
condies para uso do mdulo. Define tambm os procedimentos e os formatos para relatar os resultados da aplicao do mdulo S trata de todos S especificar os componentes do requisitos de pacotes de produto disponveis software aos usurios( S definir um modelo para apresentao de documentao, manual de instruo produto S estabelecer e guia para instalao) na forma esquema de avaliao como so oferecidos ou certificao e liberados para uso
44
TABELA 2 - VISO GERAL DAS NORMAS 9126 IDENTIFICAO DA NORMA ISO/IEC 9126-1 Software Product Quality Part 1 : Quality Model (Verso1999) NBR 13596 Tecnologia de InformaoAvaliao de Produto de Software Caractersticas de qualidade e Diretrizes para o seu uso (Verso Brasileira da 9126-1991)
S
OBJETIVO descreve um modelo de qualidade para produto de software
PBLICO ALVO
S
CONTEDO define 6 caractersticas de softwarefuncionalidade, confiabilidade, usabilidade, eficincia, mantenabilidade, portabilidade que so subdivididas em subcaractersticas S define 4 caractersticas de qualidade em uso
S
USO validar a completitude da definio de requisitos S identificar requisitos de software S identificar os objetivos do projeto de software S identificar os objetivos do teste de software S identificar os critrios de garantia de qualidade S identificar os critrios de aceitao do produto de software S um modelo de qualidade do produto no processo de compradorfornecedor S apoio para reviso, verificao e validao, um modelo para avaliao de qualidade no processo de suporte S apoio para estabelecimento de objetivos de qualidade no processo de gerenciamento S apoio ao uso da 9126-1
S S S
desenvolvedores
adquirentes equipe de qualidade assegurada S avaliadores de terceira-parte
S definio de mtricas externas S adquirentes S quais S equipe de caractersticas qualidade assegurada mensurveis contribuem para as S avaliadores de caractersticas de terceira-parte qualidade de software S identifica as propriedades desejveis para uma mtrica S S definio de ITR ISO/IEC 9126- S apresentar S desenvolvedores 3 Software mtricas mtricas externas Product Quality internas para S adquirentes S quais -Part 3 : Internal medir os S equipe de caractersticas Metrics atributos das 6 qualidade assegurada mensurveis contribuem para as caractersticas de S avaliadores de caractersticas de qualidade da terceira-parte qualidade de 9126-1 software
ITR ISO/IEC 91262 Software Product Quality -Part 2 : External Metrics
apresentar mtricas externas para medir os atributos das 6 caractersticas de qualidade da 9126-1
desenvolvedores
apoio ao uso da 9126-1
45
11. GLOSSRIO
Significado das colunas do glossrio: Termo em Portugus: a traduo do termo em ingls. Termo em Ingls: o termo como aparece nos documentos em ingls (originais). Documentos referidos: os documentos em portugus ou ingls onde aparecem os termos. Descries conforme o contexto: contm a definio do termo ou alguma outra informao relevante.
TERMO PORTUGUS
EM
TERMO INGLS
EM
DOCUMENTOS REFERIDOS
DEFINIES CONFORME CONTEXTO
A Acordo Acurcia Adaptabilidade Agreement Accuracy Adaptability ISO/IEC 12207 e NBR 12207 ISO/IEC 9126 e NBR 13596 ISO/IEC 9126 e NBR 13596 A definio de termos e condies sob a qual o relacionamento de trabalho entre as partes dever ser conduzido. Atributos do software que evidenciam a gerao de resultados ou efeitos corretos ou conforme acordados. Atributos do software que evidenciam sua capacidade de ser adaptado a ambientes diferentes especificados, sem a necessidade de aplicao de outras aes ou meios alm daqueles fornecidos para esta finalidade pelo software considerado. Atributos do software que evidenciam a presena de um conjunto de funes e sua apropriao para as tarefas especificadas.
Adequao Aderncia Adquirente
Suitability Compliance Acquirer
ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1 ISO/IEC 14598-1,
Uma organizao que adquire ou intermedia a compra (procures) de um sistema, produto de software ou servio de software de um fornecedor. Uma organizao que adquire ou obtm um sistema, produto de software ou servio de software de um fornecedor. Nota: O adquirente poderia ser: comprador, cliente, proprietrio ou usurio.
ISO/IEC 12207 e NBR 12207
46
TERMO PORTUGUS
Analisabilidade Apoio Apreensibilidade Aquisio Atribudo Atributo
EM
TERMO INGLS
Analysability Support Learnability Acquisition Assigned Attribute
EM
ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-5 ISO/IEC 9126 e NBR 13596 ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-1 ISO/IEC 14598-1

Atributos do software que evidenciam o esforo necessrio para diagnosticar deficincias ou causas de falhas, ou para identificar partes a serem modificadas.
Atributos do software que evidenciam o esforo do usurio para aprender sua aplicao (por exemplo: controle de operao, entradas, sadas). O processo de obteno de um sistema, produto de software ou servio de software.
Uma propriedade mensurvel, fsica ou abstrata, de uma entidade. Nota: Atributos podem ser internos ou externos.
Auditoria Avaliao Avaliao de produto de software
Audit Evaluation Software product evaluation
ISO/IEC 12207 e NBR 12207 ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-5
Processo conduzido por uma pessoa autorizada com o objetivo de prover um julgamento independente de produtos e processos de software, a fim de avaliar a conformidade com seus requisitos. Uma determinao sistemtica do grau de atendimento de uma entidade em relao aos critrios para ela estabelecidos. Operao tcnica que consiste em elaborar um julgamento de uma ou mais caractersticas de um produto de software de acordo com um procedimento definido. Notas: 1 Esta definio muito similar definio de teste do ISO/IEC Guide 2. Para evitar confuso com o conceito de teste, largamente aceito na rea de engenharia de software e que possui um significado mais restrito, nesta norma foi adotado o termo avaliao. 2 Avaliao de produto de software no necessariamente teste de conformidade (como definido no ISO/IEC Guide 2 13.3.2) no contexto de um esquema de certificao. Entretanto, teste de conformidade pode fazer parte de uma avaliao.
Avaliao qualidade
de
Evaluation
ISO/IEC 14598-1
Exame sistemtico do quanto uma entidade capaz de atender requisitos especificados. [ISO 8402:1994] Nota: Os requisitos podem ser formalmente especificados, por exemplo quando: Um produto desenvolvido para um usurio especfico sob um contrato; Um produto desenvolvido para um usurio no especfico, ou seja especificado por uma organizao de desenvolvimento.
Os requisitos tambm podem ser mais gerais, como quando um usurio avalia produtos com o objetivo de comparao e seleo.
47
TERMO PORTUGUS
EM
TERMO INGLS
Third-party evaluation Evaluator
EM
ISO/IEC 14598-1 ISO/IEC 14598-5
Avaliao de terceiraparte Avaliador
Organizao que executa uma avaliao. Nota: Um avaliador pode ser, por exemplo, um laboratrio de teste, o departamento de qualidade de uma organizao de desenvolvimento de software, um rgo governamental ou um usurio.
B C Capacidade para ser instalado Capacidade substituir para Installability Replaceability Software quality characteristics Broad categories Customer Test coverage Completness em Time behaviour Resource behaviour Purchaser do Path length Check ISO/IEC 9126 e NBR 13596 ISO/IEC 9126 e NBR 13596 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 12207 e NBR 12207 ISO/IEC 12119 e NBR 12119 ISO/IEC 9126 e NBR 13596 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 14598-5 Atributos do software que evidenciam seu tempo de resposta, tempo de processamento e velocidade na execuo de suas funes. Atributos do software que evidenciam a quantidade de recursos usados e a durao de seu uso na execuo de suas funes. Ver Intermedirio de compra. A extenso em que os casos de teste dos requisitos de um sistema ou produto de software so testados. Atributos do especificado.
software que
evidenciam o
esforo
necessrio para sua instalao num ambiente
Atributos do software que evidenciam sua capacidade e esforo necessrio para substituir um outro software, no ambiente estabelecido para esse outro software. Um conjunto de atributos de um produto de software, atravs do qual sua qualidade descrita e avaliada. Uma caracterstica de qualidade de software pode ser detalhada em mltiplos nveis de subcaractersticas.
Caractersticas de qualidade de software Categorias abrangentes Cliente Cobertura de teste Completitude Comportamento relao ao tempo
Comportamento em relao aos recursos Comprador Comprimento caminho Conferir
48
TERMO PORTUGUS
Confiabilidade
EM
TERMO INGLS
Reliability
EM
ISO/IEC 9126, NBR 13596 e 12119

Conjunto de atributos que evidenciam a capacidade do software de manter seu nvel de desempenho sob condies estabelecidas durante um perodo de tempo estabelecido. A maneira na qual o hardware e o software de um sistema de processamento de informao so organizados e interconectados. (ISO 2382-1:1993) Atributos do software que fazem com que o mesmo esteja de acordo com as normas, regulamentaes previstas em leis e descries similares, relacionadas aplicao. convenes ou
Configurao Conformidade(1) Conformidade(2) Contexto de trabalho Contrato
Configuration Compliance Conformance Work system Contract
ISO/IEC 12119 e NBR 12119 ISO/IEC 9126 e NBR 13596 ISO/IEC 9126 e NBR 13596 ISO/IEC 12119 e NBR 12119 ISO/IEC 12207 e NBR 12207
Atributos do software que o tornam consonante com padres ou convenes relacionados portabilidade. Combinao de pessoa e equipamento, atuando juntos no processo produtivo, para executar uma tarefa, no espao e no ambiente de trabalho, sob condies determinadas pela tarefa. (ISO 6385:1981). Um acordo realizado entre duas partes, respaldado pela lei, ou acordo interno similar restrito a uma organizao, para o fornecimento de servios de software ou para o fornecimento, desenvolvimento, produo, operao ou manuteno de um produto de software. Conforme Diretivas 3 da ABNT
Convm que Correo Critrio de julgamento de qualidade de software D Dados Dados de teste Defeito
Should Correctness Software quality assessment criteria ISO/IEC 12119 e NBR 12119 ISO/IEC 9126 e NBR 13596
O conjunto de regras e condies definidas e documentadas que so usadas para decidir se a qualidade total de um produto de software especfico aceitvel ou no. A qualidade representada pelo conjunto de nveis de pontuao associados ao produto de software.
Data Test data Fault
ISO/IEC 12119 e NBR 12119 ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-1
Representao reinterpretvel da informao de maneira formalizada, adequada para comunicao, interpretao ou processamento. (ISO 2382-1:1993) Dados utilizados em um problema de teste. (ISO 2382-8:1986) Um passo, processo ou definio de dados incorretos em um programa de computador. Nota: Esta definio mesma da norma IEEE 610.12-1990.
Descontinuao
Retirement
Cancelamento do suporte ativo pela organizao de operao e manuteno, substituio total ou parcial por um novo sistema, ou instalao de um sistema atualizado.
49
TERMO PORTUGUS
EM
TERMO INGLS
Product description
EM

Um documento expondo as propriedades de um pacote de software, com o principal objetivo de auxiliar os potenciais compradores na avaliao da adequao do produto antes de sua aquisio. Nota: Este termo mais especfico que o termo descrio de sistema (system description), na ISO/IEC 2382-20. O objetivo da descrio do produto abrange tambm a "informaes gerais (cover information) da ISO 9127. A descrio de produto no uma especificao, ela atende a um objetivo diferente.
Descrio de produto
Descrio de tarefas Desenvolvedor
Statement of work Developer
ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-1, ISO/IEC 12207 e NBR 12207
Um documento utilizado pelo adquirente como um meio para descrever e especificar as tarefas a serem executadas conforme o contrato. Uma organizao que executa atividades de desenvolvimento (incluindo anlise de requisitos, projeto, testes at a aceitao) durante o processo de ciclo de vida do software. Pessoa ou organizao que produz um produto de software.
Desenvolvedor de produto de software Destinatrios Deve Documentao pacote Documentao usurio Documento requisitos de de de
Software product developer Recipient Shall Package documentation User documentation Requirements document
ISO/IEC 14598-5 ISO/IEC 14598-1
Conforme Diretivas 3 da ABNT ISO/IEC 12119 e NBR 12119 ISO/IEC 12119 e NBR 12119 ISO/IEC 12119 e NBR 12119 A descrio de produto e a documentao de usurio. O conjunto completo de documentos, disponvel na forma impressa ou no, que fornecido para a utilizao de um produto, sendo tambm uma parte integrante do produto. Um documento contendo quaisquer combinaes de recomendaes, requisitos ou regulamentaes a serem atendidas por um pacote de software. Nota: Exemplos: normas ergonmicas ou tcnicas, lista de requisitos (ou modelo de especificao de requisitos) de um grupo (ex.: setor de marketing, associao de usurio ou tcnica), uma lei ou um decreto.
E Eficincia Efficiency ISO/IEC 9126 , NBR 13596 e NBR 12119 Encerramento Entrega Completion Delivery ISO/IEC 14598-1 ISO/IEC 14598-5 Conjunto de atributos que evidenciam o relacionamento entre o nvel de desempenho do software e a quantidade de recursos usados, sob condies estabelecidas.
50
TERMO PORTUGUS
Escala
EM
TERMO INGLS
Scale
EM
ISO/IEC 14598-1

Um conjunto de valores com propriedades definidas. Nota: Exemplos de escala so: uma escala nominal que corresponde a um conjunto de categorias; uma escala ordinal que corresponde a um conjunto ordenado de pontos de escala; uma escala de intervalos que corresponde a uma escala ordenada com pontos de escala eqidistantes; e uma escala de proporo (ratio scale) que tem pontos de escala eqidistantes e tambm um zero absoluto. Mtricas usando escalas ordinais ou nominais produzem dados qualitativos e mtricas usando escalas de intervalos ou de proporo (ratio scales) produzem dados quantitativos.
Escala Proporcional (ratio scale) Estabelecimento Estabilidade Estrutura Etapa Explicitada Extensibilidade F Falha Feedback Ferramenta avaliao de
Ratio Scale Establishment Stability Framework Step Stated Extendability
ISO/IEC 14598-1 ISO/IEC 14598-5 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 14598-1 Quando forem macro-atividades Substituindo estabelecida. Atributos do software que evidenciam o risco de efeitos inesperados ocasionados por modificaes
Failure Feedback Evaluation tool
ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 14598-5
O trmino da capacidade de um item de executar uma funo requerida ou a sua incapacidade de execut-la dentro de limites previamente especificados. (ISO CD 15026:19??)
Um instrumento que pode ser usado durante a avaliao para coletar dados, fazer interpretao de dados ou automatizar parte da avaliao. Nota: Analisadores de cdigo fonte para computar mtricas do cdigo, ferramentas CASE(Computer Aided Software Enginneering) para produzir modelos formais, ambientes para testar programas executveis, listas de verificao para coletar dados de inspeo ou planilhas para sintetizar medidas so exemplos de tais ferramentas.
51
TERMO PORTUGUS
Firmware
EM
TERMO INGLS
Firmware
EM
DEFINIES CONFORME CONTEXTO Hardware que contm os dados e um programa de computador que no podem ser alterados no ambiente do usurio.
Os dados e o programa de computador contidos no firmware so classificados como software; os circuitos que contm os dados e o programa de computador so classificados como hardware. A combinao de um dispositivo de hardware e instrues ou dados de computador que residem como um software somente para leitura no dispositivo de hardware. Este software no pode ser diretamente modificado por um programa.
Fog Index Fornece, Outorga Fornecedor
Fog index Gives Supplier
ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 14598-1, ISO/IEC 12207 e NBR 12207
um mtodo comprovado de anlise de material escrito para verificar compreenso. Verificar o contexto utilizando alternativas para d.
a sua facilidade de leitura e
Uma organizao que firma um contrato com o adquirente para fornecimento de um sistema, produto de software ou servio de software conforme os termos do contrato. Notas: 1 O termo fornecedor sinnimo de contratado, produtor, vendedor ou distribuidor. 2 O adquirente pode designar uma parte de sua organizao como fornecedor.
Funo
Function
A implementao de um algoritmo em um programa com o qual o usurio ou o programa pode realizar toda uma tarefa ou parte dela. Notas: 1 Uma funo no precisa ser necessariamente acionvel pelo usurio (por exemplo, backup automtico ou salvamento automtico de dados). 2 Esta definio de funo menos abrangente que a usada pela ISO 2382-14: 1978 (na definio de falha, defeito/falta (fault), manuteno e confiabilidade) e mais ampla que as definidas pela ISO 2382-2 e ISO 238215.
Funcionalidade G
Functionality
ISO/IEC 9126, NBR 13596, ISO/IEC 12119 e NBR 12119
Conjunto de atributos que evidenciam a existncia de um conjunto de funes e suas propriedades especificadas. As funes so as que satisfazem as necessidades explcitas ou implcitas.
52
TERMO PORTUGUS
EM
TERMO INGLS
EM

Conjunto de atividades planejadas e sistemticas, implementadas no sistema da qualidade e demonstradas como necessrias, para prover confiana adequada de que uma entidade atender os requisitos para a qualidade. Notas: 1 A garantia da Qualidade visa, simultaneamente, aos objetivos internos e externos: a) Garantia da qualidade interna: dentro de uma organizao, a garantia da qualidade prov confiana Administrao; b) Garantia da qualidade externa: em situaes contratuais ou outras, a garantia da qualidade prov confiana aos clientes ou a outros. 2 Algumas aes do controle da qualidade e da garantia da qualidade so inter-relacionadas. 3 Se os requisitos para a qualidade no refletirem inteiramente as necessidades do usurio, a garantia da qualidade pode no prover a confiana adequada. [NBR ISO 8402/1994, 3.5]
Garantia da qualidade
Quality assurance
Gesto Guia de case) teste
Management
ISO/IEC 14598-1 ISO/IEC 12119 e NBR 12119
Conforme CB25 Uma instruo documentada para o responsvel pelo teste, que especifica como deve ou convm que seja testada uma funo ou uma combinao de funes. Um guia de teste inclui informaes detalhadas sobre as seguintes questes: o objetivo do teste; as funes a serem testadas; o ambiente de testes e outras condies (detalhes de configurao e trabalho preparatrio); os dados de testes; o procedimento; o comportamento esperado do sistema.
(test
Test case
Nota de Traduo: O termo Guia de Teste foi escolhido porque o termo Caso de Teste est sendo usado de acordo com autores como Pressman, Schach, Hetzel, Myers e entidades como o IEEE, significando apenas o conjunto de entradas de teste e sadas esperadas. H I
53
TERMO PORTUGUS
Imparcialidade Indicador
EM
TERMO INGLS
Impartiality Indicator
EM
ISO/IEC 14598-5 ISO/IEC 14598-1

Convm que a avaliao no seja tendenciosa com relao a algum resultado particular. Uma medida que pode ser utilizada para estimar ou prever outra medida. Notas: 1 A medida prevista pode, ou no, ser da mesma caracterstica de qualidade de software. 2 Indicadores podem ser utilizados tanto para estimar atributos de qualidade de software, quanto para estimar atributos do processo de produo. Eles so medidas indiretas dos atributos.
Inteligibilidade Interface
Understandability Interface
ISO/IEC 9126 e NBR 13596 ISO/IEC 12119 e NBR 12119
Atributos do software que evidenciam o esforo do usurio para reconhecer o conceito lgico e sua aplicabilidade. Limite compartilhado entre duas unidades funcionais, definido por caractersticas funcionais, caractersticas de interconexo fsica comuns, caractersticas de sinal, e outras caractersticas, quando apropriado. (ISO/IEC 2382-9:1984, sem a Nota) Uma interface que permite que as informaes sejam passadas entre um usurio hardware ou de software de um sistema computacional. (ANSI/IEEE Std 610.12-1990) e componentes de
Interface de usurio Intermedario compra (procurer) Interoperabilidade Item de configurao Item que entregue Itens J Julgamento K L Liberao (release) no ser de
User interface Procurer Interoperability Configuration item Non-deliverable item Elements
ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-1 ISO/IEC 9126 e NBR 13596 ISO/IEC 12207 e NBR 12207 ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-5
Atributos do software que evidenciam sua capacidade de interagir com sistemas especificados. Uma entidade dentro de uma configurao que satisfaz uma funo de uso final, e que pode ser identificada de forma nica em um determinado ponto de referncia.
Hardware ou produto de software cuja entrega no exigida em contrato, mas pode ser utilizado no desenvolvimento do produto de software.
Assessment
Ao de aplicar critrios de julgamento especficos e documentados a um produto, pacote ou mdulo de software especfico, com o propsito de determinar sua aceitao ou liberao para uso.
Release
Uma verso particular de um item de configurao que colocada disposio para um propsito especfico (por exemplo, liberao para teste).
54
TERMO PORTUGUS
Linha (baseline)
EM
bsica
TERMO INGLS
Baseline Checklist
EM
ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-1

Uma verso formalmente aprovada de um item de configurao, independente de mdia, formalmente definida e fixada em um determinado momento durante o ciclo de vida do item de configurao.
Lista de Verificao M Mantenedor
Maintainer
ISO/IEC 14598-1, ISO/IEC 12207 e NBR 12207
Uma organizao que executa atividades de manuteno.
Manual manuteno programa Manuteno Manuteno sistema Manutenibilidade Maturidade Medio
de de
Program maintenance manual Maintenance
Documento que fornece toda a informao necessria para a manuteno de um programa. (ISO/IEC 238220:1990) Parte da manuteno de sistemas que est relacionada modificao do pacote de software. Alterao de um sistema para corrigir defeitos, para melhorar o desempenho, ou para adaptar o sistema s mudanas de ambiente ou de requisitos. (ISO/IEC 2382-20:1990) Conjunto de atributos que evidenciam o esforo necessrio para fazer modificaes especificadas no software. Atributos do software que evidenciam a frequncia de falhas por defeitos no software. Ao de aplicar uma mtrica de qualidade de software a um produto de software especfico. O uso de uma mtrica para atribuir um valor a partir de uma escala (o qual pode ser um nmero ou categoria) a um atributo de uma entidade. Nota: Medio pode ser qualitativa quando utilizar-se de categorias. Por exemplo, alguns atributos importantes de produtos de software, como a linguagem de um programa fonte (ADA, C, COBOL etc.) so categorias qualitativas.
ISO/IEC 12119 e NBR 12119 ISO/IEC 12119 e NBR 12119 ISO/IEC 9126, NBR 13596, ISO/IEC 12119 e NBR 12119 ISO/IEC 9126 e NBR 13596 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1
de
System maintenance Maintainability Maturity Measurement
Medida (substantivo) Medida direta
Measure (noum) Direct measure
ISO/IEC 14598-1 ISO/IEC 14598-1
Nmero ou categoria atribudo a um atributo de uma entidade atravs de uma medio. Uma medida de um atributo que no depende da medida de qualquer outro atributo.
55
TERMO PORTUGUS
Medida externa
EM
TERMO INGLS
EM
ISO/IEC 14598-1

Uma medida indireta de um produto derivada de medidas do comportamento do sistema do qual ele faz parte. Notas: 1 O sistema inclui qualquer usurios. associao de hardware, software (seja personalizado ou de prateleira) e
External measure
2 O nmero de falhas encontrados durante o teste uma medida externa do nmero de defeitos no programa, porque o nmero de falhas contado durante a operao de um sistema computacional executando o programa. 3 Medidas externas podem ser utilizadas para avaliar atributos de qualidade de maneira mais prxima aos objetivos do projeto. Medida indireta Indirect measure ISO/IEC 14598-1 Uma medida de um atributo a qual derivada de medidas de um outro ou de vrios outros atributos. Nota: Uma medida externa de um atributo de um sistema de computao (como o tempo de resposta a uma entrada de usurio) uma medida indireta de atributos do software, uma vez que a medida ser influenciada por atributos do ambiente de computao, bem como por atributos do software. Medida interna Internal measure ISO/IEC 14598-1 Uma medida do prprio produto, seja direta ou indireta. Nota: O nmero de linhas de cdigo, medidas de complexidade, o nmero de defeitos encontrados em um walkthrough e o Fog Index so todas medidas internas feitas no prprio produto. Medir Meio de dados Melhoria Mtodo de avaliao Measure (verb) Data Medium Enhancement Evaluation method ISO/IEC 14598-1 ISO/IEC 12119e NBR 12119 ISO/IEC 14598-1 ISO/IEC 14598-5 Um procedimento descrevendo as aes a serem realizadas pelo avaliador para obter o resultado da medio ou verificao especificadas, quando aplicadas num produto ou em componentes especificados de um produto. Procedimento tcnico especificado para executar um teste. (ISO/IEC Guide 2:1991) O mtodo e a escala de medio definidos. Notas: 1 Mtricas podem ser internas ou externas, e diretas ou indiretas. 2 Mtricas incluem mtodos para categorizao de dados qualitativos. Fazer uma medio. Material no qual os dados podem ser armazenados e do qual podem ser recuperados. (ISO 2382-1:1993)
Mtodo de teste Mtrica
Test method Metric
ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-1
56
TERMO PORTUGUS
EM
TERMO INGLS
Software metric
EM
quality

Um mtodo e uma escala quantitativa que podem ser usados para determinar o valor que uma particularidade (feature) recebe em um produto de software especfico. Uma estrutura contendo processos, atividades e tarefas envolvidas no desenvolvimento, operao e manuteno de um produto de software, abrangendo a vida do sistema desde a definio de seus requisitos at o trmino de seu uso.
Mtrica de qualidade de software Modelo de ciclo de vida Modelo de propsito geral Modelo de qualidade Modificabilidade Mdulo de avaliao Monitorao N No determinstica No deve Necessidades implcitas
Life cycle model
General-purpose model Quality model Changeability Evaluation module Monitoring
ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1 ISO/IEC 12207 e NBR 12207 O conjunto de caractersticas e os relacionamentos entre elas, que fornecem a base para a especificao dos requisitos de qualidade e para a avaliao de qualidade. Atributos do software que evidenciam o esforo necessrio para modific-lo, adapt-lo a mudanas ambientais. remover seus defeitos ou
Um pacote de tecnologia de avaliao para uma caracterstica ou subcaracterstica de qualidade de software especfica. Um exame da situao das atividades de um fornecedor e dos seus resultados, efetuado pelo adquirente ou uma terceira parte.
Non-deterministic May not Implied needs
ISO/IEC 14598-5 Conforme Diretivas 3 da ABNT ISO/IEC 14598-1 Necessidades que podem no terem sido explicitadas, mas esto presentes quando a entidade utilizada em condies particulares. Nota: Necessidades implcitas so necessidades reais que podem no ter sido documentadas.
Nveis de Pontuao Nvel de desempenho
Rating Level Level performance of
ISO/IEC 14598-1 ISO/IEC 9126 e NBR 13596 O grau em que as necessidades so satisfeitas, representado por um conjunto especfico de valores para as caractersticas de qualidade.
57
TERMO PORTUGUS
Nvel de pontuao
EM
TERMO INGLS
Rating level
EM

Uma faixa de valores numa escala para permitir que o software seja classificado (pontuado) de acordo com as necessidades explcitas ou implcitas. Nveis de pontuao adequados podem ser atribudos s diferentes vises de qualidade de usurios, gerentes e equipe de desenvolvimento. Estes nveis so chamados de nveis de pontuao. Um ponto de escala em uma escala ordinal o qual usado para categorizar uma escala de medio. Notas: 1 O nvel de pontuao permite que o software seja classificado(pontuado) de acordo com as necessidades explcitas ou implcitas. 2 Nveis de pontuao apropriados podem ser associados a diferentes vises de qualidade, por exemplo: viso dos usurios, dos gerentes ou dos desenvolvedores.
ISO/IEC 14598-1
Normatizar O O quanto Objetividade Objetivo Operacionalidade Operador Orientao P Pacote de software Particularidades
Standardisation
ISO/IEC 14598-1
Extent Objectivity Scope Operability Operator Guidance
ISO/IEC 14598-1 ISO/IEC 14598-5 ISO/IEC 14598-5 ISO/IEC 9126e NBR 13596 ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-1 Convm que os resultados das avaliaes sejam baseados em fatos, isto , desprovidos de sentimentos ou opinies do avaliador. Conforme o texto pode ser abrangncia Atributos do software que evidenciam o esforo do usurio para sua operao e controle da sua operao. Uma organizao que opera o sistema.
Software package Features
Conjunto completo e documentado de programas fornecido a diversos usurios para uma aplicao ou funo genrica. (ISO/IEC 2382-20:1990, sem a Nota) So propriedades identificadas de um produto de software que podem ser relacionadas s caractersticas de qualidade. Quando forem atividades elementares Um documento utilizado pelo adquirente como meio para divulgar aos potenciais fornecedores sua inteno de adquirir um sistema, produto de software ou servio de software especificado.
(features)
Passo Pedido de proposta Step Request for proposal (tender) ISO/IEC 14598-1 ISO/IEC 12207 e NBR 12207
58
TERMO PORTUGUS
Perspectiva usurio
EM
do
TERMO INGLS
EM
Users perspective Test plan, system test and evaluation May Rating
Plano de teste ou plano de avaliao e teste de sistema Pode Pontuao
Plano que estabelece requisitos detalhados, critrios, metodologia geral, responsabilidades e planejamento geral para testes e avaliao de um sistema. (ISO 2382-20:1990) Conforme Diretivas 3 ABNT
Ao de mapear o valor medido ao nvel de pontuao apropriado. Usado para determinar o nvel de pontuao obtido pelo software em uma caracterstica de qualidade especfica. A ao de mapear o valor medido em comparao ao nvel de pontuao apropriado. Utiliza-se para determinar o nvel de pontuao do software para uma caracterstica de qualidade especfica. Conjunto de atributos que evidenciam a capacidade do software de ser transferido de um ambiente para outro.
ISO/IEC 14598-1 Portabilidade Prever Problema de teste Processo Portability Predict Check program Process ISO/IEC 9126, NBR 13596, ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-1 ISO/IEC 12119 e NBR 12119 ISO/IEC 12207 e NBR 12207
Problema com uma soluo conhecida usada para determinar se uma unidade funcional est operando corretamente. (ISO 2382-8:1983) Um conjunto de atividades inter-relacionadas, que transforma entradas em sadas. Nota: O termo atividades engloba a utilizao de recursos. [Veja NBR ISO 8402/1994, 1.2]
Produto de prateleira Produto de software
Off-the-shelf product Software product
ISO/IEC 12207 e NBR 12207 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1, ISO/IEC 12207e NBR 12207
Produto j desenvolvido e disponvel para utilizao na forma em que se encontra ou com modificao. Uma entidade de software disponvel para liberao a um usurio. O conjunto de programas de associados.(ISO/IEC 12207:1995) computador, procedimentos e possvel documentao e dados
Nota: Produtos incluem produtos intermedirios, e produtos destinados a usurios como desenvolvedores ou mantenedores.
Produto de software intermedirio
Intermediate software product
ISO/IEC 14598-1
Um produto do processo de desenvolvimento de software que utilizado como entrada para um outro estgio do processo de desenvolvimento de software. Nota: Em alguns casos um produto intermedirio tambm pode ser um produto final.
59
TERMO PORTUGUS
EM
TERMO INGLS
EM
Produto de software sob encomenda Programa computador) Projeto Q Qualidade (de
Custom made software product Program (computer program) Design
Unidade sinttica que est em conformidade com as regras de uma linguagem de programao particular, composta de declaraes, comandos ou instrues necessrias para executar uma certa funo ou tarefa, ou ainda solucionar um problema. (ISO/IEC 2382-1:1993)
ISO/IEC 14598-1
Quality
A totalidade das caractersticas de uma entidade que lhe confere a capacidade de satisfazer as necessidades explcitas e implcitas (NBR ISO 8402/1993) Totalidade de caractersticas de uma entidade que lhe confere a capacidade de satisfazer as necessidades explcitas e implcitas (ISO 8402 : 1994). Notas: 1 Numa situao contratual, ou numa rea regulamentada, tal como na rea de segurana nuclear, as necessidades so especificadas, enquanto que em outras reas, convm que necessidades implcitas sejam identificadas e definidas (ISO 8402 : 1994, note 1). 2 Na srie ISO/IEC 14598 a entidade relevante um produto de software.
ISO/IEC 14598-1
Qualidade de software Qualidade em uso Qualidade externa Qualidade interna
Software quality Quality in use External quality Internal quality
ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 14598-1
A totalidade das caractersticas de um produto de software que lhe confere a capacidade de satisfazer necessidades explcitas e implcitas. O quanto um produto, utilizado por usurios especficos, atende as necessidades desses usurios para que eles atinjam as metas especificadas com eficcia, produtividade e satisfao, num contexto de uso definido. O quanto um produto satisfaz especificadas. necessidades explcitas e implcitas quando utilizado em condies
A totalidade dos atributos de um produto que determinam sua capacidade para satisfazer necessidades explcitas e implcitas quando utilizado em condies especificadas. Notas: 1 O termo qualidade interna, utilizado na ISO/IEC 14598 em contraste ao termo qualidade externa, possui essencialmente o mesmo significado de qualidade na NBR/ISO 8402. 2 O termo atributo utilizado com o mesmo significado que o termo caracterstica no item 4.21, sendo que na NBR 13596 (ISO/IEC 9126) o termo caracterstica utilizado num sentido mais especfico.
60
TERMO PORTUGUS
Qualificao
EM
TERMO INGLS
Qualification
EM

O processo de demonstrar se uma entidade capaz de atender os requisitos especificados. [Veja NBR ISO 8402/1994, 2.13]
R Rastreabilidade Recuperabilidade Registros de avaliao Relatrio de avaliao Relatrio de testes Relatrio preliminar de avaliao Repetibilidade Repetibilidade Reprodutibilidade Reprodutibilidade Requisitante avaliao Requisito qualificao Reutilizar Revisar Rotina utilitria, programa utilitrio da de Traceability Recoverability Evaluation records Evaluation report Test report Draft report evaluation ISO/IEC 14598-1 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-5 ISO/IEC 14598-5 ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-5 ISO/IEC 14598-5 ISO/IEC 14598-5 ISO/IEC 14598-5 ISO/IEC 14598-5 ISO/IEC 14598-5 ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-1 ISO/IEC 14598-5 ISO/IEC 12119 e NBR 12119 Rotina (um programa computacional) que fornece servios gerais, freqentemente necessrios. Exemplos: uma rotina de entrada, um programa de diagnstico, um programa trace, um programa sort. (ISO/IEC 2382-7:1989) Pessoa ou organizao que requisita uma avaliao. Um conjunto de critrios ou de condies que, quando atendido, qualifica um produto de software quanto conformidade s suas especificaes e quanto sua utilizao no seu ambiente alvo. Convm que avaliaes do mesmo produto, com a mesma especificao de avaliao, por avaliadores diferentes, produzam resultados que possam ser aceitos como sendo idnticos. Convm que avaliaes repetidas do mesmo produto, com a mesma especificao de avaliao, pelo mesmo avaliador, produzam resultados que possam ser aceitos como sendo idnticos Atributos do software que evidenciam sua capacidade de restabelecer seu nvel de desempenho e recuperar os dados diretamente afetados, em caso de falha, e o tempo e esforo necessrios para tal. Evidncias objetivas documentadas de todas atividades realizadas e resultados alcanados no processo de avaliao Documento que apresenta os resultados da avaliao e outras informaes relevantes a uma avaliao. Documento que apresenta resultados de testes e outras informaes relevantes para um teste. (ISO/ IEC Guide 2:1991)
Repeatability Repeatability Reproducibility Reproducibility Evaluation request Qualification requirement Reuse Review Utility routine, utility program
61
TERMO PORTUGUS
S Seo Segurana
EM
TERMO INGLS
EM
Clause Security(1) Security(2) ISO/IEC 14598 Software service Summarised System
ISO/IEC 14598-1 ISO/IEC 12207 e NBR 12207 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1 ISO/IEC 12207 e NBR 12207 ISO/IEC 14598-1 ISO/IEC 12207, NBR 12207 e ISO/IEC 14598-1 Execuo de atividades, trabalho ou obrigaes relacionados ao produto de software tais como seu desenvolvimento, manuteno e operao. Substitui resumidos Um conjunto integrado que consiste de um ou mais processos, hardware, software, recursos e pessoas, capaz de satisfazer uma necessidade ou objetivo definido. A proteo de informaes e dados de modo que pessoas ou sistemas no autorizados no possam l-los ou modific-los e que pessoas ou sistemas autorizados no tenham acesso negado a eles. Atributos do software que evidenciam sua capacidade de evitar o acesso no autorizado, acidental ou deliberado a programas e dados.
Segurana de acesso Srie ISO/IEC 14598 Servio de software Sintetizados Sistema
Sistema computacional Sistema em operao Software
Computer system Working system Software
ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 9126, NBR 13596, ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-1 Programas, procedimentos, regras e qualquer documentao associada, pertinente operao de um sistema computacional. O conjunto completo ou apenas uma parte, dos programas, procedimentos, regras e documentao associada de um sistema de processamento de informao. (ISO/IEC 2382-1: 1993) Nota: 1 Software uma criao intelectual que independe do meio no qual armazenado.
Software de sistema Software de prateleira Software para consumidor final

Subseo
System software Off-the-shelf software Consumer Software Clause
ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-1 ISO/IEC 14598-1 ISO/IEC 14598-1
Software independente da aplicao que suporta a execuo de um software aplicativo. (ISO/IEC 238220:1990)
62
TERMO PORTUGUS
T Tarefa Testabilidade
EM
TERMO INGLS
EM
Work task Testability
ISO/IEC 12119 e NBR 12119 ISO/IEC 9126 e NBR 13596 ISO/IEC 12207 e NBR 12207
Resultado esperado num contexto de trabalho. (ISO 6385:1981) Atributos do software que evidenciam o esforo necessrio para validar o software modificado. A extenso em que um teste objetivo e factvel pode ser projetado para determinar se um requisito atendido Operao tcnica que consiste na constatao de uma ou mais caractersticas de um dado produto, processo ou servio, de acordo com um procedimento especificado. (ISO/IEC Guide 2:1991) Teste, conduzido pelo desenvolvedor e testemunhado pelo adquirente (quando apropriado), para demonstrar que o produto de software atende as suas especificaes e est pronto para utilizao no seu ambiente alvo. Atributos do software que evidenciam sua capacidade em manter um nvel de desempenho especificado nos casos de falhas no software ou de violao nas interfaces especificadas.
Teste Teste de qualificao Tolerncia a falhas Trs nveis superiores U Unidade de software Unidade funcional Usabilidade Usurio
Test Qualification testing Fault tolerance Top Three levels
ISO/IEC 12119 e NBR 12119 ISO/IEC 12207 e NBR 12207 ISO/IEC 9126 e NBR 13596 ISO/IEC 14598-1
Software unit Functional unit Usability User
ISO/IEC 12207 e NBR 12207 ISO/IEC 12119 e NBR 12119 ISO/IEC 9126,NBR 13596, ISO/IEC 12119 e NBR 12119 ISO/IEC 14598-1
Uma parte de cdigo compilvel separadamente. Entidade de hardware, ou de software ou de ambos, capaz de executar um propsito especifico. (ISO 23821:1993) Conjunto de atributos que evidenciam o esforo necessrio para se poder utilizar o software, bem como o julgamento individual desse uso, por um conjunto explcito ou implcito de usurios. Um indivduo que usa o produto de software para executar uma funo especfica. Nota:Usurios podem ser operadores, pessoas que recebem o resultado do software, ou desenvolvedores e mantenedores de software.
ISO/IEC 12207 e NBR 12207 Utilizando V Using ISO/IEC 14598-1
Um indivduo ou organizao que utiliza um sistema em operao para executar uma funo especfica. Nota: O usurio pode executar outros papis, tais como adquirente, desenvolvedor ou mantenedor.
63
TERMO PORTUGUS
Validao
EM
TERMO INGLS
Validation
EM

Confirmao, por exame e fornecimento de evidncia objetiva, de que os requisitos especficos, para um determinado uso pretendido, so atendidos. Notas: 1 Nas atividades de projeto e desenvolvimento, a validao se refere ao processo de examinar um produto para determinar sua conformidade com as necessidades do usurio. 2 A validao feita normalmente no produto final, sob condies de operao definidas, podendo contudo tornar-se necessria em fases anteriores. 3 O termo validado usado para designar o estado aps a validao. 4 Validaes mltiplas podem ser realizadas se existirem diferentes usos pretendidos. [ISO 8402: 1994]
Verificao
Verification
Confirmao, por exame e fornecimento de evidncia objetiva, do atendimento aos requisitos especificados. Notas: 1 Nas atividades de projeto e desenvolvimento, a verificao refere-se ao processo de examinar o resultado de dada atividade para determinar a sua conformidade com os requisitos estabelecidos para a mesma atividade. 2 O termo verificado utilizado para designar o estado aps a verificao. [NBR ISO 8402: 1993]
Verso
Version
Uma instncia identificada de um item. Nota: Modificaes em uma verso de produto de software, resultando em uma nova verso, requerem uma ao de gerncia de configurao.
W X Y Z
64
12. REFERNCIAS BIBLIOGRFICAS

[1] NBR 13596, Tecnologia de Informao Avaliao de Produto de Software Caractersticas de Qualidade e Diretrizes para o seu Uso; ABNT Abril 1996 (verso brasileira da Norma ISO/IEC 9126, 1991). ISO/IEC 12119, International Standard. Information Technology Software Packages Quality requirements and testing; 1994 (IS). ISO/IEC 14598-1, International Standard. Information Technology Software product evaluation Part 1: General Overview; 1998 (IS). ISO/IEC 14598-2, International Standard. Information Technology Software product evaluation Part 2: Planning and Management; May/ 1998 (CD). ISO/IEC 14598-3, International Standard. Information Technology Software product evaluation Part 3: Process for developers; Jun / 1996 (CD). ISO/IEC 14598-4, International Standard. Information Technology Software product evaluation Part 4: Process for acquirers; Sep / 1997 (FDIS). ISO/IEC 14598-5, International Standard Information Technology Software product evaluation Part 5: Process for Evaluators; 1998 (IS). ISO/IEC 14598-6, International Standard Information Technology Software product evaluation Part 6: Evaluation Modules; Mar/1998 ISO/IEC 9126-1, International Standard. Information Technology Software product quality - Part 1: Quality model; Jun / 1998 (CD). ISO/IEC 9126-2, International Standard. Information Technology Software product quality - Part 2: External metrics; May / 1998 ISO/IEC 9126-3, International Standard. Information Technology Software product quality - Part 3: Internal metrics; May / 1998. NBR 12207, Tecnologia de informao Processos do ciclo de vida do software; ABNT 1998 (verso Brasileira da Norma ISO/IEC 12207,1995 )
[2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12]
65

NBR 14598 9126 - ISO IEC - Guia para Utilização Das Normas Sobre Avaliação de Qualidade de Produt

Загружено:

Сведения о документе

Исходное описание:

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

NBR 14598 9126 - ISO IEC - Guia para Utilização Das Normas Sobre Avaliação de Qualidade de Produt

Загружено:

Авторское право:

Доступные форматы

& !#&% @ $ #$$ # ' @ "& !

# &%  $ % #

Comisso de Estudos de Qualidade de Software (CE21:101.01)

10. 1.1 1.1 11. 12.

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Produzir o plano de avaliao (9.1)

Figura G1.11 - Processo de Avaliao

Comisso de Estudos de Qualidade de Software (CE21:101.01)

NBR 12119 Titulo Texto extrado de norma

Comisso de Estudos de Qualidade de Software (CE21:101.01)

2. VISO GERAL SOBRE A ELABORAO DE NORMAS

Comisso de Estudos de Qualidade de Software (CE21:101.01)

PWI NP WD CD DIS FDIS ISO/IEC

Comisso de Estudos de Qualidade de Software (CE21:101.01)

3. PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Produzir o plano de avaliao (9.1)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

10. Executar a avaliao

Ver informaes sobre o processo para avaliadores Avaliadores.

no item Processo para

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

4. MODELO DE QUALIDADE DA 9126-1

Adequao Acurcia Interoperabilidade Segurana de acesso Conformidade

Maturidade Tolerncia a Falhas Recuperabilidade Conformidade

Inteligibilidade Apreensibilidade Operacionalidade Atratividade Conformidade

Comportamento em relao ao tempo Comportamento em relao aos recursos

Analisabilidade Modificabilidade Estabilidade Testabilidade Conformidade

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

configurao CONFIG.SYS pode alterar o desempenho do sistema.

Comisso de Estudos de Qualidade de Software (CE21:101.01)

6. PROCESSO PARA ADQUIRENTES

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

7. PROCESSO PARA O AVALIADOR

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Especificao da avaliao Especificao de avaliao pr-definida

Plano de avaliao Projeto da avaliao

Entradas fornecidas pelo avaliador

Registro de aes de reviso

Execuo da avaliao Ferramentas de avaliao Sntese dos resultados de avaliao

Relatrio de avaliao preliminar

Relatrio de avaliao revisado

& !#&% @ $ #$$ # ' @ "& !

# &% $ % #