11

Um modelo para avaliao de sistemas de informao do SUS de
abrangncia nacional: o processo de seleo e estruturao de

indicadores
Rinaldo Macedo de Morais
Instituto Federal de So Paulo
Andr Lucirton Costa
Universidade de So Paulo
Os processos de gesto do Sistema nico de Sade (SUS) so apoiados por um conjunto de sistemas de
informao de abrangncia nacional, com funcionalidades para as reas epidemiolgicas, ambulatoriais,
hospitalares e administrativas. Este artigo prope um modelo para avaliao de sistemas de informao
em sade que possa ser aplicado aos sistemas do SUS. descrito o processo de pesquisa, anlise e
classificao dos indicadores de avaliao para o modelo. Os indicadores foram obtidos por meio de
pesquisa em bases bibliogrficas e classificados segundo os atributos de qualidade da norma ISO/IEC
25010, adotada como modelo de qualidade no estudo. Como resultado, 66 indicadores foram identificados e mapeados, abrangendo todas as caractersticas de qualidade do modelo. Este trabalho poder
contribuir como mais uma referncia para estudos que envolvam processos de avaliao da qualidade de
softwares em sade e auxiliar na normatizao de planos de avaliao e monitoramento de qualidade
de sistemas e dados em sade pblica no Brasil e em projetos de melhoria de softwares.
P a l av r a s - c h av e : gesto em sade; Sistema nico de Sade; sistema de informao; avaliao da qualidade.
Un modelo para la evaluacin de los sistemas de informacin del Sistema nico de Salud (SUS)
a nivel nacional: el proceso de seleccin y estructuracin de los indicadores
Los procesos de gestin del SUS son apoyados por un conjunto de sistemas de informacin de alcance
nacional, con funciones destinadas a reas epidemiolgicas, ambulatorias, hospitalarias y administrativas. Este artigo propone un framework para la evaluacin de sistemas de informacin en salud que
pueda ser aplicado a los sistemas del SUS. Se describe el proceso de pesquisa, anlisis y clasificacin de
indicadores de evaluacin para el modelo. Los indicadores se obtuvieron mediante la bsqueda sistemtica en bases de datos bibliogrficos y fueron clasificados de acuerdo a los atributos de calidad de la
norma ISO/IEC 25010, adoptada como modelo de calidad en el presente estudio. Como resultado, se
DOI: http://dx.doi.org/10.1590/0034-76121512
Artigo recebido em 22 mar. 2013 e aceito em 6 fev. 2014.
Rev. Adm. Pblica Rio de Janeiro 48(3):767-793, maio/jun. 2014
768
Rinaldo Macedo de Morais Andr Lucirton Costa
identificaron 66 indicadores, abarcando de esta manera todas las caractersticas de calidad del modelo.
Este trabajo contribuye como una referencia para estudios que incluyen procesos de evaluacin de la
calidad de software en salud y auxilia en la normalizacin de planes de evaluacin y monitoriamiento
de la calidad de sistemas de salud pblica en el Brasil.
P a l a b r a s c l av e : gestin de la salud; Sistema nico de Salud; sistema de informacin; evaluacin
de la calidad.
A model for evaluating information systems of SUS with national scope: the process for selecting
and structuring indicators
The management processes of the Unified Health System (SUS) are supported by a set of information
systems with national scope, having features for the epidemiological, ambulatory, hospital, and administrative areas. This article proposes a model for evaluating health information systems that may be
applied to the systems of SUS. It describes the research, analysis, and classification process of evaluation
indicators for the model. The indicators were obtained by search in bibliographic databases and they were
classified according to the quality attributes of the standard ISO/IEC 25010, adopted as quality model
in the study. As a result, 66 indicators were identified and mapped, covering all quality features of the
model. This paper will be able to contribute as a further reference for studies involving quality assessment
processes for softwares in health and to assist in the standardization of plans for assessing and monitoring
the quality of systems and data on public health in Brazil and in projects for improving softwares.
K e y w o r d s : health management; Unified Health System; information system; quality assessment.
1. Introduo
A criao do Sistema nico de Sade (SUS), a partir da Constituio Federal de 1988, estabeleceu bases para a estruturao de um sistema pblico de sade que tem como princpios
a descentralizao, a integralidade, a equidade e o controle social (Brasil, 1988). Diversas
aes polticas nos vrios governos que se sucederam aps a criao do SUS definiram papis
e responsabilidades Unio, aos estados e aos municpios. Essas aes regulamentaram a
municipalizao e a regionalizao, as polticas de custeio e financiamento, a autonomia dos
estados e municpios na gesto de repasses de verbas para os fundos de sade e as estratgias
para a ateno bsica, por meio do incentivo ao Programa de Agentes Comunitrios de Sade
(Pacs) e ao Programa de Sade da Famlia (PSF) (Brasil, 1990a, 1990b, 1991, 1993, 1996,
1998, 2001, 2002, 2006a, 2006b, 2006c, 2008, 2009a, 2011).
O Ministrio da Sade, por meio do Datasus, desenvolve e mantm um conjunto de
sistemas de informao, listados no quadro 1, para dar suporte aos diversos eventos epidemiolgicos, de ateno bsica, ambulatoriais, hospitalares e nas vrias aes implementadas
pelo Ministrio da Sade no Brasil. Alguns sistemas foram criados entre meados da dcada de
1970 e incio dos anos 1980, a partir das primeiras discusses sobre sistemas de informao
em sade, na I Conferncia Nacional de Sade (Brasil, 2009b).
Diversos trabalhos tm sido publicados sobre o uso dos sistemas de informaes do
SUS, comumente chamados de SIS, pelo fato de alguns desses sistemas possurem esse prefixo
em seu nome. Alguns trabalhos apontam a falta de integrao dos diversos sistemas e suas
769
Um modelo para avaliao de sistemas de informao do SUS
bases de dados e a fragmentao de informaes nessas aplicaes (Souza, Freire e Almeida,

2010; Dam et al., 2011; Almeida, Alencar e Shoeps, 2009; Almeida et al., 2006; Thaines et
al., 2009). Outros trabalhos descrevem a baixa cobertura de alguns SIS e apontam incertezas
quanto confiabilidade dos dados por eles mantidos (Dam et al., 2011; Almeida, Alencar e
Shoeps, 2009; Almeida et al., 2006; Bittencourt, Camacho e Leal, 2006; Farias et al., 2011;
Barbuscia e Rodrigues Jnior, 2011; Mota, 2009). A deficincia no apoio ao gestor em processos de tomada de deciso e planejamento, relatada em trabalhos antigos (Moraes, 1994;
Bordignon, 1996), ainda citada em trabalhos recentes (Figueiredo, 2009; Mota, 2009; Brito
e Silva et al., 2010; Barbosa, 2006; Vidor, Fisher e Bordin, 2011; Vieira, 2009).
Quadro 1
Sistemas de abrangncia nacional mantidos pelo Datasus

Finalidades
ou reas
Cadastros
Nacionais
Ambulatoriais
Epidemiolgicos
Hospitalares
Aplicaes
Linguagens de
Programao
Bancos de
Dados
Modos de
Operao
Cadastro Nacional dos Estabelecimentos de Sade

(Cnes)
Delphi
Firebird
no informado
Cadastro de usurios do Sistema nico de Sade

(CAdsus)
Java
vrios SGBDs
relacionais
internet
Tabelas corporativas
no informado
no informado no informado
Cadastros de unidades territoriais
no informado
Sistema para gerenciamento de informaes locais

(GIL)
Java
Firebird
rede
Sistema de informaes ambulatoriais (Siasus)
Clipper
DBF
local/rede
Sist. de Informaes para o Programa Nacional de

Imunizao (SI-PNI)
Clipper/ASP/
Delphi
DBF/Access/
Paradox
no informado
Sistemas para o cncer da mulher (Siscolo e

Sismama)
Clipper
DBF
local
Sistema de cadastro e acompanhamento de

hipertensos e diabticos (Hiperdia)
Delphi
Interbase/
Oracle
no informado
Sistema para acompanhamento da gestante

(Sisprenatal)
Delphi
Paradox
local
Sistema Integrado de Informatizao de Ambiente

Hospitalar (Hospub)
Delphi
Openbase/
Postgres
rede
Sistema de informaes hospitalares (SIH)
COBOL
DBF/Firebird/
Oracle
no informado
Sistema de gerenciamento em servios de

hemoterapia (Hemovida)
Delphi
SQL-Server
rede
Sistema de Gerenciamento e Produo de Bancos

de Leite Humano (BLHWeb)
PHP
MySQL
internet
Sist. de Informaes Hospitalares Descentralizado

(SIHD)
Delphi
No informado local/rede
Sist. para Comunicao de Internao Hospitalar (CIH)
Delphi
Firebird
intranet
Continua
770
Finalidades
ou reas
Sociais
Financeiros
Eventos vitais
Regulao
Aplicaes
Linguagens de
Programao
Bancos de
Dados
Modos de
Operao
Sist. de Informao da Ateno Bsica (Siab)
Clipper
DBF
no informado
Sist. de Vigilncia Alimentar e Nutricional (Sisvan)
ASP
Oracle
internet
Sist. para o programa De Volta para Casa (PVC)
ASP/Delphi
Oracle
internet
Sist. para controle dos oramentos pblicos em

sade (Siops)
Delphi
Oracle/XML
no informado
Sist. de Gesto de Informaes Financeiras (Sgif)
Delphi
Firebird
no informado
Sist. de Gerenciamento Financeiro (Sisgerf)
no informado
Oracle/Firebird intranet
Sist. de informao de nascidos vivos (Sinasc)
ASP
Firebird/
Interbase
local/rede
Sistemas para o Cadastro Nacional de Transplantes

(SNT-rgos/SNT-Tecidos)
Delphi
Oracle/Access
internet
Sistema de Relao de Doadores No Aparentados

de Medula ssea (REDOMENet)
no informado
Sistema do Programa Nacional de Avaliao de

Servios de Sade (Sipnass)
no informado
Sist. de informao de mortalidade (SIM)
Sist. para Servio de Atendimento Mvel de Urgncia no informado

(Samu)
no informado rede
Sistema para a Central Nacional de Regulao de

Alta Complexidade (CNRAC)
Em desenvolvimento
Sist. de Centrais de Regulao(Sisreg-II)
no informado
no informado
no informado
Fonte: <www.datasus.gov.br>. Acesso em: 23 jan. 2013.
Historicamente, as informaes em sade no Brasil tm como caracterstica a fragmentao, mltiplas fontes, baixa qualidade dos dados, disponibilizao em formato que dificulta
sua apropriao pelos gestores e pelo controle social (Moraes, 2010), e o monitoramento da
qualidade dos dados dos sistemas de informao em sade que atendem ao SUS no segue um
plano regular de avaliaes normatizado pelo Ministrio da Sade, apenas iniciativas isoladas
(Lima et al., 2009).
O portflio de sistemas do Datasus, em seu stio institucional (Brasil, 2013), sugere que
alguns SIS se caracterizam como sistemas legados, que utilizam tecnologias em desuso, alm
da falta de padronizao de linguagens e bancos de dados, como mostra o quadro 1. Segundo
Sommerville (2011:519), um sistema legado um sistema baseado em computador (...) til
ou at essencial para uma organizao, mas que foi desenvolvido com uso de tecnologias ou
mtodos obsoletos. comum o interesse em manter esses sistemas em funcionamento, por
agregarem conhecimento da organizao, aps anos de investimento em desenvolvimento e
testes, sua lgica interna implementar experincias, processos e estratgias da organizao e
por ser difcil substitu-los sem riscos (Cagnin, 2005).
771
Aps essas consideraes, identifica-se uma demanda para discusso sobre a qualidade
dos sistemas de informao em sade pblica no Brasil, e como estabelecer diretrizes para
processos de avaliao dos SIS. Nesse contexto, levantam-se as seguintes questes:
P1: Como estruturar um instrumento para avaliao de sistemas de informao para os
sistemas de informao do SUS de abrangncia nacional?
P2: Quais indicadores devem ser includos no projeto desse instrumento?
Este trabalho prope um modelo de avaliao para sistemas de informao em sade,

que possa ser aplicado aos sistemas de informao de abrangncia nacional do SUS, e descreve o processo de pesquisa, anlise e mapeamento de indicadores de qualidade para esse
modelo.
2. Mtodo
Este trabalho de natureza qualitativa e prope um constructo para avaliao de qualidade
para os sistemas de informao do SUS. Foi estruturado a partir de elementos da literatura,
de diretrizes tcnicas para avaliao de qualidade propostas pela ISO principal organizao
para normatizao e padronizao e por um processo sistemtico de seleo de trabalhos
sobre qualidade de sistemas de informao em sade. O procedimento metodolgico deste
trabalho consistiu em trs etapas bsicas:
1. Definio do modelo de qualidade: nessa etapa foi definida uma estrutura com as dimenses e caractersticas de qualidade para o instrumento de avaliao. A norma ISO/IEC
25010 (International Organization for Standardization, 2011a), que define um modelo de
qualidade para produto de software, foi utilizada para classificar os indicadores selecionados para o modelo.
2. Pesquisa bibliogrfica sobre indicadores para avaliao de sistemas de informao em sade: foi desenvolvido um processo de busca em bases de dados nacionais, com consulta em
revistas indexadas na base de peridicos da Capes e nas bases de dados cientficas internacionais Scopus, Science Direct e WebOfScience, com as seguintes diretrizes:
D1. Uso das seguintes palavras-chave de forma combinada: Information Systems, Healthcare, Health, Evaluation e Benchmarking;
D2. Priorizao de trabalhos publicados nos ltimos 10 anos;
D3. Uso das ferramentas de ordenao por relevncia disponibilizadas pelos sites de busca;
D4. Leitura dos textos selecionados para seleo de publicaes que apresentam modelos
de avaliao de sistemas de informao em sade e
D5. Avaliao recursiva de referncias bibliogrficas constantes nas referncias recuperadas
nos itens anteriores.
772
3. Anlise e classificao de indicadores: nessa etapa foram realizadas a anlise semntica

e o mapeamento dos indicadores constantes nos trabalhos selecionados na etapa 2 para
a estrutura do modelo de qualidade. Como resultado, os indicadores foram classificados
nas variveis do modelo de qualidade, aplicveis aos stakeholders das aplicaes a serem
avaliadas.
Esta pesquisa acompanha as abordagens mais utilizadas em avaliao de tecnologia de
sistemas de informao em sade: segundo Pai e Huang (2011), nos trabalhos dos ltimos
cinco anos sobre esse tema tm sido utilizados majoritariamente questionrios de pesquisa,
entrevistas in loco e estudos de casos individuais.
3. A Norma ISO/IEC 25010

A Norma ISO/IEC 25010 (International Organization for Standardization, 2011a) parte
do projeto SQuaRE (Software product Quality Requirements and Evaluation) um conjunto
de normas tcnicas que estabelece padres para qualidade e que inclui gerncia, modelo,
medio, requisitos e avaliao de qualidade para qualquer produto de software. Seu modelo
de qualidade para produto de software composto pelas dimenses qualidade do produto e
qualidade em uso, conforme o quadro 2.
A dimenso qualidade do produto inclui atributos do software decorrentes de seu
processo de implementao, reviso e testes (qualidade interna) e atributos do software associados sua execuo (qualidade externa). A qualidade em uso est associada ao grau em
que o sistema atende aos objetivos do usurio em suas atividades. Cada dimenso do modelo
de qualidade da ISO/IEC 25010 especializa-se em um conjunto de caractersticas e subcaractersticas de qualidade, tambm descritas no quadro 2.
Ressalta-se aqui a aplicabilidade da norma ISO/IEC 25010, estritamente utilizada para
avaliao de software em produo e aps seu desenvolvimento. Outras abordagens permitem avaliar a qualidade do processo de desenvolvimento de software, nas atividades realizadas nas vrias etapas de seu ciclo de vida de projeto e implementao, como os modelos Spice (Associao Brasileira de Normas Tcnicas, 2009), Ideal (Software Engineering Institute,
2009), MPS.BR (Softex, 2012) e CMMI (CMMI Institute, 2014).
Com foco nos processos de negcio de uma organizao, a gesto por processos uma
outra abordagem que pode ser conduzida de modo ortogonal avaliao de qualidade de
software. Glykas (2011) define um processo como uma ligao horizontal de atividades necessrias para atingir um resultado desejado para uma organizao e o gerenciamento de
processos de negcio (Business Process Management BPM) definido pela Association of
Business Process Management Professionals (ABPMP) como um conjunto de atividades para
identificar, desenhar, executar, documentar, medir, monitorar, controlar e promover melhorias dos processos de uma organizao e, consequentemente, atender com efetividade seus
objetivos de negcio (Association of Business Process Management Professionals, 2009).
Qualidade
do produto
Dimenses
Usabilidade: capacidade do produto de software,

uma vez possuindo efetividade e eficincia, de ser
compreendido, aprendido, operado e atraente ao
usurio, quando usado sob condies especificadas.
Compatibilidade: capacidade do produto de software possibilitar a troca de informaes com outras

aplicaes e/ou compartilhar o mesmo ambiente
de hardware ou software.
Eficincia no desempenho: capacidade do produto

de software de manter um nvel de desempenho
apropriado, quando usado em condies especificadas.
Suportabilidade funcional: capacidade do produto

de software em prover funes para atender a
necessidades explcitas e implcitas para as quais foi
concebido.
Caractersticas
Quadro 2
Continua
Acessibilidade: capacidade do produto de software ser utilizado por um amplo espectro de

pessoas, que inclui portadores de necessidades especiais e com limitaes associadas idade.
Esttica da interface com o usurio: capacidade do produto de software de ser atraente ao

usurio, ao oferecer uma interface com interao agradvel.
Proteo ao erro do usurio: capacidade do produto de software em proteger o usurio de

erros.
Operabilidade: capacidade do produto de software de possibilitar facilidade ao usurio para

oper-lo e control-lo.
Apreensibilidade: capacidade do produto de software de possibilitar ao usurio aprender

seu uso. Depende da documentao do software.
Inteligibilidade: capacidade do produto de software de possibilitar ao usurio compreender

se o software apropriado e como ele pode ser usado para tarefas e condies de uso
especficas. Depende da documentao do software.
Interoperabilidade: capacidade do produto de software de interagir com um ou mais sistemas especificados, pela troca de informaes e do uso de informaes que so trocadas.
Coexistncia: capacidade do produto de software de coexistir com outros produtos de

software independentes, em um ambiente comum, compartilhando recursos comuns.
Capacidade: limites mximos de parmetros do sistema (itens que podem ser armazenados, nmero de usurios concorrentes, largura de banda, velocidade de transaes,
tamanho da base de dados etc.) que atendem aos seus requisitos.
Utilizao dos recursos: capacidade do produto de software de usar tipos e quantidades

apropriados de recursos, quando executa suas funes sob condies estabelecidas.
Comportamento em relao ao tempo: capacidade do produto de software de fornecer

tempos de resposta e de processamento apropriados, quando o software executa suas
funes, sob condies estabelecidas.
Adequao funcional: capacidade do produto de software em facilitar a realizao das tarefas

e objetivos do usurio.
Corretude funcional: capacidade do produto de software de prover, com o grau de preciso

necessrio, resultados ou efeitos corretos ou conforme acordados.
Completeza funcional: capacidade do produto de software de prover um conjunto apropriado de funes para tarefas e objetivos do usurio especificados.
Subcaractersticas
Modelo de qualidade da norma ISO/IEC 25010
773
Qualidade
do produto
Dimenses
Portabilidade: capacidade do produto de software

de ser transferido de um ambiente para outro.
Manutenabilidade: capacidade do produto de

software de ser modificado. As modificaes
podem incluir correes, melhorias ou adaptaes
do software devido a mudanas no ambiente e em
seus requisitos ou especificaes funcionais.
Segurana: capacidade do produto de software

de proteger informaes e dados: pessoas ou
sistemas no autorizados no podem l-los nem
modific-los e o acesso s pessoas ou sistemas
no autorizados negado.
Confiabilidade: capacidade do produto de software

de executar suas funes de modo contnuo.
Caractersticas
Continua
Capacidade para substituir: capacidade do produto de software de ser usado em substituio

a outro produto de software especificado, com o mesmo propsito e no mesmo ambiente.
Capacidade para ser instalado: capacidade do produto de software para ser instalado em
um ambiente especificado.
Adaptabilidade: capacidade do produto de software de ser adaptado para diferentes

ambientes especificados, sem necessidade de aplicao de outras aes ou meios alm
daqueles fornecidos para essa finalidade pelo software considerado.
Testabilidade: capacidade do produto de software de permitir que o mesmo, quando

modificado, seja validado.
Modificabilidade: capacidade do produto de software de permitir que uma modificao

especificada seja implementada.
Analisibilidade: capacidade do produto de software de permitir o diagnstico de deficincias

ou causas de falhas, ou a identificao de partes a serem modificadas.
Reusabilidade: capacidade de os componentes do software serem utilizados em outro

software ou na construo de outros componentes ou sistemas.
Modularidade: capacidade de o sistema possuir componentes discretos de modo que uma

modificao em um componente tenha impacto mnimo em outros componentes.
Autenticao: capacidade do sistema em validar a identidade de um usurio.
Responsabilizao: capacidade do sistema em auditar a rastreabilidade de acesso a operaes.
No questionamento: capacidade do produto de software em garantir que a ocorrncia de

aes ou eventos possam ser provados, evitando-se questionamentos futuros.
Integridade: capacidade do produto de software de evitar o acesso no autorizado para

acesso ou modificao de programas ou dados.
Confidencialidade: capacidade do produto de software de garantir que os dados sero

acessveis apenas por pessoas que possuem acesso a eles.
Recuperabilidade: capacidade do produto de software de restabelecer seu nvel de desempenho especificado e recuperar os dados diretamente afetados no caso de uma falha.
Tolerncia a falhas: capacidade do produto de software de operar em um nvel de desempenho especificado em casos de defeitos no software ou no hardware.
Disponibilidade: capacidade do produto de software em ser operacional e acessvel quando

seu uso for requerido.
Maturidade: capacidade do produto de software de evitar falhas decorrentes de defeitos no

software, mantendo sua operao normal.
Subcaractersticas
774
Caractersticas
Subcaractersticas
Cobertura de contexto: capacidade do produto de

software ser utilizado em seu contexto de uso e
alm daqueles inicialmente especificados.
Ausncia de riscos: capacidade do produto de

software de apresentar nveis aceitveis de riscos
de danos a pessoas, negcios, propriedades ou ao
ambiente.
Satisfao: capacidade do produto de software

de satisfazer usurios, em um contexto de uso
especificado.
Flexibilidade: grau em que o software utilizado alm de seu contexto previsto de uso (se
um software no foi projetado para flexibilidade, pode no ser seguro em contextos no
planejados).
Completude de contexto: grau em que o software utilizado em todos os contextos de

uso (por exemplo: com uso de um monitor de baixa resoluo, com baixa taxa de acesso
rede, por um usurio inexperiente ou sem acesso rede).
Mitigao de riscos ambientais: grau em que o software reduz potenciais riscos ao ambiente em seu contexto de uso.
Mitigao de riscos de segurana e sade: grau em que o software reduz potenciais riscos
a pessoas em seu contexto de uso.
Mitigao de riscos econmicos: grau em que o software reduz potenciais riscos de natureza financeira, de operaes, de propriedade ou de reputao em seu contexto de uso.
Conforto: grau de conforto fsico no uso do software.
Agradabilidade: grau de contentamento do usurio no uso do software.
Credibilidade: grau de confiana que usurio tem no correto comportamento do sistema.
Utilidade: grau em que o usurio percebe que o software auxilia na execuo de suas
atividades.
Eficincia: capacidade do produto de software de permitir que seus usurios empreguem quantidade apropriada de recursos em relao efetividade obtida, em um contexto de uso especificado.
Efetividade: capacidade do produto de software de permitir que usurios atinjam metas especificadas com acurcia e completitude, em um
contexto de uso especificado.
Fonte: Adaptado de International Organization for Standardization (2011a).
Qualidade em
uso
Dimenses
775
776
Ao analisar os processos da organizao independentemente de sua automatizao

atravs de tecnologia de informao, a gesto por processos evita a formao de ilhas na
organizao quando as informaes so compartimentalizadas e ocorrem dificuldades na
integrao e comunicao entre departamentos, o que causa ineficincia na gesto da organizao e restringe seu desempenho (Paim, Caulliraux e Cardoso, 2008).
4. A estrutura do modelo de avaliao para sistemas de informao em sade

A estrutura do modelo de avaliao proposto nesse trabalho apresentada na figura 1.
O modelo de qualidade foi estruturado em trs dimenses: qualidade do produto e qualidade
em uso da norma ISO/IEC 25010 (International Organization for Standardization, 2011a),
acrescida da dimenso qualidade de servios, por observar-se a ocorrncia de indicadores dessa dimenso em trabalhos sobre avaliao de sistemas de informao em sade (Pai e Huang,
2011; Hbner-Bloder e Ammenwerth, 2009; Ribire et al., 1999; DeLone e McLean, 2003). A
opo pelo uso na norma ISO/IEC 25010, nesse trabalho, deu-se por sua estrutura abrangente
e atual, quando comparada com outros modelos de qualidade analisados (Associao Brasileira de Normas Tcnicas, 2003; Centro de Tecnologia da Informao Renato Archer, 2012;
DeLone e McLean, 2003; McCall, Richards e Walters apud Pressman, 2010).
Figura 1
Estrutura do modelo de avaliao
Fonte: Elaborado pelos autores.
777
As dimenses do modelo de qualidade detalham-se em um conjunto de atributos

as caractersticas e subcatersticas de qualidade, bases para a especificao de requisitos de
qualidade para os processos de avaliao. Os indicadores de qualidade so utilizados para
mensurao das caractersticas de qualidade, por meio de um conjunto de questionrios e
procedimentos de inspeo de software, aplicveis aos sistemas de informao em sade a
seus diferentes stakeholders. Como stakeholders, o modelo inclui:
Gestores: usurios do sistema em seu nvel estratgico;
Profissionais de sade: usurios do sistema em nveis ttico e operacional;
Pacientes: usurios que acessam sistemas apenas para consultas, como usurios do sistema
de sade;
Profissionais de Tecnologia da Informao: compem o staff tcnico do sistema; inclui desenvolvedores, manutenedores, profissionais de suporte tcnico ou afins.
Cada questionrio de avaliao estruturado em conjunto de questes, para uso em

entrevistas com usurios. Um procedimento de inspeo utiliza uma ou mais mtricas de
software para avaliar objetivamente seu indicador e pode incluir anlise documental, teste/simulao do software ou medio/ensaio de desempenho. As questes e mtricas so avaliadas
em escalas apropriadas, com critrios e pontuao definidos, e podem utilizar elementos de
documentao do sistema, padres ou benchmarks de referncia, documentao de requisitos
ou documentao tcnica em sua estruturao ou mensurao.
5. A seleo de indicadores de qualidade para sistemas de informao em sade

Foi conduzido um processo de pesquisa em bases de dados para seleo de trabalhos relevantes que apresentassem indicadores de qualidade para uso no instrumento de avaliao. Conforme procedimento metodolgico descrito na etapa 2 da Seo 2, foram selecionados sete
trabalhos, dos seguintes autores: Hbner-Bloder e Ammenwerth (2009), Ribire e colaboradores (1999), Pai e Huang (2011), Otieno e colaboradores (2008), Viitanen e colaboradores
(2011), Anderson e Aydin (2005) e Lima e colaboradores (2009).
Hbner-Bloder e Ammenwerth (2009) identificaram indicadores-chave para realizao
de benchmarks em sistemas de informao para hospitais com o uso da tcnica Delphi, aplicada a um painel de especialistas da ustria, Alemanha e Sua. Delphi uma tcnica para
conduo de questionrios, composta por vrios estgios, com o objetivo de obter consensos a
partir das opinies de um grupo e tem sido frequentemente aplicada para tomada de decises
na rea de sade (Hasson, Keeney e McKeena, 2000).
No trabalho de Hbner-Bloder e Ammenwerth (2009), ocorreram trs rodadas de questionrios. A primeira, de natureza qualitativa, com questes abertas para coletar opinies
778
de um conjunto de especialistas sobre indicadores de avaliao para sistemas de informao

para hospitais. O segundo questionrio foi de caracterstica quantitativa, com escala Likert de
quatro pontos, que foi submetido aos gestores para se avaliar a importncia de cada indicador
identificado na primeira rodada. Os resultados da segunda rodada foram reenviados aos gestores para permitir que suas opinies fossem reavaliadas. Como resultado, foram identificados
77 indicadores de avaliao, organizados em oito categorias: qualidade tcnica, qualidade de
software, qualidade da arquitetura e da interface, qualidade do fornecedor de TI, qualidade
do departamento de suporte de TI, qualidade do suporte ao fluxo de trabalho, qualidade em
resultados de TI e Custos de TI.
Ribire e colaboradores (1999) desenvolveram um conjunto de questionrios para avaliar o nvel de satisfao de diferentes grupos de usurios de sistemas de informao, organizado em quatro dimenses: qualidade dos servios entregues pelo sistema, qualidade do sistema (interface, funes e desempenho), qualidade da informao e sentido global de satisfao
do usurio. Cada dimenso divide-se em um conjunto de fatores que agrupam uma lista de
questes, em um total de 28 fatores. Em cada fator, o usurio expressa seu nvel de satisfao
em uma escala de Likert de sete pontos para um conjunto de questes.
Pai e Huang (2011) conduziram um processo de avaliao de sistemas de informao
em sade em Taiwan, por meio da aplicao de questionrios em 100 hospitais distritais. O
questionrio baseou-se no modelo de DeLone e McLean (2003), composto de seis variveis:
qualidade da informao, qualidade de servios, qualidade do sistema, utilidade do sistema,
facilidade de uso e inteno de uso, contendo questes com respostas da escala de Likert de
cinco pontos.
Otieno e colaboradores (2008) propuseram um framework de avaliao para sistemas
de informao que incluem registro mdico eletrnico (EMR), que foram respondidos por
gestores e usurios de 20 hospitais no Japo, incluindo hospitais governamentais, semigovernamentais, privados e universitrios. O framework tambm se baseou no modelo de DeLone
e McLean (2003) e foi estruturado em cinco dimenses: qualidade do sistema, qualidade da
informao, qualidade dos servios, utilizao e satisfao do usurio. Os questionrios de
avaliao foram aplicados aos seguintes stakeholders: coordenador de informtica, coordenador mdico, coordenador de enfermagem, mdico e enfermeiro.
Viitanen e colaboradores (2011) desenvolveram um estudo sobre uma avaliao de
abrangncia nacional, na Finlndia, em hospitais de nveis secundrio e tercirio. Os sistemas
desses hospitais foram avaliados por 3.929 mdicos para investigar sua usabilidade em sistemas que incluem o registro mdico eletrnico. O questionrio foi organizado com 32 questes
na escala de Likert de cinco pontos, estruturadas em trs dimenses:
a compatibilidade entre os sistemas e as tarefas dos profissionais, relacionadas s funcionalidades dos sistemas, com o desempenho e com a interface com o usurio;
o suporte para troca de informaes, colaborao e comunicao no trabalho clnico;
a interoperabilidade e a confiabilidade do sistema.
779
Para Anderson e Aydin (2005), ao se avaliar o impacto de sistemas de informao em

organizaes de sade, deve-se buscar no apenas a compreenso sobre a tecnologia utilizada, mas tambm a compreenso dos complexos processos sociais e comportamentais da
organizao. A proposta de avaliao de Anderson e Aydin predominantemente qualitativa
e prope 12 questes-chave para avaliao de sistemas de informao em sade, que devem
ser desenvolvidas pelos avaliadores com tcnicas adequadas, como entrevistas, observao,
anlise documental ou questionrios.
Lima e colaboradoes (2009) investigaram as iniciativas de avaliao da qualidade da
informao dos sistemas de informaes do sistema pblico de sade no Brasil. A pesquisa
baseou-se na busca de artigos publicados em revistas cientficas nas bases Scielo, Lilacs e
BVS, e categorizou os trabalhos sobre qualidade da informao em sistemas de informao
dos SIS-SUS em nove dimenses conceituais: acessibilidade, clareza metodolgica, cobertura,
completude, confiabilidade, consistncia, no duplicidade, oportunidade e validade.
6. A anlise e estruturao de indicadores

Essa etapa consistiu em avaliar e selecionar os indicadores constantes nos trabalhos obtidos
na etapa anterior e classific-los na estrutura do modelo de qualidade proposto neste trabalho. Como forma de sistematizar o instrumento de avaliao, a estrutura da norma ISO/IEC
25010 (International Organization for Standardization, 2011a), acrescida da dimenso Qualidade de Servios, foi empregada como um gabarito: um container que agregou e classificou
cada indicador observado nos trabalhos selecionados em sua estrutura de caractersticas e
subcaractersticas.
A figura 2 descreve o processo de mapeamento de indicadores para estruturao do
modelo de avaliao proposto: cada indicador de cada trabalho foi inspecionado, por meio da
anlise de sua semntica e, se aplicvel s variveis do modelo proposto, foi classificado em
uma dimenso, caracterstica e subcaracterstica de qualidade.
Houve situaes em que um mesmo indicador foi proposto por diferentes autores, assim
como, em alguns casos, mais de um indicador proposto por um dado autor foi mapeado para
um nico atributo no modelo proposto. Os casos de indicadores que no foram utilizados
deveram-se no aplicabilidade no contexto do SUS, a dificuldades de se obter informaes
para quantificar o indicador ou subjetividade.
Como resultado, essa etapa gerou uma lista de indicadores de qualidade, estruturada
nas variveis do modelo de qualidade, base para elaborao de questionrios de avaliao
aplicveis aos grupos de usurios dos sistemas, e de procedimentos de inspeo, aplicveis aos
profissionais de tecnologia da informao mantenedores das aplicaes. O quadro 3 apresenta
resultados dessa etapa, com 32 indicadores na dimenso qualidade do produto, 16 na dimenso qualidade em uso e oito na dimenso qualidade de servios.
780
Figura 2
Processo de mapeamento na estruturao do modelo de avaliao
Qualidade
do
produto
Dimenses
Caractersticas
Compatibilidade
Eficincia no
desempenho
Suportabilidade
funcional
Quadro 3
Questionrio de avaliao
Procedimento de inspeo
O sistema pode estar integrado ou conectado para acessar informaes

de outros sistemas [1][2][3][4]
Interoperabilidade
Continua
O sistema prov acesso a seus dados a partir de outros sistemas [5]
A documentao clnica gerada pelo sistema atende s restries de

tempo exigidas [3]
Coexistncia
O tempo de autenticao para acesso ao sistema adequado [2][3]
O desempenho do sistema satisfatrio: os dados so processados

em um perodo de tempo aceitvel/O sistema responde rapidamente
s entradas [2][3][4][7]
O sistema integra processos de diferentes reas/departamentos [4][6]
Adequao funcional
A documentao clnica gerada pelo sistema correta e completa [3]
O sistema auxilia na preveno de erros de medicao [2]
O sistema disponibiliza a informao correta [1][4][7]
Comportamento em
relao ao tempo
O sistema obedece a normas legais de informao (CID10, DRG, trans- Questionrio de avaliao
misso de dados etc.) [3]
O sistema oferece suporte/auxilia para tomada de deciso [2][4][5]
Corretude funcional
Completeza funcional
Modo de Avaliao
A informao tratada pelo sistema atende s necessidades do usurio Questionrio de avaliao

[1][2][3][4][5][6]
Subcaractersticas/Indicadores
Mapeamento de indicadores na estruturao do instrumento de avaliao
781
Qualidade
do
produto
Dimenses
Confiabilidade
Usabilidade
Caractersticas
O sistema de utilizao fcil/intuitiva [1][2][3][4][7]

A navegao pelo sistema rpida e padronizada [3][4]
Continua
O sistema apresenta baixo nvel de perda de dados e mecanismos

eficientes de restaurao de dados [2][3]
Recuperabilidade
O sistema confivel, estvel, e no ocorrem erros durante seu uso

[2][5]
As correes, melhorias ou atualizaes de verso no causam instabilidade no sistema e no demandam esforos ou tempo excessivos
[3]
O sistema possui recursos para armazenamento redundante de dados

[3]
O sistema apresenta baixos ndices de chamados de manuteno de

software [3]
Tolerncia a falhas
O sistema apresenta interface uniforme/padronizada [3]
Os arranjos dos campos da interface so ajustveis ao trabalho do

usurio [2]
A interface (telas/formulrios/entradas de dados/relatrios/grficos)
clara, assim como os termos e conceitos utilizados no sistema so
claros e sem ambiguidades [1][2][4]
simples, fcil e seguro corrigir um erro (o sistema implementa

reversibilidade) [4]
O software permite adaptaes para atender a necessidades locais/ Questionrio de avaliao

especficas, pelo prprio usurio[3]
O sistema oferece feedback ao usurio para as tarefas que so exe- Questionrio de avaliao
cutadas [2]
A aprendizagem do sistema no exige um longo treinamento [2]
O sistema encontra-se sempre disponvel [3][5]
Disponibilidade
Maturidade
Esttica da interface com

usurio
Proteo ao erro do
usurio
Operabilidade
Apreensibilidade
Modo de Avaliao
O sistema disponibiliza manuais, tutoriais ou documentao para trei- Questionrio de avaliao

namento/acesso a dados e/ou help on line [3][4][7]
782
Qualidade
em uso
Qualidade
do
produto
Dimenses
Adaptabilidade
Portabilidade
Eficincia
Efetividade
Modularidade e Modificabilidade
Manutenabilidade
O sistema melhorou o gerenciamento dos servios de sade [6]

O usurio no perde tempo na resoluo de problemas tcnicos associados ao sistema [2]
O sistema eficaz, considerando seus custos (custo/benefcio) [3][4][6]
Continua
O sistema produziu melhoria na qualidade da oferta dos servios de sade [2][5][6]
Observa-se ser mais fcil e fluente armazenar e recuperar informaes com uso do sistema [2][6]
O sistema contribui efetivamente com os objetivos estratgicos do gerenciamento de profissionais

(equipes mdicas, de enfermagem, administrativas etc.) [3]
As informaes no sistema apresentam-se completas, atualizadas, padronizadas [4][5][7]
O sistema pode reduzir o tempo de trabalho [1][4]
Eu posso obter as informaes relacionadas que necessito durante o uso do sistema [1][4][5][6][7]
O sistema apresenta independncia e mobilidade para armazenamento e recuperao da informao (notebooks, tablets, PDAs etc.)
[3]
O sistema opera em ambientes que so padres de mercado (sistema operacional, banco de dados, ferramentas de desenvolvimento
etc.) [3]
O software integra-se (com facilidade) com novas funes/sistemas

[4]
Confidencialidade,
Autenticao e Integridade
Segurana
No h riscos de acesso no autorizado s informaes do sistema

[4]
Modo de Avaliao
Caractersticas
783
Qualidade
em uso
Dimenses
Utilidade
Segurana/sade
Completude de contexto
Cobertura de
contexto
Agradabilidade
Credibilidade
As tarefas de rotina podem ser realizadas de maneira simples com o uso

do sistema [2]
O sistema pode melhorar minhas competncias profissionais [1]
Ausncia de
riscos
Satisfao
Caractersticas
Diferentes grupos
de usurios esto
satisfeitos com o
sistema [3][5]
No h riscos de
o uso do sistema
afetar a segurana do
paciente [2][6][5]
O sistema opera
conforme seu projeto [4][6]
Continua
O sistema fornece
uma viso adequada
sobre as informaes
que manipula [2]
Questionrio de
avaliao
Questionrio de
avaliao
Procedimento de
inspeo
O sistema importante: percebe-se

sua utilidade em seu
contexto de uso [4]
Modo de Avaliao
784
H um servio de atendimento on line (hot-line) para suporte ao sistema [4]
A equipe de suporte ao sistema adequadamente dimensionada para a demanda [3]
A equipe de suporte ao desenvolvimento, manuteno e apoio ao usurio qualificada [3]
Em situaes de dificuldade o staff de suporte ao sistema pode auxiliar-me na resoluo de problemas [1]
O staff de suporte ao sistema atua adequadamente na resoluo de problemas [1]
O processamento de solicitaes de mudanas requeridas para o sistema adequado (tempo, modificaes, abertura participao do usurio) [3][4]
A equipe de suporte ao sistema oferece treinamento/qualificao para seu uso [3][6][4]
Modo de Avaliao
H uma equipe (staff) para suporte efetivo no uso do sistema [4]
Caractersticas

Legenda: [1] Pai e Huang (2011); [2] Viitanen e colaboradores (2011); [3] Hubner-Bloder e Ammenwerth (2009); [4] Ribire e colaboradores (1999); [5] Otieno e colaboradores
(2008); [6] Anderson e Aydin (2005); [7] Lima e colaboradores (2009).
Qualidade
de servios
Dimenses
785
786
O mapeamento dos indicadores para o modelo de qualidade do instrumento de avaliao, descrito no quadro 3, mostrou que os indicadores selecionados cobrem a quase totalidade
das caractersticas de qualidade do modelo, porm observou-se que:
Os itens se concentram predominantemente em suportabilidade funcional, usabilidade,
confiabilidade, compatibilidade, qualidade em uso (predominantemente em efetividade,
eficincia e utilidade) e qualidade de servios;
As caractersticas de qualidade, segurana e manutenabilidade apresentaram baixa cobertura de indicadores (um indicador em cada uma dessas subcaractersticas);
As demais caractersticas (eficincia no desempenho, portabilidade, cobertura de contexto,

satisfao e ausncia de riscos) concentraram indicadores em algumas subcaractersticas ou
tambm apresentam baixa cobertura.
Para complementao do modelo de avaliao nos atributos de qualidade com carncia

de indicadores, outros 10 indicadores foram propostos pelos autores do presente trabalho,
descritos no quadro 4. A proposio de novos indicadores apoiou-se na leitura dos documentos ISO/IEC 25023 (International Organization for Standardization, 2011b) e ISO/IEC
9123-3 (International Organization for Standardization, 2003), que especificam mtricas de
avaliao para a dimenso de qualidade de produto de software. Com a incluso desses indicadores, foram cobertas todas as subcaractersticas da dimenso qualidade do produto, com
exceo de:
Utilizao de recursos: esta varivel refere-se a medidas de uso de processador, memria
e dispositivos de entrada e sada, aplicveis principalmente a sistemas de tempo real, em
que a falta desses recursos pode causar efeitos severos para a operao do sistema, mas
considerados no to crticos s aplicaes transacionais, como os sistemas de informao
em sade;
Inteligibilidade: esta varivel associa-se propriedade do software de possuir elementos,

em sua documentao, que possibilitem ao usurio compreender se o software apropriado s suas atividades e como pode ser utilizado em suas tarefas, muito til em contextos de seleo ou benchmark de produtos de software. Como os SIS j so estruturados
com orientao s tarefas de profissionais, esta propriedade tambm foi considerada no
crtica;
Capacidade para substituir: refere-se a propriedades que o software possui para substituir
outro sistema existente, como facilidades para migrao de dados, para incluso de funcionalidades em substituio a outras anteriormente implantadas e adaptabilidade s interfaces da aplicao anterior. Essa propriedade tambm no se aplica ao contexto dos SIS.
787
Quadro 4
Indicadores para avaliao de qualidade propostos pelo autor

Dimenses/caractersticas/subcaractersticas
Eficincia no
desempenho
O sistema prov aos seus usurios acesso simultneo adequado, com desempenho satisfatrio.
Proteo ao erro do
usurio
O sistema implementa a verificao de valores vlidos em

entradas de dados.
Usabilidade
Qualidade
do produto Segurana
Manutenibilidade
Portabilidade
Indicadores propostos
Capacidade
O sistema evita operaes incorretas.

Acessibilidade
O sistema inclui facilidades de acesso para usurios com necessidades fsicas especiais ou por idade.
No questionamento
O sistema inclui assinatura digital.
Responsabilizao
O sistema possui mecanismos de auditoria/rastreabilidade.
Reusabilidade
O sistema possui componentes de software reutilizveis.
Analisabilidade
Exige-se pouco esforo para localizar causas de falhas no

software.
Testabilidade
O sistema pode ser eficazmente testado aps uma modificao.
Capacidade para ser

instalado
A instalao do sistema no ambiente do usurio fcil e rpida.
Como resultado, ao final dessa etapa, 66 indicadores foram identificados e mapeados,

abrangendo todas as caractersticas de qualidade do modelo: acredita-se que o modelo de
avaliao tenha includo os principais aspectos de qualidade no domnio de sistemas de informao em sade, ao agregar um elenco holstico de indicadores para composio de questionrios de avaliao e procedimentos de inspeo de software, previstos em sua arquitetura.
7. Consideraes finais
No Brasil, a implantao do SUS trouxe uma perspectiva moderna para o sistema pblico de
sade, por meio da estruturao de uma rede hierarquizada de atendimento e de uma poltica
de descentralizao das aes de sade, que busca eficincia e autonomia aos gestores para
tomadas de deciso. Ao utilizar uma poltica de gesto pactuada, busca-se consolidar a equidade social (Fadel et al., 2009). No entanto, trabalhos que fazem referncia ao uso dos SIS
sugerem que uma infraestrutura de tecnologia da informao para o SUS, que oferea suporte
adequado para sua gesto, ainda um desafio para a administrao pblica.
Este artigo apresentou um modelo de avaliao para sistemas de informao em sade
que possa ser aplicado aos SIS-SUS para investigar o quanto so efetivos ante as necessidades
dos gestores, dos profissionais de sade, dos profissionais de TI e dos pacientes/usurios do
SUS. Foram descritas as atividades de seleo, anlise e estruturao dos indicadores para as
788
caractersticas de qualidade do modelo de avaliao. O processo de seleo de indicadores de

qualidade para sistemas de informao em sade baseou-se em trabalhos da literatura e foi
complementado pelos autores, com base em normas ISO para mtricas de software. A arquitetura do modelo proposto prev procedimentos de avaliao orientados a stakeholders com
interesses conflitantes, por meio de questionrios de avaliao para os diferentes tipos de usurios dos sistemas e procedimentos de inspeo aplicveis aos profissionais de TI responsveis
por sua manuteno.
Os atributos de qualidade de software especificados na norma ISO/IEC 25010, adotados na especificao do modelo proposto, agregam-lhe abrangncia e robustez, assim como
o processo sistemtico de busca por indicadores em trabalhos da literatura sobre avaliao
de sistemas de informao em sade visou assegurar a especificidade para esse domnio de
informao.
O modelo proposto pode ser utilizado parcialmente, com enfoque em atributos especficos de interesse de avaliadores, assim como pode ser combinado com outros modelos ou
estendido, com a incorporao de outros atributos e indicadores especficos.
As prximas etapas deste projeto envolvem a instrumentalizao do modelo: incluem
a formulao de questes de avaliao e estruturao de questionrios segmentados aos diferentes stakeholders, a proposio de mtricas de software para os indicadores de qualidade
selecionados para o modelo e a definio de escalas e regras de medio apropriadas, para os
questionrios de avaliao e procedimentos de inspeo. Em sequncia, esto previstos estudos de avaliao, para verificar a efetividade do instrumento e a submisso do modelo e dos
resultados desses estudos a um painel de especialistas, para validao de constructo.
Espera-se que, ao propor um novo modelo para avaliao de sistemas de informao em
sade, este trabalho possa contribuir como mais uma referncia para estudos que envolvam
processos de avaliao da qualidade tcnica de softwares em sade e agregar contedo e/ou
fornecer subsdios para projetos que tratem da normatizao de planos de avaliao e monitoramento de qualidade de sistemas e dados em sade, e em projetos de melhoria de ativos
de software para gesto da sade pblica no Brasil.
Referncias
ALMEIDA, Marcia F.; ALENCAR, Gizelton P.; SHOEPS, Daniela. Sistema de Informaes sobre Nascidos Vivos Sinasc: uma avaliao de sua trajetria. In: BRASIL. Ministrio da Sade. A experincia
brasileira em sistemas de informao em sade. Braslia: Editora do Ministrio da Sade;Organizao
Pan-Americana da Sade; Fundao Oswaldo Cruz, 2009. v. 1, p. 11-37.
ALMEIDA, Marcia F. et al. Sistemas de informao e mortalidade perinatal: conceitos e condies
de uso em estudos epidemiolgicos. Revista Brasileira de Epidemiologia, v. 9, n. 1, p. 56-68, 2006.
ANDERSON, James; AIDYN, Carolyn E. Evaluating the organizational impact of healthcare information systems. Nova York: Springer, 2005.
789
ASSOCIAO BRASILEIRA DE NORMAS TCNICAS (ABNT). NBR ISO/IEC 9126-1:2003 Engenharia de software Qualidade de produto Parte 1: Modelo de qualidade. Rio de Janeiro:
ABNT, 2003.
ASSOCIAO BRASILEIRA DE NORMAS TCNICAS (ABNT). NBR ISO/IEC 15504-7:2009 Tecnologia de informao Processos de avaliao Parte 7: Avaliao da maturidade de uma
organizao. Rio de Janeiro: ABNT, 2009.
ASSOCIATION OF BUSINESS PROCESS MANAGEMENT PROFESSIONALS (ABPMP). Guia para Gerenciamento de Processos de Negcio corpo comum de conhecimento. So Paulo: ABPMP, 2009.
BARBOSA, Dbora C. M. Sistemas de Informao em Sade: a percepo e a avaliao dos profissionais envolvidos na ateno bsica em Ribeiro Preto-SP. Dissertao (mestrado) Faculdade de
Medicina de Ribeiro Preto, Universidade de So Paulo, Ribeiro Preto, 2006.
BARBUSCIA, Denise M.; RODRIGUES JNIOR, Antonio Luiz. Completude da informao nas declaraes de nascido vivo e nas declaraes de bito, neonatal precoce e fetal, da regio de Ribeiro
Preto, So Paulo, Brasil, 2000-2007. Cadernos de Sade Pblica, v. 27, n. 6, p. 1192-1200, 2011.
BITTENCOURT, Sonia A.; CAMACHO, Luiz Antonio B.; LEAL, Maria do Carmo. Sistema de informao
hospitalar e sua aplicao na sade coletiva. Cadernos de Sade Pblica, v. 22, n. 1, p. 19-30, 2006.
BORDIGNON, Milene O. Informao em sade: potencializao e sentido. In: BORDIN, Ronaldo et al.
(Org.). Prticas de gesto em sade: em busca da qualidade. Porto Alegre: Dacasa, 1996. p. 29-38.
BRASIL. Constituio 1988. Constituio da Repblica Federativa do Brasil. 1988. Disponvel em:
<www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm>. Acesso em: 1o jan. 2013.
BRASIL. Decreto no 7.508, de 28 de junho de 2011. Regulamenta a Lei no 8.080, de 19 de setembro
de 1990, para dispor sobre a organizao do Sistema nico de Sade SUS, o planejamento da
sade, a assistncia sade e a articulao interfederativa, e d outras providncias. Disponvel
em: <www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/decreto/D7508.htm>. Acesso em: 12
out. 2012.
BRASIL. Instituto Nacional de Assistncia Mdica da Previdncia Social. Resoluo no 258, de 07 de
janeiro de 1991. Norma Operacional Bsica/SUS no 01/91. 1991. Disponvel em: <http://siops.
datasus.gov.br/Documentacao/Resoluo 258_07_01_1991.pdf>. Acesso em: 15 abr. 2012.
BRASIL. Lei no 8.080, de 19 de setembro de 1990. Dispe sobre as condies para a promoo, proteo e recuperao da sade, a organizao e o funcionamento dos servios correspondentes e d
outras providncias. 1990a. Disponvel em: <portal.saude.gov.br/portal/arquivos/pdf/lei8080.
pdf>. Acesso em: 15 abr. 2012.
BRASIL. Lei no 8.142, de 28 de dezembro de 1990. Dispe sobre a participao da comunidade na
gesto do Sistema nico de Sade (SUS) e sobre as transferncias intergovernamentais de recursos
financeiros na rea da sade e d outras providncias. 1990b. Disponvel em: <www.planalto.gov.
br/ccivil_03/leis/L8142.htm>. Acesso em: 15 abr. 2012.
790
BRASIL. Ministrio da Sade. A experincia brasileira em sistemas de informao em sade. Braslia:

Editora do Ministrio da Sade; Organizao Pan-Americana da Sade; Fundao Oswaldo Cruz,
2009b. v. 1.
BRASIL. Ministrio da Sade. Departamento de Informtica do SUS (Datasus-Stio institucional).
Disponvel em: <www2.datasus.gov.br/DATASUS/index.php>. Acesso em: 24 mar. 2012.
BRASIL. Ministrio da Sade. Diretrizes operacionais dos pactos pela vida, em defesa do SUS e de
gesto. Documento pactuado na reunio da Comisso Intergestores Tripartite do dia 26 de janeiro
de 2006 e aprovado na reunio do Conselho Nacional de Sade do dia 9 de fevereiro de 2006.
Braslia: Ministrio da Sade, 2006c. Disponvel em: <http://portal.saude.gov.br/portal/arquivos/
pdf/volume_1_completo.pdf>. Acesso em: 30 set. 2012.
BRASIL. Ministrio da Sade. Instruo Normativa no 01/98, de 02 de janeiro de 1998. Norma Operacional Bsica/SUS no 01/98. Disponvel em: <http://portal.saude.gov.br/portal/arquivos/pdf/
in98.pdf>. Acesso em: 15 abr. 2012.
BRASIL. Ministrio da Sade. Norma Operacional Bsica do Sistema nico de Sade/NOB-SUS no
01/96. 1996. Disponvel em: <http://portal.saude.gov.br/portal/arquivos/pdf/nob96.pdf>. Acesso
em: 15 abr. 2012.
BRASIL. Ministrio da Sade. Portaria no 95, de 26 de janeiro de 2001. Norma Operacional de
Assistncia Sade/Noas-SUS no 01/2001. Disponvel em: <www.brasilsus.com.br/index.
php?option=com_content&view=article&id=13475>. Acesso em: 15 abr. 2012.
BRASIL. Ministrio da Sade. Portaria no 325, de 21 de fevereiro de 2008. Estabelece prioridades,
objetivos e metas do Pacto pela Vida para 2008, os indicadores de monitoramento e avaliao do
Pacto pela Sade e as orientaes, prazos e diretrizes para a sua pactuao. Disponvel em: <http://
dtr2001.saude.gov.br/sas/PORTARIAS/Port2008/GM/GM-325.htm>. Acesso em: 29 ago. 2012.
BRASIL. Ministrio da Sade. Portaria no 373, de 27 de fevereiro de 2002. Norma Operacional de
Assistncia Sade/Noas-SUS no 01/2002. Disponvel em: <http://bvsms.saude.gov.br/bvs/saudelegis/gm/2002/prt0373_27_02_2002.html>. Acesso em: 15 abr. 2012.
BRASIL. Ministrio da Sade. Portaria no 399/GM, de 22 de fevereiro de 2006. Divulga o Pacto pela
Sade 2006 Consolidao do SUS e aprova as diretrizes operacionais do referido pacto. 2006a.
Disponvel em: <http://dtr2001.saude.gov.br/sas/PORTARIAS/Port2006/GM/GM-399.htm>.
Acesso em: 15 abr. 2012.
BRASIL. Ministrio da Sade. Portaria no 545, de 29 de maio de 1993. Norma Operacional Bsica/SUS
no 01/93. Disponvel em: <http://siops.datasus.gov.br/Documentacao/Portaria 545_20_05_1993.
pdf>. Acesso em: 15 abr. 2012.
BRASIL. Ministrio da Sade. Portaria no 699/GM, de 30 de maro 2006. Pacto pela Sade. Regulamenta as diretrizes operacionais dos pactos Pela Vida e de Gesto. 2006b. Disponvel em: <http://
portal.saude.gov.br/portal/arquivos/pdf/Portaria_699_2006.pdf>. Acesso em: 15 abr. 2012.
BRASIL. Ministrio da Sade. Portaria no 2669, de 3 de novembro 2009. Estabelece as prioridades,
objetivos, metas e indicadores de monitoramento e avaliao do Pacto pela Sade, nos compoRev. Adm. Pblica Rio de Janeiro 48(3):767-793, maio/jun. 2014
791
nentes pela Vida e de Gesto, e as orientaes, prazos e diretrizes do seu processo de pactuao
para o binio 2010-2011. 2009a. Disponvel em: <http://portalweb04.saude.gov.br/sispacto/
portaria2669_versao_impressao.pdf>. Acesso em: 29 ago. 2012.
BRITO E SILVA, Keila S. et al. Conhecimento e uso do Sistema de Informaes sobre Oramentos
Pblicos em Sade (Siops) pelos gestores municipais, Pernambuco, Brasil. Cadernos de Sade Pblica, v. 26, n. 2, p. 373-382, 2010.
CAGNIN, Maria Istela. Parfait: uma contribuio para a reengenharia de software baseada em
linguagens de padres e frameworks. Tese (doutorado) Instituto de Cincias Matemticas e de
Computao de So Carlos, Universidade de So Paulo, So Carlos, 2005.
CENTRO DE TECNOLOGIA DA INFORMAO RENATO ARCHER (CTI). Software pblico brasileiro.
2012. Disponvel em: <www.cti.gov.br/software-publico-dtds.html>. Acesso em: 30 dez. 2012.
CMMI INSTITUTE. Carnegie Mellon University. CMMI website. Disponvel em: <www.cmmiistitute.
com>. Acesso em: 17 mar. 2014.
DAM, Patrcia K. V. et al. Sistema de Vigilncia Alimentar e Nutricional (Sisvan) em crianas do
Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cadernos de
Sade Pblica, v. 27, n. 11, p. 2155-2165, 2011.
DELONE, William H.; McLEAN, Ephraim R. The DeLone and McLean model of information systems
success: a ten-year update. Journal of Management Information Systems, v. 19, n. 4, p. 9-30, 2003.
FADEL, Cristina B. et al. Administrao pblica: o pacto pela sade como uma nova estratgia de
racionalizao das aes e servios em sade no Brasil. Rev. Adm. Pblica, v. 43, n. 2, p. 445-456,
mar./abr. 2009.
FARIAS, Leila Maria M. et al. Os limites e possibilidades do Sistema de Informao da Esquistossomose (Sispce) para a vigilncia e aes de controle. Cadernos de Sade Pblica, v. 27, n. 10,
p. 2055-2062, 2011.
FIGUEIREDO, Luana A. Anlise da utilizao do Sistema de Informao em Ateno Bsica SIAB
pelos coordenadores da Ateno Primria Sade na tomada de deciso. Dissertao (mestrado)
Escola de Enfermagem de Ribeiro Preto, Universidade de So Paulo, Ribeiro Preto, 2009.
GLYKAS, Michael. Effort based performance measurement in business process management.
Knowedge and Process Management, v. 18, n. 1, p. 10-33, 2011.
HASSON, Felicity; KEENEY, Sinead; McKEENA, Hugh. Research guidelines for the Delphi survey
technique. Journal of Advanced Nursing, v. 32, n. 4, p. 1008-1015, 2000.
HBNER-BLODER, Gudrun; AMMENWERTH, Elske. Key performance indicators to benchmark
hospital information systems a Delphi study. Methods of Information in Medicine, v. 48, n. 6,
p. 508-518, 2009.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO/IEC 25010. Systems and
software engineering systems and Software Quality Requirements and Evaluation (SQuaRE)
System and software quality models. Geneva, 2011a.
792
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO/IEC 25023. Systems and

software engineering systems and software Quality Requirements and Evaluation (SQuaRE)
Measurement of system and software product quality (in development). Geneva, 2011b.
INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO/IEC TR 9126-3. Software
engineering Product Quality part 3: Internal metrics. Geneva, 2003.
LIMA, Claudia R. A. et al. Reviso das dimenses de qualidade dos dados e mtodos aplicados na
avaliao dos sistemas de informao em sade. Cadernos de Sade Pblica, v. 25, n. 10, p. 20952109, 2009.
MORAES, Ilara H. S. Informaes em sade: da prtica fragmentada ao exerccio da cidadania. So
Paulo: Hucitec, 1994.
MORAES, Ilara H. S. Sala de Situao em Sade: contribuio ampliao da capacidade gestora
do Estado? In: ORGANIZAO PAN-AMERICANA DA SADE (OPAS). Sala de situao em sade:
compartilhando as experincias do Brasil. Braslia: Organizao Pan-Americana da Sade; Ministrio da Sade, 2010. p. 21-38.
MOTA, Francisca R. L. Registro de informao no sistema de informao em sade: um estudo das
bases Sinasc, Siab e SIM no estado de Alagoas. Tese (doutorado em cincia da informao) Escola
da Cincia da Informao, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.
OTIENO, George O. et al. Measuring effectiveness of electronic medical records systems: Towards
building a composite index for benchmarking hospitals. International Journal of Medical Informatics,
v. 77, n. 10, p. 657-669, 2008.
PAI, Fan-Yun; HUANG, Kai-I. Applying the technology acceptance model to the introduction of
healthcare information systems. Technological Forecasting & Social Change, v. 78, n. 4, p. 650-660,
2011.
PAIM, Rafael; CAULLIRAUX, Heitor M.; CARDOSO, Rodolfo. Process management tasks: a conceptual
and practical view. Business Process Management Journal, v. 14, n. 5, p. 694-723, 2008.
PRESSMAN, Roger S. Software engineering: a practitioners approach. Nova York: McGraw-Hill, 2010.
RIBIRE, Vincent et al. Hospital information systems quality: a customer satisfaction assessment
tool. In: HAWAII INTERNATIONAL CONFERENCE ON SYSTEM SCIENCES, 32., 1999, Hawaii.
Proceedings Hava: IEEE, 1999. Disponvel em: <http://ieeexplore.ieee.org/xpls/abs_all.
jsp?arnumber=773011>. Acesso em: 22 mar. 2013.
SOFTEX. MPS.BR Melhoria de processo do software brasileiro. Guia geral MPS de Software.
2012. Disponvel em: <www.softex.br/wp-content/uploads/2013/07/MPS.BR_Guia_Geral_
Software_2012.pdf >. Acesso em: 17 mar. 2014.
SOFTWARE ENGINEERING INSTITUTE (SEI). Carnegie Mellon University. Capability Maturity Model
Integration (CMMI). Disponvel em: <www.sei.cmu.edu/cmmi/>. Acesso em: 11 jan. 2013.
SOFTWARE ENGINEERING INSTITUTE (SEI). Carnegie Mellon University. The ideal model. 2009.
Disponvel em: <www.sei.cmu.edu/library/assets/idealmodel.pdf>. Acesso em: 11 jan. 2013.
793
SOMMERVILLE, Ian. Engenharia de software. So Paulo: Pearson Prentice-Hall, 2011.

SOUZA, Rmulo C.; FREIRE, Sergio M.; ALMEIDA, Rosimary T. Sistema de informao para integrar
os dados da assistncia oncolgica ambulatorial do Sistema nico de Sade. Cadernos de Sade
Pblica, v. 26, n. 6, p. 1131-1140, 2010.
THAINES, Geovana H. L. S. et al. Produo, fluxo e anlise de dados do sistema de informao em
sade: um caso exemplar. Texto & Contexto Enfermagem, v. 18, n. 3, p. 466-474, 2009.
VIDOR, Ana Cristina; FISHER, Paul D.; BORDIN, Ronaldo. Utilizao dos sistemas de informao
em sade em municpios gachos de pequeno porte. Revista de Sade Pblica, v. 45, n. 1, p. 24-30,
2011.
VIEIRA, Fabola S. Avanos e desafios do planejamento no Sistema nico de Sade. Cincia & Sade
Coletiva, v. 14, n. supl. 1, p. 1565-1577, 2009.
VIITANEN, Johanna et al. National questionnaire study on clinical ICT systems proofs: physicians
suffer from poor usability. International Journal of Medical Informatics, v. 80, n. 10, p. 708-725,
2011.
Rinaldo Macedo de Morais professor do Instituto Federal de So Paulo e doutorando em administrao

pela Faculdade de Economia, Administrao e Contabilidade de Ribeiro Preto (Fearp/USP). E-mail:
rmorais@fearp.usp.br.
Andr Lucirton Costa professor associado da Faculdade de Economia, Administrao e Contabilidade
de Ribeiro Preto da Universidade de So Paulo (Fearp/USP). E-mail: alcosta@usp.br.

11

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

11

Загружено:

Авторское право:

Доступные форматы

Um modelo para avaliao de sistemas de informao do SUS de

abrangncia nacional: o processo de seleo e estruturao de

Andr Lucirton Costa

Rinaldo Macedo de Morais Andr Lucirton Costa

Um modelo para avaliao de sistemas de informao do SUS

bases de dados e a fragmentao de informaes nessas aplicaes (Souza, Freire e Almeida,

Sistemas de abrangncia nacional mantidos pelo Datasus

Cadastro Nacional dos Estabelecimentos de Sade

Cadastro de usurios do Sistema nico de Sade

Cadastros de unidades territoriais

Sistema para gerenciamento de informaes locais

Sistema de informaes ambulatoriais (Siasus)

Sist. de Informaes para o Programa Nacional de

Sistemas para o cncer da mulher (Siscolo e

Sistema de cadastro e acompanhamento de

Sistema para acompanhamento da gestante

Sistema Integrado de Informatizao de Ambiente

Sistema de informaes hospitalares (SIH)

Sistema de gerenciamento em servios de

Sistema de Gerenciamento e Produo de Bancos

Sist. de Informaes Hospitalares Descentralizado

Sist. para Comunicao de Internao Hospitalar (CIH)

Rev. Adm. Pblica Rio de Janeiro 48(3):767-793, maio/jun. 2014

Rinaldo Macedo de Morais Andr Lucirton Costa

Sist. de Informao da Ateno Bsica (Siab)

Sist. de Vigilncia Alimentar e Nutricional (Sisvan)

Sist. para o programa De Volta para Casa (PVC)

Sist. para controle dos oramentos pblicos em

Sist. de Gesto de Informaes Financeiras (Sgif)

Sist. de Gerenciamento Financeiro (Sisgerf)

Sist. de informao de nascidos vivos (Sinasc)

Sistemas para o Cadastro Nacional de Transplantes

Sistema de Relao de Doadores No Aparentados

Sistema do Programa Nacional de Avaliao de

Sist. de informao de mortalidade (SIM)

Sist. para Servio de Atendimento Mvel de Urgncia no informado

Sistema para a Central Nacional de Regulao de

Sist. de Centrais de Regulao(Sisreg-II)

Fonte: <www.datasus.gov.br>. Acesso em: 23 jan. 2013.

Rev. Adm. Pblica Rio de Janeiro 48(3):767-793, maio/jun. 2014

Um modelo para avaliao de sistemas de informao do SUS

P2: Quais indicadores devem ser includos no projeto desse instrumento?

Este trabalho prope um modelo de avaliao para sistemas de informao em sade,

Rinaldo Macedo de Morais Andr Lucirton Costa

3. Anlise e classificao de indicadores: nessa etapa foram realizadas a anlise semntica

3. A Norma ISO/IEC 25010

Rev. Adm. Pblica Rio de Janeiro 48(3):767-793, maio/jun. 2014

Usabilidade: capacidade do produto de software,

Compatibilidade: capacidade do produto de software possibilitar a troca de informaes com outras

Eficincia no desempenho: capacidade do produto

Suportabilidade funcional: capacidade do produto

Acessibilidade: capacidade do produto de software ser utilizado por um amplo espectro de

Esttica da interface com o usurio: capacidade do produto de software de ser atraente ao

Proteo ao erro do usurio: capacidade do produto de software em proteger o usurio de

Operabilidade: capacidade do produto de software de possibilitar facilidade ao usurio para

Apreensibilidade: capacidade do produto de software de possibilitar ao usurio aprender

Inteligibilidade: capacidade do produto de software de possibilitar ao usurio compreender

Coexistncia: capacidade do produto de software de coexistir com outros produtos de

Utilizao dos recursos: capacidade do produto de software de usar tipos e quantidades

Comportamento em relao ao tempo: capacidade do produto de software de fornecer

Adequao funcional: capacidade do produto de software em facilitar a realizao das tarefas

Corretude funcional: capacidade do produto de software de prover, com o grau de preciso

Modelo de qualidade da norma ISO/IEC 25010

Um modelo para avaliao de sistemas de informao do SUS