ARTIGO / ARTICLE

Avaliao em Sade: Limites e Perspectivas1 Health Evaluation: Problems and Perspctives

Ligia Maria V. da Silva 2 Vera Lcia A. Formigli 2 SILVA, L. M. V. & FORMIGLI,V. L. A. Health Evaluation:Problemas and Perspectives.Cad. Sade Pbl., Rio de Janeiro, 10(1): 80-91, Jan/Mar, 1994. This is a literature review of theoretical and methodological issues on health care evaluation of research and technical reports. Conceptual frameworks, approaches, subject matter, strategies, and study designs are identified and analyzed. Evaluative research designs are compared with epidemiological ones. A diverse terminology was encountered, and many methodological problems in the literature were examined. The incorporation of evaluative procedures in health planning or health policy-making and administration is still limited in Brazil, particularly at the local level. Recent implementation of projects for the reorganization of the health services system based on the administrative autonomy of Local Health Units raises the need for more appropriate strategies aimed at health care evaluation. Perspectives for the development of alternative strategies are indicated. Key words: Evaluation; Quality; Health Services Research

INTRODUO O Processo sade-doena constitui-se num fenmeno complexo, cuja gnese envolve determinaes de ordem biolgica, econmica, social, cultural e psicolgica (Breilh, 1991; Breilh & Granda, 1986; Laurell, 1983), sendo que as necessidades de sade a ele relacionadas dizem respeito a estas diversas dimenses do real. Tambm as aes que tomam como objeto o processo sade-doena, embora possuam caractersticas tcnicas evidentes, tm se organizado, historicamente, enquanto prticas sociais (Donnangelo, 1976), podendo ou no guardar relao com as necessidades de sade ou, mesmo, com as necessidades de servios de sade (Paim, 1982). Desta forma, nem as necessidades de sade nem as prticas a elas referidas existem em abstrato, possuindo historicamente a ser buscada por quem pretende investig-las. As relaes entre as prticas e as necessidades de sade podem ser apreendidas a partir de
1

Pesquisa realizada com apoio do Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico. 2 Departamento de Medicina Preventiva da Universidade Federal da Bahia. Rua Padre Feij, 29 - 4 andar Anexo II. Salvador, BA, 40110-170, Brasil.

duas vertentes principais. A primeira delas consiste na busca dos seus significados econmicos, polticos e ideolgicos, bem como da especificidade dessas relaes em sociedades concretas. A segunda diz respeito capacidade das prticas modificarem uma dada situao de sade, atendendo ou no s necessidades de sade de determinada populao, ou seja, referese discusso sobre suas caractersticas e seus efeitos. Nesta ltima perspectiva, a temtica da avaliao ganha relevncia, por um lado associada possibilidade e necessidades de intervenes capazes de modificar certos quadros sanitrios, e, por outro, diante da verificao das dificuldades enfrentadas por essas mesmas prticas para alterarem indicadores de morbimortalidade em outras tantas circunstncias. Sob o rtulo de avaliao renem-se diversas atividades, cujo aspecto varia desde um julgamento subjetivo do desenvolvimento de determinada prtica social, do tipo fomos bem?, deu resultados?, estamos satisfeitos?, at a chamada pesquisa avaliativa (Suchman, 1967; Weiss, 1972), que busca responder a perguntas semelhantes recorrendo a mtodos e tcnicas possuidoras de maior objetividade.

80

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

Avaliao em Sade

Alm disso, as prticas de sade, semelhana de outras prticas sociais, podem constituirse em objeto de avaliao nas suas diversas dimenses, seja enquanto cuidado individual, seja nos seus nveis mais complexos de interveno e de organizao, como polticas, programas, servios ou sistemas. O primeiro problema enfrentado por aqueles que procuram tratar a avaliao de forma sistemtica a enorme diversidade terminolgica encontrada nos enfoques tericos sobre o tema, tanto no que diz respeito s possveis abordagens quanto no que concerne aos seus atributos ou componentes. Alm disso, naqueles trabalhos onde programas ou servios de sade so efetivamente avaliados, no existe, freqentemente, sequer a preocupao , por parte dos autores, com a definio dos termos empregados. Essa variedade de definies relaciona-se com a complexidade do objeto avaliao em sade , que pode desdobrar-se em tantas quantas forem as concepes sobre sade e prticas de sade. Por outro lado, na prtica cotidiana dos servios de sade no Brasil, a avaliao no feita rotineiramente ou, pelo menos, enfrenta dificuldades metodolgicas e operacionais no respondidas completamente no plano da investigao. O presente artigo busca contribuir com o esforo de sistematizao desse conhecimento, na perspectiva de sua apropriao pelos gestores e profissionais de sade.

quatro nveis de organizao dos provedores do cuidado mdico: a) o profissional individual; b) diversos profissionais; c) uma equipe organizada; d) plano, instituio e sistema. A depender do nvel da realidade que tomado como objeto do processo de avaliao, os problemas metodolgicos e tericos podem ser distintos. Por exemplo, quando o enfoque direcionado ao indivduo, ganham centralidade as relaes que se estabelecem entre prestadores e usurios, bem como as caractersticas de ordem tcnica referentes ao cuidado em si. J quando se trata de avaliar um sistema de sade, ganham relevo a acessibilidade, a cobertura e a eqidade. A maior parte dos estudos disponveis sobre o tema, na literatura especializada, versa, sobre a avaliao do cuidado individual, de servios (hospitais, centros de sade) ou de programas.

OS PRINCIPAIS ATRIBUTOS: EFETIVIDADE, IMPACTO, EFICCIA, QUALIDADE, EFICINCIA, ACESSIBILIDADE, EQIDADE, COBERTURA E SATISFAO DO USURIO Os atributos referem-se s caractersticas das prticas de sade e da sua organizao social. Podem ser assim agrupados: a) relacionados com a disponibilidade e distribuio social dos recursos (cobertura, acessibilidade e eqidade); b) relacionados com o efeito das aes e prticas de sade implementadas (eficcia, efetividade e impacto); c) relacionados com os custos das aes (eficincia); d) relacionados com a adequao das aes ao conhecimento tcnico e cientfico vigente (qualidade tcnico-cientfica); e) relacionados percepo dos usurios sobre as prticas (satisfao dos usurios, aceitabilidade). A utilizao dessas noes varia enormemente de autor para autor, existindo tentativas de hierarquizao das mesmas. A qualidade vista, com freqncia, como o aspecto central a ser considerado para a avaliao em sade (Donabedian, 1980a; Vuori, 1982). A abrangncia deste termo impe que a sua definio resulte, freqentemente, de uma composio a partir de outras caractersticas do objeto a ser avaliado. Para Vuori (1982), a qualidade dos servios de

OBJETO E NVEIS DE AVALIAO As prticas de sade desenvolvem-se em diversos nveis de complexidade, que vo desde o cuidado individual, que envolve a relao profissional/usurio, at os sistemas distritais, municipais, estaduais e nacionais de sade. Os recortes possveis so inmeros. Paim (1993), por exemplo, situou os distritos sanitrios em relao s seguintes formas e nveis de organizao dos servios de sade: a) aes de sade; b) servios de sade; c) estabelecimentos de sade; d) distrito sanitrio; e) instituies de sade; f) sistema de sade; g) sistema poltico; h) sistema econmico e social. J Donabedian (1980a), ao discutir as influncias do contexto na definio da qualidade do cuidado, distingue

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

81

Silva, L. M. V. & Formigli, V. L. A.

sade seria constituda pela efetividade, eficincia, adequao e qualidade tcnico-cientfica. Donabedian (1980a), que desenvolveu uma discusso sistemtica sobre a questo, num dos seus artigos expressava dvidas acerca da natureza da noo de qualidade, ou seja, apesar de afirmar ser a qualidade uma propriedade do cuidado mdico, considerava no estar claro se a mesma era um atributo nico, uma classe de atributos funcionalmente relacionados ou um conjunto heterogneo de fenmenos reunidos pelo uso, razes administrativas ou preferncias pessoais. Para este autor, a busca de uma definio para a qualidade deveria se iniciar a partir das dimenses do cuidado mdico, a saber: a tcnico-cientfica, a relao interpessoal e as amenidades (conforto e esttica das instalaes e equipamentos). Apesar de identificar trs possveis definies para a qualidade, a depender do contexto absolutista, individualizada e social , questionava se alguns dos componentes da definio social da qualidade, como o aceso e continuidade, no seriam, na realidade, instrumentos para a obteno da qualidade, e no componentes da mesma, alertando para o risco da perda da utilidade analtica do conceito com a sua ampliao. Justificava, assim, sua opo pelo estudo da qualidade do cuidado mdico, pois mesmo a avaliao de programas s aproximar-se-ia, segundo ele, da aferio da qualidade quando o mesmo envolvesse a prestao de cuidado individual. Nesta perspectiva, elaborou inicialmente uma definio, segundo a qual a qualidade poderia ser entendida como a interveno capaz de alcanar o melhor balano entre benefcios e riscos. Foi proposto um modelo unificado para aferio da qualidade envolvendo o balano entre riscos, benefcios e custos do cuidado (Donabedian et al., 1982). J em artigo posterior, Donabedian (1990), surpreendentemente, passou a considerar a qualidade um fenmeno complexo a ser definido a partir dos seguintes atributos do cuidado mdico: eficcia, efetividade, eficincia, otimizao, aceitabilidade, legitimidade e eqidade. Em 1991, este mesmo autor definiu a qualidade como um julgamento tanto sobre o componente tcnico quanto sobre as relaes interpessoais entre o cliente e o profissional, naquilo que estas caractersticas tm de bom (goodness). Con-

siderava, ainda, que a qualidade da dimenso tcnica do cuidado deveria ser julgada pela sua efetividade, o que corresponde, em ltima anlise, a considerar esses dois termos como equivalentes. Verifica-se freqentemente uma superposio entre as definies de eficcia, efetividade, eficincia e, mesmo, qualidade, a comear pelo Dicionrio Aurlio (Ferreira, 1986), que considera os trs primeiros como sinnimos. Eficaz o que produz o efeito desejado; eficincia a ao, fora, virtude de produzir um efeito; e efetivo o que se manifesta por um efeito real. A qualidade tem sido definida como efeito (Donabedian, 1980a); a efetividade, como qualidade (Freeborn & Greenlick, 1973). Tanto a eficcia como a efetividade tm sido definidas em relao ao cumprimento de objetivos propostos (Rundall, 1992; Rodrigues & Torres, 1982). A efetividade tem sido vista, ainda, como um atributo composto pela eficincia e pela eficcia (Campos, 1988). Observa-se, contudo, uma evoluo na atribuio de significado a alguns desses conceitos. A eficcia, por exemplo, inicialmente era definida como benefcio ou efeito da atividade pela OMS (1970), ou como cumprimento de metas em livros didticos de administrao sanitria (Ferrara et al., 1976), ou ainda utilizada como equivalente a efetividade (Doll, 1974). Mais recentemente, verifica-se uma tendncia convergncia entre algumas definies. A eficcia vem sendo referida mais consistentemente como o efeito potencial ou o efeito em determinadas condies experimentais (Vuori, 1982; Cavallo et al., 1988; Donabedian, 1990; OTA, 1978). J a efetividade e o impacto traduziriam o efeito real num sistema operacional (Chavez, 1981; Brook & Lohp, 1985; Vuori, 1982; Donabedian, 1990; OTA, 1978). Embora sem uma fundamentao convincente, a diferena entre impacto e efetividade tem sido buscada tanto em relao ao objeto da avaliao quanto no que concerne ao tempo. Ou seja, o efeito de determinado servio sobre um grupo populacional corresponderia efetividade. Por outro lado, o efeito de um sistema sobre uma populao expressaria o impacto (De Geyndt, 1970). Em relao ao tempo, o curto prazo diria respeito efetividade e o longo prazo, ao impacto (Rundall, 1992).

82

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

Avaliao em Sade

Dentre essas noes, a qualidade, a efetividade, o impacto, a eficincia e a satisfao do usurio so consideradas, por alguns autores, como atributos do cuidado mdico. J a cobertura, o acesso e a eqidade so referidas ao sistema de sade (Lane & Kelman, 1975). Freeborn & Greenlick (1973) consideram a efetividade e a eficincia como abordagens para avaliao. J Doll (1974)considera a eficcia mdica, a aceitao social e a eficincia econmica como atributos da efetividade. No que tange eficincia, as concordncias so relativamente maiores, correspondendo essa noo s relaes entre custos e resultados, ou entre resultados e insumos. Donabedian (1990), contudo, distingue a otimizao (optimality) da eficincia. A primeira corresponderia ao cuidado efetivo, possvel de ser obtido atravs da relao custo/benefcio mais favorvel. J a segunda corresponderia ao mximo cuidado efetivo obtido ao menor custo. Ou seja, a noo de otimizao do cuidado implica que, atingido um determinado estgio de efetividade do cuidado, melhorias adicionais seriam pequenas diante da elevao dos custo, o que implicaria um ponto de corte baseado na relao custo-benefcio, e no no grau mximo de efetividade possvel de ser atingido. Considera, ainda, como atributo a ser considerado a legitimidade, que corresponderia ao grau de aceitabilidade por parte da comunidade ou da sociedade como um todo. ENFOQUES TERICOS O referencial terico que informa a maneira pela qual o autor vai descrever e buscar apreender o real, na literatura corrente sobre avaliao, tem sido referido como abordagem (approach). O esforo mais bem-sucedido de classificao das abordagens possveis para a avaliao em sade foi desenvolvido por Donabedian (1980b), que concebeu a trade estruturaprocesso-resultados, a partir do referencial terico sistmico. Para este autor, particularmente preocupado com a aferio da qualidade do cuidado mdico, a estrutura corresponderia s caractersticas relativamente estveis dos seus provedores, aos instrumentos e recursos, bem como s condies fsicas e organizacio-

nais; o processo corresponderia ao conjunto de atividades desenvolvidas na relao entre profissionais e pacientes; e os resultados seriam as mudanas verificadas no estado de sade dos pacientes que pudessem ser atribudas a um cuidado prvio (Donabedian, 1980b). Tambm poderiam ser considerados como resultados mudanas relacionadas com conhecimentos e comportamentos, bem como a satisfao do usurio decorrente do cuidado prestado (Donabedian, 1992). Os problemas e vantagens da utilizao de cada uma dessas abordagens so discutidos minuciosamente por Donabedian (1980b, 1992). Este autor considera ser o processo o caminho mais direto para o exame da qualidade do cuidado (1980b). J os resultados possuiriam a caracterstica de refletir os efeitos de todos os insumos do cuidado, podendo, pois, servir de indicador para a avaliao indireta da qualidade, tanto da estrutura quanto do processo (1992). O autor tambm ressalta a importncia da estrutura para o desenvolvimento dos processos e seus conseqentes resultados, na medida em que a prpria funo de monitoramento parte da estrutura, alm dos diversos outros aspectos organizacionais e daqueles relacionados com os recursos materiais que influenciam o processo (1980b). Considerando que, isoladamente, cada uma dessas alternativas apresenta problemas e insuficincias, Donabedian (1992) conclui que a melhor estratgia para a avaliao da qualidade requer a seleo de um conjunto de indicadores representativos das trs abordagens. Outros autores propuseram variaes ou agregaram outros componente trade original. Freeborn & Greenlick (1973), elegendo os sistemas de cuidado ambulatorial como objeto de anlise, concluem que a avaliao deve aferir no s a efetividade tcnica, mas tambm o seu componente psicossocial, alm da eficincia. Em seguida, tomando por base o trabalho de Donabedian, detalham os componentes de cada abordagem, incluindo a acessibilidade e a continuidade do cuidado como elementos do processo. A avaliao da efetividade psicossocial seria dada pela satisfao de usurios e profissionais, a qual seria aferida em relao acessibilidade, qualidade do cuidado, relao interpessoal e organizao do sistema. A

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

83

Silva, L. M. V. & Formigli, V. L. A.

eficincia do sistema seria mensurada atravs da relao entre insumos ( input) e produtos (output ), em como da relao entre custo e produto. De Geyndt (1970) desdobra a abordagem de processo em contedo e processo propriamente dito: a primeira corresponderia ao cuidado prestado ao paciente, enquanto a segunda diria respeito a toda as aes desenvolvidas pela equipe de sade. Variaes relacionadas com o objeto da avaliao so encontradas em Blum (1974). J Doll (1974) considera os atributos de eficcia, eficincia e aceitabilidade como abordagens a serem cruzadas matricialmente com aquelas de processo e resultados, por considerar a estrutura como parte do processo. As principais limitaes decorrentes deste tipo de referencial relacionam-se com as inconsistncias decorrentes da concepo sistmica para a anlise do real. Este enfoque terico opera, por vezes, uma homogeneizao de fenmenos de natureza distinta, como, por exemplo, recursos materiais e humanos englobados sob o mesmo rtulo de estrutura. Este referencial tambm supe a existncia de ordem, harmonia e direcionalidade, numa relao funcional entre os componentes da trade, o que na prtica concreta dos servios de sade no se verifica: a estrutura necessariamente no influi no processo, e o processo nem sempre guarda relao com o resultado. Se diversos usos podem ser identificados para este modelo quando o estudo tem por objeto o cuidado mdico, a despeito do recorte esquemtico por ele operado, as suas inadequaes ficam mais evidentes quando a anlise se desloca do cuidado mdico para nveis mais complexos de organizao das prticas de sade em municpios ou distritos sanitrios. Nestes casos, o obscurecimento do contexto e da historicidade do objeto, operado pela suposta universidade do paradigma, compromete a compreenso do significado dos eventos. A reduo da mortalidade por tuberculose na Inglaterra do sculo XIX um resultado decorrente de processos e de estruturas completamente distintas daquelas existentes no Brasil do final do sculo XX, por exemplo. Tambm verifica-se uma baixa especificidade desses termos. Se pensarmos num municpio ou distrito, por exemplo, preciso explicitar qual estrutura, qual processo e quais resultados
84

pretende-se estudar. a estrutura fsica das unidades sanitrias? a estrutura organizacional da rede de servios? a estrutura social nas suas relaes com os servios? Alm disso, deve-se explicitar tambm quais os processos que seriam considerados. Seria o processo da gesto da rede ou seria o somatrio dos processos de trabalho relacionados com o cuidado? Os resultados seriam os servios produzidos, a satisfao do usurio ou o impacto sobre o nvel de sade da populao? O modelo assistencial pode ser considerado tanto como estrutura como processo. J um sistema de referncia e contra-referncia tanto pode ser considerado como estrutura, por fazer parte da organizao administrativa, como pode ser considerado como processo e, mesmo, como produto ou resultado. Ou seja, as noes de estrutura/processo e resultados podem de fato referir-se a todos esses aspectos envolvidos com as prticas de sade e sua organizao social, a depender do nvel da hierarquia do sistema considerado, o que resulta numa baixa especificidade para os mesmos. O prprio Donabedian (1992) registra os limites do paradigma por ele elaborado, alertando para o fato de ser o mesmo uma verso simplificada da realidade. Considera tambm que a sua validade relaciona-se com a existncia de relao causal entre os pares adjacentes (estrutura, processo e resultados), relao esta que de probabilidade, e no de certeza. Sublinha, ainda, que as dificuldades encontradas para a distino entre as trs categorias do paradigma surgem mais freqentemente quando se separa o mesmo do mbito clnico, para o qual ele foi desenhado, e se tenta utiliz-lo em outros tipos de avaliao. DESENHOS Como toda avaliao implica um julgamento, cujo veredicto baseia-se numa comparao entre aquilo que se deseja avaliar e uma situao ideal ou equivalente, o desenho da avaliao refere-se forma atravs da qual essa comparao ser feita. Os desenhos descritos nos trabalhos sobre a pesquisa avaliativa superpem-se parcialmente a alguns dos tipos de estudos epidemiolgicos (Quadro 1): ambos tm uma matriz comum, derivada da incorporao da estatstica e do m-

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

QUADRO 1. Tipologia de Desenhos: Comparao entre alguns Tipos Usados na Pesquisa Avaliativa e Aqueles Usados na Epidemiolgia

TIPO DE DESENHO QUASE EXPERIMENTAL 3. Sries Temporais X 0 ...01 0203 x 040 506 ... 0X0 0 0 4. Grupo Controle No-Equivalente 5. Desenhos 6. um grupo PR-EXPERIMENTAIS 7. um grupo Pr-Teste Ps-Teste 01 X 02

AUTOR

EXPERIMENTAL

Campbell (1963)

1. Pr-Teste Ps-teste Com Controle

2. Ps-Teste Apenas Com Controle

01 X 02 03 04

X 01 02

Lilienfeld (1976) Sries Temporais Caso-Controle Coortes

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

Comparao entre dois Estudos Seccionais no Tempo ou entre dois Estudos Ecolgicos Individual Observacional Logitudinal Individual Observacional Transversal Agregado Observacional Tranversal Retrospectivo Individual Observacional Agregado Observacional Longitudinal

Interveno

Almeida-Filho & Rouquayrol (1993)

Individual Interveno (ensaio clnico)

Agregado Interveno (ensaio comunitrio)

Avaliao em Sade

85

Silva, L. M. V. & Formigli, V. L. A.

todo experimental s cincias sociais (Campbell & Stanley, 1966; Greenwood, 1972; Moser & Kalton, 1972; Selltiz et al., 1972; Blalock, 1976; Marinho, 1980; Demo, 1989). Numa perspectiva metodolgica quantitativa, o desenho ideal corresponde ao estudo controlado, onde um grupo experimental comparado a um grupo controle, ambos selecionados aleatoriamente e observados antes e depois da interveno realizada no grupo experimental (Figura 1). Se a diferena entre X e X1 significativa, o programa um sucesso (Suchman, 1967; Weiss, 1972). A tipologia adotada pelos autores da pesquisa avaliativa baseia-se fundamentalmente naquela desenvolvida por Campbell & Stanley (1966). O Quadro 1 correlaciona alguns dos desenhos descritos por Campbell & Stanley (1966) e utilizados por estudiosos da pesquisa avaliativa (Weiss, 1972; Schuman, 1967) com alguns tipos de estudos epidemiolgicos (Lilienfeld, 1976; Almeida-Filho & Rouquayrol, 1993). O X corresponde a uma determinada interveno e o O observao feita antes ou depois da mesma, a depender da posio relativa entre os dois smbolos: por exemplo, O1 X O2 corresponde a um tipo de desenho onde feita uma observao O1, prvia interveno X a ser comparada com a observao O2, subseqente referida interveno.

Os estudos experimentais correspondem, na Epidemiologia, aos estudos de interveno. Embora todos os autores concordem que, na prtica concreta da investigao e da avaliao dos servios, este tipo de investigao dificilmente pode ser realizado, principalmente por razes ticas, ele considerado como referncia e modelo, a partir do qual so derivados os demais. Em algumas circunstncias, este tipo de obstculo pode no existir, como no estudo de Marwick (1988) sobre a eficcia de uma vacina acelular contra a coqueluche, realizado na Sucia. Naquele pas, desde 1979 que a vacina contra a coqueluche havia deixado de fazer parte do esquema rotineiro de imunizaes. Quando o estudo foi realizado, em 1986, a vacinao obrigatria ainda no havia sido reintroduzida, o que permitiu, do ponto de vista tico, a formao de um grupo controle, que recebeu placebo. O entendimento, contudo, do que significa um experimento em cincias sociais varia bastante. Greenwood (1972), em reviso abrangente da literatura sobre o tema, refere ter encontrado mais de uma centena de definies, por ele agrupadas em cinco tipos: 1) experimentao pura; 2) experimentao no-controlada; 3) experimentao ex-post facto (ou retrospectiva); 4) o experimento de ensaio e erro; e 5) a observao controlada. O experimento puro,

FIGURA 1. Desenho Experimental

Antes Experimental Controle X=b-a a c X1 = d - c

Depois b d

Fonte: Weiss, 1972.

86

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

Avaliao em Sade

semelhana das Cincias Fsicas, implicaria uma interveno sobre a realidade por parte do investigador, com elevado grau de controle, o que inviabilizaria a adoo deste mtodo, na prtica, pelas Cincias Humanas, dada a impossibilidade de se controlar os fenmenos sociais. No extremo oposto h uma concepo bastante flexvel, onde a vida seria um experimento constante, cabendo ao investigador apenas observar (experimento ensaio e erro) ou controlar indiretamente ( experimentao ex-post). Weiss (1972), recorrendo a Campbell (1963), classifica os desenhos em experimentais, quaseexperimentais e no-experimentais. Nos desenhos quase-experimentais, ou o grupo controle no selecionado aleatoriamente ou se tratam de estudos de sries temporais; naqueles noexperimentais feita apenas a comparao entre o grupo que sofreu a interveno antes e depois da mesma, sem controle, ou ainda apenas a situao do grupo aps a interveno aferida. Praticamente todos os tipos de estudos epidemiolgicos podem ser acionados para uma investigao avaliativa na rea da sade. A escolha do tipo de estudo vai depender do atributo que se queira avaliar. Por exemplo, a avaliao da eficcia de determinado cuidado requer estudos experimentais controlados (Marwick, 1988) ou do tipo caso-controle. A eficcia da vacina BCG tem sido verificada tambm atravs de estudos do tipo caso-controle (Blin et al., 1986). J a avaliao de impacto pode ser feita atravs da comparao entre estudos transversais antes e depois da interveno (Unicef, 1990), acompanhamento de coortes (Fortmann et al., 1990) ou anlise de sries temporais (Beaglehole, 1990). Outros atributos das prticas, contudo, requerem o aporte de outros mtodos tambm oriundos das Cincias Sociais, de natureza qualitativa. Por exemplo, o estudo da satisfao do usurio ou do processo do cuidado pode implicar em observao direta de poucos casos ou, mesmo, em estudos antropolgicos. A tcnica da estimativa rpida, embora possa ser acionada para avaliao, tem sido mais freqentemente utilizada para a aferio de problemas e necessidades de sade de uma determinada populao (Hugh & Rifkin, 1988).

A seleo de traadores, desenvolvida por Kessner & Kalk (1973), uma estratgia para avaliao da qualidade de nveis complexos de organizao do cuidado, onde alguns problemas de sade, ou aspectos de um servio ou rede de servios, representativos daquilo que se deseja avaliar, so selecionados para um monitoramento. Neste caso, tcnicas qualitativas e quantitativas so acionadas articuladamente. Este mtodo vem sendo utilizado em pases da Amrica Latina para a avaliao da qualidade de servios e sistemas de sade.

A AVALIAO E A GESTO DOS SERVIOS DE SADE: LIMITES E PERSPECTIVAS Como componente indispensvel do processo de planejamento, a avaliao, entre ns, muito lembrada, pouco praticada e, quando realizada, no muito divulgada, sendo dificilmente utilizada para a tomada de decises. Tem-se observado, contudo, algumas modificaes neste quadro nas ltimas dcadas. Alm dos estudos de avaliao de servios (Paim et al., 1978), ou programas (Lessa, 1973) e estudos de utilizao de servios (Carvalho et al., 1988; Tanaka & Rosenburg, 1990), tm surgido trabalhos preocupados com a discusso da qualidade e sua operacionalizao (Campos, 1988), com a avaliao de processos de descentralizao das aes de sade (Silva, 1989; Formigli et al., 1992) e da implementao de polticas pblicas (Teixeira, 1991), com o impacto de aes de ateno primria (UNICEF/SES-CE/SOCEP/ HOPE, 1990), com a avaliao da eqidade (Veras, 1991) e da tecnologia (Novaes, 1991), com a utilizao do processo de avaliao como estratgia para a garantia da qualidade dos servios (Lessa & Pousada, 1988; Pitta, 1992), alm de revises sobre o tema (Sylver, 1992). A incorporao da avaliao como prtica sistemtica nos diversos nveis dos servios de sade poderia propiciar aos seus gestores as informaes requeridas para a definio de estratgias de interveno. H uma grande quantidade de informaes registradas rotineiramente pelos servios que no so utilizadas nem para a anlise da situao de sade, nem para a definio de prioridades, nem para a

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

87

Silva, L. M. V. & Formigli, V. L. A.

reorientao de prticas. Muitas dessas informaes obtidas regularmente, se analisadas, podem se constituir em matria-prima para um processo desejvel de avaliao continuada dos servios, tambm chamada de monitoramento, ou, num estgio mais avanado de organizao dos servios de sade, como uma sala de situaes para o planejamento (Matus, 1987). A cobertura e a eficincia, por exemplo, poderiam ser monitoradas a partir de informaes j disponveis, como o nmero de consultas por tipo de ao de sade e os custos. O registro sistemtico de novas informaes como as primeiras consultas por problemas priorizados, bem como os clculos dos custos dos procedimentos, aperfeioariam os indicadores possveis de serem construdos a partir desses dados. Periodicamente, a avaliao desses atributos pode ser complementada ou, em certos casos, validada por estudos populacionais de utilizao e de cobertura. H que se destacar a importncia da avaliao da efetividade/impacto das aes sobre o nvel de sade da populao. Na impossibilidade de se realizar estudos especiais voltados para a aferio deste atributo, o acompanhamento e estudo das sries temporais de indicadores de morbi-mortalidade podem fornecer padres indicativos das modificaes esperadas. Tambm o estudo da qualidade tcnico-cientfica, da eqidade, do acesso e da satisfao do usurio requer a incorporao, no processo de planejamento, de desenhos especficos para a avaliao dessas caractersticas das prticas de sade. Esses atributos, em si, possuem um valor que lhes atribudo socialmente: por exemplo, avaliar a cobertura de um determinado servio e a existncia de eqidade no acesso, ao mesmo, corresponde a verificar o cumprimento do preceito constitucional do direito sade. A satisfao do usurio diz respeito percepo subjetiva que o indivduo tem o cuidado que recebe. O grau de satisfao ou de insatisfao pode decorrer das relaes interpessoais entre o profissional e o paciente. Ademais, ele pode se relacionar com aspectos da infra-estrutura material dos servios (existncia de equipamentos, medicamentos, etc.), com as amenidades (ventilao, conforto, etc.) e, tambm, com as representaes do usurio sobre o processo sade-doena. O grau de adeso do paciente ao

tratamento e s aes preventivas recomendadas pelos profissionais pode ser influenciado por esses aspectos do cuidado. No caso das doenas mentais e em diversas condies clnicas, as relaes interpessoais tambm podem interferir no prprio desfecho teraputico. Em decorrncia desses fatos que se torna relevante incorporar a avaliao da satisfao do usurio como um dos componentes da qualidade dos servios. A avaliao de alguns dos atributos acima mencionados, como a cobertura, a qualidade tcnico-cientfica e a satisfao do usurio, pode tambm fornecer subsdios para uma estimativa do impacto esperado de determinadas prticas em relao aos problemas de sade a elas vulnerveis. Ou seja, se a cobertura de determinada interveno como a vacinao contra o sarampo, por exemplo abrangente, se as aes so desenvolvidas com a qualidade tcnico-cientfica requerida e se existe aderncia da populao-alvo, a possibilidade de o impacto observado traduzido em reduo da incidncia ser tambm signficativo elevada. Por outro lado, os projetos de reorganizao das prticas de sade (Paim, 1993) necessitam da definio de estratgias para avaliao, sintonizadas com as modificaes propostas para um novo modelo assistencial, que ultrapassem a simples aferio do atendimento demanda espontnea, centrada no cuidado mdico individual, quer nos seus aspectos quantitativos, quer naqueles qualitativos. O enfrentamento desses desafios implica a deciso poltica de aceitar e incorporar, como problema a ser solucionado, os possveis resultados negativos de um processo avaliativo. Requer, ainda, um esforo coletivo de gestores e pesquisadores da rea, esforo este voltado para o equacionamento dos obstculos anteriormente mencionados. Estes problemas referem-se principalmente diversidade terminolgica discutida, mas tambm s inadequaes e insuficincias metodolgicas indicadoras no somente de um incipiente desenvolvimento terico do campo, como mesmo da ausncia de acordos de grupo visando uma uniformizao conceitual. A superao dos mesmos pode no se situar exclusivamente no plano do conhecimento, pois, por vezes, conceitos inadequados podero ser preservados, devido ao fato de se referirem a

88

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

Avaliao em Sade

prticas reais, de constiturem o real (Gonalves,1990). A identificao dos fenmenos aos quais os conceitos se referem um passo inicial. Em seguida, as relaes entre os fenmenos devem ser buscadas em diferentes contextos, o que poder indicar o grau e a forma de articulao entre os diversos conceitos, a partir de um referencial terico definido. Tambm a confluncia e a concordncia entre autores devem ser consideradas, visando auxiliar na superao da confuso terminolgica, ao invs de contribuir para aument-la. Por fim, a elaborao e a operacionalizao de modelos capazes de monitorar os processos concretos de reorganizao das prticas de sade, suas relaes com as necessidades de sade da populao, bem como as possveis modificaes ocorridas no nvel de sade das mesmas, em contextos histricos determinados, constituem-se em requisitos para a afirmao do projeto da Reforma Sanitria Brasileira.

serem superados. tambm discutida a incipiente incorporao da prtica da avaliao no processo concreto de gesto dos servios de sade no nosso meio e relacionadas as possibilidades de utilizao das informaes registradas rotineiramente nas unidades sanitrias para o processo de avaliao. Por fim, so identificadas as necessidades de desenvolvimento metodolgico para avaliao dos recentes projetos de reorganizao de prticas de sade em distritos sanitrios e sistemas locais de sade e apontadas perspectivas nessa direo. Palavras-Chave: Avaliao; Qualidade; Investigao em Servios de Sade

REFERNCIAS BIBLIOGRFICAS
ALMEIDA-FILHO, F. N. & ROUQUAYROL, M. Z., 1993. Arquitetura da Investigao Epidemiolgica. Salvador, Departamento de Medicina Preventiva da Universidade Federal da Bahia. (Mimeo.) BEAGLEHOLE, R., 1990. Internacional trends in coronary heart disease mortality, morbidity and risk factors. Epidemiologic Reviews, 12: 1-15. BLALOCK, H. M., 1976. Introduo Pesquisa Social. 2 ed., Rio de Janeiro: Zahar. BLIN, P .; DELOLME, H. G.; HEYRAUD, J. D.; CHARPAK, Y. & SENTILHES. L., 1986. Avaliao do efeito protetor da vacinao do BCG por meio de um estudo caso-controle. Tubercle, 67: 283-288. BLUM, H. L., 1974. Evaluating health care. Medical Care, 12: 999-1011. BREILH, J. & GRANDA, E., 1986. Investigao da Sade na Sociedade. Guia Pedaggico sobre um Novo Enfoque do Mtodo Epidemiolgico. So Paulo: Instituto de Sade/Rio de Janeiro: Abrasco. BREILH, J., 1991. Epidemiologia, Poltica e Sade. So Paulo: Universidade Estadual Paulista/Fundao para o Desenvolvimento da Unesp/Hucitec. BROOK, R. H. & LOHP , K. L., 1985. Efficacy, effectiveness, variations and quality boundarycrossing research. Medical Care, 23: 710-720. CAMPBELL, D. T., & STANLEY, J. C., 1966. Experimental and Quasi-Experimental Designs for Research. Chicago: Rand Mc Nally College Publishing Company. (Reprinted from Handbook of Research on Teaching, American Educational Research Association, 1963).
89

AGRADECIMENTOS As autoras agradecem aos professores Jairnilson Paim e Naomar Almeida pelas crticas e sugestes.

RESUMO SILVA, L. M. V. & FORMIGLI, V. L. A. Avaliao em Sade: Limites e Perspectivas. Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994. realizada discusso sobre a avaliao em sade no que diz respeito ao seu objeto, atributos, enfoques tericos e desenhos, a partir da reviso da literatura sobre o tema. So relacionadas possveis tcnicas para avaliao da eficcia, efetividade, cobertura e qualidade tcnico-cientfica dos servios de sade, alm da satisfao dos usurios. Os desenhos da chamada pesquisa avaliativa so comparados com aqueles da epidemiologia. A diversidade terminolgica, insuficincias e inadequaes de alguns mtodos e tcnicas dominantes na literatura especfica so identificados como problemas a

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

Silva, L. M. V. & Formigli, V. L. A.

CAMPOS, F. E., 1988. Resolutividade Uma Aproximao Avaliao Qualitativa dos Servios de Sade. Belo Horizonte: Imprensa Universitria. CARVALHO, F. M.; SILVANY-NETO, A. M.; PAIM, J. S.; MELO, A. M. C. & AZARO, M. G. A., 1988. Morbidade referida e utilizao de consulta mdica em cinco populaes do Estado da Bahia. Cincia e Cultura, 40: 853858. CAVALLO, F.; TRAVERSA, G.; PIERGENTELI, P . & REUGA, G. 1988. Qualit ed Efficacia dei Servizi Sanitari. Milano: Franco Angeli/Cresa. CHAVEZ, M. R., 1981. Los sistemas de evaluacin en el sector salud. Limites para su desarollo. Salud Publica de Mxico. Epoca V, 23:199-206. DE GEYNDT, W., 1970. Five approaches for assessing the quality of care. Hospital Administration, 15: 21-42. DEMO, P ., 1989. Metodologia Cientfica em Cincias Sociais. 2 ed., So Paulo: Atlas. DOLL, R., 1974. Surveillance and monitoring. International Journal of Epidemiology, 3:305-314. DONABEDIAN, A., 1980a. The definition of quality: A conceptual exploration. In: Explorations in Quality Assessment and Monitoring (A. Donabedian), vol. I, pp. 3-31, Ann Arbor, Michigan: Health Administration Press. _________ , 1980b. Basic approaches to assessment: structure, process and outcome. In: Explorations in Quality Assessment and Monitoring (A. Donabedian), vol. I, pp. 77-125, Ann Arbor, Michigan: Health Adiministration Press. _________ , 1990. The seven pillars of quality. Archives of Pathology Laboratory Medicine, 114: 1115-1118. _________ , 1991. Striving for Quality in Health Care. An Inquiry into Policy and Practice. Ann Arbor, Michigan: Health Administration Press. _________ , 1992. The role of outcomes in quality assessment and assurance. Quality Review Bulletin, 18: 356-360. DONABEDIAN, A.; WHEELER, J. R. C. & WYSZEWLANSKI, L., 1982. Quality, cost and health: An integrative model. Medical Care, 20: 975-992. DONNANGELO, M. C. F., 1976. Sade e Sociedade. So Paulo: Duas Cidades. FERREIRA, A. B. H., 1986. Novo Dicionrio Aurlio da Lngua Portuguesa. Rio de Janeiro: Nova Fronteira. FERRARA, F. A.; ACEBAL, E. & PAGANINI, J. M., 1976. Medicina de la Comunidade. 2 ed., Buenos Aires: Intermdica Editorial.

FORMIGLI, V.; COSTA, H.; MOLESINI, J. & FERNANDES, R., 1992. Organizao da ateno sade em distritos sanitrios na Bahia. Revista Baiana de Enfermagem, 5: 5-20. FORTMANN, S. P .; WINKLEBY, M. A.; FLORA, J. A.; HASKELL, W. L. & TAYLOR, B. C., 1990. Effect of long-term community health education on blood pressure and hypertension control: The Standfork Five-City Project. American Journal of Epidemiology, 132: 629-646. FREEBORN, D. K. & GREENLICK, M. R., 1973. Evaluation of te performance of ambulatory care system: research requirementes and opportunities. Medical Care, 11 (supplement): 68-75. UNICEF (Fundo das Naes Unidas para a Infncia), 1990. II Pesquisa de Sade Materno-Infantil no Cear PESMIC 2. Comparao de dois estudos de abrangncia estadual, 1987/90. Fortaleza: Unicef/Socep/SSE-CE/HOPE. (Mimeo.) GONALVES, R. B. M., 1990. Reflexo sobre a articulao entre a investigao epidemiolgica e a prtica mdica a propsito das doenas crnicas degenerativas. In: Epidemiologia. Teoria e Objeto (D. C. Costa, org.), pp. 39-86, So Paulo: Hucitec/Rio de Janeiro: Abrasco. GREENWOOD E., 1972. Idias correntes sobre a natureza do mtodo experimental. In: A investigao em Sociologia. Um guia para estudo (C. M. L. Braga, org.), pp. 97-108, Salvador: Centro Editorial e Didtico/UFBa. HUGH, A., & RIFKIN, S., 1988. Diretrizes para uma Estimativa Rpida Visando Avaliar as Necessidades de Sade da Comunidade: Um foco sobre os melhoramentos da sade para reas urbanas de baixa renda. Liverpool: OMS. (Mimeo.) KESSNER, D. M. & KALK, C. E., 1973. A Strategy for Evaluating Health Services Contrasts in Health Status. Washington: Institute of Medicine/National Academy of Sciences. LANE, D. S. & KELMAN, H. R., 1975. Assessment of maternal health care quality: Conceptual and methodologic issues. Medical Care, 13: 791-807. LAURELL, A. C., 1983. A sade-doena como processo social. In: Textos. Medicina Social: Aspectos Histricos e Tericos (E. D. Nunes, org.), pp. 133-158, So Paulo: Global. LESSA, I., 1973. Avaliao do Programa Materno-Infantil em uma Unidade Sanitria Modelo. Tese para Concurso de Professor Assistente, Salvador. Departamento de Medicina Preventiva, Faculdade de Medicina, Universidade Federal da Bahia.

90

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

Avaliao em Sade

LESSA, I. & POUSADA, J. M. D. C., 1988. Qualidade da assistncia mdica ao diabtico. Arquivos Brasileiros de Medicina, 62: 459-463. LILIENFELD, A. M., 1976. Foundations of Epidemiology. New York: Oxford University Press. MARINHO, P., 1980. A Pesquisa em Cincias Humanas. Petrpolis: Vozes. MARWICK, C., 1988. Vacinas contra coqueluche: experincias e dificuldades. Journal of the American Medical Foundation, 259: 2057-2059. MATUS, C., 1987. Poltica, Planificacin y Gobierno. Washington: OPS/ILPES. MOSER, C. & KALTON, G., 1972. Survey Methods in Social Investigation. 2nd ed., New York: Basic Book Inc. Publishers. NEWHOUSE, J. P., 1990. Geographic acess to physician services. Annual Review of Public Health, 11: 207-230. NOVAES, M. D. H., 1991. So Paulo: consumo e demanda de tecnologia. Divulgao em Sade para Debate, 3: 42-44. OTA (Office of Technology Assessment), 1978. Assessing the Efficacy and Safety of Medical Technologies. Washington DC: OTA. (OTA Publication No. OTA-H-75). OMS (Organizacin Mundial de la Salud), 1970. Comite de Expertos de la OMS en Estadistica Sanitaria. Indicadores estadisticos para la planificacin y la evaluacin de programas de salud publica. Ginebra: OMS. (Informe del Comit de Expertos de la OMS en Estadstica Sanitaria, 14). PAIM, J. S., 1993. A reorganizao das prticas em Distritos Sanitrios. In: Distrito Sanitrio. O Processo Social de Mudana das Prticas Sanitrias do Sistema nico de Sade (E. V. Mendes, org.), pp. 187-220, So Paulo: Hucitec/Rio de Janeiro: Abrasco. _________ , 1982. As ambigidades da noo de necessidades de sade. In: Introduo Crtica do Planejamento de Sade (J. S. Paim & F. N. Almeida, orgs.), pp. 55-78, Salvador: Universidade Federal da Bahia/Departamento de Medicina Preventiva. PAIM, J. S.; DREYER, A. F.; BIAO, D. R.; SANTOS, F. M.; TISHCHENKO, L. M.; LIMA, M. C. L.; BARBOSA, N. M.; TORRES, O. D. S. & BITTENCOURT, S. R. V., 1978. Aspectos quantitativos da avaliao dos centros de sade de Salvador. Revista Baiana de Sade Pblica, 5: 120-138.

PITTA, A. M. F., 1992. Avaliao como processo de melhoria da qualidade de servios pblicos de sade. Revista de Administrao Pblica , 26: 44-61. RODRIGUES, W. W. & TORRES, V. R., 1982. Contribuio ao Desenvolvimento do Processo de Aviao em Servios de Sade . Braslia: Centro de Documentao do Ministrio da Sade. (Textos Bsicos de Sade, 2). RUNDALL, T. G., 1992. Health planning and evaluation. In: Public Health & Preventive Medicine (J. M. Last & R. B. Wallace, orgs.), 13 ed., pp. 1079-1094, Connecticut: Appleton & Lange (Maxcy-Rosenau-Last). SELLTIZ, J. D.; JAHODA, M.; DEUTSCH, M. & COOK, S. W., 1972. Mtodo de Pesquisa nas Relaes Sociais. So Paulo: Herder/U.S.P . SILVA, L. M. V., 1989. A Descentralizao das Aes de Sade no Municpio: O Caso de Camaari. Tese de Doutorado, So Paulo: Departamento de Medicina Preventiva, Faculdade de Medicina, Universidade de So Paulo. SUCHMAN, E. A., 1967. Evaluative Research Principles and Practice in Public Service and Social Action Programs. New York: Russel Sage Foundation. SYLVER, L., 1992. Aspectos metodolgicos em avaliao dos servios de sade. In: Planejamento Criativo. Novos Desafios em Polticas de Sade (E. Gallo, F. J. U. Rivera & M. H. Machado, orgs.), pp. 195-210, Rio de Janeiro: Relume-Dumar. TANAKA, O. Y. & ROSENBURG, C. P ., 1990. A anlise da utilizao pela clientela de uma unidade ambulatorial da secretaria de sade do municpio de So Paulo. Revista de Sade Pblica, 24: 60-68. TEIXEIRA, S. M. F., 1991. Avaliao comparativa das aes integradas de sade. Divulgao em Sade para Debate, 3: 78-81. VERAS, C. M. T., 1991. Avaliao da ateno mdico-hospitalar no Rio de Janeiro. Divulgao em Sade para Debate, 3: 65-70. VUORI, H. V., 1982. Quality Assurance of Health Services. Concepts and Methodology . Copenhagen: WHO, Regional office for Europe. WEISS, C. H., 1972. Evaluation Research Methods for Assessing Program Effectiveness. New York: Prentice-Hall Inc./Englewood Cliffs.

Cad. Sade Pbl., Rio de Janeiro, 10 (1): 80-91, jan/mar, 1994

91