Вы находитесь на странице: 1из 14

Universidade de So Paulo Faculdade de Sade Pblica

VOLUME 34 NMERO 5 OUTUBRO 2000 p. 547-59

Revista de Sade Pblica Journal of Public Health


Avaliao de programas, servios e tecnologias em sade Evaluation of health programs, services and technologies
Hillegonda Maria D Novaes
Departamento de Medicina Preventiva da Faculdade de Medicina da Universidade de So Paulo. So Paulo, SP, Brasil

NOVAES Hillegonda Maria D Avaliao de programas, servios e tecnologias em sade Rev. Sade Pblica, 34 (5): 547-59, 2000 www.fsp.usp.br/rsp

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Avaliao em sade Novaes HMD

547

Reviso

Review

Avaliao de programas, servios e tecnologias em sade* Evaluation of health programs, services and technologies
Hillegonda Maria D Novaes
Departamento de Medicina Preventiva da Faculdade de Medicina da Universidade de So Paulo. So Paulo, SP, Brasil
Descritores Avaliao#. Garantia da qualidade dos cuidados de sade#. Avaliao de programas, mtodos#. Servios de sade, avaliao#. Pesquisa sobre servios de sade#. Avaliao de tecnologias em sade#. Planos e programas de sade. Resumo A rea de avaliao de programas, servios e tecnologias em geral e na sade, em particular, passa por um processo de expanso e diversificao conceitual e metodolgica, bem como por uma crescente demanda para se constituir em instrumento de apoio s decises necessrias dinmica dos sistemas e servios de sade, na implementao das polticas de sade. Apoiando-se em uma reviso da literatura internacional especializada, e tomando por referncia a dcada de 90, foram identificados os critrios nucleares que organizam os processos de avaliao, articulando-os com os recortes adotados pelas principais tipologias de avaliao, atualmente institucionalizadas nos pases desenvolvidos, avaliao de programas, avaliao e garantia de qualidade em servios e avaliao de tecnologias. A participao brasileira no desenvolvimento metodolgico da rea tambm analisada. Abstract The field of program, services and technology evaluation in general, and in health care in particular, is going through an important growth and conceptual and methodological diversification. It is also the object of an increasing demand for its participation as an effective supportive instrument in the decision-making process, and a constant need in the dynamics of health systems and services. In this paper, based on literature review, nuclear criteria involved in the organization of all evaluation processes are identified, and articulated with the existing institutionalized evaluation practices in developed countries, that is, program evaluation, quality assessment and management and technology assessment. In conclusion, the incipient development of a methodological evaluation output in Brazil is analyzed.

Keywords Evaluation#. Quality assurance, health care#. Program evaluation, methods#. Health services, evaluation#. Health services research#. Evaluation of health technologies#. Health plans and programmes.

INTRODUO Condies de produo e de utilizao de conhecimento: pensar e agir, saber e fazer, conhecimento e tcnica, cincia e tecnologia. A rea de avaliao de programas, servios e tecnologias, como campo produtor de saberes e prtiCorrespondncia para/Correspondence to: Hillegonda Maria Dutilh Novaes Av. Dr. Arnaldo, 455 01246-903 So Paulo, SP, Brasil E-mail: hidutilh@usp.br

cas, vivncia de forma evidente e aguda as dificuldades a serem enfrentadas por aqueles que buscam produzi-la, na identificao das condies necessrias para a construo do conhecimento, produto de natureza abstrata, e daqueles que organizam a sua transformao em prticas, sempre concretas. No se trata da questo mais geral, ou seja, da pos-

*Parte da tese de livre docncia apresentada Faculdade de Medicina da Universidade de So Paulo, 1999. Edio subvencionada pela Fapesp (n 00/01601-8). Recebido em 24/8/1999. Reapresentado em 21/6/2000. Aprovado em 23/8/2000.

548

Avaliao em sade Novaes HMD

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

sibilidade de produo de um conhecimento do mundo pelo homem, que pretende conter uma verdade, reconhecida como tal tambm fora do seu contexto imediato de produo, e que se traduz em temas como os da induo, deduo, comprovao, demonstrao etc (Quine & Ullian,50 1970; Glymour,25 1992). Alm dessa questo, colocada para toda atividade que se pretende cientfica e para a qual as diversas reas tm buscado as solues que lhes parecem mais adequadas, em determinados momentos dados (Altman,3 1994; Chalmers,11 1994), trata-se do seguinte: quais as condies de utilizao do conhecimento produzido? Em outras palavras, pode ele, e de que forma, ser inserido em processos histricos concretos que, alm de terem delimitado as suas condies de produo, estaro tambm interferindo nas suas condies de utilizao? A abordagem desse problema passa necessariamente pela adeso a uma teoria ou explicao geral sobre o que faz o mundo se transformar, as coisas acontecerem, ao longo da histria, apoiando-se em argumentos de natureza mgica, religiosa, positivista, materialista-histrica e outros. Em todas as teorias, o conhecimento produzido pelo homem sobre a realidade que se lhe apresenta, tem um sentido, uma razo de ser. No mundo moderno e contemporneo ocidentalizado, em que passam a dominar as teorias racionalistas, o conhecimento, que na sua forma considerada superior ou mais elaborada chamada de cincia, considerado um instrumento essencial para a resoluo dos problemas e para a construo de um mundo melhor. So fortes, ainda que diversas, as explicaes de cunho teleolgico para o desenvolvimento cientfico, bem como do uso da razo como uma razo instrumental, ou seja, a razo para alguma coisa e no a razo em si (Parrochia,45 1997). Dessa forma, apresenta-se como necessria uma proximidade, uma relao de conseqncia entre a cincia e a tcnica, o pensar e o agir. Observa-se nesse processo uma cientifizao da tcnica e uma tecnificao da cincia, que assim, progressivamente, se interpenetram e se mostram capazes de solucionar todos os problemas, de qualquer natureza. No entanto, a cientifizao da arte (tcnica) no mais que uma concretizao avanada de um velho sonho: tornar racional o mundo por meio daquele que, apreendendo-o, compreende-o e nele age como mxima causa eficiente. Fundando-se na racionalidade (cientfica), a explicao dos fenmenos e as solues dela derivadas deparam-se com exigncias centradas em valores socialmente tidos como fundamentais. Em outras palavras, cincia e tecnologia, alm de terem finalidades utilitrias pre-

viamente definidas (o bem), devem responder positivamente a demandas mais amplas, como se delas decorressem os conflitos responsveis pelas desigualdades e conflitos sociais (Novaes,43 1996). A repetida constatao da no-realizao das proposies de mxima idealizao, colocadas para a cincia e a tcnica, tem sido usada como argumentao para duas atitudes opostas: (1) a afirmao de uma insuficincia interna da cincia e da tcnica, ou seja, de natureza quantitativa, ou de intensidade, possvel de ser superada, ou (2) da sua insuficincia externa, de natureza qualitativa, que as faz prometerem e serem responsabilizadas por algo que jamais poder ser atingido (Portocarrero,48 1994). Esses posicionamentos, e suas variaes, alm de presentes nos debates filosficos, ocupam atualmente um espao importante nos iderios poltico-ideolgicos que referenciam a prtica poltica no mundo ocidental, com o predomnio do primeiro posicionamento, orientando as propostas para as polticas educacionais, cientficas e tecnolgicas (Witkowski,60 1991). Essa questo pode ser recuperada e melhor compreendida no que diz respeito s suas repercusses para a prtica cientfica e tcnica cotidiana, quando sua presena identificada na dinmica de reas de conhecimentos e prticas especficas. Para a anlise do desenvolvimento da rea de avaliao de programas, servios e tecnologias em sade, objeto do presente estudo, e tentando identificar sob que condies e em que contextos foi construda a articulao entre as condies de produo e de utilizao do seu conhecimento, foi desenvolvida uma reviso da literatura produzida na dcada de 90, sobre esse tema, predominantemente em lngua inglesa, com o objetivo de construir tipologias e categorias de anlise mais gerais. No sero identificadas quais as modalidades mais adequadas ou melhores de avaliao, visando a construir uma compreenso sobre quais as condicionantes que incidiram sobre os diferentes desenvolvimentos na rea. Essa posio importante para a melhor compreenso da construo das avaliaes em sade, uma vez que ela toma como ponto de partida a produo de um conhecimento que contenha possibilidade de utilizao ao assumir um contedo valorativo, o que necessariamente coloca esse tema no mundo da vida em sociedade. Essa idia de valor vai alm do julgamento sobre o mrito do conhecimento como tal, mas pressupe um posicionamento do avaliador e do avaliado sobre o contedo das concluses, que incorpora e interage com o contexto no qual a avaliao se desenvolve.

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Avaliao em sade Novaes HMD

549

AVALIAO EM SADE: CONCEITOS E MTODOS PARA A CONSTRUO DE TIPOLOGIAS As avaliaes em sade, ao se constiturem em uma rea ainda em construo conceitual e metodolgica, podem ser encontradas na literatura de forma muito diversificada (House,31 1980). No presente estudo, desenvolve-se uma sntese das principais modalidades propostas, organizando-as, em um primeiro momento, em grandes categorias, segundo critrios considerados mais significativos para as questes aqui priorizadas, para em seguida inseri-las na nomenclatura mais freqentemente adotada. Os critrios apresentados foram selecionados a partir daqueles mencionados na literatura (Aguilar & Ander-Egg,2 1994; Hartz,30 1997; Stenzel,58 1996; Patton,46 1997) e discutidos em reunies cientficas. Esses critrios, que procuram dar conta das principais variveis que orientam as decises conceituais e metodolgicas na construo dos processos de avaliao, so os seguintes: (1) objetivo da avaliao, (2) posio do avaliador, (3) enfoque priorizado, (4) metodologia predominante, (5) forma de utilizao da informao produzida, (6) contexto da avaliao, (7) temporalidade da avaliao e (8) tipo de juzo formulado. Para cada uma dessas variveis, podem ser formuladas caractersticas alternativas que devem, no entanto, ser compreendidas como representando formas dominantes, mas no exclusivas, pela prpria complexidade do objeto. No existem, para as variveis, modalidades melhores ou piores, ou seja, elas no tm um contedo valorativo em si, mas procuram apontar as alternativas conceituais e metodolgicas existentes nos processos de avaliao, referenciadas por teorias e metodologias gerais aceitas por reas de conhe-

cimento e prticas legitimadas. Um contedo valorativo ser colocado quando for inadequada a utilizao desses conceitos e metodologias isoladamente, ou ao se propor combinaes contraditrias na anlise de processos de avaliao concretos. Os critrios ou variveis selecionadas so: Objetivo da avaliao: priorizao das condies de produo do conhecimento ou das condies de utilizao do conhecimento (tomadas de deciso, aprimoramentos na gesto). Posio do avaliador: externo ou interno, por referncia ao objeto avaliado. Enfoque priorizado: interno, de caracterizao/compreenso de um contexto, ou externo, de quantificao/comparao de impactos de intervenes. Metodologia predominante: quantitativa ou qualitativa, situacional ou experimental/quasiexperimental. Contexto da avaliao: controlado ou natural. Forma de utilizao da informao produzida: demonstrao/comprovao ou informao, instrumentalizao. Tipo de juzo formulado: comprovao/negao de hipteses, recomendaes ou normas. Temporalidade da avaliao: pontual, corrente, contnua.

Ainda que seja possvel observar alguma variao nas combinaes entre as caractersticas observadas para os critrios, de um modo geral, a adoo de uma posio para um critrio coloca-se como condicionante para o enquadramento nos demais. Nesse sentido, possvel identificar trs grandes tipos de avaliao, a partir da combinao entre as alternativas colocadas para cada critrio: pesquisa de avaliao, investigao avaliativa, avaliao para deciso e avaliao para gesto (Tabela).

Tabela Caracterizao de tipos de avaliao segundo critrios selecionados. Critrios Objetivo Posio do avaliador Enfoque priorizado Metodologia dominante Investigao avaliatria Conhecimento Externo (interno) Impactos Quantitativo (qualitativo) experimental/ quasiexperimental Controlado Demonstrao Hipteses Pontual/replicado Avaliao para deciso Tomada de deciso Interno/externo Caracterizao/ compreenso Qualitativo e quantitativo situacional Natural Informao Recomendaes Corrente/pontual Avaliao para gesto Aprimoramentos Interno/externo Caracterizao/ quantificao Quantitativo e qualitativo situacional Natural Instrumentos para gesto Normas Integrado/contnuo

Contexto Utilizao da informao Juzo formulado em relao Temporalidade

550

Avaliao em sade Novaes HMD

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Na pesquisa de avaliao, o objetivo principal ou prioritrio para o seu desenvolvimento a produo de um conhecimento que seja reconhecido como tal pela comunidade cientfica, ao qual est vinculado, conhecimento que servir como fator orientador de deciso quando se colocarem questes como viabilidade, disponibilidade de tempo e de recursos e demandas externas pesquisa (Greene,27 1994; Mohr,38 1995; Minayo,37 1992; Rossi & Freeman,53 1993). Essas pesquisas geralmente so desenvolvidas sob a coordenao de instituies acadmicas, por iniciativa delas prprias, ou a partir de solicitaes de instncias pblicas com elevado poder sobre a implementao ou reorientao de macro polticas (Ministrios ou Secretarias Estaduais, Legislativo e outros rgos), nos quais, distncia dos avaliadores, ou de pelo menos parte da equipe responsvel pelas principais decises (no implicando a no-participao de avaliadores internos no processo), dada a valorizao da mxima objetividade possvel, considerada uma condio necessria ao adequado desenvolvimento da investigao. As principais questes que orientam as pesquisas de avaliao, ou seja, o enfoque priorizado para a formulao dos objetivos a serem atingidos, dizem respeito preponderantemente identificao de impactos obtidos pelas aes a serem avaliadas. Ainda que passveis de serem formulados de forma mais direta, ou mais mediatizada, o estabelecimento de nexos entre uma ao, ou aes, e determinadas alteraes observadas na realidade (indivduos, populaes, prticas, ambiente etc), orienta fortemente as questes formuladas. Ou seja, podese considerar como caracterstica importante nas pesquisas de avaliao a identificao de relaes de causalidade, ainda que as concepes que as orientam possam ser diversificadas (positivistas, verificacionistas, complexas e outras) (Rothman,52 1988; Chen,12 1990). A metodologia ou seja, as formas propostas para a aproximao e a apreenso do objeto dominante nas pesquisas de avaliao ainda a de natureza quantitativa, mas com crescente participao das formas de natureza qualitativa, ambas porm orientadas para a busca da objetividade e de uma possibilidade de generalizao do observado. Isso implica o estabelecimento de um certo controle sobre o contexto em que se desenvolve a pesquisa e na proposio de desenhos gerais metodolgicos experimentais ou, mais freqentemente, quasi-experimentais (buscando alcanar um equilbrio satisfatrio entre o controle da subjetividade e a garantia de uma objetividade, a artificialidade, a viabilidade e a tica, dilemas sempre presentes nas investigaes de um modo geral, e principalmente nas de avaliao) (Miles e Huberman,36 1994; Silva & Formigli,57 1994; Patton,46 1997).

Diante dessas condicionantes, a informao produzida, que se deseja ser um conhecimento, dever ser utilizada para a demonstrao dos pressupostos iniciais que orientaram todo o processo, e o juzo formulado como resultado da pesquisas de avaliao estar relacionado a esses mesmos pressupostos, ou hipteses. Quanto temporalidade dessas investigaes, considerando-se que elas, em geral, tm por objetivo responder a questes cuja necessidade de resposta, ainda que genericamente previsvel, no foi planejada com antecedncia, no que se refere ao momento e s formulaes especficas, e dado o seu elevado custo, so elas habitualmente de natureza pontual, podendo eventualmente ser replicadas, temporal ou espacialmente, para efeito comparativo. Na avaliao para a deciso, o objetivo dominante ela se constituir em um elemento efetivamente capaz de participar de processos de tomada de deciso, ou seja, que produza respostas para perguntas colocadas por aqueles que vivenciam o objeto avaliado, sendo esta capacidade mais importante, se a escolha se fizer necessria, do que o cientificismo do conhecimento produzido. Sendo assim, o avaliador interno passa a ter uma posio decisiva no desenrolar do processo, ainda que avaliadores externos geralmente tambm faam parte da equipe coordenadora da avaliao. E o enfoque priorizado, aquele que orienta os principais objetivos, o do reconhecimento do objeto, na profundidade necessria para a sua adequada compreenso, identificao dos problemas e alternativas de equacionamento possveis (Guba & Lincoln,28 1989; Greene,27 1994). Tendo em vista a natureza complexa dos objetos colocados para essas avaliaes, so utilizadas metodologias de natureza qualitativa e quantitativa, de natureza situacional, com desenhos relativamente abertos e especficos para cada tipo de aproximao e apreenso da realidade buscada (como, por exemplo, os estudos de caso), em um contexto que se deseja manter natural e cujos resultados devero ser articulados no momento da anlise geral, ao se tomar por referncia uma teoria geral que permita a sua integrao (Chen,12 1990). Esses resultados constituem informaes geralmente reconhecidas como melhor construdas, mais sistematizadas, do que aquelas inicialmente disponveis sobre o objeto avaliado, mas cujo valor final no intrnseco e ser medido por sua capacidade de se transformar em recomendaes positivas, isso , capazes de contribuir para a soluo dos problemas identificados (pelos demandantes da avaliao, ou identificados ao longo do processo) (Patton,46 1997). Esse tipo de avaliao, ainda que realizado pontualmente,

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Avaliao em sade Novaes HMD

551

isso , como processo especialmente desenvolvido para esse fim, de natureza corrente, dado que geralmente previsto para acontecer quando da proposio e implantao do objeto avaliado. A avaliao para gesto tem como objetivo principal a produo da informao que contribua para o aprimoramento do objeto avaliado. No se trata da busca de fundamentos ou justificativas nem redirecionamentos, mas o melhoramento de uma condio dada. Nessa medida, a presena do avaliador interno condio necessria e nos seus termos que se d a participao do avaliador externo, geralmente presente. O enfoque priorizado, explicitado nos objetivos, o da caracterizao de uma condio e a sua traduo em medidas que possam ser quantificadas e replicadas. So dominantes as metodologias de natureza quantitativa (podendo estar tambm presentes instrumentos com abordagem qualitativa, desde que passveis de uso padronizado), observacionais, desenvolvidas em contexto natural ou at mesmo de rotina administrativa, em que os desenhos gerais das avaliaes so construdos pela agregao de medidas representativas de uma totalidade. A informao produzida prioritariamente voltada para o desenvolvimento e aprimoramento de indicadores, como partes que representam um todo, e o resultado desejado para essa avaliao a proposio de critrios ou normas a serem incorporadas na utilizao desses indicadores no desempenho rotineiro do objeto avaliado, contribuindo para a garantia do seu bom funcionamento (Donabedian,18 1986; Scrivens,55 1995; Schoenbaum et al,54 1995). AVALIAO EM SADE: OBJETOS PARA O CONHECIMENTO E PRTICAS SOCIAIS As avaliaes de programas, servios e tecnologias de sade inserem-se, com graus variveis de aderncia, em uma das tipologias propostas, dependendo do contexto no qual se desenvolvem. No se trata de identificar tipologias avaliativas a priori, melhores ou piores, como instrumentos ativos de construo social, mas apontar a articulao necessria entre objetos, tipologias e contextos, nos processos de avaliao. No desenvolvimento das avaliaes em sade como prticas institucionalizadas, em conjunturas diversas, foram sendo construdas especializaes e segmentaes, com inseres e perfis profissionais prprios. Com atividades de avaliao em programas, servios e tecnologias de sade, podem atualmente ser identificadas diferentes comunidades de profissionais, inseridos em setores diversos e mais identificados com referenciais poltico-ideolgicos e tericometodolgicos especficos, geralmente vinculados a

associaes cientficas e/ou profissionais que os representam. Entre as mais atuantes sero destacadas aquelas que desenvolvem prticas denominadas de avaliao tecnolgica em sade, avaliao de programas e avaliao, gesto e garantia de qualidade. Nos pases onde esto presentes, na dependncia de fatores como as caractersticas da organizao da ateno sade, formao e cultura profissional, entre outras, essas comunidades se inserem, de maneiras diversificadas, na sade pblica, na administrao e na gesto ou na medicina. Avaliao tecnolgica em sade Na sua definio mais abrangente, a avaliao tecnolgica em sade aquela que toma como sua unidade de anlise, ou ponto de partida, uma tecnologia, de produto ou de processo, passvel de ser caracterizada na sua dimenso temporal e espacial (que, onde, como, quando, para quem, para qu). Considerando-se a complexidade atual da ateno sade, o estudo de tecnologias especficas pressupe sempre uma circunscrio do objeto relativamente arbitrria, que justificado pela possibilidade de um aprofundamento maior no reconhecimento daquela tecnologia. No significando isso, necessariamente, uma limitao da perspectiva da anlise, que pode estar sendo desenvolvida a partir do ponto de vista dos indivduos nos quais a tecnologia utilizada, com nfase nas dimenses biolgicas, at aquele dos macrocontextos polticos e econmicos em que ela se insere (Goodman,26 1992; Banta & Luce,5 1993). Contudo, nos recortes analticos mais conjunturais, em que as tecnologias so tomadas como parte de processos econmicos e sociais historicamente determinados, h uma valorizao do conhecimento do especfico, do tcnico, como caminho necessrio para a constituio de um geral. A avaliao tecnolgica em sade, como atividade institucionalizada, desenvolveu-se nos pases centrais a partir dos anos 70, associada expanso da ateno sade e ao desenvolvimento cientfico e tecnolgico em sade que levou introduo de muitas novas tecnologias, com implicaes polticas, econmicas, administrativas e sanitrias importantes. praticada atualmente, de forma predominante, em comisses ou servios de assessoria em instncias diversas do setor pblico (executivo, legislativo ou universitrio), mas tambm por associaes profissionais e empresas privadas (Battista & Hodge,8 1995; Perry, Gardner & Thamer,47 1997; Luce & Brown,33 1995; Banta & Perry,7 1997). Uma das formas propostas de avaliao tecnolgica busca responder necessidade de conhecimentos

552

Avaliao em sade Novaes HMD

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

aprofundados sobre algumas tecnologias, no que diz respeito s suas dimenses tcnicas (a segurana e efetividade de uma tecnologia, ou seja, a capacidade de produzir o resultado para o qual ela foi desenvolvida, sem causar danos, em condies normais de utilizao nos servios de sade) e econmicas (estudos de custo-efetividade, custo-utilidade ou custo-benefcio), quando ento se associam s avaliaes econmicas (Drummond et al,21 1997; Elixhauser et al,22 1998). As avaliaes de tecnologias dessa natureza, dadas as suas condicionantes, constituem pesquisas de avaliao que se encaixam na tipologia anteriormente apresentada. Alm disso, tm sido desenvolvidas para o estudo de novas tecnologias, incorporadas h pouco tempo nos servios de sade, ou daquelas que passaram a ser utilizadas em contextos diversos de quando inicialmente incorporadas (por exemplo, do ambiente hospitalar para o ambiente ambulatorial, para quadros clnicos mais diversificados, em associao a outras tecnologias entre outras), ou ainda, daquelas de uso corrente, mas para as quais existem dvidas sobre sua efetividade atual. Mais recentemente, os profissionais envolvidos nas avaliaes tecnolgicas em sade voltadas para o estudo das efetividades tm se aproximado das reas da epidemiologia e clnica que estudam as eficcias diagnsticas e teraputicas dos procedimentos utilizados na prtica mdica e das atividades relacionadas Medicina Baseada em Evidncias (AHCPR,1 1997), por meio de um reconhecimento mtuo das relaes de contigidade (ainda que no de continuidade) existentes entre as respectivas prticas (Novaes,42 1996). Alm dessas, compem tambm esse tipo de avaliao tecnolgica as pesquisas em engenharia biomdica e engenharia clnica, que se dedicam avaliao das condies de produo, operao e manuteno dos equipamentos e materiais de uso especializado na rea da sade (Goodman,26 1992). As atividades relacionadas ao desenvolvimento de consensos e guidelines para a utilizao de tecnologias na rea de sade, mais intensamente presentes nos anos 90, e que tm sido propostas e coordenadas tanto por rgos pblicos executivos centrais quanto por associaes profissionais ou mesmo servios, caracterizam-se como avaliaes tecnolgicas do tipo avaliao para deciso, ao terem por objetivo a utilizao do conhecimento cientfico atual na boa prtica profissional, propondo recomendaes capazes de servir de apoio nos processos de deciso (administrativos, gerenciais, clnicos) (Banta et al,6 1995; Panerai & Mohr,44 1989). Diferenciam-se dos critrios e das normas dos anos 70, utilizados nos servios de ateno sade, pouco

preocupados com a sua fundamentao em snteses do conhecimento existente sobre uma determinada questo, conhecimento freqentemente no concordante nas suas concluses e para cuja sistematizao necessariamente tero de ser utilizados critrios de validao que precisam ser aceitos como legtimos pela comunidade que ir utilizar seus resultados, bem como a sua traduo em recomendaes prtica. Os critrios e normas dos anos 90, presentes e utilizados nos processos de garantia de qualidade, a serem discutidos mais adiante, buscam fortalecer sua legitimidade, pelo menos como discurso, na articulao com os consensos e guidelines pertinentes e na sua insero em processos de trabalho concretos. Finalmente, tm sido includos no universo da avaliao tecnolgica em sade, apresentando caractersticas mais acentuadas de pesquisa e de produo de conhecimento, os estudos relativos s polticas cientficas e tecnolgicas para a rea de equipamentos e medicamentos, alm daqueles que tomam como sua questo principal as dimenses tecnolgicas, mas os desenvolvem na perspectiva dos estudos de prticas e polticas de sade, mais prximos das pesquisas propriamente sociolgicas ou histricas. Avaliao de programas em sade As avaliaes de programas em sade tm como foco de anlise os programas (tomados aqui no sentido em que utilizado na literatura americana), como processos complexos de organizao de prticas voltadas para objetivos especificados. Portanto, so considerados programas, tanto aquelas propostas voltadas para a realizao de um macro objetivo, como a implantao de formas de ateno para populaes especficas (ateno domiciliar para idosos, vacinao e procedimentos de screening para grupos de risco para problemas de sade determinados, propostas teraputicas para doenas e doentes priorizados etc.) e que envolvem instituies, servios e profissionais diversos, como as atividades desenvolvidas em servios de sade, que tm por objetivo prestar um determinado tipo de atendimento para uma dada clientela (Shortell & Richardson,56 1978). No Brasil, de um modo geral, apenas os procedimentos da primeira alternativa so considerados programas, mas j se observa tambm aqui uma maior variabilidade no seu uso, o que faz com que toda avaliao de programa deva se iniciar com uma clara explicitao dos contornos do objeto a ser avaliado: propostas, aes programticas, atividades gerenciais, servios, procedimentos, profissionais etc. No que diz respeito ao objeto colocado para a avaliao e s alternativas de apreenso do mesmo, a

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Avaliao em sade Novaes HMD

553

avaliao de programas mostra, de um lado, interfaces com a avaliao tecnolgica e a avaliao de qualidade (Donabedian,16 1988; Goodman,26 1992), e, de outro, com a cincia social e poltica e o planejamento (Rivera,51 1996), pois objetivos programticos realizam-se por sistemas, servios e procedimentos concretos. Ao mesmo tempo, fazem parte da conjuntura poltica, econmica e social mais ampla, conjunturas essas que no so passveis de abordagens racionalizadoras relativamente circunscritas, como so as avaliaes. O dilema da articulao entre a produo de conhecimento e a sua utilizao, ou entre a prtica cientfica e tcnica e a prtica poltica, e as alternativas desenvolvidas para o seu equacionamento, fazem parte da histria da Avaliao de Programas como prtica institucional (Cabatoff,10 1996). Essa se desenvolveu principalmente nos Estados Unidos, a partir dos anos 60, como parte dos grandes programas de interveno social propostos na poca, resultando no surgimento de uma categoria profissional, os avaliadores de programas, que esto vinculados a instituies pblicas ou privadas, ou organizados em empresas prestadoras desse tipo de servio, e seus reflexos podem ser observados nos tipos de avaliao de programas (em geral e da sade) atualmente propostos na literatura. Na fase inicial, a sua dimenso de instrumento para interveno articulava-se com a atuao de um Estado que devia garantir um bem-estar social, porm de forma eficiente. Nos anos 90, essa dimenso, refletindo as grandes alteraes ocorridas na atuao do poder pblico e nas teorias de ao social, aparece quando colocada a possibilidade do empowerment dos agentes do programa (profissionais e populao) pela avaliao (Patton,46 1997), ou seja, de uma perspectiva de dever institucional passou-se para a mobilizao individual. Dado o seu carter sempre conjuntural e de contexto, uma das formas freqentes de criar categorias para as avaliaes de programas pela especificao da fase (ou fases) do programa que est sendo avaliado (de desenvolvimento e proposio, tambm denominado de estratgico, de implantao e de resultados e impacto) e pelo detalhamento da questo, ou questes, que orientam a avaliao ou o(s) foco(s) a serem privilegiados (descritivo, causal, comparativo, prospectivo, econmico, mobilizao social, monitoramento entre outros), gerando longas listas de tipos de avaliao, que mais confundem do que auxiliam na sua compreenso (Contandriopoulos et al,13 1997). Esse nominalismo, que atende principalmente a uma necessidade de oferecer sempre novos produ-

tos para o mercado, por vezes dificulta a percepo de que se organizam as avaliaes de programas, de um certo nmero de teorias de ao social, de formas de produzir conhecimento e de alternativas metodolgicas, como alguns dos principais debates no interior do campo (fourth generation evaluation, theory-driven evaluation, utilization-focused evaluation) (Guba & Lincoln,28 1989; Chen,12 1990; Patton, 46 1997) se propem a articul-los e transform-los em propostas prticas, orientados por opes que so tambm polticas. Retomando as tipologias anteriormente apresentadas, possvel identificar nas avaliaes de programas a presena da pesquisa de avaliao, da avaliao para deciso e da avaliao para gesto, de forma isolada ou concomitante. A pesquisa de avaliao desenvolve-se mais freqentemente, quando o seu objetivo conhecer o impacto de um programa, sendo esse medido pelos resultados observados sobre condies especficas da populao (mortalidade, morbidade, indicadores de qualidade de vida entre outras), selecionados a partir de relaes de causalidade identificadas entre condies de sade e formas de interveno. Nesse caso, predominam as metodologias quantitativas, articuladas a alguma forma de controle sobre os fatores de confuso, e o conhecimento produzido deve ter validade interna e externa, ter confiabilidade e ser objetivo, para poder ser reconhecido como cientfico, em comunidades especficas (Mohr,38 1995; Yates,62 1996). No entanto, outros tipos de impacto tm sido medidos, e o intenso desenvolvimento das metodologias qualitativas, tanto da sua fundamentao terica quanto das aplicaes prticas, nos ltimos anos (Denzin & Lincoln,14 1994), est presente tambm nas avaliaes de programas para esses aspectos. Quando o objetivo da anlise desses impactos a construo de um conhecimento passvel de uma generalizao, trata-se tambm de uma pesquisa de avaliao, e observa-se nesses estudos uma preocupao com a sua regularidade, objetividade, confiabilidade (responsiveness, objectivity e trustworthiness), com insero em um referencial terico mais geral (Chen,12 1990). Tambm as avaliaes estratgicas e de implantao podem constituir-se em pesquisa de avaliao, mas o fazem menos freqentemente, principalmente as segundas, pela prpria dificuldade que seus recortes oferecem ao enquadramento terico-metodolgico mais rgido que a prtica cientfica exige, tal como concebida, por no estarem no geral orientadas para a demonstrao de hipteses explicativas previamente desenvolvidas.

554

Avaliao em sade Novaes HMD

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

As avaliaes de implantao e estratgicas mostram-se mais aderidas s avaliaes para deciso, pois as questes formuladas necessitam de uma abordagem mais holstica, priorizando, quase sempre, o conhecimento e a compreenso da complexidade e das dinmicas gerais. Busca responder a questes colocadas para aquele programa especfico, e cujas respostas sero consideradas adequadas pela sua capacidade de resolver os problemas identificados, quanto ao mrito e melhorias possveis, pelos grupos de interesse envolvidos (stakeholders), freqentemente numerosos, e com perspectivas em geral no concordantes. Nessas abordagens, possvel observar menor interesse por questes etiolgicas ou de causalidade de referenciais explicativas mais gerais (o que tem sido chamado de black box approach) e a priorizao de sensibilidade e empatia maiores para com a vida como ela , a ser abordada por metodologias construtivistas, apoiadas em teorias relativistas do conhecimento (essa uma das formas em que se fez presente no campo das avaliaes um debate muito mais amplo e bastante complexo) (Guba & Lincoln,28 1989; Bernstein,9 1983). No final dos anos 80, essa polarizao entre o que se pode denominar de ser cientista e ser solidrio mostrava-se de forma muito aguda na literatura, mas em publicaes mais recentes possvel observar a busca de compromissos possveis entre eles. De um lado, isso se traduz em uma abertura maior para a aceitao tanto de metodologias quantitativas quanto qualitativas em avaliaes especficas, reconhecendo-as como possuidoras de especificidades prprias e complementares para a construo de um conhecimento e, por outro, h o reconhecimento da inevitvel presena de algum referencial terico ou conhecimento prvio, mesmo quando no explcito, e da interferncia sobre o natural que qualquer metodologia provoca (Chen,12 1990; Patton,46 1997). Observa-se tambm a presena de preocupao, quando da discusso das avaliaes de tipo para deciso e para gesto, para com a diferenciao entre a aproximao intuitiva da realidade, a inquirio sistemtica (systematic inquiry, que a que se aplicaria a elas) e a pesquisa, velhos e eternos dilemas da busca da verdade e da utilidade, que mesmo quando declarados ausentes esto presentes. As avaliaes para gesto podem ser encontradas nas avaliaes de implantao e de impacto, basicamente, quando o objetivo o monitoramento de algumas concluses desenvolvidas por pesquisas de avaliao ou avaliaes de deciso, ao se prever algum tipo de continuidade para a avaliao realizada.

Avaliao, gesto e garantia de qualidade em sade A idia de qualidade est presente em todos os tipos de avaliao, uma vez que tm como caracterstica nuclear o estabelecimento de um juzo, a atribuio de um valor a alguma coisa que, quando positivo, significa ter qualidade, na acepo atual do termo. Ou seja, uma avaliao tecnolgica ter melhor custo-efetividade quer tambm dizer ter mais qualidade; desse ponto de vista, ou, na avaliao de um programa, o estabelecimento do mrito, por referncia a determinados parmetros, remete ao estabelecimento de uma qualidade. No entanto, na avaliao, gesto e garantia de qualidade, esse conceito deixa de estar implcito, passando a ter uma funo terica e prtica central, ao se constituir em um ponto de partida (e no mais de chegada) para todo o processo (Donabedian,17 1988). Nessa perspectiva, a avaliao de uma tecnologia ou programa em que, de incio, h o estabelecimento de uma qualidade que se constituir no parmetro de referncia, a partir do qual sero construdos os instrumentos a serem utilizados na avaliao, passa a ser uma avaliao de qualidade. Contudo, so os servios que mais freqentemente tm se constitudo em objeto para a avaliao de qualidade. Esse recorte preferencial pode ser melhor compreendido quando as origens e vinculaes institucionais da avaliao de qualidade, bem como a sua estreita articulao com a gesto e garantia de qualidade, so identificados. possvel considerar que a partir do desenvolvimento econmico capitalista e industrial que o valor (de troca) de um produto passa a depender tambm do oferecimento de uma garantia de estabilidade no seu valor de uso, ou seja, de uma determinada qualidade. Os mecanismos para garantirem essa qualidade foram se modificando, acompanhando as transformaes nos processos de produo industrial: a excelncia dos agentes produtores da mercadoria, os sistemas de controle e fiscalizao dos produtos, os sistemas de garantia da qualidade (normas e padres) e a gesto ou controle total da qualidade (Donabedian,20 1996). A partir dos anos 60, os servios, por sua prpria expanso, passaram a ser pensados tambm como produtos e, portanto, passveis de uma padronizao na qualidade, atualmente um atributo importante na sua valorizao no mercado. Alm da sua importncia no setor privado, a qualidade ganhou destaque tambm nos servios prestados no setor pblico, como parte dos direitos sociais da populao e pelos movimentos de consumidores.

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Avaliao em sade Novaes HMD

555

Os servios de sade, um dos setores de maior expanso no perodo, foram igualmente envolvidos nesses movimentos, mais intensamente no setor privado, mas tambm no setor pblico, quando ento a avaliao da qualidade, freqentemente associada gesto e garantia de qualidade, passou a ser desenvolvida com alguma regularidade por profissionais especializados, em particular nos Estados Unidos. Ainda que interligados, tanto a avaliao quanto a garantia e a gesto da qualidade tm seus referenciais tericos e metodolgicos especficos. Para a avaliao de qualidade, o autor mais importante Donabedian, cujos primeiros trabalhos sobre o tema datam dos anos 60, mas que ganhou maior notoriedade mundial a partir do final dos anos 80.15,20 Seu ponto de partida a definio do que estar sendo considerado qualidade, pois essa no se constitui em um atributo abstrato, mas deve ser construda em cada avaliao por meio dos, por ele denominados, sete pilares da qualidade: eficcia, efetividade, eficincia, otimizao, aceitabilidade, legitimidade e eqidade (Donabedian,18 1990). Cada uma dessas dimenses dever ser especificada, para dados contextos, pela identificao dos critrios mais adequados para aquela situao, dando conta das suas particularidades e, ao mesmo tempo, mantendo uma coerncia entre si, pois apresentam uma interdependncia e um movimento que vai do mais especfico ao mais geral. Isso , as dimenses consideradas mais tcnicas condicionam as dimenses interpessoais, mas ao mesmo tempo dependem delas para realizarem seu potencial. Alm disso, os critrios e padres podem estabelecer nveis mnimos ou mximos de qualidade e se orientar segundo as prioridades dos prestadores dos servios, da viso dos usurios ou das prioridades definidas pela sociedade. So opes que devero ser definidas para cada avaliao14 (Donabedian,17 1988). Na dependncia dos objetivos a serem alcanados pela avaliao da qualidade do servio, ela poder constituir-se em pesquisa de avaliao, avaliao para deciso ou avaliao para gesto. Os dados que compem os instrumentos utilizados para a apreenso do objeto podero dizer respeito s condies estruturais, ou seja, aquelas condies que constroem e condicionam o universo de prticas a ser avaliado (recursos financeiros, humanos, fsicos, organizacionais etc.), os dados relativos aos processos que definem essas prticas (consultas, internaes, cirurgias, exames etc.) e as medidas que permitam a mensurao de resultados das mesmas (mortalidade, morbidade, medidas de qualidade de vida, notificaes, tempo de internao etc.).

As avaliaes de qualidade mais conhecidas de Donabedian dizem respeito ateno mdica, com nfase na efetividade, eficincia e otimizao dos procedimentos e servios, seguindo o padro das pesquisas de avaliao, que implicam geralmente a utilizao de variveis estruturais, de processo e de resultado, ao estabelecer relaes de causalidade. No entanto, o seu referencial terico tambm tem sido utilizado para outros profissionais, modalidades de ateno sade e tipos de avaliao, com a utilizao de metodologias quantitativas e qualitativas diversas. Contudo, possvel afirmar que h um maior aprofundamento nesse referencial terico das condies de produo do conhecimento (seja ele cientfico ou no) do que das suas condies de utilizao, tomadas como quase implcitas. Por exemplo, constitui-se em um processo tipicamente donabediano a transformao de guidelines construdas a partir de estudos clnicos, avaliaes tecnolgicas e avaliaes de programas, em critrios e padres de qualidade para um determinado servio; esses sero validados por uma pesquisa de avaliao e depois avaliados como instrumentos de monitoramento em uma avaliao para gesto, mostrando-se adequados ou no para compor um programa de garantia de qualidade em um servio. Para cada um desses momentos, os objetivos e as metodologias que podero viabiliz-los devem estar claramente definidos, no devendo ser valorizadas aquelas dimenses que dizem respeito s condies concretas dos servios e que podero interferir na incorporao desses conhecimentos. Observa-se nos textos de Donabedian 19 (1992) uma certa desconsiderao para com as condies operacionais, administrativas e de cultura organizacional. Outro referencial terico importante de problematizao da questo da qualidade em sade, e que valoriza esses aspectos, a vertente mais fortemente articulada gesto propriamente dita da qualidade, conhecida como Gesto da Qualidade Total GQT, quando ento a avaliao menos problematizada. Dessa forma, a fundamentao terica das prticas e a sua correta traduo em normas, critrios e padres considerada como geralmente j disponvel; sendo decisivos para a existncia da qualidade como parte do cotidiano dos servios, o desenvolvimento de mecanismos que promovam a adeso de tudo, e todos aos objetivos, definidos como prioritrios, estabelecidos da forma mais participativa possvel. Esse um campo em grande expanso, com muitos autores e muitas publicaes, sendo considerados como os principais tericos do movimento Ishikawa32

556

Avaliao em sade Novaes HMD

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

(1993), para o modelo japons de gesto da qualidade, e Juran & Deming (citados por Nogueira,39 1994) na perspectiva dos pases desenvolvidos ocidentalizados. Para a rea da sade, a referncia internacional Berwick (Nogueira,39 1994) e a perspectiva adotada fundamentalmente a do setor privado, sendo o cliente o principal elemento definidor da qualidade a ser construda. Na gesto da qualidade, o tipo de avaliao desenvolvido a avaliao para deciso, podendo tambm ser complementado com uma avaliao para gesto, com as caractersticas gerais apontadas anteriormente e com metodologias de apreenso da realidade muito prximas daquelas adotadas pelo planejamento estratgico-situacional, apesar das significativas diferenas no seu referencial terico (Rivera,51 1996). Uma forma especfica de avaliao, gesto e garantia de qualidade que tem se mostrado importante na rea da sade o desenvolvimento de sistemas de acreditao, basicamente para hospitais, mas com recentes propostas de sua extenso para redes de servios de sade (Scrivens,55 1995); articula esses trs momentos, constituindo-se em uma forma combinada de avaliao para deciso e avaliao para gesto. O pas onde essa proposta se desenvolveu originalmente foi os Estados Unidos, ainda nos anos 20 e 30, por iniciativa de associaes profissionais mdicas, que procuravam desenvolver instrumentos que lhes garantissem condies mnimas de atuao profissional, face aos interesses dos proprietrios dos hospitais privados. Tratava-se, portanto, de uma modalidade de defesa profissional, fortemente inserida na lgica geral de atuao profissional e de organizao do sistema de ateno sade americana. Em perodos mais recentes, passou a ser considerado tambm um instrumento importante para a insero institucional no mercado pelos hospitais privados, bem como um mecanismo de padronizao e garantia de qualidade bsica pelos gestores do setor pblico. Dessa forma, a atual Joint Commission on Accreditation of Healthcare Organizations (JCAHO), criada pela American College of Surgeons, American College of Physicians e American Hospitals Association, alm de algumas outras associaes menores, hoje responsvel pela realizao de um processo de avaliao dos hospitais e outros servios de sade, utilizando-se de uma metodologia padronizada, incluindo questionrios, entrevistas e observaes, que resulta em uma classificao da instituio avaliada, com aprovao total, parcial, condicionada ou rejeio. O conceito obtido nessa avaliao e a participao no sistema de monitoramento posterior

constituem um dos mais importantes instrumentos formais de garantia de qualidade para os hospitais americanos e parte ativa na negociao de acordos financeiros, busca de clientela e acordos de trabalho com os profissionais. Mais recentemente, Austrlia e Canad tm desenvolvido propostas semelhantes, em sistemas de sade com lgicas bastante diversas, em que h uma grande participao do Estado na organizao da ateno sade, mas nos quais essa caracterstica de delegao da avaliao das instituies hospitalares a uma organizao externa, fora do setor pblico, tem se mostrado aceitvel e at desejvel. Isso j no acontece na Gr-Bretanha, um pas que apesar de tambm ser anglosaxo (pois em pases com cultura latina esse tipo de prtica considerado ainda mais difcil de ser aceito) tem uma tradio de gesto pblica, de um lado, e de autonomia profissional, de outro, diversa. AVALIAO EM SADE NO BRASIL O eixo da anlise desenvolvida no presente estudo procurou, ao identificar tipologias e modalidades de prticas na avaliao sade, localiz-las tambm em momentos e contextos histricos especficos, por consider-los parte do seu processo de desenvolvimento. Nesse sentido, importante reconhecer que a insero das propostas e prticas de avaliao em sade em contextos diversos daqueles nos quais foram gerados, ao serem idias fora de lugar, necessitam (Novaes,41 1979) de uma reinterpretao e resignificao para poderem fazer sentido. A difuso das metodologias de avaliao em sade para os pases em desenvolvimento realizada de diversas maneiras. Nos pases com maior intercmbio cientfico com os pases centrais, ela se d por meio da literatura cientfica, congressos e reunies ou programas de ps-graduao. Alm disso, diversas organizaes internacionais, tanto de sade (World Health Organization, Organizao Panamericana de Sade, United Notions Childrens Fund) como financeiras (Banco Mundial), estimulam a sua utilizao em projetos de pesquisa com propostas metodolgicas estruturadas em pacotes, sendo a sua presena dominante nos pases com pouca densidade cientfica local.59,61 A justificativa apresentada para essas propostas fechadas e, geralmente, simplificadas, a grande utilidade dos processos de avaliao para a adequada identificao das prioridades em sade, a necessidade de um aprendizado rpido e de adaptao a contextos com recursos humanos menos qualificados e em menor nmero, recursos financeiros restritos, alm de poucas informaes previamente disponveis. Alte-

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Avaliao em sade Novaes HMD

557

ram-se, freqentemente, caractersticas consideradas centrais para os processos de avaliao, ou seja, aqueles procedimentos que buscam fazer com que as avaliaes articulem de forma efetiva o conhecer e o fazer, o que sempre pressupe uma grande personalizao dos processos. No foi tratada em profundidade, no presente estudo, a questo do significado e alcance da atuao dos organismos internacionais sobre as condies de vida e sade das populaes dos pases pobres, objeto de muitos estudos, mas to somente apontou-se a sua participao na difuso das metodologias de avaliao. Alm disso, importante salientar que tambm para os pases desenvolvidos, onde se originaram as propostas e prticas de avaliao analisadas nesse texto, no foi desenvolvida ainda uma avaliao mais ampla dessas prticas de avaliao desenvolvidas nesses pases, e a abordagem desse tema no presente estudo exigiria um estudo especfico, dada a sua complexidade. De uma maneira genrica, possvel afirmar que a participao efetiva dos resultados dos processos de avaliao nas grandes decises polticas para a rea da sade muito mais restrita do que o anunciado, havendo relativo impacto desses processos em um nvel mais especfico ou local (Freemantle,24 1995; Hartz,29 1998). No Brasil, no existiram, nem existem, os profissionais e as prticas institucionais tal qual apontadas para os pases desenvolvidos e, principalmente, para os Estados Unidos. No entanto, ocorreu tambm no Pas grande expanso de ateno sade, oferta de novas

tecnologias, desenvolvimento de modelos assistenciais diversos e crescimento da importncia poltica e econmica da ateno sade. Condies favorveis para que propostas de racionalizao das decises e das prticas encontrassem espao. Contudo, as condies econmicas e sociais, as prticas polticas, a organizao profissional, as culturas organizacionais so muito diferentes, o que levou a uma incorporao muito distinta dos diversos tipos de avaliao. possvel dizer que as avaliaes e alternativas metodolgicas diversas fazem parte hoje das preocupaes de gestores do setor pblico e privado, mas participam de forma ainda muito incipiente e marginal nos processos de deciso. No setor pblico, pela atuao da sade coletiva, h maior interesse pelas avaliaes de programas e, at agora, um mais discreto interesse pelas avaliaes de qualidade e tecnolgicas a criao de uma agncia de vigilncia sanitria nos moldes do Federal Drug Administration americano poder alterar esse panorama (Stenzel,58 1996 e os nmeros temticos de revistas4,23,49). No setor privado, observa-se interesse maior pelas propostas de gesto e garantia da qualidade, alm de existirem sistemas de acreditao e monitoramento de hospitais em atividade (Malik,34 1992; Malik,35 1996, Novaes & Paganini,40 1994), que podero ser incorporados pelo setor pblico hospitalar. O que se constata, no entanto, um certo recuo na visibilidade dessa questo, sem que tenha ocorrido uma efetiva institucionalizao de prticas de avaliao no setor.

REFERNCIAS
1. [AHCPR] Agency for Health Care Policy and Research. Translating evidence into practice 1997: conference summary. http://www.ahcpr.gov/clinic/trip1997/ (Available in 17-11-1998). 2. Aguilar MJ, Ander-Egg E. Avaliao de servios e programas sociais. Petrpolis: Vozes;1994. 3. Altman D. The scandal of poor medical research. BMJ 1994;308:283-4. 4. Avaliao tecnolgica em sade. Divulg Sade Debate 1991;(3). 5. Banta HD, Luce BR. Health care technology and its assessment: an international perspective. Oxford: Oxford University Press; 1993. 6. Banta HD, Perry S. A History of ISTAHC. A personal perspective on its first 10 years. Int J Technol Assess Health Care 1997;13:430-53. 7. Banta HD, Oortwijn WJ, van Beekman WT. The organization of health care technology assessment in the Netherlands. The Hague: Rathenau Institute; 1995. 8. Battista RN, Hodge MJ. The development of health care technology assessment: an international perspective. Int J Technol Assess Health Care 1995;11:287-300. 9. Bernstein RJ. Beyond objectivism and relativism: science, hermeneutics and praxis. Philadelphia: University of Philadelphia Press; 1983. 10. Cabatoff KA. Getting on and off the policy agenda: a dualistic theory of program evaluation utilization. Can J Program Eval 1996;11:35-60. 11. Chalmers A. A fabricao da cincia. So Paulo: Editora UNESP; 1994. 12. Chen HT. Theory-driven evaluations. Newbury Park: Sage Publications; 1990. 13. Contandriopoulos A-P, Champagne F, Denis JF, Pineault R. A avaliao na rea da sade: conceitos e mtodos. In: Hartz ZMA organizador. Avaliao em sade. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-48. 14. Denzin NK, Lincoln YS. Handbook of qualitative research. Thousand Oaks: Sage Publications; 1994.

558

Avaliao em sade Novaes HMD

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

15. Donabedian A. Continuity and change in the quest for quality. Clin Perform Qual Health Care 1996;1:9-16. 16. Donabedian A. Criteria and standards for quality assessment and monitoring. Qual Rev Bull 1986;12:99-108. 17. Donabedian A. The assessment of technology and quality. Int J Technol Assess Health Care 1988;4:487-96. 18. Donabedian A. The quality of care. How can it be assessed? JAMA 1988;260:1743-8. 19. Donabedian A. The role of outcomes in quality assessment and assurance. Qual Rev Bull 1992;18:356-60. 20. Donabedian A. The seven pillars of quality. Arch Pathol Lab Med 1990;114:1115-8. 21. Drummond MF, OBrien BE, Stoddart G, Torrance GW. Methods for the economic evaluation of health care programmes. Oxford: Oxford University Press; 1997. 22. Elixhauser A, Halpern M, Schmier J, Luce BR. Health care cost-benefit and cost-effectiveness analysis: an update. Med Care 1998; 36 (suppl 5):MS1-MS9, MS18-147. 23. Epidemiologia e avaliao de servios de sade. Cad Sade Pblica 1996;12(supl 2). 24. Freemantle N. Dealing with uncertainty: will science solve the problems of resource allocation in the U.K. NHS? Soc Sci Med 1995;40:1365-70. 25. Glymour C. Thinking things through: an introduction to philosophical issues and achievements. Cambridge: MIT Press; 1992. 26. Goodman C. Its time to rethink health care technology assessment. Int J Technol Assess Health Care 1992;8:335-58. 27. Greene JC. Qualitative program evaluation: practice and promise. In: Handbook of qualitative research. Denzin NK, Lincoln YS, editors. Thousand Oaks: Sage Publications; 1994. p. 531-44. 28. Guba EG, Lincoln YS. Fourth generation evaluation. Newbury Park: Sage Publications; 1989. 29. Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Rio de Janeiro. Cad Sade Pblica 1999;15:229-59. 30. Hartz ZMA, organizador. Avaliao em sade: dos modelos conceituais prtica na anlise da implantao de programas. Rio de Janeiro: Editora Fiocruz; 1997. 31. House ER. Evaluating with validity. Beverly Hill: Sage Publications; 1980. 32. Ishikawa K. Controle da qualidade total maneira japonesa. Rio de Janeiro: Campus; 1993. 33. Luce BR, Brown R E. The use of technology assessment by hospitals, health maintenance organizations and third party payers in the United States. Int J Technol Assess Health Care 1995;11:79-92.

34. Malik AM. Desenvolvimento de recursos humanos, gerncia de qualidade e cultura das organizaes de sade. Rev Adm Empres 1992;32:32-41. 35. Malik AM. Qualidade em servios de sade nos setores pblico e privado. Cad Fundap 1996;19:7-24. 36. Miles MB, Huberman AM. Qualitative data analysis. Thousand Oaks: Sage Publicatons; 1994. 37. Minayo MCS. O desafio do conhecimento: pesquisa qualitativa em sade. So Paulo: Hucitec/Abrasco; 1992. 38. Mohr LB. Impact analysis for program evaluation. Thousand Oaks: Sage Publications, 1995. 39. Nogueira RP. Perspectivas da qualidade em sade. Rio de Janeiro: Qualitymark; 1994. 40. Novaes HM, Paganini JM. Padres e indicadores de qualidade para hospitais (Brasil). Washington (DC): OPAS; 1994. 41. Novaes HMD. A puericultura em questo [Dissertao]. So Paulo: Faculdade de Medicina da Universidade de So Paulo; 1979. 42. Novaes HMD. Epidemiologia e avaliao em servios de ateno mdica: novas tendncias de pesquisa. Cad Sade Pblica 1996;12(Supl 2):7-12. 43. Novaes RL. Sobre a tcnica. Hist Cinc Sade 1996;3:24-49. 44. Panerai RB, Mohr JP. Health technology assessment methodologies for developing countries. Washington (DC): PAHO; 1989. 45. Parrochia D. Sciences exactes et sciences de lhomme: les grandes tapes. Paris: Ellipses; 1997. 46. Patton MQ. Utilization-focused evaluation. Thousand Oaks: Sage Publications; 1997. 47. Perry S, Gardner E, Thamer M. The status of health technology assessment worldwide. Int J Technol Assess Health Care 1997;13:81-98. 48. Portocarrero V. Filosofia, histria e sociologia das cincias. Rio de Janeiro: Editora Fiocruz; 1994. 49. Qualidade em sade. Cad Fundap 1996;(19). 50. Quine WV, Ullian JS. The web of belief. New York: Random House; 1970. 51. Rivera FJU. Planejamento estratgico-situacional ou controle de qualidade total em sade? Um contraponto terico-metodolgico. Cad Fundap 1996;19:25-46. 52. Rothman K. Causal inference. Chestnut Hill: Epidemiology Resources; 1988. 53. Rossi PH Freeman HE. Evaluation: a systematic approach. Thousand Oaks: Sage Publications; 1993. 54. Schoenbaum SC, editor. Using clinical practice guidelines to evaluate quality of care. Washington (DC): US Department of Health and Human Services. Agency for Health Care Policy and Research; 1995. v. 1.

Rev Sade Pblica 2000;34(5):547-59


www.fsp.usp.br/rsp

Avaliao em sade Novaes HMD

559

55. Scrivens E. Accreditation. Buckingham: Open University Press; 1995. 56. Shortell SM, Richardson WC. Health program evaluation. St Louis: Mosby; 1978. 57. Silva LMV, Formigli VLA. Avaliao em sade: limites e perspectivas. Cad Sade Pblica 1994;10:80-91. 58. Stenzel ACB. A temtica da avaliao no campo de sade coletiva: uma bibliografia comentada [Dissertao]. Campinas: Universidade Estadual de Campinas; 1996. 59. [UNICEF] United Nations Childrens Fund. An UNICEF guide for monitoring and evaluation. http://unicef.org/ otcgi/llscgi60.exe, 1998.

60. Witkowski N. Letat des sciences. Paris: La Dcouverte; 1991. 61. World Health Organization. Rapid evaluation method: guidelines for maternal and child health, family planning and other health services. Geneva: WHO; 1993. 62. Yates BT. Analyzing costs, procedures, processes and outcome in human services. Thousand Oaks: Sage Publications; 1996.

Вам также может понравиться