Вы находитесь на странице: 1из 187

Prticas de

avaliao em sade
no Brasil - dilogos

Marco Akerman
Juarez Pereira Furtado
organizadores

Srie Ateno Bsica e


Educao na Sade

Coordenador Nacional da Rede UNIDA


Alcindo Antnio Ferla
Coordenao Editorial
Alcindo Antnio Ferla
Conselho Editorial
Adriane Pires Batiston - Universidade Federal de Mato Grosso do Sul, Brasil
Alcindo Antnio Ferla - Universidade Federal do Rio Grande do Sul, Brasil
ngel Martnez-Hernez - Universitat Rovira i Virgili, Espanha
Angelo Steffani - Universidade de Bolonha, Itlia
Ardig Martino - Universidade de Bolonha, Itlia
Berta Paz Lorido - Universitat de lesIlles Balears, Espanha
Celia Beatriz Iriart - Universidade do Novo Mxico, Estados Unidos da Amrica
Dora Lucia Leidens Correa de Oliveira - Universidade Federal do Rio Grande do Sul, Brasil
Emerson Elias Merhy - Universidade Federal do Rio de Janeiro, Brasil
Izabella Barison Matos - Universidade Federal da Fronteira Sul, Brasil
Joo Henrique Lara do Amaral - Universidade Federal de Minas Gerais, Brasil
Julio Csar Schweickardt - Fundao Oswaldo Cruz/Amazonas, Brasil
Laura Camargo Macruz Feuerwerker - Universidade de So Paulo, Brasil
Laura Serrant-Green University of Wolverhampton, Inglaterra
Leonardo Federico - Universidade de Lanus, Argentina
Lisiane Ber Possa - Universidade Federal do Rio Grande do Sul, Brasil
Liliana Santos - Universidade Federal da Bahia, Brasil
Mara Lisiane dos Santos - Universidade Federal de Mato Grosso do Sul, Brasil
Mrcia Regina Cardoso Torres - Secretaria Municipal de Sade do Rio de Janeiro, Brasil
Marco Akerman - Universidade de So Paulo, Brasil
Maria Luiza Jaeger - Associao Brasileira da Rede UNIDA, Brasil
Maria Rocineide Ferreira da Silva - Universidade Estadual do Cear, Brasil
Ricardo Burg Ceccim - Universidade Federal do Rio Grande do Sul, Brasil
Rossana Staevie Baduy - Universidade Estadual de Londrina, Brasil
Sueli Goi Barrios - Ministrio da Sade - Secretaria Municipal de Sade de Santa Maria/RS, Brasil
Tlio Batista Franco - Universidade Federal Fluminense, Brasil
Vanderlia Laodete Pulga - Universidade Federal da Fronteira Sul, Brasil
Vera Lucia Kodjaoglanian - Fundao Oswaldo Cruz/Pantanal, Brasil
Vera Rocha - Associao Brasileira da Rede UNIDA, Brasil
Comisso Executiva Editorial
Janaina Matheus Collar
Joo Beccon de Almeida Neto
Arte grfica Capa
Editora Rede UNIDA
Projeto grfico
Editora Rede UNIDA
Diagramao
Luciane de Almeida Collar
Reviso de Lngua Portuguesa
Mnica Ballejo Canto

Srie Ateno Bsica e Educao na Sade

Marco Akerman
Juarez Pereira Furtado
Organizadores

Prticas de avaliao em sade no


Brasil - dilogos

DADOS INTERNACIONAIS DE CATALOGAO NA PUBLICAO-CIP


A314p
Akerman, Marco
Prticas de avaliao em sade no Brasil: dilogos / Marco Akerman, Juarez Pereira
Furtado, organizadores. Porto Alegre: Rede Unida, 2015.
374 p. (Srie Ateno Bsica e Educao na Sade)
ISBN: 978-85-66659-46-7
DOI: 10.18310/9788566659467
1. Avaliao em Sade. 2. Tecnologias em Sade. 3. Ateno primria Sade. 4.
Programa Nacional de Melhoria do Acesso e da Qualidade da Ateno Bsica
(PMAQ). 5. Qualiaids. I. Furtado, Juarez Pereira. II. Ttulo. III. Srie.
CDU: 614
NLM: W84.4

Grafia atualizada segundo


o Acordo Ortogrfico da
Lngua Portuguesa de 1990,
que entrou em vigor no
Brasil em 2009.
Copyright 2016 by Marco
Akerman e Juarez Pereira
Furtado.

Ficha catalogrfica elaborada pela bibliotecria Aliriane Ferreira Almeida CRB 10/2369

Todos os direitos desta edio reservados Associao Brasileira Rede UNIDA


Rua So Manoel, n 498 - CEP 90620-110, Porto Alegre RS Fone: (51) 3391-1252
www.redeunida.org.br

1 Edio
Porto Alegre/RS - 2016
Editora Rede UNIDA

SUMRIO

Apresentao
PREFCIO
- Alcindo Antnio Ferla.....................................................7
Os
organizadores...............
APRESENTAO - Os organizadores...............................................11
Prefcio (Aguardando texto)
PARTE 1 - Refletindo sobre a avaliao em sade.......15
Alcindo Ferla.................

Captulo 1 - Entre os campos cientficos e burocrticos - a trajetria da avaliao em sade no Brasil


Juarez Pereira Furtado, Lgia Maria Vieira da Silva..........................17
Captulo 1 - Entre os campos cientfico e burocrtico: a trajetria
Captulo
2 - Avaliao
de Brasil
Tecnologias em Sade
da avaliao
em sade no
Juarez Pereira
Furtado,
Lgia
Maria Vieira
da Silva
Hillegonda
Maria
Dutilh
Novaes,
Patrcia
Coelho de Sorez.............59
sadea experincia do
Captulo 23 --Avaliao
Avaliaode
detecnologias
servios deem
sade:
Hillegonda
Maria
Dutilh
Novaes,
Patrcia
Coelho
de
Sorez
Qualiaids

Maria Ines Battistella Nemes, Elen Rose Lodeiro Castanheira, Ana


Captulo
3- Avaliao
de servios
de Ana
sade:
a experincia
do
Paula
Loch,
Maria Altenfelder
Santos,
Maroso
Alves, Regina
Melchior,
QualiaidsMaria Teresa Seabra Soares de Brito e Alves, Critas Relva
Basso,
Joselita
MariaNemes,
de Magalhes
Caraciolo,
Tatianna Ana
Meireles
Maria Ines
Battistella
Elen Rose Lodeiro
Castanheira,
Paula
Dantas
de Alencar,
Wania
Maria
do Esprito
Santo
Carvalho,
Ruth
TeLoch, Maria
Altenfelder
Santos,
Ana Maroso
Alves,
Regina
Melchior,
Maria
rezinha
Kehrig,
Mariana
Felipe
Campos
Vale,
JuliaTeresa Seabra
Soares
de BritoArantes
e Alves, Nasser,
Critas Relva
Basso,
Joselita
Maria
de
na
Mercuri,Caraciolo,
Renata Bellenzani,
Marta Dantas
Campagnoni
Andrade,
Magalhes
Tatianna Meireles
de Alencar,
WaniaRachel
Maria
Baccarini,
MinamiRuth
Yokaichiya,
Aparecida
MonroeNasser,
e Ando Esprito Chizuru
Santo Carvalho,
TerezinhaAline
Kehrig,
Mariana Arantes
Felipe Aparecida
Campos Vale,
Juliana
Mercuri, Renata Bellenzani, Marta Campagnoni
.................................................................93
gela
Donini
Andrade, Rachel Baccarini, Chizuru Minami Yokaichiya, Aline Aparecida

Monroe e Angela
AparecidaEconmica
Donini
Captulo
4 - Avaliao
em Sade

Patrcia Coelho de Sorez e Hillegonda Maria Dutilh Novaes.........147

Captulo 4 - Avaliao econmica em sade

Patrcia Coelho de Sorez e Hillegonda Maria Dutilh Novaes

PARTE 2 - Desafios do Programa Nacional de Melhoria do Acesso e da Qualidade da Ateno Bsica


Parte 2 Desafios do Programa Nacional de Melhoria
(Pmaq)......................................................................................187
do Acesso e da Qualidade da Ateno Bsica (Pmaq)
Captulo
bsica
no
Captulo 55 -- Desafios
Desafios para
paraaaavaliao
Avaliaonanaateno
Ateno
Bsica
Brasil:
a
diversidade
de
instrumentos
contribui
para
a
instituino Brasil: a diversidade de instrumentos contribui para a
o
de umade
cultura
avaliativa?
instituio
uma cultura
avaliativa?
Elen Rose Lodeiro Castanheira, Patricia Rodrigues Sanine, Thais FerElen Rose Lodeiro Castanheira, Patricia Rodrigues Sanine, Thais Fernanda
nanda
Tortorelli
Zarili,
Maria
Ines Battistella
Nemes....................189
Tortorelli
Zarili, Maria
Ines
Battistella
Nemes

PREFCIO

Captulo
PMAQ So
SoPaulo:
Paulo:avaliao,
avaliao,articulao
articulaoem
em
rede
Captulo 66 -- PMAQ
rede
e
eresultados
resultadospreliminares
preliminares

Marco Akerman,
Akerman,Juarez
Juarez
Pereira
Furtado,
Maria
do Bava,
CarmoAugusto
Caccia
Marco
Furtado,
Maria
do Carmo
Caccia
Bava,
Augusto,
Mathias,
Vnia
Barbosa
do
Nascimento,
Lcia
Izumi,
Mathias, Vnia Barbosa do Nascimento, Lcia Izumi, Lislaine Fracolli,
Lislaine
Fracolli,
Maria
Jos
Bistafa,
Pereira,
Lara
Motta,Ione
FerreiMaria Jos Bistafa Pereira, Lara Motta, Ione Ferreira Santos, Elen Rose
ra Santos,
Elen Rose,
Oziris
Simes,
Isa Trajtergetz,
Adriana
Barbosa,
Lodeiro
Castanheira,
Oziris
Simes,
Isa Trajtergetz,
Adriana
Barbosa,
Grace
Grace
Noronha,
Tereza
Nakagawa,Geovani
Gurgel
Aciole
Silva,
Noronha, Tereza Nakagawa, Giovanni Accioli, Laura Feuerwerker,daMarcia
Laura Feuerwerker, Marcia Tuboni.............................................233
Tuboni

Captulo
O Processo
processo de
de avaliao
avaliao do
doPMAQ-AB:
PMAQ-AB:ooolhar
olharde
de
Captulo 77 -- O
uma
equipe
uma equipe

MargarethAparecida
Aparecida
Santini
de Almeida,
Spiri, Carmen
Margareth
Santini
de Almeida,
WilzaWilza
Carla Carla
Spiri, Carmen
Maria
Maria
Casquel,
Monti
Juliani,
Luceime
Olvia
Nunes,
Ndia
Placideli,
Casquel Monti Juliani, Luceime Olvia Nunes, Ndia Placideli, Elen
Rose
Elen Rose
Lodeiro Castanheira...................................................269
Lodeiro
Castanheira

Captulo 88 -- PMAQ:
PMAQ:consideraes
Consideraescrticas
crticaspara
paratransformao
transforma-l
Captulo
em um
um dispositivo
dispositivo para
para aa produo
produo de
de mudanas
mudanasno
norumo
rumoda
da
em
melhoria
do
acesso
e
da
qualidade
da
ateno
bsica
melhoria do acesso e da qualidade da Ateno Bsica

Mariado
doCarmo
CarmoGuimares
Guimares
Caccia
Bava;
Maria
Jose Bistafa
Pereira;
Maria
Caccia
Bava,
Maria
Jose Bistafa
Pereira,
Lucila
Brando
Hirooka,Hirooka;
GuilhermeGuilherme
Vincius Catanante,
Souza Porto
Lucila Brando
Vincius Hlio
Catanante;
Hlio Souza
Porto.......................................................................................293
Captulo 9 - Subsdios a meta-avaliaes do PMAQ
Rogrio
Silva, Juarez
Pereira
Furtado, do
Marco
Akerman, Max
CaptuloRenato
9 - Subsdios
a meta
- avaliaes
PMAQ

Gasparini
Rogrio Renato Silva, Juarez Pereira, Furtado, Marco Akerman, Max

Gasparini.................................................................................327
Posfcio Para onde caminhamos com a avaliao no Brasil?
Osvaldo
Yoshimi- Tanaka,
Lauridsen-Ribeiro
POSFCIO
Para Edith
onde
caminhamos com avaliao no
Brasil?.........................................................................................357

Sobre
Autores...................
SOBREosOS
ORGANIZADORES.....................................................365
SOBRE OS AUTORES.................................................................367

Prticas de Avaliao como Dispositivos de Dilogo


Um primeiro registro necessrio nesse prefcio a
comemorao do lanamento da coletnea Prticas de
avaliao em sade no Brasil - dilogos, organizada a partir
de um esforo robusto por Marco Akerman e Juarez Pereira
Furtado. Ela resultado de inquietaes e acumulaes
sobre esse tema em um conjunto de situaes que tambm
merecem registro: por um lado, dos esforos acadmicos,
tanto tericos quanto metodolgicos e empricos, sobre
o tema; por outro lado, de iniciativas governamentais
e de grupos de interesse da sociedade civil para avaliar
polticas e programas, com alguma frequncia premidas
pela escassez de recursos, por demandas crescentes e
por evidncias de insucesso, j que a complexidade que
envolve o fazer no cotidiano normalmente transcende em
muito a capacidade de abrangncia dos modelos lgicos,
sejam de natureza terico metodolgica ou emprica, seja
da ordem da engenharia poltica governamental ou de
grupos de interesse da sociedade civil (a includos tambm
pesquisadores e tericos). Mas no exatamente do plano
que constitui sentido para essa polarizao que emergem
as produes que compem a coletnea. H um plano

Marco Akerman e Juarez Pereira Furtado (Orgs)

transversal, oblquo, qui sinuosamente oblquo, que


merece ser comemorado na apresentao dessa publicao
com manuscritos sobre um tema to complexo e atual como
a avaliao sob a lgica do dilogo.
A aposta em dialogar sobre a avaliao marca,
profundamente, a coletnea de textos que se segue. , no
meu entendimento, a contribuio singular desse esforo
to bem dirigido e finalizado por Marco e Juarez. O dilogo
no exatamente uma troca linear e despretensiosa. H
sempre uma expectativa de movimento no dilogo, de
deslocamento de posies. O conceito de aprendizagem em
Paulo Freire provavelmente ilustra melhor essa situao.
A aprendizagem s existe, segundo nosso educador
mais clebre, com o deslocamento do j conhecido. Nos
tornamos outros com a aprendizagem e a aprendizagem
somente se manifesta na medida em que nos tornamos
outros, ou seja, que o objeto da aprendizagem nos permita
mais autonomia e capacidade crtica. Pois bem, os dilogos
sobre a avaliao que compem esta coletnea emergem
de prticas avaliativas (empricas, metodolgicas e tericas)
produzidas em rede cientfica por um conjunto de atores
que se mobilizou a partir do Programa Nacional de Melhoria
do Acesso e da Qualidade da Ateno Bsica (PMAQ-AB). H
hbridos de vrias caractersticas aqui: academia/governo/
servios, perspectivas de diferentes disciplinas, inseres
institucionais diversas e heterogneas. A disposio ao
dilogo parece ser o elo de conexo mais forte entre esses
hbridos e, penso, essa a mais potente caracterstica da
iniciativa.
Nesse caso, o PMAQ-AB mais do que uma iniciativa
governamental que produz aes de monitoramento
e avaliao vinculadas a um conjunto de necessidades
de diferentes atores. O PMAQ-AB aqui funcionou como
dispositivo ao provocar dilogos sobre avaliao: modelos,
8

Prticas de avaliao em sade no Brasil - dilogos

teorias, mtodos, prticas, interesses, pontos de vista,


relaes com as polticas. Assim, avaliao deixa de ser um
fato da ordem disciplinar, que se teoriza e que se transmite,
e se constitui em objeto de dilogo e de aprendizagem.
Aprendizagem por contato com a diferena. Os registros,
nesse caso, deixam de ser da ordem do conhecimento a ser
prescrito e se tornam convites ao dilogo, ao conhecimento
que se produz de forma compartilhada.
Pensar numa cultura de avaliao, como convite
permanente ao dilogo, uma boa disposio poltica
para o desenvolvimento dos sistemas e servios de
sade, tambm do conhecimento acadmico na rea.
Produzir novos padres e novas configuraes culturais
para a relao entre a gesto e a cincia e a tcnica um
desafio impostergvel para a qualificao das prticas no
interior dos sistemas de sade. s iniciativas de avaliao
e monitoramento se passa a requerer, portanto, tambm
a capacidade pedaggica de produzir aprendizagens, de
configurar movimentos, de gerar novos padres de cultura.
No apenas a constatao e o juzo, desde pontos de vista
especficos, mas a produo de movimentos, de dilogos.
Confesso que essa leveza, em grande medida
articulada pelos modos singulares de ser dos organizadores
e dos autores, me mobilizou muito. Vivemos tempos em
que a apressada formulao de juzos de valor e a produo
de sentenas discursivas e penalidades concretas parece ser
uma prtica social e culturalmente aceita. No apenas na
seleo do acesso s polticas pblicas e outras evidncias
da ordem dos modos de organizao dos servios e suas
relaes com as pessoas, mas tambm nas polticas que
mediam as relaes entre as pessoas (violncia de gnero,
relaes assediosas no interior dos servios e no cotidiano
da formao...). Produzir conhecimentos em oposio a essa
apresentao das relaes um desafio civilizatrio. Penso
9

Marco Akerman e Juarez Pereira Furtado (Orgs)

que convidar ao dilogo sobre a avaliao, construindo


pontes entre a teoria e a poltica, uma iniciativa que
fortalece essa ideia. Se aprendemos relaes marcadas
pela verticalidade do poder e do saber, o convite ao dilogo
tambm um convite para aprender em redes. No um
aprender desprovido de poder, mas de aprender que o
poder do saber tambm circula.
Da leitura dos textos que compem a coletnea
passaram a me acompanhar muitos pensamentos e muitas
sensaes. A que me mobiliza agora que avaliao de
polticas e programas tambm um assunto para o dilogo.
Ao bom dilogo!
Boa leitura!
Alcindo Antnio Ferla
Mdico, Doutor em Educao,
Professor da Universidade
Federal do Rio Grande do Sul,
com atuao na Graduao e
Ps-Graduao em Sade Coletiva

APRESENTAO

Analisar, educar e governar constituem, para Freud


(19801), tarefas impossveis, incapazes de abarcar o real,
todas elas limitadas e imperfeitas. Ao analisar/educar/
governar, talvez pudssemos juntar o avaliar, termo
polissmico cuja multiplicidade de entendimentos se reflete
na igualmente diversificada metodologia e inesgotvel
debate sobre o que sustentaria essa iniciativa de julgar o
valor de uma dada coisa, ou interveno, ou ainda, no caso
especfico da Sade, de um programa ou servio. Por sua
vez, da Sociologia tem partido questionamentos sobre usos
e, sobretudo, o que consideram potenciais ou manifestos
abusos da avaliao na sociedade atual, relativos s
chamadas novas tcnicas de gerencialismo embutidas em
iniciativas avaliativas ou as relaes entre avaliao e poder.2
Ainda que comporte potenciais ou manifestos
riscos, dada a sua inextricvel relao com a deciso e,
portanto, com o poder, a avaliao ainda assim, ou por
isso mesmo, deveria ser expandida e tornada sistemtica
quando tratamos da coisa pblica. Programas e servios
FREUD, S. Anlise terminvel e interminvel. In FREUD, S. Edio
standard brasileira das obras psicolgicas completas de Sigmund Freud
(Vol. 23, pp. 239-287). Rio de Janeiro: Imago, 1980. (Trabalho original
publicado em 1937)
2
CAHIERS Internationaux de Sociologie 2010; CXXVIII-CXXIX:1-192.
Cits, Philosophie, Politique, Histoire 2009; 37:1-211.
1

10

Marco Akerman e Juarez Pereira Furtado (Orgs)

podem tornar-se mais republicanos se aumentarem sua


transparncia e prestarem conta comunidade mais geral
de seus erros e acertos. E a avaliao pode se constituir uma,
dentre outras prticas sociais possveis, a somar esforos na
busca de sistematizar e apresentar a usurios e cidados
os resultados dos investimentos pblicos no setor Sade.
Alm de ajudar profissionais e gestores a qualificarem suas
prticas e iniciativas.
O presente livro mais uma contribuio ao debate
da avaliao em sade no Brasil. Dividido em duas
partes, voltadas respectivamente ao debate de questes
transversais rea na atualidade e a discusses de questes
da avaliao com base emprica constituda pelo Programa
Nacional de Melhoria do Acesso e da Qualidade da Ateno
Bsica (Pmaq). As interfaces entre os campos cientfico e
burocrtico na constituio do espao social da avaliao
no Brasil e reflexes entre iniciativas avaliativas em reas
especficas avaliao econmica, avaliao em DST-Aids
e avaliao tecnolgica so desenvolvidas na primeira
parte, composta por quatro captulos. Os cinco captulos da
segunda parte tomam o Pmaq como objeto central de suas
reflexes, sendo o ltimo deles a oferta de subsdios para
avaliao sistemtica do prprio Pmaq, dirigido a eventuais
meta-avaliaes do mesmo. Ao final, contamos com um
posfcio, redigido pelo prof. Oswaldo Tanaka, que cumpre a
funo de alinhar essa publicao ao que vimos afirmando:
ao indagar sobre para onde caminhamos com a avaliao
no Brasil e apresentar suas concepes, convoca-nos ao
debate em torno das direes para os diversos modos
de compreendermos e efetivarmos avaliaes. O que
queremos e, sobretudo, de que precisamos para subsidiar
o contnuo processo de civilidade de nosso pas, para o qual
a avaliao sistemtica pode contribuir, um debate aberto
e que se materializa tambm neste livro.
12

Prticas de avaliao em sade no Brasil - dilogos

H ainda muitas lacunas a serem contempladas no


espao da avaliao em sade, coisas a serem reveladas
ou simplesmente a serem ditas e debatidas e que
inevitavelmente no sero todas contempladas nesta
publicao. O que ainda falta? Algo na falta insiste,
sustentando o prprio processo de indagao e pesquisa.
Que as bases simultaneamente emprica e terica
contribuam com o avano da avaliao, rea cuja razo
de ser reside justamente nessa interface entre o fazer e o
indagar sistemtico.
Os organizadores

13

PARTE 1

Refletindo sobre
a avaliao
em Sade

CAPTULO 1
ENTRE OS CAMPOS CIENTFICO
E BUROCRTICO - A TRAJETRIA DA
AVALIAO EM SADE NO BRASIL
Juarez Pereira Furtado
Lgia Maria Vieira da Silva

Introduo
As interaes verificadas entre os diferentes nveis do
Sistema nico de Sade (SUS) e distintos grupos inseridos
em universidades brasileiras, para o desenvolvimento de
atividades de avaliao de intervenes sanitrias, refletem
importante caracterstica da constituio do espao da
avaliao em sade no Brasil nas ltimas trs dcadas. O
Programa Nacional de Melhoria do Acesso e da Qualidade
da Ateno Bsica (Pmaq) e o Projeto de Expanso e
Consolidao Sade da Famlia (Proesf) constituem
exemplos recentes dessa colaborao entre a gesto do
SUS nos nveis central, estadual e municipal, por um lado,
e pesquisadores vinculados academia, por outro que
podem ser caracterizados como a articulao entre o campo
burocrtico e o campo cientfico respectivamente. Ou seja,

Marco Akerman e Juarez Pereira Furtado (Orgs)

assim como a Sade Coletiva, na qual se encontra inserido,


o espao da avaliao em sade no Brasil caracteriza-se por
especial aproximao entre dois campos o cientfico e o
burocrtico.
De modo a melhor compreender a gnese dessa
relao e suas repercusses para a prtica e a teoria da
avaliao em sade, apresentaremos a seguir anlise
scio-histrica da emergncia da avaliao em sade no
Brasil, tomando como ponto de partida a Lei Orgnica da
Sade, de 1990, que cria o SUS e como ponto de chegada
a criao do Grupo Tcnico de Monitoramento e Avaliao
de Programas e Polticas de Sade da Associao Brasileira
de Sade Coletiva (GT-Avaliao da Abrasco) em 2006.
Por meio da presente discusso, pretendemos trazer
subsdios para o avano na compreenso dos fatores
precipitantes, bem como dos agentes e das instituies
que somados conformaram o que compreendemos como
espao da avaliao em sade no Brasil da atualidade. Para
a realizao dos trabalhos empricos e anlise, utilizamos
o referencial terico desenvolvido pelo socilogo francs,
Pierre Bourdieu (1930-2002), especialmente os conceitos
de campo, habitus e capital. Parte do contedo presente
neste captulo foi inicialmente discutido em Furtado e
Vieira-da-Silva (2014).

Por uma anlise scio-histrica da avaliao em sade


De planos emergindo, mas no planejada,
Movida por propsitos, mas sem finalidade.
(Norbert Elias)

O modo como Guba e Lincoln (2011), no final dos anos


1980, sistematizaram o percurso histrico da avaliao de
programas e servios nos EUA, foi especialmente assimilado
18

Prticas de avaliao em sade no Brasil - dilogos

e ecoa at os dias de hoje como uma explicao quase


definitiva. Os dois autores apresentaram, por meio do livro
intitulado Avaliao de Quarta Gerao, uma proposta de
superao de aspectos que consideravam problemticos
na prtica da avaliao em seu pas naquele momento:
preponderncia do positivismo no embasamento da
prtica cientfica que alimentava a rea, centralidade da
avaliao em aspectos ligados gesto e limitada insero
de outros agentes sociais no processo avaliativo o que
tornava a avaliao assunto de especialistas a ser realizada
por indivduos ou instituies totalmente externas ao ente
avaliado. Tais caractersticas, segundo os dois autores, seriam
marcantes no que eles nomearam de geraes anteriores.
Tais geraes se caracterizariam, respectivamente, pela
mensurao, a descrio e o julgamento, sendo que cada
uma delas seria hegemnica sobre as outras em perodos
distintos por eles circunscritos na primeira metade do
sculo XX. (GUBA; LINCOLN, 2011)
A iniciativa de caracterizar criticamente a trajetria
da avaliao no sculo XX, como geraes delimitando
correspondentes concepes e referenciais metodolgicos
, somada nfase na incluso de mais agentes sociais
no processo e na utilizao de referenciais qualitativos
de investigao, configurou o que os prprios autores
nomearam com a avaliao de quarta gerao. Tal proposta
contribuiu para o debate na rea ao se contrapor a modelos
positivistas e neopositivistas praticamente exclusivos
poca, tendo a receptividade a essas ideias tornado o livro
Avaliao de Quarta Gerao um clssico tanto nos EUA
quanto no Brasil. No entanto, o modelo proposto por Guba
e Lincoln (2011) para explicar a cronologia da avaliao nos
EUA configura-se um artifcio ao conceber linearidade entre
as geraes, que se sucederiam uma aps outra no tempo,
alm de pressupor homogeneidade em cada uma das destas
geraes. Tal modelo no permite explicar a simultaneidade
19

Marco Akerman e Juarez Pereira Furtado (Orgs)

de referenciais que vem caracterizando o espao da


avaliao, no qual os polos que enfatizam a mensurao do
objeto avaliado coexistem e influenciam aqueles dirigidos a
descrever ou julgar o mesmo. A caracterizao do percurso
da avaliao em etapas ou geraes se apresenta como
recurso pedaggico til, possibilitando indicar diferentes
tendncias na rea, que predominaram sobre outras em
determinados momentos. Porm, tal caracterizao no
deveria subestimar as contradies e disputas inerentes s
prticas sociais ali presentes, cuja emergncia e durao
depende de condies objetivas, bem distintas da impresso
de sucesso evolutiva ascendente e inexorvel que a ideia
de geraes da avaliao costuma suscitar.
A histria da avaliao nos EUA foi objeto de outros
estudiosos que, no entanto, apresentaram limitaes ao
utilizarem como eixo de anlise eventuais antagonismos
metodolgicos presentes em distintas propostas, como
fez Stake (2006), ao caracterizar a rea segundo a maior
ou menor abertura apresentada ao contexto pelas
estratgias metodolgicas empregadas, por um lado, ou
ao seguimento de padres preestabelecidos, por outro.
Uma terceira via utilizada para caracterizar a trajetria
da avaliao no tempo foi a vinculao da evoluo do
pensamento sobre a avaliao a determinados autores que
representariam paradigmas e ideias dominantes da rea,
em certo perodo, marcando assim o percurso histrico
e seus estgios de desenvolvimento, segundo a obra de
formuladores reconhecidos. (SHADISH, 1991) Nesse ltimo
caso, fatores que possivelmente determinaram ou ao
menos influenciaram o estabelecimento desses mesmos
paradigmas e a formulao de determinadas propostas,
extrapolando seus autores, so desconsiderados, ou seja,
so levados em conta os agentes de importncia na rea,
mas no as condies e possibilidades que os levaram
a agir e pensar de uma forma ou outra. Finalmente, a
20

Prticas de avaliao em sade no Brasil - dilogos

rea da avaliao de programas e servios nos EUA foi


tambm abordada segundo aspectos factuais de seu
desenvolvimento, de maneira pouco crtica, (ROSSI et al.,
2004) desarticulada de referencial terico explicativo, numa
verdadeira sucesso cronolgica de datas e nomes sem
anlise. Excees ao que vimos afirmando neste pargrafo
so raras, sendo a anlise crtica e distanciada como aquela
empreendida por Monnier (1987), cuja condio de europeu
radicado nos EUA dos anos 1970 parece ter lhe permitido a
percepo das idiossincrasias presentes na evoluo da rea
no norte da Amrica, oferecendo subsdios compreenso
das disputas e antagonismos, inexistentes nas outras obras
citadas, que marcaram o desenvolvimento da avaliao nos
EUA.
O que discutimos at aqui diz respeito a tentativas de
descrever e/ou analisar o percurso histrico das iniciativas
de avaliao de programas e servios nos EUA. No entanto,
ao serem transpostas para outras realidades, como
frequente no caso do modelo das quatro geraes, proposto
por Guba e Lincoln (2011), de esperar que apresentem
limitaes importantes. Afinal, como compreender os
fatores que induziram ou dificultaram a expanso do
espao da avaliao em sade, no interior do setor Sade,
em nosso pas? Como os agentes e instituies intervieram
nesse processo? Como foi estruturada a avaliao em sade
em nossas instituies, configurando o perfil atual? Para
responder a essas questes necessria a constituio de
um olhar prprio sobre o percurso da avaliao de programas
e servios no Brasil, levando em conta as influncias sociais
e histricas locais e, sobretudo, desnaturalizando verses
transpostas de maneira acrtica para contextos e pocas
sensivelmente distintos.
De modo a compreender em mais profundidade o
percurso prprio do espao da avaliao em sade no Brasil,
21

Marco Akerman e Juarez Pereira Furtado (Orgs)

faz-se necessrio superar o alinhavo cronolgico de fatos


ou a demarcao de perodos segundo a preponderncia
de determinados agentes ou ideias desarticulados dos
constrangimentos de diversas ordens, sobretudo aquelas
provenientes de diferentes disputas e de condies
objetivas. Assim sendo, analisaremos a avaliao em
sade como espao social, por meio de estudo emprico
baseado em anlise documental e elaborao da trajetria
de importantes agentes envolvidos no desenvolvimento
dessa rea no Brasil, nas ltimas dcadas, por meio de
entrevistas em profundidade. Utilizaremos um quadro
terico-metodolgico que integra tradies objetivistas
que buscam evidenciar as estruturas que sustentam as
interaes e prticas humanas com tradies subjetivistas
que privilegiam indivduos e suas intenes deliberadas ou
no conscientes, vontades, crenas e orientaes prticas
mobilizadas na efetivao de suas condutas. O desafio que
se apresenta, a partir desse referencial, atrelar dimenses
relativas ao agente quelas ligadas s estruturas sociais,
de tal modo que na ao individual possamos reconhecer
padres extraindividuais e vice-versa.
Os versos de Elias constantes na epgrafe deste tpico
relativizam concepes teleolgicas ou evolucionistas
que regulariam o desenvolvimento histrico. A busca
de elaborao de enfoque terico-metodolgico que,
ao mesmo tempo, englobe os planos do indivduo e das
estruturas que o envolvem, foi considerado e perseguido
por vrios autores em distintas pocas, porm em poucos
estudiosos a necessidade de superao da dicotomia
subjetivismo/objetivismo na Sociologia e nas Cincias
Humanas atingiu a centralidade presente nas obras do
socilogo francs Pierre Bourdieu. Especialmente, no
caso de Bourdieu, o modelo de relaes proposto entre
as noes de habitus e campo fornece maneira rigorosa
22

Prticas de avaliao em sade no Brasil - dilogos

de reintroduzir os agentes e suas aes singulares e suas


correlaes com as estruturas sociais. Abordaremos o
desenvolvimento do espao da avaliao em sade no
Brasil no perodo compreendido entre 1990, ano da Lei
Orgnica da Sade que institui o Sistema nico de Sade
(SUS), e a criao do Grupo Tcnico de Monitoramento e
Avaliao de Programas e Polticas de Sade da Associao
Brasileira de Sade Coletiva (GT-Avaliao da Abrasco), em
2006, durante o VIII Congresso Brasileiro de Sade Coletiva,
no Rio de Janeiro.

Pressuposto e referencial utilizado


A avaliao de programas e servios pode ser
compreendida como a abordagem sistemtica de
determinadas prticas sociais (sade includa) visando
realizar um julgamento dentre muitos possveis o que
equivale a reconhecer que h muitas outras formas de
estabelecer juzos em tornos das prticas em sade. (VIEIRADA-SILVA, 2005) No caso da avaliao, eventuais juzos
devem estar acompanhados de critrios preestabelecidos
em outras instncias ou institudos em comum acordo com
os grupos de interesse, sobre um ou mais dos aspectos
envolvidos nessas mesmas prticas, devendo ao final do
processo oferecer subsdios para eventuais tomadas de
deciso. Tal como a Sade Coletiva, na qual est inserida,
a avaliao em sade pode ser vista, em uma primeira
aproximao, como espao de saberes e prticas. No
entanto, importante avanar, identificando eventuais lutas
e disputas ao interior desse mesmo espao. (FURTADO;
VIEIRA-DA-SILVA, 2014) Por essa razo, na constituio
da base emprica que subsidia essa discusso, inclumos
tanto iniciativas em avaliao voltadas gesto quanto
aquelas endereadas gerao de novos conhecimentos,
23

Marco Akerman e Juarez Pereira Furtado (Orgs)

que tm nas trs esferas administrativas do SUS e em


grupos universitrios, respectivamente, seus principais
representantes. No que concerne ao SUS, privilegiamos
aes de interesse desenvolvidas pelo Ministrio da Sade,
dada as limitaes para uma abordagem dos nveis estadual
e municipal que compem esse sistema. Alm disso, h que
se considerar o carter indutor da administrao federal em
relao aos outros nveis.
Partimos do pressuposto de que o espao da
avaliao vem progressivamente se destacando dos
demais, dotando-se de formas que o caracterizariam como
um universo particular, um microcosmo social com relativa
autonomia em relao s demais subreas que compem
a Sade Coletiva no Brasil. Ainda que certa diferenciao e
contornos caracterize a avaliao em Sade em nosso pas,
resta saber se teramos ali algo que possa ser compreendido
como um campo na acepo desenvolvida pelo socilogo
francs Pierre Bourdieu.
Para Bourdieu (2010), o campo constitui espao
particularizado cujas estruturas que o sustentam e as
relaes entre seus agentes podem ser objetivadas,
ao interior do qual diferentes indivduos e instituies
disputam recursos ao mesmo tempo que compartilham
interesses perseguindo fins especficos. O autor
desenvolveu o conceito de campo para lidar com a
permanente diferenciao social do mundo moderno. Um
dado campo, na perspectiva bourdieusiana, atrai agentes
com disposies mentais, corporais e modos de pensar,
perceber, interpretar classificar e agir semelhantes, ao
mesmo tempo em que refora esses mesmos modos. Nesse
sentido, esperado que integrantes de um mesmo campo
apresentem habitus comuns.
Resultante das sucessivas posies ocupadas pelo
indivduo no espao social, o habitus pode ser considerado
24

Prticas de avaliao em sade no Brasil - dilogos

como a incorporao inconsciente das estruturais sociais,


algo a que estamos sujeitos desde os primeiros anos de
vida ou infncia. Assim, nossa lngua materna, a regio
geogrfica em que nascemos e, mais tarde, nossa insero
profissional vo progressivamente estabelecendo e
moldando o nosso habitus, que pode ser compreendido
como matriz de nossas disposies, orientadora de nossas
percepes, interpretaes e aes. O habitus permite
compreender o dialtico processo entre agente e estrutura,
entre interiorizao da exterioridade social e exteriorizao
da interioridade, superando antagonismos consagrados
como a polaridade entre objetivismo e o subjetivismo.
Por outro lado, Bourdieu (2000) prope uma
economia de bens simblicos, na qual a economia
seria apenas uma de suas dimenses. Assim, ao capital
econmico se juntariam o capital cultural (bens simblicos
naturalmente assimilados no meio social de origem ou
adquirido por meio de instituies, como a escola), capital
social (composto pela rede de relaes permanentes e teis)
e capital simblico (decorrente dos outros capitais, referese ao reconhecimento, por terceiros, das diversas espcies
de capital, naturalizando a ordem social, suas hierarquias e
outras formas de dominao).
Bourdieu (2000) chama a ateno para o fato de
que esses trs conceitos campo, habitus e capital so
relacionais e interdependentes, adquirindo sentido somente
quando articulados no sistema terico que os constitui e
que sero aqui utilizados no esforo de delineamento da
gnese social da avaliao em Sade no Brasil. Conforme
afirmado pelo citado autor :
Compreender a gnese social de um
campo, apreender aquilo que faz a
necessidade especfica da crena que o
sustenta, do jogo de linguagem que nele se
25

Marco Akerman e Juarez Pereira Furtado (Orgs)

joga, das coisas materiais e simblicas em


jogo que nesse se geram (...) subtrair ao
absurdo do arbitrrio e do no motivado
os atos dos produtores e as obras por eles
produzidas (...). (BOURDIEU, 2011, p. 69)

Utilizamos fontes primrias, oriundas de vinte e


oito entrevistas em profundidade, realizadas com agentes
ligados pesquisa, prticas, financiamento e gesto de
avaliaes em sade no sistema pblico brasileiro. Os
contedos apreendidos por meio das entrevistas foram
complementados com outras fontes ligadas ao tema,
como a literatura indexada, livros, manuais institucionais,
currculos dos entrevistados constantes na plataforma
Lattes do CNPq e documentos da Abrasco. Os entrevistados,
que compuseram amostra intencional, preencheram ao
menos dois dos seguintes critrios: vinculao ao Grupo
Tcnico de Monitoramento e Avaliao de Programas
e Polticas de Sade da Associao Brasileira de Sade
Coletiva (GT-Avaliao da Abrasco); produo escrita e
indexada relevante sobre a temtica da avaliao em
sade; integrar grupo de estudo de avaliao em sade
inserido em diretrio especfico do CNPq; ocupao de
cargos na administrao federal em sade nos quais a
avaliao constitui objeto central; apresentar ponto de vista
complementar a questes por ns identificadas na rea.

Antecedentes os anos 1980


No Brasil, a avaliao em sade constituiu objeto
de interesse em vrias pocas, seja no interior da Sade
Pblica institucionalizada (RAMOS, 1974), nos momentos
que antecederam imediatamente a implementao do
Sistema nico de Sade (REIS et al., 1990) e, mais tarde e
26

Prticas de avaliao em sade no Brasil - dilogos

de maneira mais contnua, como componente transversal


das reas que compem a Sade Coletiva Planejamento
e Gesto, Cincias Humanas em Sade e na Epidemiologia.
O estmulo utilizao de prticas avaliativas pela OMS
acentuou-se a partir da declarao de Alma Ata, quando
o apoio gesto nacional de sade, com vistas Sade
para todos no ano 2000 passou a incluir a avaliao
como importante componente do processo de gesto
sanitria. (OMS, 1981) Porm, esse empenho em tornar
a avaliao presente no planejamento, implementao e
monitoramento dos servios e instituies, encontrou eco
tardiamente no Brasil, salvo trabalhos isolados, (PAIM;
LOUREIRO et al., 1976) devido a pelo menos trs fatores
interdependentes. Em primeiro lugar, no incio dos anos
1980, apesar da distenso poltica em curso, ainda vivia-se
sob a tutela de um Estado autoritrio, avesso a submeter suas
incipientes polticas sociais avaliao ou a qualquer outro
tipo de anlise. (CENEVIVA; FARAH, 2007) Por sua parte, a
sociedade brasileira estava longe de requerer dos polticos,
gerentes e gestores, responsabilidade e transparncia nas
polticas pblicas e seus programas e servios, (CAMPOS,
1990) a exemplo do que aconteceu nos EUA. Finalmente,
as polticas sociais eram focalizadas e residuais, distantes
da concepo de um estado de bem-estar social presentes
na Europa e Canad e que l foram fator de estmulo ao
desenvolvimento da avaliao.
Na contracorrente desse contexto desfavorvel e
j no final dos anos 1980 e incio dos 1990 , contriburam
para o ingresso da temtica da avaliao na agenda sanitria
brasileira as polticas de valorizao do planejamento em
Sade e, dentro delas, da prpria avaliao (SILVER, 1992)
e as polticas voltadas para a unificao e descentralizao
do sistema de sade, como as Aes Integradas de Sade
(AIS) e os Sistemas Unificados e Descentralizados de Sade
(SUDS), ambas representando esforos de superao do
27

Marco Akerman e Juarez Pereira Furtado (Orgs)

autoritarismo e provimento de qualificao de polticas


pblicas de sade, que valorizaram o planejamento e a
avaliao nos primeiros planos estaduais e municipais de
sade no final da dcada de oitenta, articuladas ao projeto de
Reforma Sanitria Brasileira. A constituio promulgada em
1988, caracterizada pela instituio de importantes direitos
sociais na educao, sade, previdncia, etc., possibilitou o
florescimento de vrias iniciativas nesses diversos setores,
cujos efeitos requeriam ser melhor conhecidos. (SILVA,
2001) No caso da Sade, a nova constituio de 1988
estabeleceu o Sistema nico da Sade, regulamentado
em 1990, cuja implementao por meio de novos servios,
programas, modelos de gesto e ateno, colocados em
discusso e disputas, constituram terreno frtil, seno ao
efetivo desenvolvimento ao menos ao incio de demandas
por estudos avaliativos.
A avaliao de programas e servios constituiu, at o
final dos anos 1980, no interior da Sade Coletiva, um espao
vinculado e submetido s reas de poltica e planejamento.
A partir dos anos 1990, a reflexo e prticas em torno da
avaliao passaram a desenvolver relativa autonomia,
diferenciando-se e especializando-se, esboando contornos
prprios e se destacando de outras reas que integram
a Sade Coletiva. Em outras palavras, a avaliao em
sade passou a constituir objeto de interesse especfico
de gestores dos nveis municipal, estadual e federal do
SUS e de pesquisadores em distintas universidades. Os
fatores que convergiram para o desenvolvimento dessa
rea so provenientes da aproximao e interao de
trajetrias de agentes inseridos nos campos econmico,
burocrtico e cientfico de maneira singular. Nos prximos
tpicos, analisaremos como esses campos e seus agentes
influenciaram a constituio da avaliao na atualidade.

28

Prticas de avaliao em sade no Brasil - dilogos

A induo das instituies multilaterais de financiamento


A primeira dcada do SUS se caracterizou pela
convivncia entre democratizao e liberalizao
econmica, tendo sido o financiamento interno e nacional
em sade marcado por alta instabilidade entre 1990 a 1996
(oscilao de fontes e contingenciamento de repasses),
mdia instabilidade entre 1997 e 1999 (vigncia da
CPMF) e menor instabilidade entre 2000 e 2002 (emenda
29/00), conforme caracterizado por Machado (2007).
Nesse contexto, as grandes reformas setoriais previstas
na Constituio de 1988 contaram com importante apoio/
auxlio das agncias internacionais de financiamento.
(OLIVEIRA, 2010)
Acordo entre vrios governos nacionais, seguido do
fornecimento de recursos financeiros e estabelecimento
de uma misso principal, forma a base de constituio das
chamadas agncias internacionais de financiamento, com
vistas, em tese, cooperao para o desenvolvimento
global. Como seria de se esperar, esse acordo se d entre
pases com poderes e interesses diferentes que, por sua
vez, ir se refletir na imposio, por um governo ou pelo
conjunto de governos do polo dominante, nos modos
de funcionamento que melhor atendam aos interesses
particulares desses ltimos, o que torna essas agncias
internacionais um dispositivo de reproduo da ordem
mundial. (MATTOS, 2001) Instituies propostas no
chamado acordo de Bretton Woods, em julho de 1944, nos
EUA, quando 45 pases aliados definiram os parmetros
para reger a economia mundial ps-Segunda Guerra,
configuram-se como agncias dessa natureza.
Assim, o Banco Internacional para a Reconstruo
e o Desenvolvimento (BIRD ou Banco Mundial) e o Fundo
Monetrio Internacional (FMI), criados nesse perodo,
constituram-se em operadores da hegemonia das naes
29

Marco Akerman e Juarez Pereira Furtado (Orgs)

centrais, uma vez que o poder de voto de um pas


proporcional sua participao no montante de recursos
financeiros da agncia. Essa proporcionalidade difere de
outras agncias, como a Organizao Mundial de Sade
(OMS), na qual os pases-membros tm o mesmo poder de
voto.
Ainda com relao ao BIRD, FMI e, mais recentemente,
ao Banco Interamericando de Desenvolvimento (BID),
fundado em 1958, deve-se destacar que, nas ltimas trs
dcadas, essas agncias no se restringiam ao repasse de
recursos financeiros, mas vinham ampliando o seu papel,
ofertando tambm ideias e projetos nos quais o dinheiro
deveria ser investido. Esse fato foi inclusive reconhecido
por editorial da revista Lancet, no incio dos anos 1990,
que assinalou o deslocamento da coordenao da sade
mundial da OMS para o Banco Mundial. (LANCET, 1993) O
fomento avaliao, presente nos contratos e na poltica
dessas instituies, dirigido ao conjunto dos pases do
terceiro mundo, conforme revela publicao contendo um
balano de esforos nesse sentido no Brasil, Peru e Mxico,
dentre outros, feito pelo Banco Mundial, justificada pela
busca de melhoria da gesto pblica e prestao de contas
aos gestores e populao. (WORLD BANK, 2006)
Do BIRD e BID partiram exigncias contratuais de
efetiva avaliao de alguns programas sociais previstos
na Constituio de 1988 e parcialmente financiados por
essas agncias multilaterais de financiamento. A relevncia
da avaliao de polticas, programas e servios nos EUA
caracterizada pela institucionalizao alcanada na rea
naquele pas parece ter sido objeto de induo por meio
de clusulas presentes nos contratos de financiamento
firmados entre o Ministrio da Sade e essas instituies.
As condicionalidades de avaliao funcionaram como
espao ocupado por gestores, cuja trajetria tinha sido
direcionada para a rea da avaliao de polticas de sade, o
30

Prticas de avaliao em sade no Brasil - dilogos

que resultou no apenas no atendimento a essas demandas


do Banco Mundial, mas implicou tambm no incio de um
processo de institucionalizao da avaliao, ocorrida anos
mais tarde no mbito do MS e Secretarias Estaduais de
Sade. (HARTZ et al., 2008) As exigncias de avaliao de
projetos oriundas dos rgos internacionais financiadores
expressas nos termos dos contratos de emprstimos
firmados entre esses ltimos e representantes do governo
brasileiro constituram fator importante para a insero de
prticas avaliativas no interior do SUS. O Reforsus, Reforo
e reorganizao do SUS, para os tomadores de emprstimo
e Reforma do Setor Sade para os financiadores do BIRD
e BID, institudo em 1996, constituiu-se em resposta da
gesto federal recm-conclusa Comisso Parlamentar
de Inqurito (CPI) das obras inacabadas, por meio da qual
foram evidenciadas inmeras construes interrompidas
de imveis destinados Sade. (GALLO et al., 2011)
Alm de viabilizar a inaugurao das referidas obras, o
Reforsus definiu como objetivos incrementar a qualidade
da assistncia, dos insumos, da gesto da rede de servios
e promoo de inovaes na administrao do setor. Para
o repasse da maior parte dos 650 milhes de dlares
contrados por emprstimos das duas agncias, utilizou-se
preferencialmente a forma de contratos de convnios, o
que implicou a apresentao de relatrios peridicos que
deveriam incluir a avaliao. Referncias importncia
da avaliao no s para liberaes de financiamentos de
projetos, mas sobretudo para apreciao do impacto dos
mesmos aps sua aplicao, tm destaque nos documentos
de acordo multilateral. (GALLO et al., 2011)
A questo sobre quem realizaria as avaliaes
de impacto foi abordada nos prprios documentos de
contratao de emprstimos, nos quais figuravam sugestes
de incluso de agentes oriundos do campo cientfico e do
terceiro setor, considerados instituies independentes.
31

Marco Akerman e Juarez Pereira Furtado (Orgs)

6.33 - O Project Management Unit


poder contar com os servios de
organizao independente de pesquisa
- uma universidade ou uma organizao
no-governamental (ONG) voltada
pesquisa - para realizar uma avaliao expost de amostra de projetos concludos,
que ser composta por uma combinao
de avaliao econmica tradicional e
avaliao pelos beneficirios. A amostra
deve incluir uma sub-amostra de
subprojetos de investimento privado
com fins lucrativos financiados por
emprstimos do BNDES. A sustentabilidade
dos subprojetos financiados com doaes
e emprstimos seria comparada.
(Annex G). (WORLD BANK, 1996, p.29,
traduo nossa)

Tanto o formulador tcnico dos termos que foram


firmados no acordo de financiamento estabelecido com
o BIRD e BID quanto o responsvel pela coordenao do
Reforsus por sete anos (entre 1997 e 2002), ambos por ns
entrevistados, reconhecem o papel indutor e fomentador
das duas instituies multilaterais de financiamento no
que concerne s iniciativas de avaliao das propostas
financiadas. Para a realizao das avaliaes, includas no
acordo sob o ttulo de estudos-chaves, foram previstos
inicialmente quinhentos e quarenta e cinco mil dlares
(GALLO et al., 2011) e, segundo o coordenador do Reforsus
entrevistado, foram feitas contrataes por meio de
consultorias de agentes especialistas em avaliao inseridos
em universidades brasileiras, como sugerido pelos prprios
bancos. Alm do desenvolvimento especfico de aes
avaliativas, o Reforsus investiu indiretamente na prtica
avaliativa por meio de aes junto a Secretarias Estaduais
de Sade que visavam desenvolver a capacidade de gesto,
dando especial nfase ao planejamento, regulao e
32

Prticas de avaliao em sade no Brasil - dilogos

avaliao dos projetos e implementao de redes. (SANTOS,


2003)
Nas palavras de um agente do campo cientfico
entrevistado, que participou do processo apoiando
iniciativas de avaliao nesse contexto
O projeto Reforsus do Banco Mundial
injetou muito dinheiro nesse pas, durante
quase sete anos. Ele foi impulsionando
a necessidade de avaliar e eu participei
pessoalmente de algumas tarefas como
essa. (E1, p. 13)

Ainda nos anos 1990, outras propostas financiadas


pelo BIRD como o projeto Vigisus de estruturao do
sistema de vigilncia em sade voltado, dentre outros, para
o aumento da capacidade de identificao e controle de
epidemias e a assistncia em DST-Aids levaram para espaos
especficos da Sade (como a vigilncia epidemiolgica e
a ateno em Aids) exigncias de avaliaes sistemticas
similares s que o Reforsus apresentou para o setor em
geral. No final da dcada de 1999, o Profae, voltado
profissionalizao dos trabalhadores da rea de
enfermagem, obteve financiamento de cento e oitenta e
cinco milhes de dlares do BID e contou com iniciativas de
avaliao de impacto com recursos vindos do Ministrio da
Sade. (BRASIL. MINISTRIO DA SADE, 2013)
Alm do protagonismo das agncias multilaterais de
financiamento, instituies voltadas ao desenvolvimento
social e cooperao internacional viam na avaliao uma
estratgia de qualificao de iniciativas locais no terceiro
mundo, somando-se aos esforos dos bancos internacionais
no desenvolvimento da avaliao no terceiro mundo. Na
percepo de um entrevistado essa influncia ocorreu
inclusive no nvel tcnico, pela qualidade das publicaes
na rea da avaliao:
33

Marco Akerman e Juarez Pereira Furtado (Orgs)

E a rea da Sade, que tambm recebeu


muito financiamento no Brasil (...) sem
dvida, para mim, esse movimento
internacional de financiadores externos,
tinha como pressuposto obrigar que
os financiamentos pelos quais eles
contribuam usassem as mesmas regras
de seus pases de origem. (...). Essas, para
mim, so as grande foras motrizes, quer
dizer, o ps-guerra, os programas sociais e
depois, para ns todos, seja da Sade, da
Educao ou de qualquer lugar no Brasil,
durante muito tempo fizemos parte e
nos beneficiamos de ajuda externa, essa
a grande influncia. preciso pensar
que o Banco Mundial um dos melhores
produtores de publicao na rea de
avaliao. No estou dizendo maiores,
estou dizendo melhores. (E11, p.9)

O desenvolvimento do espao da avaliao nos campos


cientfico e burocrtico
As interaes entre agentes e iniciativas dos campos
cientfico e burocrtico so de tal forma imbrincadas
que a abordagem em separado desses dois campos, no
desenvolvimento da avaliao, justifica-se apenas pela
busca de mais clareza na exposio. O frequente trnsito
de agentes ligados gesto em direo aos grupos de
estudo em universidades e vice-versa caracterizam o
desenvolvimento da rea aqui abordada.
No campo burocrtico
O trabalho desenvolvido por Machado (2006)
identifica a descentralizao, o Programa de Sade da
Famlia e o combate Aids como as trs polticas priorizadas
34

Prticas de avaliao em sade no Brasil - dilogos

pelo Ministrio da Sade entre 1990 e 2002. O que parece


explicar o fato de que boa parte das iniciativas em avaliao
em sade e agentes a elas vinculadas, analisadas nesse
estudo, estejam ligadas a essas trs polticas, especialmente
ateno bsica. Revendo 109 estudos de monitoramento e
avaliao em Ateno Bsica, financiadas pelo Ministrio da
Sade, no perodo entre 2000 e 2006, Almeida e Giovanella
(2008) tambm evidenciaram considervel nmero de
trabalhos dessa natureza, induzidos pela gesto federal
do SUS, com influncia de instituies de financiamento
multilaterais.
Entre pesquisas concludas e em
andamento foi localizado um total de 109
estudos com a utilizao de metodologias
e fontes de informaes diversas. No
menos importante a influncia de
organismos internacionais como o Banco
Mundial, provedor de assistncia tcnica
e financeira de reconhecida influncia
nos pases em desenvolvimento, que
incorpora a capacidade em avaliao
como uma das prioridades para a gesto
do setor pblico com o objetivo de
garantir a sustentabilidade dos programas
e como requisito para a realizao de
emprstimos. (ALMEIDA; GIOVANELLA,
2008, p.1738-1739)

Se na dcada de 1990 o financiamento estimulou


a contratao de consultores para levar a cabo os
compromissos de avaliao firmados pelo Ministrio da
Sade nos contratos de financiamento com o BIRD e BID,
no incio do sculo XXI podemos notar maior protagonismo
do MS. Ainda que continuando a contratar consultorias,
o MS passou tambm a conduzir processos avaliativos
com pessoal prprio ou a fomentar aes avaliativas pelas
universidades, por meio de editais. Os recursos destinados
35

Marco Akerman e Juarez Pereira Furtado (Orgs)

avaliao foram melhor articulados com as iniciativas


em andamento e potencializados pela insero de agentes
dotados de acmulo sobre a temtica da avaliao em
posies estratgicas no MS.
O Programa de Expanso e Consolidao da Sade
da Famlia (PROESF), com financiamento do Banco
Interamericano de Reconstruo e Desenvolvimento
(BIRD) apoiou, a partir de 2003, transferncias de recursos
financeiros fundo a fundo para a expanso da cobertura,
qualificao e consolidao da Estratgia Sade da
Famlia em municpios com populao superior a 100
mil habitantes, com recursos da ordem de quinhentos e
cinquenta milhes de dlares, sendo metade financiada
pelo BIRD e o restante pelo governo brasileiro, no contexto
da reforma incremental do SUS aps a Nob-96. (VIANA;
POZ, 2005) O Proesf era constitudo de trs componentes
centrais: qualificao e ampliao da estratgia de sade
da famlia, avaliao das aes engendradas pelo prprio
programa e formao de recursos humanos. O ltimo
componente era destinado ao conjunto de municpios,
independentemente do porte populacional e objetivava
o fortalecimento da capacidade tcnica da gesto, o que
inclua a estruturao da funo avaliativa em Secretarias
Estaduais de Sade e respectivos municpios. Dessa forma,
dois dos trs principais componentes diziam respeito direta
ou indiretamente avaliao.
A oportunidade, presente no Proesf, de financiamento
externo para a ateno bsica em geral e para a avaliao
em particular, foi potencializada pelo coordenador de
acompanhamento e avaliao da ateno bsica, vinculado
diretoria de ateno bsica do Ministrio da Sade,
entre 2003 e 2006. Trata-se de um agente com formao
em avaliao, iniciada em 1994, quando a instituio a
que estava vinculado necessitou elaborar um plano de
36

Prticas de avaliao em sade no Brasil - dilogos

avaliao para obter emprstimo do BID a um projeto.


Para isso, foi contratada consultora ligada instituio
de pesquisa nacional, que condicionou o seu trabalho
criao de um processo de formao interna de avaliadores
na instituio que a estava contratando. Esse processo
deflagrou a criao de um grupo de estudos em avaliao
nessa ltima e, mais frente, a estruturao de mestrado
profissional de avaliao em sade. Essa interao entre
agentes dos campos burocrtico e cientfico caracterizada
por demandas prticas e ofertas de recursos financeiros,
pelo primeiro e de instrumental terico e metodolgico,
previamente existente, pelo segundo foi responsvel pela
constituio de massa crtica nacional, base para a expanso
da avaliao no Brasil. A declarao de uma entrevistada
ilustra a mtua influncia:
A academia foi fundamental porque se
no tivesse surgido o interesse acadmico
(...) no momento em que o servio
precisasse do conhecimento, ele no
estaria disponvel. Porm a expanso do
SUS e a sua possibilidade de financiar e
demandar esse conhecimento deu um
impulso significativo.

A presena de um gestor sensibilizado com a temtica


e com acmulo tcnico na rea da avaliao, frente da
coordenao de avaliao da ateno bsica, foi decisiva
para a elaborao de projeto intitulado Fortalecimento
das Secretarias Estaduais de Sade em Monitoramento
e Avaliao. Foi por meio deste projeto que se somou
os recursos inicialmente destinados avaliao queles
destinados formao de pessoal, consolidando proposta
de desenvolvimento e institucionalizao da avaliao nas
secretarias estaduais de sade e parte de seus municpios.
Dessa forma, convergiram insumos da ordem de dezessete
milhes de dlares formao de pessoal, educao
37

Marco Akerman e Juarez Pereira Furtado (Orgs)

permanente e avaliao, essa ltima voltada tanto para as


aes do prprio Proesf quanto para outras iniciativas das
secretarias estaduais e municipais. (BODSTEIN et al., 2006)
A relao entre o Proesf e o campo cientfico,
representado pelas universidades brasileiras, foi
profcua e se deu por meio de trs vias. Primeiramente,
pelo estabelecimento das chamadas linhas de base, a
partir de 2005, que estabeleceram parmetros a serem
acompanhados e comparados aps a implementao do
Proesf nos municpios. O projeto objetivou diagnosticar
o padro epidemiolgico e da organizao de servios da
ateno bsica em 168 municpios com mais de 100 mil
habitantes, implicando em entrevistas com mais de 12 mil
profissionais e 35 mil usurios. Oito instituies nacionais
foram selecionadas para participar do processo por meio de
concorrncia pblica divulgada no Dirio Oficial da Unio
para, dentre outras coisas, o apoio institucionalizao
da avaliao no MS e secretarias estaduais e municipais.
Alm disso, foram criados os centros colaboradores,
por meio dos quais instituies universitrias passaram
a apoiar a criao e o desenvolvimento de ncleos de
avaliao no interior das secretarias estaduais de sade,
buscando a institucionalizao da avaliao. (HARTZ et al.,
2008) Finalmente, ainda no interior do Proesf, um edital
de pesquisa agenciado pelo CNPq financiou dezenas de
pesquisas avaliativas na ateno bsica, no contexto do
Proesf. (VIANA; POZ, 2005) Nas palavras do coordenador do
processo:
(...) a gente incentivou a realizao de
estudos, abrimos um edital junto com o
CNPq para financiamentos de pesquisas no
campo da avaliao da ateno bsica (...)
foram mais de 50 pesquisas financiadas
pelo CNPq com recurso do Ministrio da
Sade (...)
38

Prticas de avaliao em sade no Brasil - dilogos

Um novo acordo entre o Ministrio da Sade e BIRD,


a partir de 2009, possibilitou a implementao da fase II
do Proesf, vinculando o repasse de recursos implantao
e alcance de padres estabelecidos de acesso e de
qualidade pelas equipes de ateno bsica nos municpios.
Formalizado por meio de portaria ministerial, e estruturado
em torno do Programa Nacional de Melhoria do Acesso e
Qualidade (PMAQ), a chamada segunda fase do Proesf d
relevncia ao processo de avaliao interna e externa das
Equipes de Sade da Famlia como estratgia indutora de
qualificao da Ateno Bsica.
Diferentemente do Reforsus, no qual o
estabelecimento de condicionalidades de avaliao somente
pelos financiadores denotava unilateralidade de interesses
na apreciao sistemtica das aes implementadas, no
Proesf, o reconhecimento da importncia da avaliao era
tambm compartilhada pelos gestores do SUS. A presena
de profissionais de sade com formao na rea, e com
cargos de direo no governo, levou busca de consolidao
da avaliao no interior da gesto do SUS, sob a bandeira da
sua institucionalizao. Esse movimento, antagonizava, no
contexto de implementao do Proesf, com a pretenso dos
financiadores externos em estabelecer autonomamente
quais seriam os avaliadores e os modos de avaliao. Os
gestores do Ministrio da Sade passaram a procurar
privilegiar a capacidade nacional na rea.
(...) na avaliao do PROESF (...) ns tivemos
uma batalha muito grande, muito forte,
com o Banco Mundial, que queria abrir um
processo licitatrio para a contratao de
uma instituio nica pra fazer os estudos
no Brasil inteiro. Ento, uma das questes
que a gente colocou na mesa foi o
fortalecimento das instituies brasileiras
no campo da avaliao. (E11, p.6)
39

Marco Akerman e Juarez Pereira Furtado (Orgs)

Ou seja, trata-se de uma disputa no interior do espao


da avaliao que parece apontar a existncia, no Brasil, de
agentes capazes de conduzir processos avaliativos e com
chances de se fazerem reconhecidos, indicando a presena,
no final da dcada de 1990, de massa crtica brasileira
apta a responder s demandas e/ou condicionalidades de
avaliao em sade surgidas nesse perodo.
(...) o que que faz a diferena? ns
podermos negociar e dizer para o Banco
[Mundial] a forma que a gente quis fazer
a avaliao. Esse que para mim...
eu no sei se a gente influencia outros
pases, mas ns passamos a ser, no Brasil,
a ser respeitados, mesmo quando o
financiamento era externo, na forma de
fazer a avaliao. (E7, p.155)

Assim, a busca de autonomia no espao da avaliao


pde contar com a existncia de certo acmulo, em nosso
pas, no campo cientfico que, naturalmente, precedeu o
percurso no campo burocrtico aqui enfocado.
O campo cientfico e o espao da avaliao
As interaes entre o campo cientfico e o espao da
avaliao ocorrem por meio da atuao de pesquisadores
que tm como linha de pesquisa a Avaliao em Sade. A
identificao desses agentes com o espao da avaliao
ambgua. Diversos dos entrevistados, com elevado capital
cientfico aferido por meio das publicaes, bolsas de
produtividade de pesquisa, Editoria de Revistas cientficas,
prmios e reconhecimento nacional e internacional,
(FURTADO; VIEIRA-DA-SILVA, 2014) referiram ser a avaliao
um objeto secundrio nas suas preocupaes cientficas.
Alguns preferiram explicar suas opes de pesquisa como
40

Prticas de avaliao em sade no Brasil - dilogos

um interesse na investigao em servios de sade ou


epidemiologia de servios. Tambm a caracterizao do
espao como avaliao de tecnologias ou avaliao da
qualidade refletia a variedade de posies e trajetrias
dos entrevistados. A definio da linha de pesquisa como
avaliao de polticas e programas de sade corresponde
a uma opo de agentes com trajetrias que incluem
ocupao de cargos de direo ou assessoramento nos
diversos nveis do SUS. J a opo por investigao em
servios de sade e/ou avaliao de tecnologias priorizada
por pesquisadores com formao em epidemiologia.
Pode-se dizer que o espao da avaliao no interior
do campo cientfico desenvolveu-se principalmente a
partir dos anos 1990, como revela o aumento da produo
de artigos na primeira dcada do sculo XXI (Figura 1).
Tambm a expanso do interesse pela temtica da avaliao
na academia evidenciada pelo significativo crescimento
de grupos de pesquisa de avaliao em sade na base de
diretrios do CNPq. Embora a avaliao tenha comeado a
ser ensinada nos programas de Ps-graduao senso stricto
nos anos 1990, a produo acadmica e o aumento no
nmero de grupos de pesquisa apenas ter um aumento
significativo na dcada seguinte em decorrncia da induo
do Ministrio da Sade com o financiamento do Banco
Mundial. (FURTADO; VIEIRA-DA-SILVA, 2014)
Fernandes et al. (2011) encontraram 42 artigos
classificados como efetivamente de avaliaes, em
reviso do perodo 1994-2009, ao considerarem apenas
pesquisas que continham os descritores avaliao em sade
e avaliao de programas e projetos de sade no campo
de palavras-chave. A maior parte dos estudos encontrados
(36 artigos) apresentam aes em servios pblicos como
principal objeto, indicando estreito elo entre essa produo
cientfica e os programas e servios desenvolvidos no
41

Marco Akerman e Juarez Pereira Furtado (Orgs)

mbito do SUS. Tais nmeros podem, no entanto, ser


ampliados se outros descritores relativos ao tema avaliao
em sade forem utilizados nas buscas. Assim, pesquisas
focadas em subreas especficas como a Sade Bucal,
(COLUSSI; CALVO, 2012) a Nutrio (CANELLA et al., 2013)
e a Ateno Bsica (ALMEIDA; GIOVANELLA, 2008) que
utilizaram mais descritores ampliaram sensivelmente os
nmeros encontrados por Fernandes et al. (2011).
Para o perodo (1990-2006) e regio (Brasil) aqui
considerados, quando utilizada a expresso avaliao em
sade na base Scielo para todos os ndices, foram gerados
835 documentos distribudos entre vinte diferentes
peridicos, incluindo nmeros especiais dedicados ao tema
sendo que trs revistas de Sade Coletiva (Cadernos de
Sade Pblica, Cincia & Sade Coletiva e Revista de Sade
Pblica) so respectivamente as trs primeiras colocadas
em relao ao nmero de artigos, somando quase um tero
do total dessas publicaes. A Figura 1, a seguir, apresenta
a distribuio dos 287 artigos, resultados da somatria
de publicaes nas trs revistas citadas, no perodo 19902006, identificados por meio da expresso avaliao em
sade em todos os ndices.

42

Prticas de avaliao em sade no Brasil - dilogos

Figura 1- Total de publicaes em trs revistas com maior


nmero de artigos identificados utilizando avaliao em
sade.

A expanso do interesse pela temtica da avaliao


na academia tambm evidenciada pelo significativo
crescimento de grupos de pesquisa de avaliao em
sade na base de Diretrios do CNPq. Estudo realizado
por iniciativa do GT-Avaliao revelou a existncia de 202
grupos distribudos entre 76 diferentes instituies de
ensino superior, sendo que dois teros desse total surgiram
a partir do ano 2000, coincidindo com o aumento de
publicaes ilustrado na Figura 1. Tal crescimento encontra
paralelo nos congressos realizados pela Abrasco no perodo
aqui considerado (1990-2006): a partir do sexto congresso,
no ano 2000, h significativo incremento no nmero de
trabalhos apresentados em comunicaes coordenadas
e temas-livres, conforme pudemos constatar revisando a
programao e anais desses encontros.
43

Marco Akerman e Juarez Pereira Furtado (Orgs)

O estmulo do Ministrio da Sade aos grupos


de pesquisa de universidades pblicas, por meio de
contratao de consultorias e editais de pesquisa configurou
importante fator de estmulo ao desenvolvimento da rea
no campo cientfico, havendo simultaneidade entre a curva
ascendente de publicaes apresentadas na Figura 1 e as
vrias investigaes financiadas com os recursos do Proesf
para a ateno bsica. relevante o fato de que, dentre os
vinte e oito agentes entrevistados, dezesseis que ocupavam
inseres de gesto no SUS identificaram a pesquisa
avaliativa como caminho para responder indagaes
originadas de suas respectivas responsabilidades em relao
a determinados programas e servios, evidenciando mais
uma vez o quanto um campo suscitava questes e desafios
a serem enfrentados com a ajuda do outro.
Dois autores foram citados pela totalidade
dos entrevistados como influncias importantes no
desenvolvimento da avaliao no Brasil: Avedis Donabedian
(1919-2000), mdico de origem Libanesa, radicado nos EUA,
e e Zulmira Maria de Arajo Hartz, mdica, pesquisadora
titular em epidemiologia na Ensp/Fiocruz. Essa ltima, alm
de contribuies tericas, articulou agentes e estabeleceu
relaes de impacto na constituio da avaliao como um
espao social especfico.
Donabedian foi um estudioso da ateno no
processo assistencial mdico com destaque para a noo
de qualidade, sintetizada nos chamados sete pilares da
qualidade, constitudos pelos referenciais de eficcia,
efetividade,
eficincia,
otimizao,
aceitabilidade,
legitimidade e equidade. (DONABEDIAN, 1980) A relevante
e profunda influncia de Donabedian nas discusses e
prticas da avaliao no Brasil foram identificadas por
Reis et al. (1990) j no final da dcada de 1980 quando os
autores afirmam que dificilmente so encontrados artigos
44

Prticas de avaliao em sade no Brasil - dilogos

na literatura que no se baseiem ou citem, com destaque,


o trabalho desse autor (p. 53). A hegemonia do referencial
donabediano se manteve mesmo quando o espao aqui em
anlise comeou a delinear certa autonomia em relao
ao planejamento em sade, no incio dos anos 1990. Para
trs entrevistados, que acompanharam o curso ministrado
por Donabedian na cidade de So Paulo, em maio de 1993,
a relevncia adquirida pelas ideias do autor se deveu s
possibilidades de articulaes de sua proposta de avaliao
com os referenciais hegemnicos do Planejamento e
Gesto dos servios no novo contexto da Reforma Sanitria
Brasileira da poca. Os trabalhos de Lynn Silver (1992),
uma das pioneiras no estabelecimento de interlocues
entre a rea do planejamento e a avaliao de inspirao
donabediana, parecem atestar as informaes dos referidos
entrevistados.
No incio dos anos 1990, alguns autores apontaram
a insuficincias de processos avaliativos centrados em
indicadores de qualidade, (AKERMAN; NADANOVSKY,
1992) havendo tentativas de aproximao entre pesquisa
de qualidade e Antropologia ou mesmo a proposio do
uso exclusivo de abordagens antropolgicas em avaliao
de servios de sade. A incorporao crtica das ideias
de Donabedian e a elaborao de frameworks a partir da
sntese das contribuies da literatura sobre avaliao
de programas e servios em sade no Brasil aparecem
em artigos publicados no pas nos anos 1990. A crtica
concepo de harmonia presente no referencial sistmico
usado por Donabedian, como na trade estrutura-processoresultado, desenhada para o mbito clnico, aparece com
a introduo de outras possibilidades e novas abordagens
em avaliao oriundas da Antropologia, Epidemiologia ou
mesmo mistas so consideradas, ainda que predomine
a interlocuo com a Epidemiologia, rea hegemnica
poca Vieira-da-Silva e Formigli (1994). O livro Avaliao
45

Marco Akerman e Juarez Pereira Furtado (Orgs)

em sade, (HARTZ, 1997) constitui marco da avaliao


em sade no Brasil em direo s concepes presentes
em torno da chamada Program Evaluation. Fruto de seu
doutorado em avaliao junto ao Grupo de Pesquisa
Interdisciplinar em Sade (GRIS), na Universidade de
Montreal, Canad, e integrado por coautores desse mesmo
pas, a quase totalidade de referncias, por esses ltimos,
a pensadores americanos clssicos da rea de Program
Evaluation como Michael Patton, Carol Weiss, Peter
Rossi, dentre outros, evidenciam as bases do pensamento
americano presentes no grupo canadense que, por sua vez,
veio a exercer grande influncia sobre alguns grupos de
universidades brasileiras. O referencial americano concebe
a avaliao como iniciativa voltada para determinar o valor
ou mrito de algo que esteja sendo avaliado, procurando
respostas a perguntas avaliatrias significativas, podendo
lanar mo de diferentes mtodos de pesquisa. A avaliao
de programa nos EUA tem como objeto iniciativas sociais
dos mais diferentes setores de atividades, sendo parte de
seus formuladores mais importantes oriundos da Educao.
Um dos mritos do grupo canadense foi justamente
o de articular a proposta americana rea da sade
e propor um framework para avaliao de programas
apoiado no processo de planejamento valorizando as
anlises estratgicas e de implantao, alm de valorizar
os estudos de caso. Alm disso, pode-se falar em uma
inflexo demarcada pela publicao citada (HARTZ, 1997)
relacionada com a ampliao do objeto da avaliao para
alm da categoria qualidade da ateno mdica em senso
estrito presente na obra de Donabedian e de extenso
do leque de possibilidades metodolgicas. Em sntese,
a entrada do referencial da avaliao de programas e
servios de origem americana, com algumas inovaes no
setor sade do Brasil, abriu possibilidades de integrao
46

Prticas de avaliao em sade no Brasil - dilogos

de perspectivas centrada na qualidade da ateno mdica,


de inspirao donabediana e na anlise epidemiolgica
de servios, com novas formas de elaborar perguntas
avaliativas usando distintos referenciais metodolgicos.
O GT-Avaliao como interface dos dois campos
A resistncia da Abrasco em criar um GT de avaliao
sob argumentao que a avaliao estaria presente
nas trs principais reas constitutivas da sade coletiva
(epidemiologia, planejamento e cincias sociais) um
reflexo da pouca consolidao do espao. A criao do
primeiro frum oficial brasileiro, para a congregao de
pesquisadores e demais interessados em avaliao,
tributrio do protagonismo e financiamento oriundos do
interior do Ministrio da Sade. Durante o oitavo congresso
da Abrasco, em 2006, no Rio de Janeiro, foi criado o Grupo
Tcnico de Monitoramento e Avaliao de Programas
e Polticas de Sade (GT-Avaliao). A oficina para
estruturao desse grupo foi apoiada financeiramente pelo
Ministrio da Sade, por meio do Proesf. Com o objetivo
explcito de fomentar a cooperao entre universidades e
a articulao entre academia e servios de sade, no que
tange a avaliao, o GT estruturou suas perspectivas de
aes em torno dos eixos de conhecimento, formao e
aplicao do conhecimento. O contexto internacional de
institucionalizao da avaliao, o crescimento da produo
cientfica sobre o tema no pas e as diversas iniciativas
ministeriais foram justificativas utilizadas constituio
desse grupo.
Embora a realizao da reunio para a organizao do
GT tenha contado com o apoio decisivo de gestores e tenha
sido financiada pelo MS, dentre os trinta participantes que
subscreveram a oficina de criao do GT-Avaliao, vinte e
47

Marco Akerman e Juarez Pereira Furtado (Orgs)

sete eram pesquisadores ligados a universidades pblicas


ou institutos de pesquisa e trs vinculados ao Ministrio da
Sade. (ABRASCO, 2006) Financiado por recursos vinculados
ao Proesf, o encontro para a fundao do referido GT teve,
dentre os vinte e sete pesquisadores presentes, uma grande
parte composta por integrantes de pesquisas desenvolvidas
com financiamento proveniente desse mesmo Proesf. Nesse
congresso da Abrasco, no qual foi discutido e lanado o GT,
ocorreu o lanamento do nmero especial de avaliao,
da revista Cincia & Sade Coletiva, cujo eixo central era
a Avaliao como estratgia de mudana na Ateno
Bsica, composto justamente por vrios artigos originados
de pesquisas financiadas por editais oriundos do Proesf.
Mesmo na atualidade, o GT continua refletindo
estreita ligao e relativa dependncia do espao da
avaliao em relao ao campo burocrtico, como afirmado
por um de seus integrantes:
Acho que esse o grande papel, de
mobilizar, de articular, mas isso precisa
de financiamento e hoje o financiamento
que a gente encontra quando tem algum
ator institucional que passa a integrar o GT
e apoi-lo. (E1, p.11)

emblemtico que a primeira associao cientfica


oficialmente institucionalizada de praticantes e interessados
em avaliao em sade tenha ocorrido no interior de
uma associao de Sade Coletiva. Fruto do encontro de
agentes com trajetrias nos campos burocrtico, poltico
e cientfico, estimulados e financiados por instituies
internacionais ligadas ao campo econmico, o espao da
avaliao em sade instituiu seu primeiro locus formalizado
justamente sob a gide da Sade Coletiva, por sua vez
tambm caracterizada pelo trnsito de agentes entre os
campos cientfico e burocrtico.
48

Prticas de avaliao em sade no Brasil - dilogos

O percurso da avaliao em sade no campo cientfico


parece se caracterizar por progressivo distanciamento
e aquisio de autonomia em relao ao Planejamento,
incorporando novos referenciais metodolgicos e atributos
para alm da qualidade e do uso exclusivo de indicadores,
incluindo a busca de sua institucionalizao, iniciada com
a criao do GT-Avaliao. Paradoxalmente, seu ganho de
autonomia no interior da rea de Poltica e Planejamento
da Sade Coletiva se fez por meio de significativo aporte
de demandas e recursos oriundos de gestores situados em
diversos nveis do SUS (MS, Decit, DAB, SES e SMS) que,
utilizando distintos modos de financiamento e estmulos,
tem se tornado baliza no desenvolvimento da rea no
Brasil, o que pode ser compreendido como condio de
possibilidade histrica ao efetivo desenvolvimento da
pesquisa e das prticas avaliativas em sade, articulao e
proximidade que levou um entrevistado a afirmar que a
avaliao em sade realizada por grupos universitrios
pautada pelo Executivo. (E11, p.18)

Consideraes finais
A constituio do espao da avaliao em sade no
Brasil ocorreu como produto do encontro de agentes (com
trajetrias diferenciadas nos campos burocrtico, poltico
e cientfico) estimulados e financiados por instituies
internacionais ligadas ao campo econmico, mas vinculadas
organizao do Sistema nico de Sade. Esse movimento
se deu no interior do espao da Sade Coletiva, por sua vez
um universo de saberes e prticas composto por subespaos
cientfico, burocrtico e poltico por onde os agentes, em
boa parte, transitam..

49

Marco Akerman e Juarez Pereira Furtado (Orgs)

A produo da informao e conhecimento para


realizar julgamentos e subsidiar tomadas de decises
caracterstica importante da avaliao. Contudo, a utilizao
efetiva dessa informao para o processo de gesto requer
diversas outras mediaes que extrapolam o mbito
tcnico-cientfico. Avaliar parte do processo de controle
e do exerccio do poder. Dessa forma, envolve interaes
entre os campos poltico, burocrtico e do poder. Nesse
sentido, o espao da avaliao em sade no Brasil, a partir
do advento do SUS na dcada de 1990, produto de fatores
que podem ser assim agrupados:

Prticas de avaliao em sade no Brasil - dilogos

SUS apresentam menor autonomia em relao aos campos


poltico e de poder e maior compromisso na utilizao dos
conhecimentos produzidos.
Figura 2 Vetores na formao do espao da avaliao.

- possibilidades histricas advindas da condicionalidade


externa imposta por financiadores internacionais;
- desenvolvimento de pesquisas avaliativas com base em
intercmbios entre investigadores brasileiros e colegas do
exterior, sobretudo da Amrica do Norte, com efeitos na
formao de quadros no Brasil;
- busca de compreenso e qualificao dos processos
empreendidos na implementao do SUS por agentes
responsveis pela gesto (sobretudo municipal e estadual)
do SUS que, anteriormente sua insero no campo
burocrtico, tinham vinculaes com o campo cientfico nas
universidades;
- intervenes voltadas para a institucionalizao da
avaliao, originria de agentes com formao na rea,
inseridos na gesto federal do SUS.
Na Figura 2, delineamos o que seria a resultante
dessas correlaes de foras no estabelecimento da rea
aqui focalizada. De um lado, temos agentes do campo
cientfico, caracterizado por mais autonomia em relao
aos outros campos e a compromissos com a aplicao do
conhecimento. Por outro, os agentes do campo burocrtico,
de instituies multilaterais de financiamento (IMF) e do
50

Essa arquitetura do espao da avaliao (Figura 2)


abre diferentes possibilidades e perspectivas para a rea.
Se consideradas as possibilidades dos regimes de produo
e de difuso da cincia, propostos por Shinn (2008), a
avaliao estaria mais prxima do que o autor classifica
como regime utilitrio, caracterizado por uma populao
heterognea que inclui tcnicos, especialistas, consultores
e cientistas especializados na aplicao do conhecimento a
um problema tcnico particular, sendo que a formao de
novos pesquisadores pode ter lugar tanto na universidade
quanto em outras instituies. Enquanto o regime disciplinar
caracteriza-se pela existncia de sociedades cientficas, o
51

Marco Akerman e Juarez Pereira Furtado (Orgs)

regime utilitrio constitui associaes profissionais voltadas


formao e ao controle de novos ingressantes que, no
caso da avaliao, uma realidade nos EUA e uma proposta
recorrente no Brasil.
O espao da avaliao em sade no Brasil, dada
sua trajetria especfica, fruto da interao entre agentes
oriundos de diferentes campos produz pontos de vista
e tomadas de posio diversificados. As trajetrias
caracterizadas pelo trnsito entre os campos burocrtico
e cientfico tende a relativizar fronteiras entre pesquisa,
avaliao e gesto ou entre pesquisa acadmica, pesquisa
avaliativa e avaliao normativa. J os agentes com trajetria
predominante no campo cientfico tendem a distinguir com
mais nfase a pesquisa avaliativa da avaliao para a gesto
e o monitoramento.
Os achados de estudo prvio so indicativos da
existncia de um espao social de relaes entre agentes
com inseres diferenciadas nos campos cientfico,
burocrtico e do poder e que compartilham interesse
comum em avaliao. O interesse em avaliao, contudo, no
parece como central mesmo em pesquisadores e gestores
ocupando posies dominantes nesse espao. Ademais a
grande dependncia do campo burocrtico e do campo do
poder, do espao da avaliao, somada a refratariedade de
seus agentes em se identificar como avaliadores, revelam
sua incipincia e pequeno grau de consolidao.

Prticas de avaliao em sade no Brasil - dilogos

Referncias
AKERMAN, M.; NADANOVSKY, P. Avaliao dos Servios de
Sade Avaliar o qu?. Cad. Sade Pblica, Rio de Janeiro ,
v. 8,n. 4,p. 361-365,Dec. 1992.
ALMEIDA, P.F.; GIOVANELLA, L. Avaliao em Ateno Bsica
Sade no Brasil: mapeamento e anlise das pesquisas
realizadas e/ou financiadas pelo Ministrio da Sade entre
os anos de 2000 a 2006. Cad. Sade Pblica, Rio de Janeiro,
v. 24,n. 8,p. 1727-1742,Aug. 2008.
BODSTEIN, R.; FELICIANO, K.; HORTALE, V.A.; LEAL,
M.C. Estudos de linha de base do projeto de expanso
e consolidao do sade da famlia (ELB/Proesf):
consideraes sobre seu acompanhamento. Cincia &
Sade Coletiva, Rio de Janeiro, v. 11,n. 3,p. 725-731,Sept.
2006.
BOURDIEU, P. As regras da arte. So Paulo: Companhia das
Letras, 2010.
______. O poder simblico. Rio de Janeiro: Bertrand Brasil,
2011.
______. Os usos sociais da cincia: por uma sociologia
clnica do campo cientfico. So Paulo: Editora Unesp, 2003.
BOURDIEU, P.; Wacquant, L. Rponses. Paris: Seuil, 2000.
BRASIL. Ministrio da Sade, Secretaria de Gesto do
Trabalho e da Educao na Sade. Avaliao do impacto
do PROFAE na qualidade dos servios de sade, janeiro
de 2003. Disponvel em <http://bvsms.saude.gov.br/bvs/
publicacoes/profae/Revista2007.pdf>. Acesso em: 24 jun
2013.

52

53

Marco Akerman e Juarez Pereira Furtado (Orgs)

CAMPOS, A.M. Accountability: quando poderemos traduzila para o Portugus? Revista de Administrao Pblica, Rio
de Janeiro, v. 24, n.2, p. 30-50, fev./abr. 1990.
CANELLA, D.S.; SILVA, A.C.F.; JAIME, P.C. Produo cientfica
sobre Nutrio no mbito da Ateno Primria Sade no
Brasil: uma reviso de literatura. Cincia & Sade Coletiva,
Rio de Janeiro , v. 18,n. 2,p. 297-308,Feb. 2013.
CENEVIVA, R.; FARAH, M.F.S. O papel da avaliao de
polticas pblicas como mecanismo de controle democrtico
da administrao pblica. In: GUEDES, A.M.; FONSECA, F.
(orgs.). O Controle Social da Administrao Publica. So
Paulo: Editora UNESP, 2007. p. 129-156.
COLUSSI, C.F.; CALVO, M.C.M. Avaliao da ateno em
Sade Bucal no Brasil: uma reviso da literatura. Sal. &
Transf. Soc., v. 3, n. 1, p. 92-100, 2012.
DONABEDIAN, A. Explorations in quality assessment and
monitoring. Ann Arbor: Health Administration Press, 1980.
V. I.
FERNANDES, F.M.B.; RIBEIRO, J.M.; MOREIRA, M.R.
Reflexes sobre avaliao de polticas de sade no Brasil.
Cad. Sade Pblica , Rio de Janeiro , v. 27,n. 9,p. 16671677,Sept. 2011.
FURTADO, J.P.; VIEIRA-DA-SILVA, L.M. A avaliao de
programas e servios de sade no Brasil enquanto espao
de saberes e prticas. Cad. Sade Pblica , Rio de Janeiro ,
v. 30,n. 12,p. 2643-2655,Dec. 2014.
GALLO, E.; PINTO, L.F.; CASTRO, J.D.; FERLA, A.A. Polticas de
investimento do Ministrio da Sade do Brasil (1997-2004):
uma anlise do projeto Reforsus e seus efeitos no complexo
produtivo da sade. In MELAMED, C.; PIOLA, S.F. (orgs).
Polticas pblicas e financiamento federal do Sistema
nico de Sade. Braslia: Ipea, 2011.
54

Prticas de avaliao em sade no Brasil - dilogos

GUBA, E.G.; LINCOLN, Y.S. Avaliao de Quarta Gerao.


Campinas: Editora Unicamp, 2011.
HARTZ Z.M.A.; FELISBERTO E.; VIEIRA-DA-SILVA, L.M. Metaavaliao da ateno sade: teoria e prtica. Rio de
Janeiro: Fiocruz, 2008.
HARTZ, Z.M.A. (org). Avaliao em Sade: dos modelos
conceituais prtica na anlise da implantao de
programas. Rio de Janeiro: Editora Fiocruz, 1997.
LANCET, The 1993. Editorial. World Banks cure for donor
fatigue. The Lancet, 342, p. 63-64.
MACHADO, C.V. O modelo de interveno do Ministrio da
Sade brasileiro nos anos 90. Cad. Sade Pblica , Rio de
Janeiro , v. 23,n. 9,p. 2113-2126,Sept. 2007.
MATTOS, R.A. As agncias internacionais e as polticas de
sade nos anos 90: um panorama geral da oferta de ideias.
Cincia & Sade Coletiva, So Paulo, v. 6,n. 2,p. 377-389,
2001.
MONNIER, E. Evaluations de laction des pouvoirs publics:
du projet au bilan. Paris: conomica, 1987.
OLIVEIRA, C.P. (org.). O Brasil em quatro dcadas. Braslia:
Ipea, 2010.
ORGANIZAO MUNDIAL DA SADE (OMS). Le processus
gestionnaire pour le dveloppement sanitaire national.
Srie Sant pour tous, n. 5, Genve, 1981.
PAIM, J.S.; LOUREIRO, S.; SCHUBACH, J.C. Utilizao dos
Servios de Sade Materna em uma rea Urbana de
Salvador. Revista Baiana de Sade Pblica, v. 3, n.3/4, p.
48-54, 1976.

55

Marco Akerman e Juarez Pereira Furtado (Orgs)

RAMOS, R. O problema da avaliao em Sade Pblica. Rev.


Sade Pbl., So Paulo, v. 8,n. 3,p. 305-314,Sept. 1974.
REIS, E.J.F.B.; SANTOS, F.P.; CAMPOS, F.E.; ACRCIO, F.A.;
LEITO, M.T.T.; LEITE, M.L.C.; CHERCHIGLIA, M.L.; SANTOS,
M.A. Avaliao da qualidade dos servios de sade: notas
bibliogrficas. Cad. Sade Pblica , Rio de Janeiro , v. 6,n.
1,p. 50-61,Mar. 1990.
ROSSI, P.H.; LIPSEY, M.H.; FREEMAN, H.E. Evaluation: a
systematic approach. Thousand Oaks: Sage Publications,
2004.
SANTOS, G.F. Investimentos e reforma no setor sade no
Brasil: o caso do projeto reforsus. In: BAYAMA, F.; KASZNAR,
I. (orgs). Sade e previdncia social: desafios para o terceiro
milnio. So Paulo: Pearson Education, 2003.

Prticas de avaliao em sade no Brasil - dilogos

THE WORLD BANK. Towards the institutionalization of


monitoring and evaluation systems in Latin America and
the Caribbean. Washington, 2006.
VIANA, A.L.A.; POZ, M.R.D. A reforma do sistema de sade
no Brasil e o Programa de Sade do Brasil e o Programa de
Sade da Famlia. Physis, v. 12, p. 225-264 (supl), 2005.
VIEIRA-DA-SILVA, L.M. Conceitos, abordagens e estratgias
para a avaliao em sade. In: HARTZ, Z.M.; VIEIRA-DASILVA, L.M. (orgs). Avaliao em sade: dos modelos
tericos prtica na avaliao de programas e sistemas de
sade. Salvador/Rio de Janeiro: EDUFBA/Fiocruz, 2005.
VIEIRA-DA-SILVA, L.M.; FORMIGLI, V.L.A. Avaliao em
sade: limites e perspectivas. Cad. Sade Pblica,Rio de
Janeiro,v. 10,n. 1,p. 80-91,Mar. 1994.

SHADISH, W.R.; COOK, T.D.; LEVITON, L.C. Foundations of


Program Evaluation: theories of practice. Newbury Park:
Sage, 1991.
SHINN, T.; RAGOUET, P. Controvrsias sobre a cincia: por
uma sociologia transversalista da atividade cientfica. So
Paulo: Editora 34, 2008.
SILVA, M.O.S. (org). Avaliao de polticas e programas
sociais. So Paulo: Veras Editora, 2001.
SILVER, L. Aspecto Metodolgicos em Avaliao dos Servios
de Sade. In: GALLO, E.; RIVERA, F.J.U.; MACHADO, M.H.
(orgs). Planejamento criativo: novos desafios em polticas
de sade. Rio de Janeiro: Editora Relume-Dumar, 1992.
STAKE, R.E. Evaluacin compreensiva y evaluacin basada
em estndares. Barcelona: Gra, 2006.

56

57

Captulo 2
Avaliao de Tecnologias
em Sade
Hillegonda Maria Dutilh Novaes
Patrcia Coelho de Sorez

Introduo
O perfil da produo, difuso, incorporao e
utilizao de tecnologias nos sistemas de sade depende
das caractersticas tcnicas e polticas dos sistemas de
sade, que so, por sua vez, determinadas pelas polticas
sociais e econmicas e caractersticas prprias dos pases e
pelo desenvolvimento cientfico, tecnolgico, de inovao
e produtivo existente e incorporado ao setor. As formas de
acesso ao sistema de sade, o perfil dos profissionais de
sade e os produtos e processos tecnolgicos disponveis e
utilizados resultam de articulaes complexas e dinmicas
entre dimenses tcnicas, polticas, econmicas e culturais
dos contextos sociais e dos sistemas de sade. (NOVAES,
2006)

Marco Akerman e Juarez Pereira Furtado (Orgs)

Considera-se que a expanso dos setores produtivos


relacionados sade, a partir da dcada de 1970,
nos pases desenvolvidos, foi impulsionada por cinco
fatores decisivos: 1) proposio e implementao de
polticas cientficas e tecnolgicas por parte do Estado
e disponibilidade de recursos pblicos para a pesquisa
cientfica e desenvolvimento tecnolgico; 2) consolidao
de polticas de sade que ampliam o acesso ateno
sade, como parte do reconhecimento social e poltico
do direito sade como direito essencial da populao;
3) fortalecimento do reconhecimento do mdico como
profissional nuclear na ateno sade e desenvolvimento
de novos tipos de servios, profissionais da sade,
modalidades assistenciais e procedimentos diagnsticos
e teraputicos; 4) ampliao do conceito de sade e sua
medicalizao, isto , os problemas de sade so, tambm,
problemas mdicos e de responsabilidade dos servios de
sade; 5) mudanas no perfil demogrfico e epidemiolgico
das populaes, com reduo da mortalidade por doenas
infecciosas, aumento e diversificao das doenas crnicodegenerativas e aumento da esperana de vida, levando a
novas necessidades de sade e demandas aos servios de
sade. (NOVAES, 2006)
As ltimas dcadas presenciaram processos de
transformao e inovao tecnolgica sem precedentes
na rea da sade, e a incorporao dessas tecnologias
ao sistema de sade produziu mudanas importantes na
ateno mdica e no perfil dos profissionais de sade,
nos processos diagnsticos e teraputicos, na forma de
organizao dos servios de sade e nos custos e gastos
em sade. Face s importantes implicaes econmicas,
ticas e sociais relacionadas intensa incorporao das
tecnologias mdicas aos sistemas de sade, tornou-se
necessrio o desenvolvimento de mecanismos de vigilncia
e regulao dos processos de incorporao e utilizao que
60

Prticas de avaliao em sade no Brasil - dilogos

se mostrassem capazes de garantir usos seguros e racionais


dos recursos tecnolgicos. A identificao da necessidade
da utilizao sistemtica do conhecimento cientfico nesses
processos se insere nesse movimento.
Os processos de incorporao e utilizao de
tecnologias em sistemas e servios de sade envolvem
grupos de interesse distintos e existem tenses entre os
grupos (produtores, tomadores de deciso governamentais,
reguladores, profissionais de sade, hospitais, seguradoras
privadas de sade e consumidores) interessados. So
frequentes as diferenas de opinio sobre a melhor maneira
de equilibrar interesses conflitantes em oramentos sempre
finitos de sistemas de sade que precisam garantir acesso
a tecnologias de sade seguras, eficazes, custo-eficazes,
de forma oportuna e socialmente aceita. As metodologias
utilizadas nas ATS se apoiam no uso adequado do
conhecimento cientfico e tcnico para obter a legitimidade
de uma anlise objetiva, voltada para a maximizao de um
benefcio para os pacientes, e que busca a neutralidade no
que diz respeito aos conflitos de interesse. No entanto, as
decises sobre a incorporao e a utilizao de tecnologias
so tambm sempre polticas e podem ser consideradas
como decises que procuram buscar um equilbrio entre
interesses concorrentes.
Uma melhor compreenso do escopo e potencial
da ATS nos processos de incorporao e utilizao das
tecnologias de sade pode contribuir para sua utilizao
adequada nos processos que buscam melhorar a equidade
e acesso aos servios de sade, dar maior eficincia na
alocao de recursos, melhor efetividade e qualidade dos
servios e maior sustentabilidade financeira do sistema de
sade.
A avaliao de tecnologias em sade tem sido definida
como campo multidisciplinar de anlise de polticas, que
61

Marco Akerman e Juarez Pereira Furtado (Orgs)

estuda as implicaes clnicas, sociais, ticas e econmicas


do desenvolvimento, difuso e uso das tecnologias em
sade. (INTERNATIONAL NETWORK OF AGENCIES FOR
HEALTH TECHNOLOGY, 2011)
So
consideradas
tecnologias
em
sade
medicamentos, equipamentos, procedimentos e sistemas
organizacionais de suporte dentro dos quais os cuidados
com a sade so oferecidos. (LIAROPOULOS, 1997) Em
uma perspectiva muito ampliada seriam tecnologias em
sade todas as formas de conhecimento que podem ser
aplicadas para a soluo ou a reduo dos problemas de
sade de indivduos ou populaes. Portanto, iriam alm
dos medicamentos, equipamentos e procedimentos usados
na assistncia a sade. (VELASCO-GARRIDO; BUSSE, 2005)
Desenvolvimento da ATS no mundo
A partir dos anos 1970 constituram-se nos pases
desenvolvidos, como parte da vigilncia sanitria, estruturas
pblicas responsveis pela anlise de medicamentos,
materiais e equipamentos que as indstrias planejavam
introduzir no mercado para serem usadas pela populao e
nos servios de sade. Uma das instituies emblemticas
dessa fase o Food and Drug Administration (FDA) americano,
pioneiro na determinao dos atributos essenciais dessas
tecnologias para a proteo da sade da populao: eficcia,
segurana e qualidade e dos processos utilizados para a
sua demonstrao, como condio necessria para serem
comercializadas. (BANTA; LUCE, 1993) Nos anos 1990,
a realizao desses estudos passou a ser atribuio das
empresas, sendo seus resultados analisados, verificados e
aprovados, ou no, pelo poder pblico. Essa tendncia
observada na vigilncia sanitria de quase todos os pases
desenvolvidos. No Brasil, a Agncia Nacional de Vigilncia
62

Prticas de avaliao em sade no Brasil - dilogos

Sanitria (ANVISA), criada em 1999, iniciou suas atividades


j segundo esse modelo. (NOVAES, 2006)
A avaliao tecnolgica na rea da sade, como
atividade institucionalizada, teve incio tambm nos anos
1970, sendo pioneiro o Office of Technology Assessment
(OTA) do Congresso Americano, criado para produzir estudos
independentes sobre novas tecnologias sobre as quais se
fazia necessrio legislar. A avaliao tecnolgica em sade
enquanto parte do sistema de sade se desenvolveu nos
pases da Europa Ocidental a partir do final dos anos 1970,
notadamente naqueles com sistemas de sade pblicos
e de cobertura universal (Sucia, Holanda, Reino Unido).
(ODONNELL et al., 2009)
De incio, as organizaes responsveis pela
produo de avaliaes de tecnologias para os sistemas
de sade dedicaram-se a produzir informaes sobre
eficcia, segurana e efetividade das novas tecnologias,
principalmente as de alto custo. Dentre essas tecnologias,
os equipamentos se constituram em grandes desafios, pois
as metodologias e processos de anlise da sua segurana
e efetividade na prtica clnica no estavam ainda bemdefinidos, como para os medicamentos. Posteriormente,
ampliou-se o escopo de informaes necessrias para
as novas tecnologias em geral, agregando s anlises a
dimenso da eficincia (econmica), e a ATS passou a se
constituir em mecanismo complementar da vigilncia
sanitria do setor pblico, quando da sua aprovao para
uso na ateno sade. Alguns pases passaram a exigir
dos fabricantes o desenvolvimento adicional de estudos
de custo-efetividade para a aprovao dos medicamentos,
constituindo-se no que foi denominado de quarto obstculo
(fourth hurdle) a ser transposto pela indstria para o produto
poder chegar ao mercado. (TAYLOR et al., 2004) Ao longo
dos anos 1980, os rgos que produziam estudos de ATS
63

Marco Akerman e Juarez Pereira Furtado (Orgs)

passaram a reconhecer a necessidade de fortalecimento


das relaes com as instncias responsveis pelos processos
de deciso sobre financiamento, incorporao e regulao
do uso das tecnologias nos sistemas de ateno sade
e nos anos 1990 priorizaram tambm a disseminao e a
implementao dos seus resultados na gesto e na prtica
clnica dos servios de sade.
Mais recentemente, os profissionais envolvidos
nas avaliaes tecnolgicas em sade voltadas para o
estudo da efetividade das tecnologias se aproximaram
das reas da epidemiologia e clnica que estudam as
eficcias diagnsticas e teraputicas dos procedimentos
utilizados na prtica mdica e das atividades relacionadas
Medicina Baseada em Evidncias, (AGENCY FOR HEALTH
CARE POLICY AND RESEARCH, 1997) com reconhecimento
mtuo das relaes existentes entre as respectivas prticas.
(NOVAES, 1996) Alm dessas, contribuem tambm para as
avaliaes tecnolgicas o conhecimento produzido pela
engenharia biomdica e engenharia clnica, na avaliao
da inovao, produo, instalao, operao, manuteno
e conformidade de equipamentos e materiais de uso
especializado na rea da sade. (GOODMAN, 1992)
Desde o final dos anos 1980, a presena e a visibilidade
da ATS expandiu-se na Europa, Amrica do Norte, Austrlia
e, mais tardiamente, nos pases em desenvolvimento.
(BANTA; JONSSON, 2009; JAIME CARO, 2009) Em virtude
da sua articulao com as instncias de proposio,
implementao e gesto de polticas de sade, a estrutura
organizacional das instituies que desenvolvem estudos
de ATS tem sido moldada pelo tipo de sistema de sade
do qual fazem parte. Em pases onde os sistemas de sade
so principalmente financiados por recursos pblicos (por
exemplo, Sucia, Canad, Noruega, Reino Unido e Espanha)
tm sido criadas agncias pblicas, vinculadas de diferentes
64

Prticas de avaliao em sade no Brasil - dilogos

formas aos Ministrios de Sade nacionais. Em pases com


sistemas de sade privados (como os Estados Unidos da
Amrica), a ATS desenvolvida por grupos ligados a fundos
de penso, planos de sade ou universidades. (NEUMANN,
2009; WILD; GIBIS, 2003) A adaptao das organizaes
de ATS s caractersticas prprias dos sistemas de sade
responde necessidade de produo de informaes
relevantes para os tomadores de deciso daquele sistema,
possibilitando interao entre as evidncias cientficas e os
contextos sociais. (THE OECD HEALTH PROJECT, 2005)
O crescimento do uso do conhecimento produzido
pelas organizaes de ATS internacionalmente pode ser
observado pelo aumento do nmero de integrantes da
Rede Internacional de Agncias de Avaliao de Tecnologias
em Sade (em ingls International Network of Agencies for
Health Technology Assessment - INAHTA), uma organizao
sem fins lucrativos criada em 1993, com o objetivo de
acelerar a troca e a colaborao entre as agncias, promover
comparao e compartilhamento de informao e prevenir
duplicao de atividades. Das 52 agncias atualmente
filiadas INAHTA, apenas trs esto localizadas em pases
em desenvolvimento (Brasil, Argentina e Litunia).
Ciclo de vida das tecnologias
A avaliao de uma tecnologia pode ser realizada em
qualquer fase do ciclo de vida da tecnologia inovao,
difuso inicial, incorporao, ampla utilizao e abandono
(PANERAI; MOHR, 1989) (Figura 1). As dimenses nucleares
das tecnologias inicialmente estudadas so segurana,
risco, eficcia e efetividade. Adicionalmente, tem sido
analisada a eficincia e, ocasionalmente, so tambm
consideradas dimenses ticas, sociais e legais associadas
ao uso da tecnologia. Mostra-se importante compreender
65

Marco Akerman e Juarez Pereira Furtado (Orgs)

a tecnologia em questo como parte de conjuntos de


alternativas diagnsticas e teraputicas, desenvolvendo
anlises comparativas quando necessrias e pertinentes.
Quando a ATS realizada ainda na fase anterior
entrada da tecnologia no mercado os estudos se
concentram na segurana e eficcia, analisando-os no
apenas na perspectiva individual, como nos ensaios
clnicos, mas tambm populacional. Na difuso inicial da
tecnologia nos sistemas de sade, valoriza-se o estudo da
sua potencial efetividade, eficincia e impactos econmicos
e organizacionais. Uma vez incorporada e ocorrida
a disseminao de uso, mostram-se importantes os
monitoramentos da efetividade e impactos, com frequncia
distintos dos estimados inicialmente. E, finalmente, na
fase da obsolescncia e eventual abandono, as avaliaes
buscam conhecer os potenciais efeitos da sua eliminao e
substituio por outras tecnologias. (NOVAES, 2006)
Figura 1: Ciclo de vida das tecnologias em sade.

Fonte: Adaptado de Banta 1993. (PERLETH et al., 2001)

66

Prticas de avaliao em sade no Brasil - dilogos

Quando uma tecnologia incorporada, ela


desencadeia uma srie complexa de impactos medida
que se difunde e utilizada. Mostra-se importante o
estudo de todas as fases do ciclo de vida das tecnologias em
sade (Figura 1) para identificar e entender os principais
determinantes e influncias que direcionam esse processo
dinmico e formular as polticas mais efetivas e apropriadas
para cada uma dessas fases.
Avaliao de Tecnologias em Sade
A mudana tecnolgica em sade se d de forma
extremamente rpida atualmente. A capacidade de inovar
e desenvolver tecnologias de sade tem superado em
muito a competncia da sociedade de avali-las de modo a
realizar decises racionais sobre seu uso apropriado.
Como resultado da rpida disseminao destas
tecnologias, os governos enfrentam desafios sem
precedentes para oferecer cuidados inovadores e de alta
qualidade, gerenciar oramentos da ateno sade e
resguardar os princpios bsicos de equidade, acesso e
escolha. Os governos cada vez mais tm sido chamados para
gerir recursos escassos de maneira estratgica, investindo
em servios que ofeream os melhores resultados de
sade; uma assistncia possvel de ser financiada, efetiva,
segura e centrada no paciente. Nesse cenrio, a avaliao
tecnolgica em sade tem se constitudo em instrumento
auxiliar nos diferentes processos de deciso referentes ao
uso de tecnologias mdicas na ateno sade.
A ATS tem sido comparada a uma ponte que se prope
unir o mundo da pesquisa ao mundo da gesto. (BATTISTA,
1996) Esta ponte procura transferir o conhecimento
produzido na pesquisa cientfica para o processo de
tomada de decises. Para alcanar esse propsito, a ATS
67

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

coleta, analisa e sintetiza resultados de pesquisas de


forma sistemtica e reprodutvel, ou, se necessrio, produz
novos conhecimentos, tornando-os acessveis e teis para
a tomada de deciso. A ATS compartilha esses princpios
com a Medicina Baseada em Evidncias (MBE) e com
os Protocolos ou Guias de Prtica Clnica (GPC) que, em
conjunto, constroem um corpo de iniciativas que tem por
objetivo melhores prticas na ateno sade, com focos
distintos, porm complementares. (PERLETH et al., 2001;
DRUMMOND et al., 2008) O pblico principal da ATS so
os tomadores de deciso responsveis pelas polticas e a
MBE e GPC so voltadas para apoio tomada de decises
em nvel clnico individual e em nvel de grupo de pacientes,
respectivamente.

O crculo daqueles que participam das decises e/


ou so afetados pelo uso das tecnologias muito amplo
incluindo profissionais e gestores de sistemas e servios de
sade, legisladores e advogados, instituies acadmicas e
pesquisadores, indstria farmacutica e de equipamentos
e seus profissionais, pacientes e suas famlias e a populao
em geral.

As agncias e rgos de Avaliao de Tecnologias em Sade


e o contexto para os estudos de ATS

Mostra-se fundamental deixar explcito o contexto


que orientou a avaliao, para que os leitores e usurios da
avaliao possam verificar se o seu resultado, o produto,
relevante para suas questes. A descrio do contexto
deve ser parte essencial dos relatrios de avaliaes de
tecnologias em sade, contribuindo para a explicitao das
questes que orientaram a sua realizao.

Os principais objetivos das agncias e rgos


responsveis pela realizao e utilizao das avaliaes de
tecnologias em sade so:
Assegurar que as tecnologias previstas para uso na
ateno sade sejam seguras e evitem danos sade;
Verificar se as tecnologias a serem incorporadas na
ateno sade so eficazes e efetivas;
Analisar as relaes entre os benefcios potenciais
decorrentes do uso das tecnologias na ateno sade e
contextos econmico-financeiros;
Prover os formuladores de polticas e gestores
em sade com informaes que auxiliem nos processos
de deciso relacionados alocao de fundos de
pesquisa, desenvolvimento de legislaes, decises sobre
incorporao de tecnologias e pagamento de procedimentos
e servios.
68

O contexto e os objetivos da avaliao de uma


tecnologia determinam os mtodos utilizados e a extenso
e abrangncia da avaliao. O escopo, o tipo, detalhamento
metodolgico e estimativas a serem desenvolvidas
nas avaliaes em sade variam consideravelmente,
dependendo, entre outros fatores, dos recursos disponveis,
urgncia, horizonte temporal e principais interessados nos
seus resultados.

A perspectiva a ser adotada em uma avaliao de


tecnologias deve refletir os objetivos especficos dos atores
que organizam, financiam e utilizam a avaliao. Agncias
regulatrias nacionais necessitam de avaliaes da
segurana, eficcia, efetividade e eficincia de tecnologias
em sade na perspectiva da sociedade. Hospitais e outras
instituies de ateno sade necessitam avaliaes
que apoiem os processos de aquisio, investimento, e
decises relacionadas ao gerenciamento de tecnologias
na perspectiva institucional. Associaes profissionais
necessitam avaliaes de tecnologias que contribuam
para decises na organizao dos cuidados de pacientes.
69

Marco Akerman e Juarez Pereira Furtado (Orgs)

Companhias de seguros se interessam por avaliaes que


possam apoiar a decises sobre cobertura e reembolso de
procedimentos, etc.
Os custos e benefcios a serem calculados e/
ou estimados dependem da perspectiva adotada na
avaliao. Por exemplo, o administrador de um hospital
deseja avaliar uma tecnologia como parte dos elementos
a serem considerados para a aquisio de uma tecnologia,
considerando os custos financeiros diretos e sua
contribuio para a capacidade de gerao de renda para o
hospital. Por outro lado, um gestor local estar preocupado
com as implicaes da nova tecnologia sobre a distribuio
dos recursos e a sua eficincia alocativa, o atendimento
demanda, os custos sociais, etc.
O escopo das avaliaes de tecnologias em sade
compreende um conjunto de propriedades, atributos e
impactos das tecnologias:
o Propriedades tcnicas;

o Segurana clnica/efeitos adversos;


o Eficincia;
o Utilidade;

o Qualidade;

o Atributos ou impactos econmicos;

o Impactos sociais, legais, ticos e/ou polticos.

Prticas de avaliao em sade no Brasil - dilogos

As avaliaes de tecnologias em sade e principais etapas


para a sua realizao
A ATS constitui-se em um campo de conhecimentos
e prticas essencialmente multidisciplinar. Quatro
principais campos de conhecimento e pesquisa aplicada,
e os pesquisadores que nelas atuam, tm contribudo
para o desenvolvimento das ATS: (i) as cincias polticas,
(ii) as pesquisas clnicas, laboratoriais e epidemiolgicas
na medicina e sade; (iii) a economia, e (iv) as cincias
sociais e humanas. As cincias polticas contribuem para a
compreenso das ATS enquanto parte das polticas sociais,
econmicas e da sade. A produo cientfica na rea
mdica e da sade contribui como conhecimentos essenciais
para o estudo dos problemas de sade potencialmente
impactados pelas novas tecnologias. A economia contribui
com os conhecimentos necessrios para a compreenso
do contexto macroeconmico e organizacionais e teorias
e mtodos para os estudos de custos necessrios para as
avaliaes econmicas. Os componentes ticos e culturais
nas ATS necessitam do aporte de conhecimentos e mtodos
das cincias sociais e humanas para a sua adequada
apreenso. De acordo com a INAHTA para que as ATS
possam ser completas elas necessitaro das contribuies
de todos esses campos de conhecimentos e estratgias
metodolgicas. (VELASCO-GARRIDO et al., 2008)
Dada a diversidade de atributos e objetivos que
podem ser considerados, as avaliaes de tecnologias
em sade apresentam grande diversidade metodolgica,
contudo alguns passos bsicos devem ser considerados
pelas organizaes e pesquisadores responsveis pelas
avaliaes: (GOODMAN, 1998)
o Identificao das tecnologias candidatas e o
estabelecimento das prioritrias;

70

71

Marco Akerman e Juarez Pereira Furtado (Orgs)

o Especificao do problema a ser avaliado;


o Determinao do cenrio da avaliao;

o Recuperao das evidncias disponveis;

o Obteno de dados primrios (se necessrio);


o Interpretao das evidncias obtidas;
o Sntese das evidncias;

o Apresentao dos resultados e formulao de


recomendaes;
o Disseminao dos resultados das recomendaes;
o Monitorar o impacto.

Prticas de avaliao em sade no Brasil - dilogos

o Custo unitrio ou agregado elevado da tecnologia


ou do problema de sade;
o Exigncias pblicas ou polticas;

o Necessidade de tomar deciso para reembolso.


No Reino Unido, o National Institute for Health and
Clinical Excellence (NICE), agncia pblica responsvel
pela produo de recomendaes para decises sobre
incorporao de tecnologias (health technology
appraisals) no pas, refere priorizar as tecnologias com
base no National Institute For Health And Care Excellence
(2015):
Impacto da nova tecnologia nos recursos do NHS;

Etapa 1 - Identificao das tecnologias candidatas a


avaliaes e estabelecimento das prioridades.
Em virtude da limitao de recursos, a maioria dos
governos enfrenta dificuldades para acompanhar o ritmo de
introduo de novas tecnologias de sade no mercado. Isto
especialmente verdadeiro em pases em desenvolvimento,
onde os recursos para a avaliao de tecnologias em sade
so ainda mais limitados. A priorizao dos temas para
as avaliaes tornou-se assim uma parte importante dos
processos da ATS.
A maioria das organizaes responsveis pela
realizao das avaliaes adota critrios para a seleo dos
temas prioritrios. Alguns exemplos de critrios de seleo
que podem ser usados para estabelecer prioridades de
avaliao so:
o nus elevado de morbidade e ou mortalidade;
o Grande nmero de pacientes afetados;
72

Importncia clnica e poltica;


Presena de variaes inapropriadas na prtica;
Fatores potenciais que afetem a oportunidade da
orientao proposta;
Probabilidade da orientao ter impacto na sade
pblica e qualidade de vida, reduo de iniquidade em sade
e na oferta de programas e intervenes de qualidade.
No Canad, a Canadian Agency for Drugs and
Technologies in Health (CADHT), agncia pblica que produz
recomendaes para os gestores nacionais, regionais e locais
sobre incorporao de tecnologias de sade nos sistemas
de sade refere as seguintes dimenses na priorizao dos
estudos: (OXMAN; GUYATT, 1993)
Carga da condio de sade para qual a tecnologia
se destina.
Disponibilidade de tecnologias alternativas;
Impacto clnico potencial da tecnologia;
73

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Impacto econmico potencial da tecnologia;

Etapa 3 - Determinao do cenrio da avaliao.

Impacto oramentrio potencial do financiamento


da tecnologia;
Disponibilidade de
avaliao da tecnologia.

informaes

recentes

de

Etapa 2 - Especificao do problema a ser avaliado.


Um dos aspectos mais importantes de uma avaliao
a clara apresentao do problema ou questo orientadora
do estudo. Ela condiciona todos os aspectos subsequentes
da avaliao. O grupo responsvel pela avaliao deve
compreender a sua finalidade quem so os usurios
potenciais. As avaliaes envolvem a clara especificao
dos seguintes elementos:
o O(s) problema(s) de sade;

o Populao(es) afetadas pelo(s) problema(s);


o A(s) tecnologia(s);

o Os profissional(is) de sade envolvido(s);

o O(s) nvel(is) de ateno do sistema de sade


(primrio, secundrio e tercirio) afetado(s);
o As dimenses que sero avaliadas: segurana
(incluindo efeitos adversos), eficcia, efetividade, eficincia,
acesso, equidade, etc.

74

Diferentes fatores podem influenciar na deciso de


se realizar, ou no, a avaliao de uma tecnologia e na sua
forma:
Existem avaliaes semelhantes disponveis?
As alternativas metodolgicas propostas so viveis
e vlidas?
Se uma avaliao disponvel necessitar ser atualizada,
a organizao tem o tempo e expertise necessrios para
realizar o estudo?
Se a obteno de novos dados se faz necessria, a
organizao dispe dos recursos financeiros, organizacionais
e humanos necessrios?
Os sistemas, servios, profissionais de sade e a
populao iro reconhecer a legitimidade do estudo e dos
seus resultados?

Etapa 4 - Recuperao das evidncias disponveis ou


obteno de novas evidncias.
Um dos grandes desafios para a realizao de
avaliaes de tecnologias em sade a recuperao das
evidncias disponveis e relevantes, os dados existentes na
literatura cientfica e em outras fontes de informaes. Para
tecnologias muito novas, esta informao pode ser escassa
e difcil de encontrar; para as tecnologias j disseminadas,
pode ser profusa, dispersa e de qualidade varivel.

75

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Mltiplas fontes devem ser consultadas para


aumentar a probabilidade de recuperar relatrios e artigos
relevantes. As fontes que podem ser teis para as avaliaes
de tecnologias em sade incluem:
Bases de dados computadorizadas da literatura
cientfica publicada.
Sistemas de informao com bases de dados clnicos
e administrativos.
Relatrios
tcnicos
dissertaes e teses.

oficiais,

monografias,

Referncias includas em estudos, revises e metaanlises disponveis.


Relatrios e diretrizes clnicas das associaes
profissionais e das organizaes responsveis por ATS
nacionais e internacionais.
Os principais tipos de estudo nas avaliaes em
tecnologias em sade so:
o Estudos de conformidades tcnicas.
o Anlises de contexto e de polticas.

o Estudos com dados primrios oriundos de estudos


experimentais (ensaios clnicos controlados randomizados
ortodoxos e pragmticos) e estudos observacionais (casocontrole, transversal e srie de casos).
o Estudos que utilizam mtodos integrativos com
base em dados secundrios (reviso e sntese da literatura
cientfica e/ou modelizaes matemticas de diferentes
tipos com estimativas baseadas na literatura cientfica,
dados populacionais, epidemiolgicos e de custos, opinio
de especialistas, etc.).

76

Etapa 5 Coleta de novos dados (dados primrios, se


necessrio).
Em algumas ocasies as evidncias existentes podero
no ser suficientes para prover as informaes necessrias
para a avaliao proposta, e novos estudos so necessrios
para gerar dados para aspectos particulares da avaliao.
No entanto, a possibilidade de empreender a busca e
produo de novos dados est sempre condicionada aos
recursos financeiros e de tempo disponveis.

Etapa 6 - Interpretao das evidncias disponveis.


Mostra-se um desafio para toda avaliao a
identificao dos achados essenciais das evidncias
cientficas, a partir de estudos com abordagem
metodolgica e qualidade variveis. Deve ser utilizado um
enfoque sistemtico para avaliar criticamente a qualidade
dos estudos disponveis. Em geral, a interpretao das
evidncias envolve a seleo e a classificao dos estudos e
das evidncias.
Uma forma til de sumarizar e indicar as qualidades
importantes dos estudos disponveis organizar uma tabela,
a tabela de evidncias, com as seguintes informaes de
forma resumida: atributos dos delineamentos dos estudos,
caractersticas dos pacientes, resultados obtidos com os
pacientes e sumrios das estatsticas derivadas.
As informaes resumidas na tabela de evidncias
permitem aos revisores comparar sistematicamente
os atributos-chave dos estudos e fornecem um retrato
da quantidade e qualidade da evidncia disponvel. Em

77

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

seguida feita a graduao das evidncias de acordo com


o delineamento dos estudos de onde elas foram obtidas:

Etapa 7 - Sntese das evidncias.

I: Evidncias obtidas de pelo menos um ensaio controlado


randomizado.

Sintetizar as evidncias, principalmente as obtidas


de revises de literatura, tem sido um passo destacado
quanto ao desenvolvimento e utilizao de estratgias
metodolgicas, que buscam torn-las comparveis entre
si. Os principais produtos em que so apresentados os
resultados de estudos de avaliaes de tecnologias pelas
organizaes responsveis pela ATS so: pareceres tcnicocientficos, relatrios com ampla reviso sistemtica da
literatura e eventualmente meta-anlise, relatrios de
avaliaes tecnolgicas e econmicas completas.

II-1: Evidncias obtidas de ensaios controlados no


randomizados.
II-2: Evidncias obtidas de um estudo de coorte ou de casocontrole.
II-3: Evidncias obtidas de comparaes entre pocas e
lugares com ou sem interveno.
III: Opinies de autoridades reconhecidas, baseadas na
experincia clnica, nos estudos descritivos ou nos relatrios
de comits de especialistas.
Posteriormente, a qualidade de cada estudo (validade
interna) avaliada de acordo com critrios previamente
estabelecidos para cada tipo de estudo, e as evidncias so
classificadas nos seguintes nveis:
Boa estudo atende satisfatoriamente a todos os
critrios especficos ao respectivo delineamento.
Razovel estudo no atende satisfatoriamente pelo
menos a um critrio especfico ao respectivo delineamento,
mas no apresenta falha metodolgica grave conhecida.
Pobre estudo possui pelo menos uma falha
metodolgica grave conhecida ou acmulo de falhas
menores que tornam os resultados do estudo inadequados
para a fundamentao de recomendaes.
importante que sejam explicitados no produto
das avaliaes (relatrios, pareceres) os critrios e os
procedimentos utilizados para selecionar os estudos
na reviso da literatura e como foram organizados e
interpretados seus resultados.
78

Os Pareceres Tcnico-Cientficos (PTC) envolvem, via


de regra, reviso da literatura menos extensa e abrangente
que uma reviso sistemtica, sendo de execuo e elaborao
mais rpidas e representando um relato sistematizado e
mais abrangente possvel do conhecimento existente neste
contexto e horizonte temporal, para decises a serem
tomadas com urgncia. (HIGGINS; GREEN, 2011)
As revises sistemticas da literatura e eventual
meta-anlise tm por objetivo identificar e organizar
toda a evidncia segundo critrios de elegibilidade prespecificados, a fim de responderem a perguntas especficas.
So utilizados mtodos explcitos para minimizar o risco de
vis, proporcionando assim resultados mais confiveis a
partir dos quais possvel tirar concluses e contribuir para
decises mais abrangentes e com menor grau de incerteza.
(DRUMMOND et al., 2005; BANTA; ALMEIDA, 2009)
As avaliaes econmicas so um dos tipos de
avaliao tecnolgica, em que se realiza anlise comparativa
entre duas ou mais intervenes alternativas, comparando
custos e resultados obtidos. Existem quatro metodologias
principais de avaliao econmica completa de programas
79

Marco Akerman e Juarez Pereira Furtado (Orgs)

de sade: anlise custo-minimizao (ACM), anlise custoefetividade (ACE), anlise custo-utilidade (ACU) e anlise
custo-benefcio (ACB). (ALMEIDA et al., 1987)

Etapa 8 - Apresentao dos resultados e formulao das


recomendaes.
A fora cientfica e aceitao dos resultados e
recomendaes apresentadas nos pareceres ou relatrios
iro depender diretamente da qualidade dos dados
existentes e do conhecimento produzido. Os usurios das
recomendaes apresentadas em uma ATS devem entender
as bases para as recomendaes apresentadas, os limites
do conhecimento produzido e compreender as escolhas
metodolgicas adotadas no estudo e suas relaes com o
contexto estudado.

Etapa 9 - Disseminao dos resultados das recomendaes.


Os resultados podem ser apresentados em formatos
e estilos diversos, dependendo dos seus usurios potenciais
e finalidade e dos meios disponveis para divulg-los
(por exemplo, relatrio detalhado para pesquisadores e
formuladores de polticas; pareceres tcnico-cientficos
para gestores, guias de referncia rpida para clnicos,
etc.). A disseminao dos resultados deve fazer parte do
planejamento das avaliaes e estar prevista no oramento.

80

Prticas de avaliao em sade no Brasil - dilogos

Etapa 10 - Monitoramento do impacto das recomendaes.


As avaliaes e o monitoramento do impacto das
recomendaes produzidas pelas organizaes responsveis
pela ATS so ainda pouco frequentes, apesar da crescente
nfase que os rgos governamentais, as seguradoras de
sade e as agncias internacionais tm atribudo ao assunto.
As avaliaes de tecnologias buscam contribuir
principalmente para as decises de incorporao e
cobertura nos sistemas de sade. As avaliaes de
tecnologias tm sido mais numerosas para as tecnologias
de ateno terciria. Sendo assim, o impacto na perspectiva
da sade populacional , em geral, pequeno, essa uma
das principais crticas dos especialistas em sade pblica,
mas o seu impacto sobre o cuidado e os custos de grupos
especficos de pacientes pode ser significativo.
Desenvolvimento e implantao de agncias de ATS e
utilizao dos resultados de estudos de ATS na incorporao
de tecnologias no SUS
No Brasil, a ATS foi discutida formalmente pela
primeira vez em 1983, com a realizao de um seminrio
em Braslia, fruto da parceria entre PAHO/WHO e governo
brasileiro. Nesse encontro, foram abordados diversos
aspectos da ATS: questes polticas, a eficcia questionvel
de vrias tecnologias em sade, problemas de custos e
custo-efetividade e problemas relacionados transferncia
de tecnologias. No final da dcada de 1980, iniciaram-se
atividades de ensino e pesquisa em ATS de forma pontual
em algumas instituies universitrias. (NOVAES, 1991;
SILVA, 1992; BRASIL. MINISTRIO DA SADE, 2006)

81

Marco Akerman e Juarez Pereira Furtado (Orgs)

A organizao da prtica institucional de ATS no


Brasil encontra-se fundamentalmente vinculada ao sistema
pblico de sade. Nos ltimos anos, vrias iniciativas do
Ministrio da Sade buscaram promover a utilizao de
evidncias cientficas nos processos de deciso poltica
sobre incorporao e utilizao de tecnologias no SUS.
Em 2004, foi criado o Departamento de Cincia e
Tecnologia do Ministrio da Sade (DECIT) e aprovada
a Poltica Nacional de Cincia Tecnologia e Inovao em
Sade. Em 2005, foi criada a Coordenao Geral de Avaliao
de Tecnologias em Sade com a misso de implementar,
monitorar e difundir a ATS no Sistema nico de Sade
(SUS). Em 2006, foi institudo o fluxo para incorporao
de tecnologias no SUS e foi criado o Boletim Brasileiro de
Avaliao de Tecnologias em Sade (BRATS), coordenado
pela ANVISA, com o propsito de informar sobre novas
tecnologias registradas no mercado brasileiro. Neste
mesmo ano o DECIT passou a fazer parte da INAHTA, maior
rede mundial de cooperao em ATS. (BRASIL. MINISTRIO
DA SADE, 2010a)
O DECIT, em parceria com a Financiadora de Estudos e
Projetos (FINEP) do Ministrio da Cincia e Tecnologia (MCT),
promoveu cursos de Especializao e cursos de Mestrado
Profissional em Gesto de Tecnologias em Sade. Em 2008,
foi formada a Rede Brasileira de Avaliao de Tecnologias
em Sade (REBRATS), como estratgia de aprimoramento
da capacidade regulatria do Estado, de definio de
critrios de priorizao e de diretrizes metodolgicas para
estudos de ATS. (BRASIL. MINISTRIO DA SADE, 2010b)
Em 2009, foi aprovado pelo CNPq o financiamento do
Instituto Nacional em Cincia e Tecnologia em Avaliao de
Tecnologias em Sade (IATS) com objetivo de desenvolver,
fomentar e disseminar a ATS no Brasil. Em 2010, foram
institudos 24 Ncleos de Avaliao de Tecnologias em
82

Prticas de avaliao em sade no Brasil - dilogos

Sade (NATS) em Hospitais de Ensino, em todas as regies


do Pas, como proposta de introduzir a cultura de ATS nesses
hospitais e auxiliar o gestor hospitalar a tomar decises
quanto incluso e retirada de tecnologias e seu uso
racional. Em 2010, aps um longo processo de elaborao e
discusso ampla como todas as instncias interessadas, foi
publicado pelo Ministrio da Sade a Poltica Nacional de
Gesto de Tecnologias em Sade (PNGTS), que se constitui
em instrumento norteador para os atores envolvidos na
gesto dos processos de avaliao, incorporao, difuso,
gerenciamento da utilizao e da retirada de tecnologias no
Sistema de Sade. (AUGUSTOVSKI et al., 2011) Em 2011, foi
realizado o primeiro encontro do HTAi no Rio de Janeiro, em
que houve grande participao de pesquisadores e gestores
brasileiros.
Fluxo de incorporao de novas tecnologias no Sistema de
Sade do Brasil
A Agncia Nacional de Vigilncia Sanitria (ANVISA),
criada em 1999, a instncia pblica governamental
responsvel pela regulamentao, controle e fiscalizao de
bens e servios que envolvam riscos Sade Pblica, o que
inclui todas as tecnologias previstas para serem utilizadas
na ateno sade. Conceder registro dos produtos para
serem colocados no mercado sua responsabilidade, bem
como os certificados de boas prticas de fabricao, etapas
iniciais para que tecnologias em sade sejam consideradas
para incorporao no sistema de sade.
Os preos dos medicamentos tm sido regulados
desde 2000. As polticas de regulao so definidas pela
Cmara de Regulao do Mercado de Medicamentos,
composto por cinco ministrios e liderado pelo Ministrio da
Sade. A ANVISA, atravs do seu Ncleo de Assessoramento
83

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Econmico em Regulao (NUREM), responsavel pela


implementao de uma poltica de regulao de preos
baseada em evidncias. (BRASIL. MINISTRIO DA SADE,
2011) A Comisso para Incorporao de Tecnologias do
Ministrio da Sade (CITEC), coordenada pela Secretaria de
Ateno Sade (SAS), foi criada em 2006 por meio das
Portarias n 152/06 e 3.323/06. No ano de 2008, a Portaria
n 2.587/08 transferiu a coordenao da CITEC para a
Secretaria de Cincia, Tecnologia e Insumos Estratgicos.
De acordo com a referida portaria, a CITEC era responsvel
por gerenciar o processo de incorporao de tecnologias,
elaborar rotinas, fluxos e recomendaes para apoiar
processos de deciso nos sistemas de sade pblico e
privado. (BRASIL. MINISTRIO DA SADE, 2010)

de Cincia, Tecnologia e Insumos Estratgicos (DECIT/


SCTIE). O parecer revisto pelo Grupo Tcnico Assessor e
posteriormente apreciado pelos membros da CONITEC.

A Lei n 12.401 de 28 de abril de 2011 alterou a


Lei n 8080 de 1990, na disposio sobre a assistncia
teraputica e incorporao de tecnologias em sade no
mbito do SUS alterando o disposto para a CITEC em 2008,
alterando o nome para Comisso Nacional de Incorporao
de Tecnologias no SUS/CONITEC, mantendo a SCTIE como
rgo responsvel, porm ampliando consideravelmente
as instncias representadas na Comisso. Foram mantidas
as atribuies originais, modificados os processos para
submisso de pedidos (fluxo contnuo) e documentos a
serem entregues pelo demandante e estabelecidos prazos
para a anlise dos processos (no superior a 180 dias).
(FERRAZ et al., 2011)

As recomendaes da CONITEC devem ser


referendadas pelo Secretrio de Cincia, Tecnologia e
Insumos Estratgicos e posteriormente encaminhadas
ao Ministro da Sade. Aps a deliberao do Ministro de
Estado da Sade, o processo dever retornar CONITEC
e novamente respectiva rea tcnica para incorporao
ou retirada da tecnologia. Caso a deciso seja desfavorvel
solicitao, a CONITEC dever aceitar pedidos de
reconsiderao, no prazo de 30 dias.

A coordenao da CONITEC encaminha o processo


s Secretarias do Ministrio da Sade, que devem fazer
anlise preliminar quanto ao mrito da solicitao, com
base em metodologia definida. Caso favorvel, a Secretaria
responsvel pela tecnologia em questo deve elaborar
Parecer Tcnico-Cientfico (PTC), com o apoio tcnico
do Departamento de Cincia e Tecnologia da Secretaria
84

As recomendaes da CONITEC devem considerar o


impacto da incorporao da tecnologia no sistema pblico de
sade e sua relevncia tecnolgica deve ser estabelecida pela
observao das melhores evidncias cientficas, prevendose tambm consulta pblica. Se favorvel incluso, deve
ser analisado o impacto financeiro da incorporao e
elaborado Protocolo Clnico e as Diretrizes Teraputicas.
Os critrios referidos de priorizao da CONITEC para
incorporao tecnolgica (em ordem hierrquica) so: 1.
Necessidade social; 2. Evidncia cientfica; 3. Prioridades da
poltica de sade; 4. Disponibilidade de recursos.

Os processos de avaliao de novas tecnologias no Sistema


de Sade do Brasil
Os processos de avaliao de tecnologias em sade
no Brasil incluem formalmente todas as fases mencionadas
como essenciais, desde a identificao das tecnologias
candidatas e priorizao at disseminao dos resultados
e monitoramento dos impactos da incorporao dessas
tecnologias.

85

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Os processos tm sido considerados adequados


pelas organizaes de ATS internacionais quando h
independncia dos responsveis pela realizao das
avaliaes, transparncia e racionalidade nos critrios
usados para julgar as evidncias, bem como nas concluses
das avaliaes e recomendaes propostas, identificao
dos membros dos comits que aprovam as propostas finais
(appraisal), linha do tempo explcita para realizao e
finalizao das avaliaes, oportunidade para contribuio
dos stakeholders e regras claras para apelo das decises.
(NEUMANN, 2009)

Consideraes finais

Gestores do sistema de sade entrevistados nos


Simpsios Internacionais de Economia da Sade de 2006 e
2008, em So Paulo, referiram, no entanto, que os processos
atuais, na prtica, apresentam limitaes, mostrandose instveis e incapazes de satisfazer as necessidades do
sistema de sade do Brasil. Os entrevistados mencionaram
governo, academia e profissionais em sade como as trs
principais instncias a serem envolvidas nos processos, e
eficincia/efetividade, segurana e relevncia da doena
como as principais dimenses a serem consideradas nos
estudos de ATS desenvolvidos. Os gestores sugeriram
o desenvolvimento de processos de gesto da ATS
descentralizado e regionalizado com avaliaes e decises
separadas para o sistema pblico e privado. (Brasil.
Ministrio da Sade, 2009)

Cooperao e comunicao entre os produtores,


usurios e outros stakeholders mostram-se essenciais
para garantir a abrangncia das avaliaes de um escopo
ampliado de tecnologias, reduzir duplicaes e atrasos e
promover o alinhamento das avaliaes com as prioridades
em sade.

86

A avaliao de tecnologias em sade (ATS) tem sido


utilizada nas decises de incorporao dos sistemas de
sade pblicos e privados. Muitos pases tm aumentado
o investimento em atividades relacionadas ATS,
principalmente no seu desenvolvimento metodolgico.
O Brasil tem acompanhado essa tendncia. A ATS pode
desempenhar um papel mais importante no futuro. Porm,
desafios precisam ser superados para que ela alcance seus
objetivos.

Para maior aceitao e uso apropriado da ATS,


necessrio garantir processos transparentes e desenvolver
a capacitao dos tomadores de deciso para interpretar
o conhecimento produzido pelas ATS. O investimento na
capacitao de profissionais que produzem as avaliaes
de tecnologias em sade pode aumentar a qualidade e a
relevncia dos relatrios produzidos.
Estabelecer um programa de ATS efetivo no Brasil
uma tarefa desafiadora. Essa iniciativa dever estar baseada
no comprometimento poltico dos gestores do sistema de
sade em promover a produo e a utilizao dos resultados
e recomendaes da ATS nos processos de deciso e a
insero ativa dos pesquisadores em organizaes de ATS
nacionais e internacionais.

87

Marco Akerman e Juarez Pereira Furtado (Orgs)

Referncias
AGENCY FOR HEALTH CARE POLICY AND RESEARCH.
Translating evidence into practice 1997: conference
summary. 1997. Disponvel em: <http://www.ahcpr.gov/
clinic/trip1997/>. Acesso em: 09 fev 2011.
ALMEIDA, R.; PANERAI, R.; CARVALHO, M.; LOPES, J.
Utilizao de Tecnologias Neonatais. Revista Brasileira de
Engenharia Caderno de Engenharia Biomdica. v. 4, n. 1,
p. 107-19, 1987.
AUGUSTOVSKI, F.; MELENDEZ, G.; LEMGRUBER, A.;
DRUMMOND, M. Implementing pharmacoeconomic
guidelines in Latin America: lessons learned. Value Health,
v. 14, n. 5, p. 3-7, 2011.
BANTA, D.; ALMEIDA, RT. The development of health
technology assessment in Brazil. Int J Technol Assess Health
Care, v. 25, n. 1, p. 255-9, 2009.
BANTA, H.; LUCE, B. Introduction. Health Care Technology
and Its Assessment: An International Perspective. New
York, NY: Oxford University Press; 1993. p. 1-5.
BANTA, D.; JONSSON, E. History of HTA: Introduction. Int J
Technol Assess Health Care, v. 25, n. 1, p. 1-6, 2009.
BATTISTA, R. Towards a paradigm for technology assessment.
In: PECKHAM, M.; SMITH, R. (editors). The scientific basis
of health services. London: BMJ Publishing Group; 1996.
BRASIL. Ministrio da Sade, Departamento de Cincia
e Tecnologia, Secretaria de Cincia, Tecnologia e
Insumos Estratgicos.Health Technology Assessment:
institutionalization of actions in the Brazilian Ministry of
Health.Rev. Sade Pblica, So Paulo, v. 40,n. 4,p. 743747,Aug.2006.
88

Prticas de avaliao em sade no Brasil - dilogos

BRASIL. Ministrio da Sade. Avaliao de Tecnologias em


Sade. Ferramentas para a Gesto do SUS. Srie A. Normas
e Manuais Tcnicos 2009. Disponvel em: <http://bvsms.
saude.gov.br/bvs/publicacoes/avaliacao_tecnologias_
saude_ferramentas_gestao.pdf>. Acesso em: 03 nov 2015.
______. Consolidation of health technology assessment in
Brazil. Rev. Sade Pblica.v. 44, n. 2, p. 391-3, 2010a.
______. Poltica Nacional de Gesto de Tecnologias em
Sade. Braslia, 2010b.
______. O que muda da antiga CITEC para a atual CONITEC
no processo de incorporao de tecnologias no SUS.
2011. Disponvel em: <http://portal.saude.gov.br/portal/
arquivos/pdf/conitec_doc_070212.pdf>. Acesso em: 27 fev
2012.
DRUMMOND, M.; SCULPHER, M.; TORRANCE, G.; OBRIEN,
B.; STODDART, G. Methods for the Economic Evaluation
of Health Care Programmes. Third ed: Oxford Medical
Publications; 2005.
DRUMMOND, M.F.; SCHWARTZ, J.S.; JNSSON, B.; LUCE,
B.R.; NEUMANN, P.J.; SIEBERT, U. et al. Key principles for the
improved conduct of health technology assessments for
resource allocation decisions. Int J Technol Assess Health
Care. v. 24, n. 3, p. 244-58, 2008.
FERRAZ, M.B.; SOREZ, P.C.; ZUCCHI, P. Health technology
assessment in Brazil: what do healthcare system players
think about it? Med J., So Paulo, v. 129, n. 4, p. 198-205,
2011.
GOODMAN, C. Its time to rethink health care technology
assessment. Int J Technol Assess Health Care, v. 8, n. 2, p.
335-58, 1992.

89

Marco Akerman e Juarez Pereira Furtado (Orgs)

GOODMAN, C. Healthcare Technology Assessment:


Methods, Framework, and Role in Policy Making. 1998
Disponvel
em:
<http://www.ajmc.com/media/pdf/
AJMCSep1998GoodmanSP200-SP214.pdf>. Acesso em: 09
fev 2011.
HIGGINS, J.; GREEN, S. Cochrane Handbook for Systematic
Reviews of Interventions. Version 5.1.0 [updated March
2011]. The Cochrane Collaboration; 2011.
INTERNATIONAL NETWORK OF AGENCIES FOR HEALTH
TECHNOLOGY ASSESSMENT. HTA Tools & Resources.
2015. Disponvel em: < http://www.inahta.org/hta-toolsresources/>Acesso em: 03 nov 2015.
JAIME CARO, J. Editorial: Pursuing efficiency: a dead end for
HTA? Value Health, v. 12, n. 2, 2009.
LIAROPOULOS, L. Do we need care in technology
assessment in health care? Int J Technol Assess Health
Care, v. 13, n. 1, p.125-7, 1997.
NATIONAL INSTITUTE FOR HEALTH AND CARE EXCELLENCE.
Developing NICE technology appraisals. 2015. Disponvel
em: < https://www.nice.org.uk/about/what-we-do/ourprogrammes/nice-guidance/nice-technology-appraisalguidance>. Acesso em: 03 nov 2015.
NEUMANN, P.J. Lessons for health technology assessment:
it is not only about the evidence. Value Health, v. 12, n. 2,
p. 45-8, 2009.

Prticas de avaliao em sade no Brasil - dilogos

______. From production to evaluation of health systems


technologies: challenges for the 21st century. Rev. Sade
Pblica,So Paulo,v. 40,n. spe,p. 133-140,Aug.2006.
ODONNELL, J.C.; PHAM, S.V.; PASHOS, C.L.; MILLER, D.W.;
SMITH, M.D. Health technology assessment: lessons
learned from around the world--an overview. Value Health.
v. 12, n. 2, p. 1-5, 2009.
OXMAN, A.D.; GUYATT, G.H. The science of reviewing
research. Ann N Y Acad Sci., v. 703, p. 125-33, 1993.
PANERAI, R.; MOHR, J. Health Technology Assessment
methodologies for developing countries. 1st ed.
Washington, D.C.:Pan American Health Organization; 1989.
PERLETH, M.; JAKUBOWSKI, E.; BUSSE, R. What is best
practice in health care? State of the art and perspectives in
improving the effectiveness and efficiency of the European
health care systems. Health Policy, v. 56, n. 3, p. 235-50,
2001.
SILVA, L. Technology assessment of different levels of
neonatal care. England: University of Birmingham; 1992.
TAYLOR, R.S.; DRUMMOND, M.F.; SALKELD, G.; SULLIVAN,
S.D. Inclusion of cost effectiveness in licensing requirements
of new drugs: the fourth hurdle. BMJ. v. 329, n. 7472, p.
972-5, 2004.

NOVAES. H. Consumo e Demanda de Tecnologia em sade.


Divulgao em Sade para Debate, So Paulo, v. 3, p. 42-4,
1991.

THE OECD HEALTH PROJECT. Health Technologies


and Decision Making: OECD Publishing; 2005.
Available from: < http://www.oecd.org/sti/biotech/
healthtechnologiesanddecisionmaking.htm >.Acesso em:
03 nov 2015.

______. Epidemiology and assessment of health care


services: new research trends. Cad. Sade Pblica,Rio de
Janeiro, v. 12,supl. 2,p. S7-S12,Jan. 1996.

VELASCO-GARRIDO M.; BUSSE, R. Health technology


assessment: An introduction to objectives, role of evidence,
and structure in Europe. 2005.

90

91

Marco Akerman e Juarez Pereira Furtado (Orgs)

VELASCO-GARRIDO, M; KRISTENSEN, F.; NIELSEN, C.;


BUSSE, R. Health technology assessment and health
policy-making in Europe. Current status, challenges and
potential. Observatory Studies Series (Book 14). World
Health Organization, 2008.
WILD, C.; GIBIS, B. Evaluations of health interventions in social
insurance-based countries: Germany, the Netherlands, and
Austria. Health Policy,v. 63, n. 2, p. 187-96, 2003.

Captulo 3
Avaliao de servios de
sade: a experincia do
Qualiaids1

Maria Ines Battistella Nemes, Elen Rose


Lodeiro Castanheira, Ana Paula Loch, Maria
Altenfelder Santos, Ana Maroso Alves, Regina
Melchior, Maria Teresa Seabra Soares de Brito
e Alves, Critas Relva Basso, Joselita Maria
de Magalhes Caraciolo, Tatianna Meireles
Dantas de Alencar, Wania Maria do Esprito
Santo Carvalho, Ruth Terezinha Kehrig,
Mariana Arantes Nasser, Felipe Campos Vale,
Juliana Mercuri, Renata Bellenzani, Marta
Campagnoni Andrade, Rachel Baccarini,
Chizuru Minami Yokaichiya, Aline Aparecida
Monroe, Angela Aparecida Donini
Agradecimentos: Os projetos da linha de pesquisa Qualiaids foram
apoiados pela FAPESP, CNPq, Programa Estadual de DST e Aids de So
Paulo, Centers for Disease Control and Prevention e Departamento de
DST, Aids e Hepatites Virais da Secretaria de Vigilncia em Sade do
Ministrio da Sade. E aos gestores nacionais, estaduais e municipais
do programa brasileiro de DST/Aids e, especialmente, s equipes dos
servios do SUS que participaram das avaliaes Qualiaids.

92

Marco Akerman e Juarez Pereira Furtado (Orgs)

A implementao de servios de assistncia a pessoas


vivendo com HIV (PVHIV) deu-se desde as primeiras
respostas do Estado brasileiro epidemia, no incio de
1983, com a organizao do Programa Estadual de DST/
AIDS de So Paulo, antes, portanto, do estabelecimento
do SUS. O Programa Nacional de Aids foi oficialmente
estabelecido em 1993. Desde os anos 1980, no Brasil e nos
pases desenvolvidos, a resposta epidemia de Aids passou
por diferentes estratgias de preveno e assistncia, por
meio da incorporao de tecnologias que repercutiram
nas prticas de sade em geral, tanto no mbito das aes
de promoo e preveno como no mbito da assistncia.
Entre as tecnologias incorporadas s prticas de sade
esto, por exemplo, o aconselhamento, a reduo de danos,
a abordagem da sexualidade e a mudana nas prticas de
biossegurana. A implantao de avaliaes dos servios de
assistncia a PVHIV tambm antecedeu sistematizao
de avaliaes na rede de servios ambulatoriais do SUS.
Pensamos, assim, que o desenvolvimento de instrumentos
e as experincias de avaliaes em HIV interessam a todos
aqueles que atuam no campo da avaliao de servios.
Tratamos neste texto do desenvolvimento da linha
de pesquisa avaliativa que vimos conduzindo desde 1998,
e que denominamos de Qualiaids. Esta denominao foi
adotada pelo nosso grupo em 2000, quando j realizadas as
nossas primeiras pesquisas sobre a assistncia prestada nos
servios do SUS a pessoas vivendo com HIV. Nesta poca,
estvamos interessados em conseguir a adeso dos servios
de HIV/Aids avaliao da qualidade da organizao da
assistncia que conduzamos. O termo Qualiaids fez parte
de uma espcie de estratgia de marketing que criamos,
incluindo folders, palestras, entrevistas, e o logo que
at hoje ilustra nossos materiais. Como gostamos muito
desse logo, por tudo que representa para nossa equipe, o
apresentamos no incio do texto e terminaremos falando
sobre ele.
94

Prticas de avaliao em sade no Brasil - dilogos

Definio da demanda, objetivos e mtodos da avaliao


Qualiaids
A linha de pesquisa iniciou-se em 1998, quando fomos
convidados pelos dirigentes do Programa Estadual de DST e
Aids de So Paulo para coordenar uma avaliao sobre a
assistncia ambulatorial. Um frum com a equipe tcnica
do programa estadual e os responsveis pelos 27 servios
que aderiram ao projeto decidiu que o objeto principal
da avaliao seria a adeso dos pacientes ao tratamento
antirretroviral.
Para desenhar os objetivos e mtodos da avaliao,
o primeiro atributo que procuramos levar em conta foi o
de esclarecer e entender melhor que tipo de necessidade
estava gerando a solicitao. Nessa poca, j confirmramos
na prtica que as avaliaes em sade com maior potencial
de repercusso so as que, a par de outros requisitos,
respondem a alguma demanda bem constituda por parte
de uma instituio. (NEMES, 2001) Foi possvel perceber
nas discusses com os gerentes dos servios, o desejo de
que a avaliao representasse tambm uma possibilidade
de reflexo para profissionais e gerentes do Programa
sobre os servios de assistncia. Ainda que esta demanda
fosse genrica, baseada em noes pouco definidas de
efetividade, mostrava a disposio dos profissionais de
que a avaliao, para alm de medir a adeso, pudesse
tambm avaliar os servios. Assim, a ampliao do foco da
avaliao, com a consequente agregao de metodologias,
tambm se impunha.2
Esta avaliao dos servios do Estado de So Paulo gerou o primeiro
estudo nacional abrangente que estimou a adeso ao tratamento
antirretroviral. (NEMES, 2001) Nesta e em produes posteriores
(NEMES; CARVALHO; SOUZA, 2004; NEMES, 2009), permanecemos
avaliando a taxa de adeso e sua relao com a qualidade organizacional
dos servios.

95

Marco Akerman e Juarez Pereira Furtado (Orgs)

Tais demandas se coadunavam com uma proposta


de avaliao que nos parecia muito interessante, e que
combinaria com concepes, noes e hipteses que
j portvamos. A mais importante dessas concepes
dizia respeito possibilidade e utilidade de entender
a assistncia de um servio de sade enquanto trabalho
e, deste ponto de vista, avali-la. Com base na teoria
do trabalho em sade (MENDES GONALVES, 1994) j
desenvolvramos pesquisas voltadas para a avaliao de
prticas assistenciais no interior de programas de sade.
(NEMES, 1990, 1996; SCHRAIBER; NEMES, 1996; SALA;
NEMES; COHEN,1998, 2000; SCHRAIBER et al., 1999)
Precisvamos agora adapt-las para a construo de
um quadro avaliativo com normas, critrios e indicadores
de avaliao aplicveis especificamente para a assistncia
em HIV/Aids. Para isso, foi necessrio em primeiro lugar
analisar as proposies tico-normativas da interveno
a ser avaliada, que, no campo da avaliao, entendemos
como a teoria do programa. (CHEN, 1990)
A anlise do plano propositivo do programa brasileiro
de Aids, particularmente o da assistncia aos doentes,
nos convenceu que esta pode ser vista como uma ao
programtica (MENDES-GONALVES et al., 1990; NEMES,
1993; 2000) que visa, portanto, objetivar as proposies
tico-normativas do programa em tecnologias. Esta
assuno orientou o passo terico inicial da definio de
qualidade que viria a ser adotado na linha de pesquisa: a
de que a qualidade do servio est fundada na capacidade
da organizao tecnolgica do trabalho de assistncia de
atender simultaneamente aos princpios e diretrizes clnicas,
epidemiolgicas e ticas da assistncia em HIV/Aids.
Esta definio inicial deveria ser aprofundada e
detalhada para que se pudesse delinear uma abordagem
metodolgica coerente para o construto da qualidade
96

Prticas de avaliao em sade no Brasil - dilogos

permitindo, ento, avaliar a assistncia de modo vlido,


confivel e til. Salientamos a utilidade para lembrar
que a principal finalidade da avaliao a de contribuir
para o aprimoramento das prticas em sade. Para que
uma avaliao seja til, os atributos cientficos gerais
de validade so necessrios, mas no suficientes.
preciso tambm ter, como dizia Mestre Donabedian,
timeliness and opportunity. Assim, a par das exigncias
metodolgicas diretamente relacionadas construo e
ao desenvolvimento das hipteses de pesquisa, outras se
colocavam: aquelas relacionadas ao carter essencialmente
pragmtico das avaliaes em sade. Entre essas,
sobretudo, a da responsividade da avaliao, isto , da
capacidade da avaliao de responder bem s demandas
que a geraram, o que quer dizer, de modo adequado em
contedo e em tempo. Por isso, o contexto de produo e
as suas repercusses so particularmente relevantes para
as avaliaes em sade. (NEMES, 2001)
Adicionalmente, avaliar a assistncia em HIV
implicaria estabelecer indicadores aplicveis a todos os
servios, independentemente da localizao geogrfica,
configurao institucional (servios agregados a unidades
bsicas de sade, ambulatrios de hospitais, ambulatrios
de especialidades, servios especializados em HIV/Aids
e outros) e porte (nmero de pacientes variando de um
at mais de 500). Essa condio exige que a abordagem
avaliativa abstraia a maioria das caractersticas especficas
locais, operando o julgamento mediante indicadores vlidos
para todos os contextos. No entanto, esse tipo de avaliao
imprescindvel para programas como o da Aids, que
necessitam manter um perfil tecnolgico mnimo comum
em uma operao descentralizada em nvel nacional.
Conhecer detalhadamente o objeto o primeiro
passo de uma avaliao. (NEMES, 2001) Os valores tcnicos
97

Marco Akerman e Juarez Pereira Furtado (Orgs)

e ticos, isto , o plano propositivo de uma interveno ou


programa, buscam conformar o trabalho concreto mediante
a assuno de finalidades e da utilizao de instrumentos
de trabalho. Na operao do trabalho, esses valores so
reconstrudos nas prticas assistenciais concretas. Quanto
mais coerente for a ao assistencial operada nos servios
com o plano propositivo do programa, melhor ser sua
qualidade. Em outros termos, o trabalho de boa qualidade
o que objetiva em tecnologias assistenciais os valores do
plano propositivo do programa. (NEMES, 1996)
Assim, para nos aproximarmos das prticas
assistenciais concretas, buscamos reconhecer as
especificidades da assistncia no programa de Aids, a partir
da articulao de dois planos: o do reconhecimento de suas
proposies tico-normativas (plano propositivo) e o do
modelo tecnolgico concretamente operado nos servios
(plano operativo).
Na sua implantao, o programa brasileiro de Aids
expressava necessidades, prticas e valores sociais que
emergiram no contexto brasileiro nas ltimas dcadas,
tais como a importncia crescente da autonomia dos
indivduos, das frentes de luta em defesa da cidadania,
da organizao social de diferentes grupos de defesa de
minorias. A assistncia aos que vivem com HIV se instituiu
nesse contexto como um direito. (GRANGEIRO; LAURINDOSILVA; TEIXEIRA, 2009; GRUSKIN; TARANTOLA, 2012;
TEIXEIRA, 1997)
possvel afirmar que o principal sentido
programtico da assistncia em HIV/Aids no Brasil, desde
sua emergncia at recentemente, foi o de representar a
defesa de princpios ticos o direito cidadania e o acesso
universal assistncia. Essa marca esteve presente desde o
incio da epidemia, apesar da baixa especificidade e eficcia
limitada das medidas teraputicas dos primeiros anos, e
mantm-se at hoje no plano propositivo do programa.
98

Prticas de avaliao em sade no Brasil - dilogos

A assistncia em HIV diferenciou-se tecnologicamente


tanto dos programas que entendiam a assistncia como
instrumento de controle epidemiolgico, tal como nos
programas sanitrios mais clssicos dos anos 196070 (NEMES, 1993; MERHY, 1985) quanto da assistncia
ambulatorial no programtica, tal como desenvolvida
tradicionalmente em ambulatrios de especialidades
clnicas ou mesmo em servios de ateno primria.
O desafio de traduzir tecnologicamente
os compromissos ticos e polticos
assumidos pelo programa colocou, para
as prticas assistenciais, tenses que,
embora no sejam exatamente prprias
da assistncia Aids, so ampliadas por
suas especificidades. Especialmente
aquelas relacionadas s caractersticas da
Aids como objeto das prticas de sade
e s caractersticas do exerccio dessas
prticas. As formas de transmisso da Aids
e sua dinmica epidemiolgica colocam em
foco aspectos muito ntimos do cotidiano
da vida privada, particularmente aqueles
relativos ao exerccio da sexualidade,
articulando-os a outras questes e
comportamentos que envolvem valores
morais diversos, como o uso de drogas
ou a morte, conformando um mosaico
de dimenses da vida fortemente
estigmatizadas e representadas pelo
prprio estigma da doena. As aes
de assistncia, ao se defrontarem com
a evidente complexidade desse objeto,
so chamadas a expor um conjunto de
limites e contradies geralmente no
evidenciados, ainda que presentes no
conjunto das prticas institucionalizadas
de assistncia sade. (NEMES et al.,
2004, p. 313)
99

Marco Akerman e Juarez Pereira Furtado (Orgs)

Essas tenses se ampliaram com as caractersticas


assumidas pela epidemia no final dos anos 1990: a expanso
numrica e espacial dos casos novos, (SZWARCWALD et
al., 2000) a cronificao dos casos decorrente da maior
sobrevida (MARINS et al., 2003) e a concentrao em
grupos populacionais como o de homens que fazem sexo
com homens. (GRANGEIRO et al., 2010)
O principal componente da assistncia, o acesso livre e
universal ao tratamento especfico, tem sido regido desde o
incio por normas clnicas que se renovam sistematicamente
e por normas administrativas para distribuio e dispensao
de medicamentos. O programa introduziu na assistncia, j
nos anos 1990, novos dispositivos tecnolgicos tais como o
aconselhamento para a testagem de HIV, o acolhimento de
pacientes e o apoio adeso ao tratamento. Estabeleceu
incentivos financeiros para municpios prioritrios visando
formao de equipes multiprofissionais e oferta
extensiva de treinamento. O discurso incorporou a noo
de vulnerabilidade, (AYRES et al., 2003) bem como os
smbolos de linguagem desestigmadores e a nfase nas
normas relativas ao respeito, sigilo e confidencialidade.
(PAIVA; ZUCCHI, 2012)
Para a organizao da assistncia o programa
nacional definiu como diretrizes a instalao de servios
ambulatoriais especializados em unidades do SUS
preexistentes, com equipes multiprofissionais compostas
por mdico (clnico-geral ou infectologista), enfermeiro,
psiclogo ou assistente social e farmacutico, retaguarda
laboratorial e relacionamento com as Unidades Bsicas
de Sade. (BRASIL. MINISTRIO DA SADE, 1998; 2001)
Respeitando estas diretrizes e a realidade dos servios
instalados poca, optamos por no considerar como
atributos de qualidade as caractersticas de porte: nmero
de pacientes acompanhados, presena no prprio servio
de outras modalidades assistenciais (tais como hospital100

Prticas de avaliao em sade no Brasil - dilogos

dia ou ateno domiciliar) ou de outras especialidades


mdicas e de outros profissionais alm dos preconizados
pelo programa.3 Consideramos assim que certo nvel de
qualidade deve ser prerrogativa de todos os servios, em
que pesem suas diferenas regionais e institucionais.
Essa opo foi coerente com o pressuposto do direito
universalidade do acesso s tcnicas de diagnstico e
teraputica, um importante diferenciador da resposta
brasileira Aids e que representou enorme conquista.
A realizao desse princpio tambm valorizou ainda
mais a necessidade da objetivao de outros princpios,
especialmente a integralidade, da qual a qualidade parte
essencial. (AYRES; PAIVA; FRANA JR., 2012)
Embora fundamentais, os atributos descritos no plano
propositivo do programa eram insuficientes para guiar a
avaliao das aes efetivamente operadas em servios
to distintos, instalados em diferentes pocas e que, ao
tempo do desenvolvimento do Qualiaids, j chegavam a
cerca de 500 em todo o pas. Nessa perspectiva, tornavase necessrio definir qual seria o padro esperado, ou
seja, qual a melhor qualidade possvel de ser alcanada
pelos servios em seu cotidiano de trabalho. Dissemos que
a prtica dos servios operada com base em diferentes
graus de aproximao entre o projeto propositivo e
sua concretizao operativa. Realizao operativa esta,
determinada, em ltima instncia, no apenas pelos
compromissos ticos e proposies tecnolgicas, mas
tambm pelos determinantes histricos e sociais a que est
submetido o conjunto das prticas de sade. Qual seria,
ento, a qualidade que poderamos esperar?
Ressalte-se, porm, que esta opo no exclui a possibilidade destas
caractersticas de influenciar a qualidade, deslocando-as, assim, da
posio de atributos para a de potenciais fatores explicativos. (NEMES
et al., 2009)

101

Marco Akerman e Juarez Pereira Furtado (Orgs)

Para reconhecer quais as caractersticas definiriam


o melhor possvel dentro do modelo assistencial
prevalente nos servios, utilizamos o estudo qualitativo em
profundidade que conduzimos em cinco servios, em 1998
(CASTANHEIRA; CAPOZZOLO; NEMES, 2000), escolhidos
pela equipe gestora do Programa Estadual de DST/Aids de
So Paulo, como servios sem problemas graves em relao
a recursos humanos e fsicos e com acesso regular aos
recursos bsicos para o tratamento da Aids.
O estudo permitiu caracterizar a assistncia
como um modelo de transio tensionado entre dois
modos de organizao polares. De um lado, um modelo
frequentemente observado poca em ambulatrios
de especialidade e servios de ateno primria do SUS:
fluxograma assistencial burocratizado, oferta quase exclusiva
de consultas mdicas, apoio desintegrado e inespecfico
de outros profissionais e, de modo geral, atendimentos
impessoais centrados em aspectos biolgicos. (DALMASO,
1994; MENDES-GONALVES, 1994)

Quadro 1: Exemplos de caractersticas do perfil


tecnolgico da assistncia ambulatorial a PVHIV no SUS,
1998

Inovao tecnolgica

As anlises qualitativas para definir o perfil tecnolgico


geral dos servios e construir critrios e indicadores de
qualidade

Prticas de avaliao em sade no Brasil - dilogos

De outro lado, um modelo mais prximo das inovaes


propostas no plano tico-normativo do programa: ateno
multiprofissional, apoio adeso ao tratamento, cuidado
especial com o sigilo e a confidencialidade.

Esse modelo tensionado foi tomado como o perfil


tecnolgico da assistncia em HIV como mais abstrato de
operao de todos os servios (Quadro 1).

102

Acolhimento a pacientes novos conduzido


por profissionais de diversas formaes.
Atividades focadas na adeso ao tratamento
(grupos de adeso, consulta de enfermagem
quando da introduo ou mudana
de esquema antirretroviral, consulta
farmacutica, planejamento de aes entre
vrios profissionais).
Convocao seletiva de pacientes faltosos ao
seguimento por meio de autorizao prvia.
Dispensao de medicamentos sem consulta
mdica para casos estveis.
Reconhecimento por parte dos profissionais
de conflitos ticos e da insuficincia das
abordagens tradicionais.
Poucos mecanismos de integrao e apoio
tcnico equipe.
Reduzida capacidade de escuta com
desvalorizao de falas impertinentes.
Irregularidade de espaos coletivos para
discusso do trabalho.
Trabalho mdico de grande especificidade
clnica.
Encaminhamentos automticos para
psiclogo e assistente social.
Desconhecimento do trabalho do outro.
Centralizao dos atendimentos em geral
em aspectos biolgicos.
Atuao restrita e inespecfica dos
tcnicos e auxiliares na recepo e demais
atendimentos.

103

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

A partir dessa anlise, estabelecemos que a avaliao incidiria


predominantemente nos momentos do processo de trabalho que
melhor evidenciassem os polos deste perfil. (NEMES et al., 2004)
Construmos assim, normas e critrios que, em 2000,
roteirizaram uma avaliao qualitativa de 27 servios do Estado de
So Paulo, por meio de visitas a todos os servios com observao
do fluxo assistencial e entrevistas semiestruturadas com o
profissional responsvel pela assistncia ambulatorial. A anlise
das informaes coletadas permitiu a construo de indicadores
qualitativos, cujo padro foi classificado em trs nveis: 1 - maioria
das caractersticas se aproxima do plano propositivo do programa;
2 - maioria das caractersticas se aproxima do perfil tecnolgico
geral e 3 - maioria das caractersticas se distancia do plano
propositivo do programa. (CASTANHEIRA, 2002)
Quadro 2: Indicadores da qualidade da organizao da assistncia
de servios de ateno a PVHIV, segundo padres definidos para
cada um dos nveis de qualidade em escala decrescente, entre 1
e 3, 2001
(continuao)
INDICADORES DE
ORGANIZAO DA
ASSISTNCIA

1. Recepo:
domnio do fluxo:
encaminhamento
de demandas

104

Nvel 1

Nvel 2

Domnio do fluxo
e das ofertas
assistenciais e
Domnio do fluxo
sensibilidade na
e das ofertas
interpretao
assistenciais.
das demandas
expressas pelos
pacientes.

(continuao)

2. Atendimento
dos casos novos:
acolhimento e
consulta mdica

Acolhimento por
profissional de
nvel universitrio,
designado para
essa funo,
abordagem das
questes relativas
ao diagnstico
e apresentao
das alternativas
de assistncia
oferecidas pelo
servio.

Atendimento por
profissional de
nvel universitrio,
com discusso
dirigida ao
encaminhamento
das demandas
emergentes e
agendamento
dos prximos
atendimentos.

Agendamento
direto do primeiro
atendimento
mdico, sem
funo de
acolhimento.

3. Acesso
ateno
multiprofissional
a partir do 1
atendimento

Oferta ativa
de todas as
possibilidades de
assistncia, com
fluxo integrado,
no dependente
da consulta
mdica.

Agendamento de
rotina para alguns
profissionais
selecionados,
particularmente
dentista e
ginecologista.

Acesso definido
com base
na demanda
espontnea ou
limitado pela falta
de profissionais.

4. Acesso
assistncia
ginecolgica

Oferta ativa
de assistncia
ginecolgica,
mesmo na
ausncia de
demanda.

Oferta de
atendimento
ginecolgico
conforme
demanda.

Indisponibilidade
de ginecologista.

Nvel 3

Atitude limitada
administrao
burocrtica do
fluxo.

105

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 2: Indicadores da qualidade da organizao da assistncia


de servios de ateno a PVHIV, segundo padres definidos para
cada um dos nveis de qualidade em escala decrescente, entre 1
e 3, 2001
(continuao)
INDICADORES DE
ORGANIZAO DA
ASSISTNCIA

5. Acesso a
alternativas
assistenciais

Nvel 1

Nvel 2

Nvel 3

Oferta ativa
de alternativas
assistenciais,
tais como:
atendimento
multiprofissional Oferta limitada de
Ausncia de
conjunto, grupos alternativas, com
oferta.
com diferentes
cobertura restrita.
temas e tipos
de abordagem,
discusses em
sala de espera,
entre outros.

Orientao
individualizada,
6. Dispensao de com discusso
detalhada
medicamentos
do uso dos
medicamentos.

Entrega de
medicamentos
com
esclarecimentos
sobre a receita.

Entrega de
medicamentos,
sem nenhuma
abordagem.

Retorno entre 7
e 15 dias aps
a introduo de
7. Apoio adeso TARV e oferta
de atividades
de apoio, como
grupos de adeso.

Retorno entre 7
e 15 dias aps
introduo de
TARV.

Retorno de rotina
ou oferta isolada
de grupo de baixa
abrangncia.

106

(continuao)
Triagem com
acolhimento
e orientao
8. Triagem de
resolutiva, com
casos extras (no atendimento
agendados)
mdico da
demanda clnica
sempre que
necessrio.
Orienta a vinda
dos parceiros
unidade e
9. Abordagem dos oferece apoio
parceiros
abordagem,
retomando a
questo no
seguimento.

10. Abordagem
dos pacientes
difceis*

Triagem com
atendimento
mdico
dependente
de vaga ou
encaminhamento
para servio de
urgncia.

Agendamento
e/ou
encaminhamento
para outro servio

Recomenda o
comparecimento
dos parceiros.

Aborda a partir da
demanda ou de
modo inadequado
(com ameaas
e presses para
convocao).

So continentes
Reconhecem o
e buscam
problema e so
alternativas
continentes.
de apoio e
encaminhamento.

Orientao sobre
sexo seguro de
11. Abordagem
Orientao ativa
rotina, e sobre
sobre sexo seguro, sobre sexo seguro,
concepo e
concepo e
concepo e
contracepo
contracepo
contracepo.
conforme
demanda.

No reconhecem
o problema,
acham que no
h o que fazer ou
excluem esses
pacientes.

Dispensao de
preservativos com
orientao de uso.

107

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 2: Indicadores da qualidade da organizao da assistncia


de servios de ateno a PVHIV, segundo padres definidos para
cada um dos nveis de qualidade em escala decrescente, entre 1
e 3, 2001
(concluso)
INDICADORES DE
ORGANIZAO DA
ASSISTNCIA

Nvel 1

Nvel 2

INDICADORES DE
GERNCIA LOCAL

12. Acesso
assistncia
obsttrica e
a alternativas
assistenciais para
gestantes

No oferecem
atividades de
Oferta de pr-natal
pr-natal, apenas
no ambulatrio.
acompanhamento
com infectologista.

13. Controle e
convocao de
faltosos

Realizam
controle de
faltosos, fazem
convocao
conforme
autorizao
prvia e tm
critrio de
abandono.

No tm
Fazem apenas
nenhum
controle de faltas controle ou tm
sem convocao. apenas critrio
de abandono.

Bons
tcnicos, com
relacionamento
heterogneo
com os usurios.

Mal avaliados,
falta de
compromisso
com a equipe,
queixas dos
usurios.

Fonte: Castanheira, 2002.


*Pacientes que, por no se enquadrarem facilmente s normas de funcionamento
do servio, so assim reconhecidos pela equipe.

108

(continuao)

Nvel 3

Oferta de prnatal com


alternativas
assistenciais
diferenciadas
(como grupo,
atendimento
conjunto de dois
profissionais).

Bem avaliados:
boa capacidade
14. Avaliao dos tcnica, bom
mdicos segundo relacionamento
a gerncia /
com usurios,
atuam de forma
equipe
integrada
equipe.

Quadro 3: Indicadores da qualidade da organizao da


gerncia local de servios de ateno a PVHIV, segundo
padres definidos para cada um dos nveis de qualidade em
escala crescente, entre 1 e 3, 2001

Nvel 1

Nvel 2

Nvel 3

1. Perfil do
gerente

Dedicao
gerncia (e
assistncia na
mesma unidade),
formao gerencial
e experincia de
trabalho com Aids.

Dedicao
gerncia e
experincia de
trabalho com
Aids.

Pouco tempo
disponvel
para a funo,
devido a
mltiplas
atividades
e/ou pouca
disponibilidade
de tempo.

2. Mecanismos
institucionais de
articulao da
equipe

Reunio peridica
com a equipe
completa, de
carter tcnicoadministrativo.

Reunio peridica
da equipe sem a
participao dos
mdicos.

No fazem
reunies ou
fazem sem
periodicidade.

Planejamento
3. Planejamento e
local e avaliaes
avaliao local
peridicas.

Planejamento
local.

No fazem nem
planejamento
nem avaliaes.

Participao em
treinamentos e
capacitaes de
4. Capacitao
toda a equipe,
e atualizao
incluindo os
tcnica da equipe
profissionais com
funes auxiliares
no ltimo ano.

Participao em
treinamentos
e capacitaes
apenas do
pessoal de nvel
universitrio.

A equipe
praticamente
no realizou
nenhum
treinamento no
ltimo ano.

109

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 3: Indicadores da qualidade da organizao da


gerncia local de servios de ateno a PVHIV, segundo
padres definidos para cada um dos nveis de qualidade em
escala crescente, entre 1 e 3, 2001
(concluso)
Nvel 1

INDICADORES DE
GERNCIA LOCAL
5. Atuao do
servio junto
rede bsica/
maternidade
(treinamentos,
integrao, etc.)

Atuao junto
rede local e s
maternidades,
visando
diagnstico e
atendimento
tecnicamente
adequados.

Canais
diferenciados
para o
6.
encaminhamento
Encaminhamento
de queixas como
das queixas dos
ouvidoria e fruns
usurios
de representao,
como conselhos
gestores ou ONGs.

Nvel 2

Nvel 3

Disponibilizam
AZT para as
pacientes e tm
Nenhuma.
informao sobre
a assistncia nas
maternidades.

Espaos
formais de
encaminhamento,
como caixas
de sugesto ou
gerncia.

Articulao
7. Articulao com com ONG que
Articulao com
organizaes no desenvolve aes
ONG.
governamentais dirigidas aos
pacientes.

No tem
espao
formal ou
nunca recebe
nenhum tipo de
reclamao.

No tem
articulao.

Fonte: Castanheira, 2002.

Foi possvel agrupar os 27 servios nos trs nveis (nvel


1: 08 servios; nvel 2: 11 servios e nvel 3: 08 servios).
Simultaneamente a essa avaliao qualitativa, iniciamos a
construo do questionrio estruturado que veio a se chamar
Qualiaids.
110

Construo
do
quadro
avaliativo
estruturado:
desenvolvimento e validao do Questionrio Qualiaids
Dada a extenso e heterogeneidade dos servios
a serem avaliados, optamos pela construo de um
questionrio estruturado a ser respondido pelo responsvel
tcnico em conjunto com os demais profissionais do servio.
O questionrio Qualiaids foi elaborado mediante etapas
progressivas de consenso entre a equipe da pesquisa, que
reuniu tcnicos de vrias formaes profissionais, alguns
com experincia predominantemente acadmica, outros
com experincia prtica nos servios de ateno em HIV.
Esta composio procurou ser coerente com o desenho da
avaliao: articular os atributos metodolgicos de validade
interna ao maior potencial de responsividade possvel,
neste caso representado, principalmente, pela adequao
realidade dos servios de HIV do SUS. Buscamos assim, a
construo de um questionrio vlido para todos os tipos de
servios e sensvel o suficiente para discriminar a qualidade
da organizao entre eles, possvel de ser respondido e que
permitisse um modelo de anlise til para os gestores do
programa. (NEMES et al., 2004)
Na primeira verso do questionrio (questionriozero), elaboramos questes sobre todos os momentos
do caminho do paciente no servio, desde a recepo
do paciente at a dispensao de medicamento, sobre
os profissionais, medicamentos e insumos e sobre as
atividades mais tpicas da gerncia, tais como a organizao
dos registros e a superviso e avaliao do trabalho. Esta
primeira construo foi baseada em:

Descrio do trabalho nos cinco servios submetidos
prvia avaliao qualitativa em profundidade;

Grupos focais sobre as opinies acerca da qualidade
da organizao da assistncia (um com pacientes e um com
mdicos);
111

Marco Akerman e Juarez Pereira Furtado (Orgs)


Experincia dos pesquisadores da equipe que
atuavam como profissionais da assistncia em HIV/Aids;

Diretrizes e recomendaes relacionadas
assistncia em Aids do programa nacional de Aids e de
rgos internacionais do campo, tais como a UNAIDS e
PAHO;

Literatura indexada internacional e nacional.4
Desde o incio, nossa preocupao esteve voltada
para a utilidade do questionrio para a equipe do
servio. Mais do que apenas julgar a organizao local,
ambicionvamos que a equipe se reconhecesse na
organizao. Assim, optamos por um formato diferente
do usual em avaliaes de redes extensivas de servios.
Usualmente, os indicadores de qualidade so julgados por
um padro dicotmico, isto , o servio tem ou no tem
um dado padro esperado (standard). Assim, por exemplo,
o indicador da OMS sobre aconselhamento pr-teste de
HIV estabelece que o aconselhamento deva ser conduzido
por profissional capacitado e em ambiente que assegure
privacidade. (WHO, 2004)
Construmos cada indicador na forma de uma questo
de mltipla escolha na qual cada alternativa descrevesse
um processo possvel de ocorrer no servio, expressando
o grau de efetivao da norma para aquele componente do
trabalho. Assim, para o exemplo anteior, a formulao da
primeira verso do Qualiaids teve o seguinte formato:

A literatura especfica sobre assistncia em HIV/Aids se limitava


basicamente avaliao da eficcia de medicamentos. Estudos
avaliativos sobre outros agravos nos ajudaram do ponto de vista
metodolgico.

112

Prticas de avaliao em sade no Brasil - dilogos

Quando o teste diagnstico do HIV oferecido nesse


servio, a orientao e o aconselhamento pr-teste so
realizados:
(1) Em grupo por profissional de nvel mdio (auxiliar/
tcnico).
(2) Em grupo por profissional de nvel universitrio.
(3) Individualmente por profissional de nvel mdio (auxiliar/tcnico).
(4) Individualmente por profissional de nvel universitrio.
(5) O aconselhamento no realizado.
(6) O teste no oferecido nesse servio.
Essa construo nos pareceu tambm mais
compatvel com as caractersticas da assistncia em HIV
poca que uniam a heterogeneidade institucional e de
porte dos servios, um reduzido nmero de diretrizes de
processo e a ainda pequena prtica de ateno em HIV/
Aids. Essas caractersticas reforaram a opo de construir
apenas questes com resposta objetiva. Nenhuma questo
do Qualiaids opinativa ou solicita alguma autoavaliao.
O questionrio-zero foi analisado por dois grupos
de discusso com experts que debateram a completude
e a aplicabilidade das questes. Os grupos, o primeiro
composto por gerentes de servios ambulatoriais e
gestores municipais de Aids, e o segundo, composto por
coordenadores dos programas estaduais e equipe tcnica
do programa nacional, contriburam principalmente para
a alterao da redao de vrias questes e para nos
assegurar da validade de face do questionrio.

113

Marco Akerman e Juarez Pereira Furtado (Orgs)

Construmos ento o segundo formato do


questionrio, o questionrio-teste, com 157 questes,
assim distribudas: Caractersticas descritivas (institucionais
e de porte) do servio (15 questes); Caractersticas
indicadoras de qualidade (142 questes).
O questionrio-teste foi enviado a uma amostra
aleatria de 30 servios de todo o Brasil e nele solicitvamos
tambm que a equipe local respondesse para cada uma
das questes, se a questo era inteligvel, se as alternativas
contemplavam o perfil assistencial do servio e, por ltimo,
o quanto a questo era importante para definir a qualidade
em uma escala de 0 a 5. Visvamos com isto testar a validade
interna do questionrio e sua aplicabilidade.
Vinte servios responderam. A anlise das
frequncias de respostas ao questionrio, da consistncia
intra e interitem e das opinies dos servios nos permitiu
eliminar 43 questes indicadoras de qualidade. Com
isso, constitumos o questionrio final com 99 questes
indicadoras de qualidade. Com base na classificao
dos servios obtida na avaliao qualitativa descrita na
seo anterior, e coerentemente com nossa opo de
trabalhar com variveis no dicotmicas, atribumos a cada
indicadoros valores de 0 (padro insuficiente), 1 (padro
aceitvel) e 2 (padro esperado), como exemplificado no
Quadro 4.

114

Prticas de avaliao em sade no Brasil - dilogos

Quadro 4. Exemplo de atribuio de valor para o critrio


de acesso e orientao da medicao antirretroviral nas
trs dimenses avaliadas (recursos, assistncia e gerncia),
Questionrio Qualiaids, 2001
(continuao)
Valor
Dimenso
atribudo

Critrio do
indicador

Exemplo

No h recurso
disponvel ou
o recurso no
tem prontido
adequada.

Dispensao de ARV#
acima de 15 dias
aps a prescrio.

A atividade
executada
de modo
tradicional,
centralizada.

O uso de ARV
orientado/abordado
apenas na consulta
mdica.

A gerncia local
no viabiliza
instrumentos
controladores
da dispensao
de ARV por
paciente.

No h controle da
dispensao de ARV
por paciente, apenas
controle do estoque
de medicamentos.

115

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 4. Exemplo de atribuio de valor para o critrio


de acesso e orientao da medicao antirretroviral nas
trs dimenses avaliadas (recursos, assistncia e gerncia),
Questionrio Qualiaids, 2001

(concluso)
Recurso com
a prontido
adequada.

Dispensao de ARV
no mesmo dia aps a
primeira prescrio.

A atividade est
organizada de
modo a permitir
uma ateno
integral.

O uso de ARV
abordado na
consulta mdica,
nos atendimentos
dos tcnicos de
enfermagem e
de farmcia, em
consultas individuais
e/ou em grupo
de profissionais
de nvel superior,
como enfermeiros e
farmacuticos.

A gesto otimiza
instrumentos
para o
monitoramento
da dispensao
de ARV por
paciente na
equipe.

O controle da
dispensao de ARV
realizado por meio
de Ficha eletrnica
de cadastro
individual, com
informaes sobre
esquema teraputico
e data da retirada e/
ou pelo SICLOM *

(continuao)
Valor
Dimenso
atribudo

Exemplo

Recurso
disponvel cobre
necessidade
mnima.

Dispensao de
ARV no mximo
at 15 dias aps a
prescrio.

A atividade
executada
em vrios
momentos do
atendimento.

O uso de ARV
orientado/abordado
nos atendimentos
mdicos, dos
tcnicos de
enfermagem e na
farmcia.

116

Critrio do
indicador

A gesto
viabiliza
instrumentos
controladores
da dispensao
de ARV por
paciente.

O controle da
dispensao de
ARV realizado
por meio de livro
de registro e/ou
planilha manuscrita
com o nome do
paciente e data de
recebimento.

Fonte: Qualiaids 2001/2002.


# ARV: medicamentos antirretrovirais.
* O SICLOM (Sistema de Informao e Controle de Logstica de
Medicamento) estava nesse perodo em processo de implantao.

117

Marco Akerman e Juarez Pereira Furtado (Orgs)

Para analisar a validade do questionrio estruturado


em relao avaliao qualitativa, convidamos os 27
servios que tinham participado da avaliao qualitativa a
responder o questionrio estruturado, todos os servios
responderam. As variveis resultantes das respostas s
questes indicadoras de qualidade constituram o conjunto
de dados que foi submetido anlise descritiva e tcnica
de agrupamento pelo mtodo das k-mdias, objetivando a
formao de grupos heterogneos entre si e homogneos
internamente. A tcnica utiliza a soma das distncias
do valor de cada varivel em relao mdia alcanada
naquela varivel pelo conjunto dos servios respondentes.
Os agrupamentos resultantes foram comparados com os da
avaliao qualitativa. A Tabela 1 mostra as compatibilidades
entre ambas.

Prticas de avaliao em sade no Brasil - dilogos

primeiras abordagens qualitativas (1998), a avaliao


qualitativa (1999-2000) e a construo do questionrio
estruturado final, o Qualiaids (2000-2001). A Figura 1
adiante sintetiza o processo.
Figura 1. Etapas da construo do Questionrio Qualiaids

Tabela 1: Nmero de servios segundo compatibilidade


na classificao de qualidade obtida nas metodologias
qualitativa (quali) e quantitativa (quanti), 2000
Agrupamentos
Quali 1 Quanti 1
Quali 2 Quanti 2
Quali 3 Quanti 3
Quali 1 Quanti 2
Quali 2 Quanti 1
Quali 3 Quanti 2
Total

N de Servios
5
7
4
3
4
4
27

No se esperava, evidentemente, compatibilidade


total. As metodologias so bem diversas. Houve, entretanto,
coincidncia em 16 dos 27 servios e as 11 discrepncias
aconteceram apenas entre nveis prximos.
Todo o processo de construo e validao do
Qualiaids durou cerca de trs anos e compreendeu: as
118

O questionrio final Qualiaids aborda caractersticas


de estrutura e processo da assistncia ambulatorial
agrupadas em dimenses avaliativas compostas por
domnios. Os domnios renem indicadores de atividades e/
ou recursos dos servios que guardam consistncia interna
aceitvel, o que permite analis-los separadamente. A
composio geral a seguinte:

119

Marco Akerman e Juarez Pereira Furtado (Orgs)

Organizao do processo de assistncia (14


domnios);
Gerenciamento tcnico do trabalho (4 domnios);
Disponibilidade de recursos (4 domnios).
Alcances e limites da avaliao: as respostas dos servios s
trs aplicaes e as repercusses do Qualiaids
A primeira aplicao do Qualiaids aconteceu entre
2001 e 2002. Em acordo com a coordenao nacional do
programa de Aids, elegemos sete estados para a avaliao:
So Paulo, Rio de Janeiro, Rio Grande do Sul, Mato
Grosso do Sul, Cear, Par e Maranho. Em um sistema
to descentralizado como o SUS, e em um territrio to
extenso como o brasileiro, a primeira grande dificuldade
operacional foi conhecer o universo dos servios. poca
no havia o Cadastro Nacional dos Estabelecimentos de
Sade (CNES) e a comunicao eletrnica era muito restrita.
A partir do cadastro central das unidades dispensadoras de
medicamentos antirretrovirais (UDM) e dos endereos das
secretarias estaduais de sade, os operadores do Disque
AIDS conseguiram os endereos completos de todos os
servios do SUS que acompanhavam em nvel ambulatorial
pessoas com HIV e prescreviam antirretrovirais, de acordo
com o critrio de incluso que adotamos. Enviamos pelo
correio (Sedex), aos 336 servios cadastrados, o Questionrio
Qualiaids com os documentos usuais (carta de autorizao
do Ministrio da Sade e Termo de Consentimento Livre
e Esclarecido) e envelope pr-pago para devoluo. Este
processo durou cerca de dois meses e necessitou de
inmeros telefonemas de estmulo.

120

Prticas de avaliao em sade no Brasil - dilogos

As respostas dos servios foram digitadas duplamente


e depois analisadas. Enviamos carta ou fax para todos
os respondentes informando a classificao do servio
entre os quatro grupos de qualidade resultantes da
anlise. Enviamos para a coordenao nacional e para
as coordenaes estaduais do programa os bancos de
dados (banco das respostas e banco da pontuao dos
indicadores), bem como o relatrio geral. Expusemos e
discutimos os resultados em muitas reunies e fruns para
os quais fomos convidados, tais como as oficinas com todos
os responsveis por servios dos estados de So Paulo e
Rio de Janeiro e o Frum Nacional das Pessoas Vivendo
com HIV entre outros. O desenvolvimento, validao e
resultados obtidos pelo primeiro Qualiaids foram objeto de
teses (CASTANHEIRA, 2002; MELCHIOR, 2003; ALVES, 2003)
e de artigos. (NEMES et al., 2004; MELCHIOR et al., 2006;
NEMES et al., 2009)
Em 2004 revimos o Qualiaids para adapt-lo para
resposta dos servios atravs de um sistema web, com
acesso restrito por login e senha. Quando o servio envia
o questionrio respondido na ntegra, o sistema emite
dois relatrios: da mdia geral obtida e sua distncia do
padro esperado, e as listas das questes respondidas
segundo o valor obtido (0, 1, 2) de cada uma. Junto com o
desenvolvimento do sistema, escrevemos recomendaes
para cada um dos indicadores de qualidade, que explicitam
os padres esperados de resposta. Estas recomendaes
fizeram parte do sistema de modo que o servio pudesse
acess-las diretamente na web. O conjunto do sistema de
avaliao Qualiaidsfoi ainda consolidado em um livreto
distribudo pela coordenao nacional do programa.
(BRASIL. MINISTRIO DA SADE, 2008)

121

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

os contedos relacionados ao Qualiaids no website do


programa, incluindo os relatrios de aplicao de 2007 e de
2010 e outros materiais informativos; alm da organizao
dos bancos de dados e envio s coordenaes estaduais.
A Tabela 2 mostra as taxas de participao dos servios
nas trs aplicaes.6
Tabela 2. Servios de assistncia ambulatorial a pessoas
que vivem com HIV/HIV/Aids, segundo ano de aplicao
do Questionrio Qualiaids. Brasil, 2001, 2007 e 2010
Participao dos servios nas trs avaliaes Qualiaids
Servios
cadastrados

Ano

Embora sob a coordenao federal do programa


de Aids,5 todo o processo das aplicaes de 2007 e 2010
deu-se em parceria com nossa equipe. Em ambas as
aplicaes, participamos das reunies de apresentao do
sistema com os coordenadores estaduais do programa (que
atualizaram o cadastro anterior do Qualiaids e distriburam
login e senha para todos os servios localmente); redigimos
O nvel federal do programa, antes chamado de Coordenao Nacional
de DST e Aids passou a ser o Departamento Nacional de DST HIV/Aids
e Hepatites Virais, Secretaria de Vigilncia em Sade, Ministrio da
Sade.

122

2001/2

336

322 (322)

95,8 (95,8)

2007

636

504 (463)

79,2 (72,8)

2010

712

659 (641)

92,6 (90,0)

A aplicao nacional do Qualiaids, prevista para


2005, foi adiada a pedido da coordenao nacional do
programa que a retomou em 2007, assumindo oficialmente
o Qualiaids como instrumento de avaliao do programa. A
aplicao foi repetida em 2010.

Respondentes (analisados)a

a
Apenas servios com menos de 10% de missings para variveis
indicadoras de qualidade.
b

Aplicao sob a forma de pesquisa em 7 estados brasileiros.

Aps a aplicao de 2007, conduzimos, em 2008, duas


grandes oficinas de trabalho com todos os coordenadores
estaduais e de municpios maiores. Desenvolvemos nestas
oficinas um modelo pedaggico para exercitar a anlise dos
bancos de dados locais resultantes da aplicao de 2007.
Sabemos que o modelo foi replicado por coordenadores
em trs estados, e que tambm orientou oficinas de anlise
locais aps a aplicao de 2010.7 No soubemos mais. No
A menor participao em 2007 deveu-se principalmente queda de
participao dos servios de So Paulo (de 99,4% em 2001/2 para 74,1%
em 2007) e baixa participao dos servios da regio Norte (41,4%).
7
Utilizando os resultados do Qualiaids 2010 visitamos trs servios
6

123

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

pudemos acompanhar as repercusses mais imediatas das


aplicaes do Qualiaids, tampouco a coordenao nacional
do programa teve esta possibilidade.

o padro do Qualiaids. Enfim, com isso, aprendemos na


prtica que padres de qualidade podem s vezes servir,
por assim dizer, para o bem e para o mal.

Contudo, revendo nossa experincia de convivncia


profissional com gestores do programa, podemos afirmar
que o Estado de So Paulo tem utilizado o Qualiaids com
bastante frequncia. Isto provavelmente se deve, em
grande parte, proximidade que nossa equipe tem, desde
1998, com os tcnicos e dirigentes estaduais do programa.
Desde a primeira aplicao em 2001, o programa estadual
de So Paulo utiliza os resultados do Qualiaids como um
instrumento de avaliao, capacitao e superviso.

Acreditamos que o Qualiaids pode ser visto como


uma histria de sucesso para o campo da avaliao de
servios no SUS. Alguns fatores nos parecem ter sido mais
determinantes deste relativo sucesso. Do ponto de vista
metodolgico, a abordagem de processos que descrevem o
cotidiano do trabalho, a existncia de um nvel aceitvel de
qualidade para todos os tipos de servios e a classificao
final em agrupamentos (e no em rankings). Do ponto de
vista poltico-institucional, o apoio ativo dos gestores de
todos os nveis do programa. E, finalmente, mas no menos
importante, o fato de nunca ter havido nenhum tipo de
premiao nem de punio conectada s respostas dos
servios.8

Tambm temos alguns registros anedticos: em


vrias ocasies, em palestras ou cursos para profissionais
dos servios de DST/Aids ou alunos de ps-graduao dos
quais participamos em todo o Brasil, ouvimos falar do
Qualiaids como exemplo de avaliao vivida por eles,
antes, evidentemente, de nos identificarmos como seus
desenvolvedores. Soubemos tambm que, em 2009, a
coordenao estadual do programa em Minas Gerais
promoveu uma aplicao extra do Qualiaids em todos
os servios; como no tinham acesso de administrador
ao sistema, toda a aplicao e o clculo das pontuaes
foram feitas manualmente! Caso mais curioso foi o de uma
profissional, gerente de um servio de Aids da regio Sul,
que relatou ter sido denunciada ao Conselho Regional de
Medicina por estar exigindo que os mdicos que j haviam
liberado os pacientes agendados do dia e estavam apenas
aguardando o momento oficial de deixar o servio
atendessem mais pacientes fora de dia, conforme exige
de pequeno porte (menos de 100 pacientes) que obtiveram mdias
diferentes para uma avaliao qualitativa comparativa. Houve
concordncia total entre as respostas ao Qualiaids e as obtidas por
entrevistas e observao. (BACCARINI, 2011)

124

Em relao contribuio para o campo da avaliao


dos servios do SUS, a abordagem metodolgica do
Qualiaids baseou o desenvolvimento e validao do
Questionrio QualiAB, que avalia a organizao dos servios
de ateno primria (APS), aplicvel a todos os seus arranjos
organizativos (tipo UBS e/ou ESF). (CASTANHEIRA et al., 2014;
2011; 2009; ANDRADE; CASTANHEIRA, 2011) O QualiAB foi
aplicado em 2007 e 2010 em servios de APS no Estado de
So Paulo. Em 2013, construmos e validamos um quadro
avaliativo da dimenso Sade Sexual e Reprodutiva por
meio da eleio e categorizao em domnios de questes
do QualiAB.9 Como se ver adiante, esse quadro est sendo
Aps o primeiro Qualiaids, em 2001, a equipe do programa nacional
chegou a cogitar a possibilidade de vincular o resultado do Qualiaids a
algum indicador do plano de ao e metas que viabilizava um incentivo
financeiro a municpios prioritrios. Esta proposta nunca chegou a ser
discutida oficialmente no programa nem com nossa equipe de pesquisa.
Nas aplicaes seguintes isto no foi mais cogitado.
9
NASSER. Avaliao na ateno primria paulista: aes incipientes
em sade sexual e reprodutiva,2015 (submetido Revista de Sade
8

125

Marco Akerman e Juarez Pereira Furtado (Orgs)

utilizado no nosso novo modelo de avaliao do cuidado


em DST, HIV e Hepatites Virais.
Modelos ainda em desenvolvimento so o
Questionrio QualiTB, de avaliao dos servios de
referncia em tuberculose, j quase pronto para validao10
e o QualiNASF, de avaliao dos ncleos de apoio sade
da famlia, ainda na primeira etapa de desenvolvimento.11
A apreciao geral das avaliaes Qualiaids mostra
que o questionrio manteve sua mais ambiciosa proposta
metodolgica, isto , a manuteno da potencialidade
de discriminar a qualidade organizacional dos servios ao
longo do tempo. (CAMPBELL et al., 2003)
Por meio da anlise das k-mdias, obtivemos em
2001/2 quatro grupos de qualidade, em 2007 seis grupos
e em 2010 cinco grupos. A proporo de participao no
grupo de melhor qualidade variou de 24% dos servios em
2001/2; 29% em 2007 e 33% em 2010. Enquanto a mxima
mdia obtida em 2001/2 foi de 1,68 - 84% do padro
esperado de 2 -, em 2010, felizmente, a mxima mdia
obtida foi de 1,93 - 97% do padro esperado. (NEMES et al.,
2010; 2009)
Considerando que o carter incremental um atributo
essencial da noo de qualidade, iniciamos um novo projeto
de atualizao e revalidao do Sistema Qualiaids visando
elevao do padro esperado. O projeto tambm objetivou
a incluso de indicadores relativos a tecnologias recmincorporadas na ateno em Aids, tais como a profilaxia psPblica).
10
NEMES et al. Desenvolvimento e validao de metodologia de
avaliao dos servios do SUS de nveis secundrio e tercirio que
prestam assistncia ambulatorial de referncia a pessoas com
tuberculose QualiTB. Projeto de Pesquisa (mimeo), 2013.
11
O desenvolvimento do QualiNASF compe o projeto de FURTADO, J.P.
Avaliao dos Ncleos de Apoio Sade da Famlia NASF. Projeto de
Pesquisa (mimeo), 2015.

126

Prticas de avaliao em sade no Brasil - dilogos

exposio sexual. Refizemos todo o caminho metodolgico


utilizado no desenvolvimento e na validao do primeiro
Qualiaids seguindo as diretrizes sintetizadas no Quadro 5.
Quadro 5. Diretrizes utilizadas na reconstruo do Sistema
Qualiaids
1. Manuteno das normas (valores ticos e
tcnicos do programa) e critrios (dimenses avaliativas:
componentes do trabalho sensveis e especficos para a
avaliao) agrupados segundo as dimenses avaliativas da
verso anterior (disponibilidade de recursos, organizao
do processo de assistncia e gerenciamento tcnico do
trabalho).
2. Reviso dos atuais e incluso de novos indicadores,
quando necessrio.
3. Elevao possvel do padro dos indicadores (nvel
desejvel de qualidade).
4. Aumento da padronizao da pontuao dos
indicadores (frmulas para clculo dos padres)
5. Simplificao do questionrio como um todo com
reduo possvel do nmero de questes.
6. Reviso das recomendaes com base nas normas
programticas e na literatura.

Nessa reviso, consideramos tambm que toda


a interface digital do sistema deveria ser redesenhada,
tornando a interao usurio-interface mais amigvel. O
questionrio foi desenhado para que o preenchimento
se torne mais dinmico e os relatrios mais acessveis e
interativos. H agora opes de baixar os bancos gerados
pelas respostas e tambm possvel que o respondente
127

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

acesse direto na tela, por exemplo, as questes em que


pontua zero, um e dois. Dentro desta seleo, ao clicar
cada uma das questes, abre-se a sua correspondncia
no guia de recomendaes. Podem ainda ser visualizados
os resultados por dimenso e domnios. O questionrio
Qualiaids 2015 tem agora a seguinte estrutura (Quadro 6):
Quadro 6 - Dimenso, domnios e indicadores do novo
Questionrio Qualiaids, 2015
(continuao)
DIMENSO

DOMNIO

INDICADORES

Acolhimento de pacientes
novos

Atividades especficas de
adeso ao tratamento

Organizao geral
da assistncia de
enfermagem

Organizao geral da
ORGANIZAO assistncia de outros
DO PROCESSO DE profissionais
ASSISTNCIA

Organizao geral da
assistncia mdica

Organizao geral do
trabalho

Orientaes e
aconselhamento

128

(concluso)

GERNCIA
TCNICA DO
TRABALHO

Capacitao e experincia
dos profissionais

Comunicao e interao
servio-pacientecomunidade

Coordenao do trabalho

11

Registros, Avaliao,
monitoramento e
planejamento

Capacitao e experincia
dos profissionais

Disponibilidade de
profissionais da equipe
DISPONIBILIDADE mnima
DOS RECURSOS
Estrutura fsica
Medicamentos, insumos,
exames e referncias
Total de indicadores

5
2
13
77

129

Marco Akerman e Juarez Pereira Furtado (Orgs)

O novo Qualiaids no modelo atual de cuidado em DST HIV e


hepatites virais
Dissemos que o principal sentido programtico da
assistncia em HIV no Brasil, desde sua emergncia at
recentemente, foi o de representar a defesa de princpios
ticos o direito cidadania e o acesso universal
assistncia. No final dos anos 1990, o governo brasileiro
estendeu o acesso livre e universal aos emergentes
esquemas antirretrovirais potentes corajosamente e
contra a opinio da comunidade internacional poca.
(THE WORLD BANK, 1997; PRAAG; VAN; FERNYAK; KATZ,
1997) Os esquemas antirretrovirais potentes alteraram
radicalmente a histria natural da Aids, que passou a ser
tratada como um agravo quase crnico. (ALENCAR,
2008) Dessa poca para c, a poltica internacional para
o HIV/Aids mudou totalmente, o acesso ao tratamento
foi largamente ampliado em pases pobres (UNHIV/
AIDS, 2015), novos antirretrovirais surgiram e hoje as
combinaes de medicamentos permitem, para vrias
situaes, o tratamento com apenas um comprimido ao
dia. Ainda assim, a assistncia e seu principal componente,
o tratamento antirretroviral, permaneceram como um dos
componentes da ateno em HIV/Aids, ao lado mas sem
integrao tecnolgica do componente da preveno.
Esta situao comeou a mudar em 2011, quando da
publicao de ensaio que mostrou o benefcio da introduo
precoce do tratamento para impedir a transmisso do HIV
em 1763 casais soro discordantes. (COHEN et al., 2011) Este
estudo e vrios outros que se sucederam formaram a base
do novo modelo de ateno em HIV/Aids que entende o
tratamento antirretroviral como preveno (TasP: treatment
as prevention). O modelo TasP prev o tratamento de
todos os infectados, independentemente de seu estado
imunitrio. Este protocolo foi oficialmente introduzido no
130

Prticas de avaliao em sade no Brasil - dilogos

Brasil no final de 2013, no mesmo ano em que Estados


Unidos e Frana o fizeram. (BRASIL. MINISTRIO DA SADE,
2014) Desde ento, a cascata (Figura 2) ou contnuo do
cuidado em HIV, um modelo que estima as quantidades
de pessoas perdidas em todas as fases do cuidado em
HIV/Aids, da infeco at a supresso da carga viral, tem
parametrizado a resposta ao HIV/Aids no Brasil e em muitos
pases do mundo. (MUGAVERO et al., 2013)
Figura 2. Cascata (ou continuo do cuidado) em HIV no
Brasil, 2013

Fonte: Boletim Epidemiolgico HIV-HIV/AIDS, Braslia, v. III, n. 1, p. 55,


2014.

O uso de antirretrovirais em conjunto com outros


mtodos, pode criar um crculo virtuoso: a ampliao da TARV
para pessoas infectadas reduziria, concomitantemente,
o nmero de eventuais transmisses, enquanto o uso de
outros mtodos restringiria os indivduos suscetveis ao
HIV na populao. (GRANGEIRO et al., 2015) Em 2014, no
I Frum Latino-Americano e do Caribe sobre o contnuo da
ateno em HIV, realizado na Cidade do Mxico, o Brasil
e pases da regio estabeleceram as chamadas metas
90/90/90, posteriormente proposta globalmente, pelo
Programa Conjunto das Naes Unidas sobre HIV/AIDS
131

Marco Akerman e Juarez Pereira Furtado (Orgs)

(UNHIV/AIDS), como metas de cobertura da testagem e de


tratamento efetivo. Com a Estratgia 90/90/90 (90% das
pessoas infectadas diagnosticadas, 90% tratadas e 90% com
supresso viral), seria atingido o fim dos nveis epidmicos de
HIV/Aids at 2030. (UNAIDS, 2014a, 2014b) Adicionalmente,
tem-se aumentado as evidncias de estudo observacionais
que apontam a efetividade clnica (diminuio da incidncia
de agravos) do tratamento precoce. (THE INSIGHT START
STUDY GROUP, 2015) Ainda, no parece haver mais
dvidas de que o uso de antirretrovirais antes e/ou depois
de relaes sexuais desprotegidas (PEP: profilaxia psexposio e PreP: profilaxia pr-exposio sexual) oferece
um alto grau de proteo na transmisso sexual do HIV.
(GRANGEIROet al., 2015)
Todas essas modificaes nos fizeram, em 2012,
reconstruir a teoria do programa que utilizamos para
as avaliaes em HIV/Aids. Hoje, possvel afirmar que o
sentido programtico da assistncia tanto o do direito
humano assistncia quanto o potencial impacto coletivo
na transmisso da doena na sociedade. Neste sentido
tecnolgico, o programa de HIV/Aids se aproximou de
velhos programas de sade pblica como os de tuberculose
e hansenase, nos quais o tratamento medicamentoso
precoce o principal componente.
Para alm do evidente benefcio da possibilidade de
longa sobrevida s pessoas que vivem com HIV, h outras
vantagens na configurao bem mais programtica da
ateno em HIV/Aids. A mais importante dessas vantagens
a ampliao da possibilidade de exerccio da integralidade.
Esta assuno, entretanto, precisa ser (re) construda. A
alta eficcia da terapia antirretroviral e os bons resultados
clnicos obtidos tanto no tratamento quanto na preveno
no podem levar presuno de consequente impacto
no declnio das taxas de incidncia. Estudo em pases que
132

Prticas de avaliao em sade no Brasil - dilogos

h muito tempo mantm alta cobertura de testagem e


tratamento antirretroviral mostrou que, aps o declnio
inicial, as taxas de incidncia permaneceram elevadas
ou voltaram a crescer. (WILSON, 2012) Tambm no Brasil
observam-se taxas crescentes de incidncia a partir de
2011. (GRANGEIRO; NEMES; CASTANHEIRA, 2015)
Assim, se tomarmos o contnuo do cuidado
como um modelo de cuidado em um sentido de fato
programtico isto , o que integra aes individuais e
coletivas e que compreende a assistncia como instrumento
clnico e epidemiolgico , no possvel utilizar apenas
o diagnstico dos infectados como ponto de partida
para orientar o programa de ateno. Por esta razo,
reconstrumos o modelo do contnuo do cuidado para
incluir as etapas anteriores ao seguimento ambulatorial:
as da promoo sade e da preveno especfica.
Coerentemente com a proposta de oferecer tratamento
para todos os infectados, colocamos o tratamento antes
da reteno. Considerando, ainda, a crucial importncia da
adeso ao tratamento, introduzimos esta etapa logo aps
a do tratamento. (GARDNER et al., 2011) Outra importante
modificao foi a incluso do programa das Hepatites Virais
B e C, respeitando similaridades entre a histria natural das
doenas e as demais DSTs e em consonncia com a poltica
brasileira de integrao do cuidado a estes agravos.
A Figura 3 sintetiza o modelo que tem orientado,
desde 2012, a nossa abordagem12 para a avaliao e
monitoramento dos servios de sade que integram o
programa de ateno em DST, HIV/Aids e Hepatites Virais
que, respeitando nossa tradio Quali denominamos de
QualiRede DST/HIV/HV (Figura 3).
12
Testamos a aplicabilidade deste modelo entre 2013-2015 atravs
do Projeto QualiRedeHIV (PPSUS-FAPESP12/51223-7), que testou um
mtodo de apoio implementao da rede em DST/HIV em uma regio
de sade do Estado de So Paulo.

133

Marco Akerman e Juarez Pereira Furtado (Orgs)

Figura 3. Modelo QualiRede do contnuo do cuidado em


DST, HIV/Aids e Hepatites Virais.

Prticas de avaliao em sade no Brasil - dilogos

O modelo completo modelo lgico do programa


explicita processos e resultados, indicadores de avaliao
e monitoramento, bem como os registros necessrios para
obt-los. Os indicadores de processos sero provenientes
das respostas dos servios s verses 2015 do QualiABe do
Qualiaids. Os de resultados e impactos, dos sistemas SUS
epidemiolgicos e clnicos. O modelo visa apoiar gestores
e profissionais na qualificao dos servios das redes de
cuidado locais em DST, HIV e Hepatites Virais, desde a
ateno primria at a hospitalar.
Para
terminar,
falamos
do logo do Qualiaids como
prometemos no incio deste texto.
Para entender melhor nossa
motivao em encomendar
um logotipo to pouco popular
e inteligvel (como nos afirmaram amigos publicitrios),
ser preciso reafirmar que gostamos muito de trabalhar
com avaliao de servios de sade. Sobretudo porque o
potencial tico da avaliao muito visvel; sentimo-nos
muito felizes quando conseguimos que nossas abordagens
contribuam com algo para melhorar o cuidado em sade.
Tentamos sempre lembrar, porm, que a avaliao, mesmo
a melhor avaliao do mundo consegue apenas espelhar
o trabalho. O trabalho vivo, humano. Os avaliadores s
podemos oferecer um espelho, o menos mope possvel,
para ajudar os trabalhadores de sade a olharem seu
trabalho. Por isto inventamos este logo que representa a
melhor qualidade verde-amarela dos nossos servios, a
solidariedade vermelha aos que vivem com Aids e, o mais
importante, a palavra Aids espelhada, naquele nosso
espelho, aquele do qual ambicionamos uma aceitvel
acuidade.

134

135

Marco Akerman e Juarez Pereira Furtado (Orgs)

Referncias
ALENCAR, T.M.D.; NEMES, M.I.B.; VELLOSO, M.A.
Transformaes da Aids aguda para a Aids crnica:
percepo corporal e intervenes cirrgicas entre pessoas
vivendo com HIV e Aids. Cinc. Sade Coletiva, Rio de
Janeiro, v.13, p.1841-1849, 2008.

Prticas de avaliao em sade no Brasil - dilogos

BRASIL, Ministrio da Sade. Alternativas assistenciais


HIV/AIDS no Brasil: as estratgias e resultados para
a implantao da rede de Servios de Assistncia
Especializada. Braslia: Coordenao Nacional de DST/HIV/
AIDS, 1998.

ALVES, M.T.S.S.B. Avaliao da assistncia ambulatorial


a pessoas vivendo com HIV e Aids no Sistema nico de
Sade: a situao do Maranho. 2003. Tese (Doutorado
em Medicina Preventiva) Faculdade de Medicina,
Universidade de So Paulo, So Paulo, 2003.

______. O perfil dos SAE 2000. In: Alternativas assistenciais


HIV/AIDS no Brasil: as estratgias e resultados para
a implantao da rede de Servios de Assistncia
Especializada. Braslia: Coordenao Nacional de DST/HIV/
AIDS, 1998. (Anexo II). Disponvel em: <http://www.HIV/
aids.gov.br/assistencia/HIV/aids1/relativ_anexo2.html>.
Acesso em: 03 jun 2001.

ANDRADE, M.C.; CASTANHEIRA, E.R.L. Cooperao e


apoio tcnico entre estado e municpios: a experincia do
programa Articuladores da Ateno Bsica em So Paulo.
Sade e Sociedade, So Paulo, v. 20, p.980-990, 2011.

BRASIL. Ministrio da Sade. Secretaria de Vigilncia em


Sade. Departamento de DST Aids e Hepatites Virais.
Boletim epidemiolgico - HIV/aids e DST(Braslia), v. 1, ano
III, 2014.

AYRES, J.R.; PAIVA, V.; FRANA Jr, I. O conceito de


vulnerabilidade e as prticas de sade: novas perspectivas
e desafios. In: CZERESNIA, D.C.; FREITAS, M. (Orgs.).
Promoo da Sade: conceitos, reflexes, tendncias. 2.ed.
Rio de Janeiro: FIOCRUZ, 2009. p.121-143.

______. Departamento de DST Aids e Hepatites Virais.


Protocolo Clnico e Diretrizes Teraputicas para Manejo da
Infeco pelo HIV em Adultos. 2014 (OnLine). Disponvel
em: <http://www.aids.gov.br/pagina/acompanhamentomedico>. Acesso em: 07 set 2015.

AYRES, J.R.; PAIVA, V.; FRANA Jr, I. Conceitos e prticas


de preveno: da histria natural da doena ao quadro da
vulnerabilidade e direitos humanos. In: PAIVA, V.F.; AYRES,
J.R.; BUCHALLA, C.M. (Orgs.). Vulnerabilidade e direitos
humanos: preveno e promoo da sade. Curitiba: Juru
Editora, 2012. p.71-94. (Livro I: Da doena cidadania).

CAMPBELL, S.M.; BRASPENNING, J.; HUTCHINSON, A.;


MARSHALL, M.N. Improving the quality of health care:
research methods used in developing and applying quality
indicators in primary care.BMJ, v. 326, n. 7393, p.816-819,
Apr. 2003.

BACCARINI, R. Avaliao de implantao da assistncia


ambulatorial s PVHA no SUS: uma anlise a partir das
pesquisas Qualiaids. 2011. Dissertao (Mestrado em Sade
Pblica) - Fundao Oswaldo Cruz, Rio de janeiro, 2011.

136

CASTANHEIRA, E.R.L. Avaliao da assistncia ambulatorial


a pessoas vivendo com HIV/Aids em servios pblicos no
Estado de So Paulo: relaes entre qualidade e organizao
do processo de trabalho. 2002. Tese (Doutorado em Medicina
Preventiva) Faculdade de Medicina, Universidade de So
Paulo, So Paulo, 2002. Disponvel em: <http://www.teses.
137

Marco Akerman e Juarez Pereira Furtado (Orgs)

usp.br/teses/disponiveis/5/5137/tde-29042010-095820/>.
Acesso em: 05 set 2015.
CASTANHEIRA, E.R.L.; CAPOZZOLO, A.A.; NEMES, M.I.B.
Caractersticas tecnolgicas do processo de trabalho em
servios de sade selecionados. In: NEMES, M.I.B. (Org.).
Avaliao da aderncia ao tratamento por anti-retrovirais
em usurios de ambulatrios do sistema pblico de
assistncia HIV/AIDS no Estado de So Paulo. Braslia:
Coordenao Nacional DST/HIV/AIDS, Ministrio da Sade,
2000. p.133-169.
CASTANHEIRA, E.R.L.; M.I.B. ALMEIDA, M.A.S.; PUTTINI,
R.F.; SOARES, I.D.; PATRCIO, K.P.; NASSER, M.A.; MACHADO,
D.F.; CALDAS Jr., A.L.; VASCONCELOS, R.A.; PISSATO, S.B.;
CARRAPATO, J.F.L.; BIZELLI, S.S.K. QualiAB: desenvolvimento
e validao de uma metodologia de avaliao de servios
de ateno bsica. Sade Soc., So Paulo, v. 20, p.935-947,
2011.
CASTANHEIRA, E.R.L.; M.I.B. ZARILI, T.F.T.; SANINE, P.R.;
CORRENTE, J.E. Avaliao de servios de Ateno Bsica
em municpios de pequeno e mdio porte no Estado de
So Paulo: resultados da primeira aplicao do instrumento
QualiAB. Sade em Debate, Rio de Janeiro, v. 38, p.679691, 2014.
CHEN, H.T. Theory-Driven Evaluations. Newbury Park,
California: Sage, 1990.
COHEN, M.S.; CHEN, Y.Q.; MCCAULEY, M.; GAMBLE, T.;
HOSSEINIPOUR, M.C.; KUMARASAMY, N.; HAKIM, J.G.;
KUMWENDA, J.; GRINSZTEJN, B.; PILOTTO, J.H.; GODBOLE,
S.V.; MEHENDALE, S.; CHARIYALERTSAK, S.; SANTOS, B.R.;
MAYER, K.H.; HOFFMAN, I.F.; ESHLEMAN, S.H.; PIWOWARMANNING, E.; WANG, L.; MAKHEMA, J.; MILLS, L.A.; DE
BRUYN, G.; SANNE, I.; ERON, J.; GALLANT, J.; HAVLIR, D.;
138

Prticas de avaliao em sade no Brasil - dilogos

SWINDELLS, S.; RIBAUDO, H.; ELHARRAR, V.; BURNS, D.;


TAHA, T.E.; NIELSEN-SAINES, K.; CELENTANO, D.; ESSEX, M.;
FLEMING, T.R.; HPTN 052 STUDY TEAM. Prevention of HIV1 infection with early antiretroviral therapy. N Engl J Med,
v.365, n.6, p.493-505, 2011.
DALMASO, A.S.W. Oferta e consumo de aes de sade:
como realizar o projeto da integralidade? Sade em Debate,
Rio de Janeiro, v.44, p.35-38, 1994.
GARDNER, E.M.; MCLEES, M.P.; STEINER, J.F.; RIO,C. del;
BURMAN, W.J. The Spectrum of Engagement in HIV Care
and its Relevance to Test-and-Treat Strategies for Prevention
of HIV Infection. Clinical Infectious Diseases, v. 52, n. 6,
p.793800, 2011.
GRANGEIRO, A.; CASTANHEIRA, E.R.L.; NEMES, M.I.B. A
re-emergncia da epidemia de Aids no Brasil: desafios e
perspectivas para o seu enfrentamento.Interface, Botucatu,
v. 19,n. 52,p.5-8,Mar.2015.
GRANGEIRO, A.; ESCUDER, M.M.L.; CASTILHO, E.
A.Magnitude e tendncia da epidemia de Aids em
municpios brasileiros de 2002-2006. Rev. Sade Pbl., So
Paulo, v. 44, n. 3, p.430-441, Jun. 2010.
GRANGEIRO, A.; FERRAZ, D.; CALAZANS, G.; ZUCCHI, E.M.;
DAZ-BERMDEZ, X.P. O efeito dos mtodos preventivos
na reduo do risco de infeco pelo HIV nas relaes
sexuais e seu potencial impacto em mbito populacional:
uma reviso da literatura. Rev. Brasileira Epidemiologia
(Impresso), Aprovado para publicao, 2015.
GRANGEIRO, A.; LAURINDO-SILVA, L.; TEIXEIRA, P.R.
Resposta Aids no Brasil: contribuies dos movimentos
sociais e da Reforma Sanitria. Rev. Panam Salud Pblica, v.
26, n.1, p.87-94, 2009.
139

Marco Akerman e Juarez Pereira Furtado (Orgs)

GRUSKIN, S.; TARANTOLA, D. Um panorama sobre sade e


direitos humanos. In: PAIVA, V.F.; AYRES, J.R.; BUCHALLA,
C.M. (Orgs.). Vulnerabilidade e Direitos humanos:
Preveno e Promoo da Sade. Curitiba: Juru Editora,
2012. p.23-42. (Livro I: Da doena cidadania).
MARINS, J.R.; JAMAL, L.F.; CHEN, S.Y.; BARROS, M.B.;
HUDES, E.S.; BARBOSA, A.A. Dramatic improvement in
survival among adult Brazilian HIV/AIDS patients. AIDS, v.
17, p.1675-1682, 2003.
MELCHIOR, R. Avaliao da organizao da assistncia
ambulatorial a pessoas vivendo com HIV/Aids no Brasil:
anlise de 322 servios em 7 estados brasileiros (CE, MA,
MS, PA, RJ, RS, SP). 2003. Tese (Doutorado em Sade
Pblica) Faculdade de Sade Pblica, Universidade de So
Paulo, So Paulo, 2003.
MELCHIOR, R.; NEMES, M.I.B.; BASSO, C.R.; CASTANHEIRA,
E.R.L.; ALVES, M.T.S.S.B.; BUCHALLA, C.M.; DONINI, A.A.
Avaliao da estrutura organizacional da assistncia
ambulatorial em HIV/Aids no Brasil. Rev. Sade Pbl./
Journal of Public Health, v.40, p.143-151, 2006.
MENDES-GONALVES, R.B. Tecnologia e organizao social
das Prticas de Sade: caractersticas tecnolgicas do
processo de trabalho na Rede Estadual de Centros de Sade
de So Paulo. So Paulo: Hucitec/Abrasco, 1994.
MENDES-GONALVES, R.B.; SCHRAIBER, L.B.;NEMES, M.I.B.
Seis Teses sobre Ao Programtica em Sade. Espao para
a Sade, Curitiba, v. 1, n.1, p.33-41, 1989.
______. Seis Teses sobre Ao Programtica em Sade. In:
SCHRAIBER, L.B. (Org.). Programao em Sade Hoje. So
Paulo: Hucitec, 1990. p.37-63.

140

Prticas de avaliao em sade no Brasil - dilogos

MERHY, E.E. O capitalismo e a sade pblica. So Paulo:


Papirus, 1985.
MUGAVERO, M.J.; AMICOKR, H.T.; THOMPSON, M.A. The
state of engagement in HIV care in the United States: from
Cascade to Continuum to Control. Clin Infect Dis.,v. 57, v.8,
p.1164-1171, 2013. DOI: 10.1093/cid/cit420. Disponvel
em:
<http://cid.oxfordjournals.org/content/57/8/1164.
abstract - aff-2>. Acesso em: 05 set 2015.
NEMES, M.I.B. Ao programtica em sade: referenciais
para anlise da organizao do trabalho em servios de
ateno primria. Espao para Sade, Curitiba, v. 2, p.4045, 1990.
______. Ao programtica em sade: recuperao
histrica de uma poltica de programao. In: SCHRAIBER,
L.B. (Org.). Programao em sade hoje. 2.ed. So Paulo:
Hucitec, 1993. p. 65-116.
______. Avaliao do trabalho programtico na ateno
primria sade. 1996. Tese (Doutorado em Medicina
Preventiva) Faculdade de Medicina, Universidade de So
Paulo, So Paulo, 1996.
______. A Prtica Programtica em Sade. In: SCHRAIBER,
L.B.; MENDES-GONALVES, R.B.; NEMES, MIB. (Orgs.).
Sade do adulto: programas e aes em unidade bsica.
So Paulo: Hucitec, 1996. p. 47-64.
NEMES, M.I.B. (Org). Aderncia ao tratamento por antiretrovirais em servios pblico de sade no Estado de So
Paulo. Braslia: Ministrio da Sade, Secretaria de Polticas
de Sade, Coordenao Nacional de DST e Aids, 2000. (Srie
Avaliao, n.1).

141

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

NEMES, M.I.B. Avaliao em sade: questes para os


programas de DST/HIV/Aids no Brasil. Rio de Janeiro,
Associao Brasileira Interdisciplinar de HIV/Aids, 2001.
(Fundamentos de avaliao, n. 1). Disponvel em:<www.
abiaids.org.br.>. Acesso em: 29 out. 2015.

NEMES, M.I.B.; MELCHIOR, R; BASSO, C.R.; CASTANHEIRA,


E.R.L.; ALVES, M.T.S.S.B.; CONWAY S. The variability and
predictors of quality of AIDS care services in Brazil. BMC
Health Serv. Res., v. 9, n.51, 2009. DOI: 10.1186/14726963-9-51.

NEMES, M.I.B.; BASSO, C.R.; CASTANHEIRA, E.R.L.;MELCHIOR,


R.;ALENCAR, T.M.D.; CARACIOLO, J.M.M.; ALVES, M.T.S.S.B.
QUALIAIDS-Avaliao e monitoramento da qualidade da
assistncia ambulatorial em Aids no SUS. 1. ed. Braslia:
Ministrio da Sade, 2008. (V. 1). Disponvel em: <http://
bvsms.saude.gov.br/bvs/publicacoes/caderno_qualiaids.
pdf>. Acesso em: 05 set 2015.

NEMES, M.I.B.; CASTANHEIRA, E.R.L.; MELCHIOR, R.; ALVES,


M.T.S.S.B.; BASSO, C.R. Avaliao da qualidade da assistncia
no programa de AIDS: questes para a investigao em
servios de sade no Brasil.Cad. Sade Pblica, Rio de
Janeiro, v.20, supl.2, p. S310-S321, 2004.

NEMES, M.I.B.; CARACIOLO, J.M.M.; SANTOS, M.A.;


ALVES, A.M.; YOKAICHIYA, C.M.; PRADO, R.R.; VALE, F.C.;
BACCARINI, R.; ROSSETTO, E.V.; BASSO, C.R. Avaliao
da qualidade dos servios ambulatoriais do SUS que
assistem adultos vivendo com HIV/Aids no Brasil:
Relatrio da Aplicao Qualiaids 2010 e Comparao com
2007 (Relatrio de Pesquisa). So Paulo: Departamento de
Medicina Preventiva, Faculdade de Medicina, USP, 2012
(mimeo). Disponvel em:<sistemas.aids.gov.br/qualiaids/>.
Acesso em: 19 jul 2014.
NEMES, M.I.B.; CARVALHO, H.B.; SOUZA, M.F.M.
Antiretroviral therapy adherence in Brazil. AIDS, v. 18,
suppl. 3, p.S15S20, 2004.
NEMES, M.I.B.; CASTANHEIRA, E.R.L.; HELENA, E.T.S.;
MELCHIOR, R.; CARACIOLO, J.M.M.; BASSO, C.R.; ALVES,
M.T.S.S.B.; ALENCAR, T.M.D.; FERRAZ, D.A.S. Adeso ao
tratamento, acesso e qualidade da assistncia em Aids no
Brasil. Rev. Assoc. Med. Bras., v. 55, p.207-212, 2009.

142

PAIVA, V; ZUCCHI, E. Estigma, discriminao e sade:


aprendizado de conceitos e prticas no contexto da epidemia
de HIV/Aids. In: PAIVA, V.F.; AYRES, J.R.; BUCHALLA, C.M.
(Orgs.). Vulnerabilidade e direitos humanos: preveno e
promoo da sade. Curitiba: Juru Editora, 2012. p.111144. (Livro I. Da doena cidadania).
PRAAG, R.; VAN, F.S.; KATZ, A.M. (eds). The implications
of antiretroviral treatments: informal consultation,
GENEVA, 29-30 APRIL 1997. Geneva, WHO, 1997.
Disponvel
em:
<http://www.sidastudi.org/es/
registro/2c9391e41fb402cc011fb4514dbf5ac6>.
Acesso
em: 06 set 2015.
SALA, A.; NEMES, M.I.B.; COHEN, D.D. A Avaliao na Prtica
Programtica. In: SCHRAIBER, L.B.; NEMES, M.I.B.; MENDESGONALVES, R.B. (Orgs). Sade do adulto: programas e
aes em unidade bsica. 2.ed. So Paulo: Hucitec, 2000.
p.173-193.
______. Metodologia de avaliao do trabalho na ateno
primria sade. Cad. Sade Pblica, Rio de Janeiro, v. 14,
n. 4, p.741-751, out./dez. 1998.

143

Marco Akerman e Juarez Pereira Furtado (Orgs)

SCHRAIBER, L.B.; NEMES, M.I.B. Processo de trabalho e


avaliao de servios de sade. Cadernos FUNDAP, v. 19,
p.106-121, 1996.
SCHRAIBER, L.B.; PEDUZZI, M.; SALA, A.; NEMES, M.I.B.;
CASTANHEIRA, E.R.L.; KON, R. Planejamento, gesto e
avaliao em sade: identificando problemas. Cinc. Sade
Coletiva, v.4, p.221-242, 1999.
SZWARCWALD, C.L.; BASTOS, F.I.; ESTEVES, M.A.P.;
ANDRADE, C.L.T. A disseminao da epidemia da Aids no
Brasil, no perodo de 1987-1996: uma anlise espacial. Cad.
Sade Pblica, v. 16, supl. 1, p.7-21, 2000.
TEIXEIRA P.R. Polticas pblicas em HIV/AIDS. In: PARKER
R. (Org.). Poltica, instituies e HIV/AIDS enfrentando a
epidemia no Brasil. Rio de Janeiro: Zahar/ABIA Associao
Brasileira Interdisciplinar de HIV/AIDS, 1997. p.43-68.
THE INSIGHT START STUDY GROUP. Initiation of antiretroviral
therapy in early asymptomatic HIV infection. N. Engl. J.
Med., v. 372, p.795-807, 27 Aug. 2015. DOI: 10.1056/
NEJMoa1506816. [e-pub]. Disponvel em: <http://dx.doi.
org/10.1056/NEJMoa1506816>. Acesso em: 01 set 2015.

Prticas de avaliao em sade no Brasil - dilogos

UNHIV/AIDS UNITED NATIONS JOINT PROGRAM ON HIV/


AIDS. UNHIV/AIDS announces that the goal of 15 million
people on life-saving HIV treatment by 2015 has been met
nine months ahead of schedule. Geneva: UNHIV/AIDS, 2015.
Disponvel em: <http://www.unHIV/aids.org/en/resources/
presscentre/pressreleaseandstatementarchive/2015/
july/20150714_PR_MDG6report>. Acesso em: 15 jul 2015.
WHO WORLD HEALTH ORGANIZATION. Standards for
quality HIV care: a tool for quality assessment, improvement,
and accreditation report of a WHO Consultation Meeting on
the Accreditation of Health Service Facilities for HIV Care.
Geneva, Switzerland: WHO, 1011 May 2004.
WILSON, D.P. HIV treatment as prevention: natural
experiments highlight limits of antiretroviral treatment
as HIV prevention. PLOS Med, v. 9; n. 7, p. e1001231,
10 Jul. 2012. DOI: 10.1371/journal.pmed.1001231.
Disponvel em: <http://journals.plos.org/plosmedicine/
article?id=10.1371/journal.pmed.1001231>. Acesso em:
07 set 2015.

THE WORLD BANK. Confronting AIDS: public priorities in a


global epidemic. Oxford: Oxford University Press, 1997.
UNAIDS JOINT UNITED NATIONS PROGRAMME ON HIV/
AIDS. Fast-Track - Ending the AIDS epidemic by 2030.
Geneva: UNAIDS, 2014a. Disponvel em:<http://www.
unaids.org/en/resources/documents/2014/JC2686_
WAD2014report>. Acesso em: 01 dez. 2014.
______. 90-90-90: an ambitious treatment target to help
end the HIV/AIDS epidemic. Geneva: UNAIDS, Oct. 2014b.
Disponvel em: <http://www.unaids.org/sites/default/files/
media_asset/90-90-90_en_0.pdf >. Acesso em: 07 set 2015.
144

145

CAPTULO 4
AVALIAO ECONMICA EM
SADE
Patrcia Coelho de Sorez
Hillegonda Maria Dutilh Novaes

Introduo
Atualmente a ateno sade praticada numa poca
de recursos financeiros limitados e cada vez mais regulados
no setor sade. Por outro lado, as necessidades e desejos
da populao so sempre crescentes. Dada escassez de
recursos, preciso ento fazer escolhas. Neste contexto,
a avaliao econmica em sade surgiu com o objetivo de
orientar essas escolhas de forma transparente, organizada e
sistemtica. Tem sido cada vez mais utilizada para informar
as decises sobre alocao de recursos no setor sade.
Os primeiros estudos foram realizados h cinquenta
anos, quando foram publicados artigos pioneiros discutindo
questes terico-conceituais, como, por exemplo, o de Alan
Williams. (WILLIAMS, 1974) At o momento, a maioria das
avaliaes econmicas foi direcionada a medicamentos e
tecnologias mdicas inovadoras como parte de estudos

Marco Akerman e Juarez Pereira Furtado (Orgs)

de avaliaes de tecnologias em sade. Contudo, h


um crescente interesse em explorar a aplicao dessa
ferramenta a um leque mais amplo de intervenes de
sade, incluindo programas de sade pblica (TRUEMAN;
ANOKYE, 2013) e servios de ateno primria. (MCBRIEN;
MANNSl, 2013)
H uma grande produo cientfica na literatura
internacional e um nmero crescente de publicaes
nacionalmente. Dessa forma, de fundamental importncia
que os gestores do sistema de sade possam ler, entender,
interpretar e aplicar adequadamente os resultados das
avaliaes econmicas no planejamento de polticas em
sade, regulamentao e processos de deciso sobre
incorporao de novas tecnologias, de forma a propiciar
efetividade, eficincia e equidade ao sistema de sade.
Este captulo uma introduo avaliao econmica
em sade, apresentando os conceitos-chave e tipos de
avaliao econmica; discute o desenvolvimento do campo
da avaliao econmica e sua institucionalizao na tomada
de deciso no Brasil; e finaliza com o estudo de caso dos
estudos de custo-efetividade para incorporao de novas
vacinas no Programa Nacional de Imunizao (PNI).

Avaliao econmica em sade


O crescimento exponencial dos gastos em sade,
especialmente a partir da dcada de 1980, tem contribudo
para o aumento do interesse por estudos de avaliao
econmica. Embora as novas tecnologias no possam ser
consideradas como o nico fator, elas tm sido apontadas
como as principais responsveis pela elevao dos gastos
em sade.
148

Prticas de avaliao em sade no Brasil - dilogos

No setor sade, novos medicamentos, procedimentos


e exames diagnsticos so incorporados de forma
acelerada, muitas vezes antes da comprovao da sua
segurana, eficcia e efetividade. E, muito frequentemente,
essas tecnologias no so substitutivas, ao contrrio,
geralmente so acumulativas (por exemplo, a utilizao da
ressonncia magntica no substitui o uso da tomografia
computadorizada nos exames diagnsticos). (VIANNA;
CAETANO, 2005)
O desenvolvimento e a incorporao contnua de
novas tecnologias nos sistemas de sade exercem uma
enorme presso nos oramentos pblicos, e uma quantidade
crescente de recursos deve ser destinada ao setor sade
para oferecer o mesmo perfil de atendimento populao.
Essa situao tem levado necessidade de realizar escolhas
entre diferentes tecnologias a serem incorporadas, o que
estimula a busca pela eficincia na alocao de recursos no
setor sade.
A avaliao econmica no pode ser considerada
como a nica base para formulao de polticas,
importante ressaltar que ela apenas um dos componentes
que participam dos complexos processos de deciso na
gesto de sistemas de sade. Outras dimenses, alm
da tcnico-cientfica, possuem grande importncia nos
processos decisrios. Entre elas podemos citar os interesses
polticos e econmicos, as questes ticas, de equidade e
as preferncias da sociedade em questo.
A utilizao da avaliao econmica pode ser mais
relevante para pessoas diretamente envolvidas no processo
de tomada de deciso sobre a alocao de recursos para
programas de sade, incluindo formuladores de polticas
pblicas, gestores e clnicos. Porm, todos os profissionais
de sade tm um papel fundamental na prestao dos
cuidados de sade e decises baseadas em avaliaes
149

Marco Akerman e Juarez Pereira Furtado (Orgs)

econmicas, tm o potencial de impactar as polticas de


sade e influenciar a forma como eles atuam. Sendo assim,
importante que os mesmos tenham conhecimento sobre
os princpios e a metodologia que suportam esse tipo de
estudo.
Avaliao econmica definida como uma anlise
comparativa entre dois cursos de ao alternativos em
termos de custos e consequncias. Desta forma, o seu
principal objetivo identificar, medir, valorar e comparar
os custos e consequncias das alternativas sendo
consideradas. (DRUMMOND et al., 2005) Neste contexto,
consequncias so benefcios, desfechos ou resultados
de sade das alternativas comparadas.
Figura 1 - Diagrama de uma avaliao econmica.

Fonte: Adaptado de Drummond et al. (2005).

A regra geral, quando se avalia os programas A e B,


que a diferena entre os custos comparada com a diferena
nas consequncias, numa anlise incremental que fornece
a Razo de Custo Efetividade Incremental (RCEI), dada pela
seguinte frmula:
150

Prticas de avaliao em sade no Brasil - dilogos

RCEI =

Custos A - Custos B
Consequncias A - Consequncias B

A questo crtica decidir se vale a pena pagar o custo


adicional (incremental) pelas consequncias (benefcios)
adicionais obtidas com o novo programa A. A RCEI ento
comparada a um limiar de custo-efetividade para garantir
uma tomada de deciso eficiente.
O limiar de custo-efetividade representa o quanto uma
sociedade poderia gastar para ganhar, por exemplo, um ano
de vida a mais. Pode ser explicitamente especificado pelas
autoridades locais, como acontece no Reino Unido, onde a
agncia de avaliao de tecnologias em sade do ingls,
National Institute for Health and Care Excellence (NICE)
determina o limiar de 20,00030,000 por QALY ganho;
ou pode ser implicitamente definido a partir da anlise de
decises de preos/reembolso realizadas anteriormente.
Os valores de limiar variam consideravelmente entre os
pases, na Austrlia (AUS$42,00076,000 por ano de vida),
no Canad (CAN$20,000100,000 por QALY), na Holanda
(20,00030,000 por QALY). (SIMOENS, 2009)
No Brasil, no h um valor de limiar explicitamente
definido ou regulamentado para as decises de
incorporaes de novas tecnologias. Alguns estudos locais
tm usado o limiar da Organizao Mundial da Sade
(OMS), no qual para uma interveno ser considerada
custo-efetiva, a RCEI por DALY evitado pode ser at 3
vezes o valor do PIB per capita. Quando a RCEI por DALY
evitado de 1 vez o valor do PIB per capita, a interveno
considerada muito custo-efetiva; e quando a RCEI maior
que 3 vezes o PIB per capita, a interveno no custoefetiva. Considerando por exemplo, o PIB per capita do
Brasil, em 2014, de aproximadamente R$27.000, qualquer
151

Marco Akerman e Juarez Pereira Furtado (Orgs)

interveno que custasse at R$81.000 (3 x R$27.000) seria


considerada custo-efetiva.
Estudo recente da Universidade de York questiona
o uso dessa recomendao da OMS por no se basear
na avaliao do custo de oportunidade, resultante da
limitao de recursos. A abordagem da OMS baseia-se na
aspirao, na disponibilidade para pagar dos sistemas de
sade. Sua utilizao no necessariamente consistente
com a melhoria da sade da populao, porque no reflete
o custo de oportunidade que imposta aos sistemas de
sade. Para o Brasil, foi estimado um limiar de US$3,210
a US$10,122 ajustados pelo poder de paridade de compra
(cerca de R$12.840 a R$40.488), bem inferior aos valores
recomendados no limiar da OMS (1-3 PIB per capita,
R$27.000 a R$81.000). (WOODS et al., 2015)
Na avalio econmica h dois conceitos
fundamentais: custo de oportunidade e eficincia. O
custo de oportunidade baseia-se nos princpios da
escassez e escolha. Dada a escassez (ou seja, no existem
recursos suficientes para atender a todos os desejos de
uma sociedade) em sistemas de sade com financiamento
pblico, onde os recursos so limitados, nem todas as
intervenes disponveis podem ser oferecidas para
todos os que precisam ou desejam essas tecnologias. As
sociedades devem fazer escolhas, e, no caso da ateno
sade, essas opes incluem quais programas de sade
sero implementados e quais sero negados.

Prticas de avaliao em sade no Brasil - dilogos

universal de vacinao para rotavirus) significa a perda de


oportunidade de utilizar esse mesmo recurso para financiar
outra tecnologia (por exemplo, um programa de vacinao
para dengue).
Na rea da sade, eficincia uma medida de quanto
benefcio para a sade produzido para um dado custo.
Dois tipos de eficincia so muitas vezes considerados:
eficincia tcnica e alocativa. Eficincia tcnica mede o grau
em que os resultados de sade em um grupo especfico
de pacientes so maximizados com um dado conjunto
de recursos. Por outro lado, a eficincia alocativa tenta
maximizar os resultados da sade em diferentes populaes
de pacientes, escolhendo entre os diversos programas
existentes.
preciso saber o tipo de questo (tcnica ou alocativa)
que o gestor procura responder para selecionar o tipo de
avaliao econmica mais adequado.
Tipos de avaliao econmica
As avaliaes econmicas so classificadas em dois
tipos: parciais e completas. As diferenas entre elas esto:
(1) na existncia de comparao entre as alternativas e (2)
no mtodo de mensurao das consequncias (Quadros 1
e 2).

O custo de oportunidade de programas de sade so


os benefcios associados queles programas que no foram
escolhidos. o valor que atribumos melhor alternativa
a que renunciamos ao utilizar o recurso na alternativa
escolhida. A deciso de utilizar um recurso para financiar
determinada tecnologia (por exemplo, um programa

152

153

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 1. Caractersticas das avaliaes econmicas em


sade. Custos e consequncias so examinados?
No

Existe comparao entre duas ou mais alternativas?

Examina
somente
consequncias
No

Sim
Examina
somente
custos

Avaliaes Parciais

Avaliao
Parcial

Descrio
Descrio de Descrio
de custosresultados
de custos
resultados
Avaliaes Parciais

Avaliaes
Completas
Anlise
de Custominimizao
(ACM)

Sim

Avaliaes de
eficcia ou
efetividade

Anlise de
custos

Anlise
de Custoefetividade
(ACE)
Anlise
de Custoutilidade
(ACU)
Anlise
de Custobenefcio
(ACB)

Fonte: Adaptado de Drummond et al. (2005).

154

Anlises parciais
Algumas anlises apenas descrevem as consequncias
de uma alternativa (por exemplo, descrevem os resultados
de um nico servio ou programa de sade) sem efetuar
uma comparao com outras alternativas, so anlises
descritivas das intervenes e seus desfechos (descrio de
resultados). Outras anlises descrevem somente os custos
de uma alternativa e so chamadas de descrio de custos.
A maioria dos estudos de custo de doena (cost of illness)
ou carga de doena (burden of illness) se enquadra nessa
categoria. Quando os custos e consequncias de um nico
servio ou programa so descritos, a avaliao chamada
de descrio de custos-resultados.
Aquelas que comparam s consequncias de duas
ou mais intervenes, mas sem considerar os seus custos,
destinam-se avaliao de sua eficcia ou efetividade.
Quando somente os custos de duas ou mais alternativas
so comparados, sem levar em conta suas consequncias,
trata-se de uma anlise de custos. Esses tipos de avaliaes
econmicas so considerados avaliaes parciais. Apesar
de no fornecerem dados suficientes sobre a(s) eficincia(s)
da(s) alternativa(s) analisada(s) para a tomada de deciso
no setor sade, elas constituem etapas importantes de uma
anlise econmica completa.
Quando a anlise apenas apresenta uma lista dos
custos e consequncias das alternativas comparadas, ela
chamada de anlise de custo-consequncia. Na literatura,
no h um consenso quanto classificao desse tipo de
anlise. Alguns autores a consideram como uma variante
da anlise de custo-efetividade. Na anlise de custoconsequncia, no fornecida uma medida sntese de
eficincia como a razo de custo-efetividade incremental.
Com base nas informaes apresentadas, o tomador de
deciso quem deve fazer a escolha de alocao de recursos.
155

Marco Akerman e Juarez Pereira Furtado (Orgs)

Anlises completas
Existem quatro metodologias principais de avaliao
econmica completa de programas de sade: anlise de
custo-minimizao (ACM), anlise de custo-efetividade
(ACE), anlise de custo-utilidade (ACU) e anlise de custobenefcio (ACB). O objetivo comum a todas elas reside na
avaliao da oportunidade e da adequao da interveno
ou programa, com base na comparao entre os custos de
sua implementao e os benefcios derivados da mesma. As
quatro formas de anlise mencionadas avaliam os custos de
um programa de maneira tradicional, ou seja, em unidades
monetrias; por outro lado, a diferena crucial entre elas
consiste na forma como os benefcios ocasionados pelos
programas so medidos, em unidades naturais (ACM, ACE e
ACU) ou em termos puramente monetrios (ACB).
Anlise de custo-minimizao o tipo de anlise de
duas ou mais intervenes que apresentam os mesmos
desfechos em sade. Como as alternativas so igualmente
efetivas, a anlise tem por objetivo identificar a alternativa
de menor custo. Anlise de custo-minimizao raramente
encontrada na literatura, pois a situao de ser relevante
comparar duas intervenes que apresentem exatamente
as mesmas consequncias incomum.
Anlise de custo-efetividade o tipo de anlise
econmica mais encontrada na literatura. Nesta anlise o
interesse recai sobre a avaliao de alternativas que tenham
consequncias ou desfechos de interesse semelhantes.
Estas alternativas podem diferir na extenso desse efeito
e/ou nos seus custos. As unidades de desfecho que
podem ser empregadas nas anlises de custo-efetividade
so muitas, entre elas podemos citar: nmeros de casos
evitados, nmero de vidas salvas por interveno, nmero
de casos corretamente diagnosticados, etc. Este tipo de
156

Prticas de avaliao em sade no Brasil - dilogos

anlise econmica permite a comparao de programas ou


intervenes em sade aplicadas a diferentes problemas,
porm com desfechos semelhantes. Por exemplo, podese comparar o nmero de vidas salvas com a realizao
de cirurgias cardacas com o nmero de vidas salvas com
a adoo de uma lei que obrigue o uso de capacete por
ciclistas.
Anlise de custo-utilidade o tipo de anlise que
compara duas ou mais alternativas baseando-se no valor
que a sociedade ou o indivduo atribuem a um determinado
desfecho de sade. Os desfechos so mensurados em
utility em uma escala de 0 (representando morte) a 1
(sade perfeita) e podem ser baseados em instrumentos
que mensurem qualidade de vida. A unidade de desfecho
mais empregada para a medida da consequncia ou
efeito nas ACU o Quality-Adjusted Life-Year (QALY).
A vantagem desta medida que ela consegue combinar
simultaneamente a reduo de morbidade (ganhos em
qualidade de vida) com a reduo de mortalidade (ganhos
em quantidade). Este tipo de anlise econmica permite
a comparao de intervenes destinadas a diferentes
problemas de sade. Por exemplo, pode-se comparar o
nmero de QALYs ganhos com um medicamento oncolgico
com o nmero de QALYs ganhos com um Programa de
Promoo da Sade.
Anlise de custo-benefcio o tipo de anlise
econmica que compara duas ou mais alternativas, medindo
os desfechos em sade e os custos em termos monetrios.
Esses valores so atribudos com base em valor de mercado,
opinio de profissionais e preferncias sociais. Entretanto,
existe muita dificuldade para se atribuir valores monetrios
a determinados efeitos e condies de sade, como, por
exemplo, o valor da vida. Os mtodos aplicados para este fim
so bastante complexos e vrios fatores podem influenciar
157

Marco Akerman e Juarez Pereira Furtado (Orgs)

as estimativas. Por essa razo, esta anlise tende a ser mais


controversa e menos utilizada. No entanto, a ACB a mais
apropriada das anlises quando o formulador de polticas
tem uma perspectiva mais ampla e est preocupado com
as possveis mudanas que um projeto de sade possa
provocar no bem-estar social. tambm a metodologia
de escolha quando existe a preocupao com eficincia
alocativa e comparaes intersetoriais.
Quadro 2. Caractersticas das avaliaes econmicas em
sade
Tipo de
avaliao

Custo

Medida de consequncia
(desfecho)

Parciais - Descrevem ou avaliam somente os custos ou as


consequncias
Anlise de
efetividade /
eficcia
Anlise de Custo

Valor
monetrio

Unidades naturais (vidas


salvas, casos evitados, etc.)

Completas Avaliam os custos e as consequncias


Custominimizao

Valor
monetrio

Unidades naturais (vidas


salvas, casos evitados, etc.)

Custoefetividade

Valor
monetrio

Unidades naturais (vidas


salvas, casos evitados, etc.)

Custo-utilidade

Valor
monetrio

QALY, HYE, DALY

Custo-benefcio

Valor
monetrio

Valor monetrio

Prticas de avaliao em sade no Brasil - dilogos

Desenvolvimento do campo de avaliao econmica no


Brasil
Nas ltimas trs dcadas, uma grande quantidade
de estudos na rea de economia da sade foi realizada no
pas. Vianna sistematizou a evoluo da produo cientfica
em economia da sade publicada no Brasil de 1986 a 1995.
(VIANNA, 1998) Em 2000, Saes analisou as publicaes no
perodo de 1989 a 1998 e relatou que os estudos de avaliao
econmica representavam 42,5% das publicaes da rea
de economia da sade no Brasil. (GONSALEZ SAES, 2000)
Em 2007, Andrade avaliou a produo cientfica brasileira
em economia da sade no perodo de 1999 a 2004, e
encontrou que 38% dos trabalhos desenvolviam anlise de
custo em sade e 7% anlises de custo-efetividade e custo
da doena. (ANDRADE et al., 2007) O Brasil foi apontado
como o pas da Amrica do Sul que mais publicou estudos de
avaliao econmica. (IGLESIAS et al., 2005; AUGUSTOVSKI
et al., 2009)
Estudo recente de reviso sistemtica da literatura
mostrou que a publicao na rea de Avaliao Econmica
no Brasil iniciou na dcada de 1980 e alcanava at 2013,
535 artigos. Houve um crescimento significativo no nmero
de estudos publicados ao longo do tempo. Observou-se um
pequeno crescimento no final da dcada de 1990, mas a
partir de 2007 ocorreu o grande crescimento, 358 (67%)
dos 535 artigos foram publicados aps esse ano. A maioria
desses estudos era de avaliaes econmicas parciais (n
= 338, 63,2%). A partir de 2008, o nmero de avaliaes
econmicas completas tornou-se mais prximo ao das
parciais. (DECIMONT et al., 2014) (Figura 2)

QALY: Quality-Adjusted Life-Year; HYE: Healthy Year-Equivalent; DALY:


Disability-Adjusted Life-Year.

158

159

Marco Akerman e Juarez Pereira Furtado (Orgs)

Figura 2. Distribuio das publicaes em Avaliao


Econmica em Sade, segundo tipo de estudo, Brasil,
1980-2013.

Fonte: Decimoni et al. (2014).

A academia foi a instituio do primeiro autor em 65%


dos artigos publicados, seguida pelas organizaes de sade
(19,7%), organizaes de administrao pblica (5,7%),
empresas de consultoria (4,4%) e indstria farmacutica ou
de equipamentos (1,8%). Dos 350 artigos produzidos pela
academia, 184 (52,5%) foram realizados em universidades
do Estado de So Paulo e 77 (22%) foram realizados por
autores ligados Universidade de So Paulo. (DECIMONI et
al., 2014)
Avaliao econmica e sua institucionalizao na tomada
de deciso
A avaliao econmica em sade tem participado de
forma crescente nas decises sobre financiamento de novas
tecnologias pelos sistemas de sade. Em 1993, a Austrlia foi
o primeiro pas a exigir evidncia de custo-efetividade como
parte obrigatria do processo de deciso de financiamento
de medicamentos. Atualmente, muitos outros pases
adotam a mesma poltica e exigem requerimento formal da
160

Prticas de avaliao em sade no Brasil - dilogos

evidncia econmica como parte do processo de tomada


de deciso em precificao, reembolso ou orientaes
oficiais sobre o uso de novas tecnologias em sade. Por
exemplo, Blgica, Finlndia, Noruega, Canad, Portugal,
Sucia, Holanda e Reino Unido. (BEUTELS et al., 2008)
Algumas agncias internacionais de avaliao
tecnolgica (como o NICE, do Reino Unido, Pharmaceutical
Benefits Advisory Committee PBAC , da Austrlia e
Canadian Agency for Drugs and Technologies in Health
CADTH , do Canad) exigem revises sistemticas
da literatura econmica relevante para os processos de
avaliao e formulao de polticas de sade pblica.
(ANDERSON, 2010)
Para que a avaliao econmica seja de alta qualidade,
e possa fornecer informao til, relevante e oportuna aos
tomadores de deciso, deve ser baseada em rigorosos
mtodos analticos. Atualmente, encontram-se disponveis
inmeros guidelines para avaliao econmica (CANADIAN
AGENCY FOR DRUGS AND TECHNOLOGIES IN HEALTH, 2006;
CHILVERS; SMITH., 2009; INSTITUTE FOR QUALITY AND
EFFICIENCY IN HEALTH C, 2009; HEALTH INFORMATION
AND QUALITY AUTHORITY, 2010; NATIONAL INSTITUTE
FOR HEALTH AND CARE EXCELLENCE, 2013; DRUMMOND;
JEFFERSON, 1996) e reviso sistemtica desses guidelines.
(WALKER et al., 2012) O primeiro guideline nacional foi
publicado em 2009, (BRASIL. MINISTRIO DA SADE,
2009) atualizado em 2014 (BRASIL. MINISTRIO DA SADE,
2014) e, recentemente, um estudo nacional props um
roteiro de anlise crtica da avaliao da qualidade dos
estudos de avaliao econmica. (SILVA et al., 2014) Esses
guidelines estimulam o uso de uma abordagem consistente
tanto na conduo da anlise como na apresentao dos
resultados das avaliaes. Alguns itens so considerados
chaves e o leitor crtico deve consider-los na interpretao
161

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

das avaliaes econmicas. O Quadro 3 apresenta o


detalhamento desses itens.

(continuao)

5. Tipo de
anlise
econmica

Relacionado ao desfecho principal escolhido


no estudo: se for desfecho clnico, custoefetividade; se for medida subjetiva (por
exemplo, anos de vida ajustado pela
qualidade), custo-utilidade; se for benefcio
monetrio, custo-benefcio; se no houver
diferena em desfecho, custo-minimizao.

6. Horizonte
temporal

Tempo durante o qual os custos e benefcios


so medidos. Explicar porque esse tempo
adequado.

7. Taxa de
desconto

Efeitos para a sade e os custos futuros so


avaliados em termos atuais, considerando
o momento diferente em que os benefcios
mdicos so provisionados e os custos
so incorridos. Geralmente so usadas
taxas de 3 a 6%, nas diretrizes brasileiras
recomendada a taxa de 5%. Relatar a taxa
escolhida para os efeitos e custos e justificar
porque apropriada.

Quadro 3. Elementos das avaliaes econmicas em sade


(continuao)
Desenho de
estudo

Descrio / Recomendao

1. Pergunta do
estudo

Incluindo informao sobre as tecnologias


em sade avaliadas, a populao que far
uso delas, o tipo de anlise e a perspectiva
do estudo.

2. Populao
do estudo

Descrio detalhada do grupo de pacientes


a quem os resultados se aplicam. Pode
ser dividivido em subgrupos para abordar
a variabilidade do pblico-alvo. Incluir
o porqu da escolha dos respectivos
subgrupos.

3. Perspectiva
da anlise

Ponto de vista de quem os custos sero


medidos. Por exemplo: Sistema de Sade
com financiamento pblico, do paciente, do
plano de sade, do servio de sade ou da
Sociedade.

4. Alternativas
comparadas

O conjunto de intervenes em estudo.


Todos os comparadores clinicamente
aceitveis que podem ser inseridos na
capacidade tecnolgica do local-alvo devem
ser includos, e se eles no esto includos,
as razes para a sua omisso devem ser
claramente indicadas. adequado incluir
um comparador no fazer nada se alguns
pacientes na prtica de rotina no recebem
cuidados especficos para o problema.

162

Coleta de
dados
Estimativas baseadas em estudos nicos
ou estimativas baseadas em sntese da
literatura.
8. Fonte(s)
para
estimativas de
efetividade

Quando for baseada em um nico estudo,


descrever completamente as caractersticas
do estudo e porque ele foi uma fonte
suficiente para os dados de efetividade
clnica.
Quando baseada em sntese da literatura,
descrever os mtodos utilizados para a
identificao de estudos includos e sntese
de dados de efetividade clnica.
163

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 3. Elementos das avaliaes econmicas em sade


(continuao)
Desenho de
estudo

Descrio / Recomendao

9. Medida
de desfecho
primria para
a avaliao
econmica

Descrever quais desfechos foram utilizados


como a medida(s) do benefcio na
avaliao econmica e sua relevncia para
o tipo de anlise realizada. Sempre que
possvel, usar desfechos clnicos finais:
QALYs, mortes, acidente vascular cerebral,
infarto do miocrdio, em vez de resultados
intermedirios, como a reduo da presso
sangunea ou a reduo do colesterol.

10. Mtodos
para valorao
dos estados
de sade

Descrever a populao e os mtodos usados


para obter as preferncias pelos estados
de sade. Os QALYs e outras medidas com
base em preferncias podem ser calculados
a partir de medidas diretas (standard
gamble, time trade-off, escala visual
analgica) ou medidas indiretas, sistemas de
multiatributos (EuroQol-5D, Quality of WellBeing Scale, Health Utility Index, SF-6D).

11. Fonte(s)
para
estimativas de
recursos

Estimativas baseadas em estudo nico ou


estimativas baseadas em modelos. Quando
for baseada em um nico estudo, descrever
completamente as abordagens utilizadas
para estimar o uso de recursos relacionados
com as intervenes alternativas. Descrever
os mtodos de investigao primria ou
secundria para identificar cada item de
recurso.
Quando for baseada em modelos, descrever
abordagens e fontes de dados utilizados
para estimar a utilizao de recursos nos
estados de sade do modelo. Descrever
os mtodos de investigao primria ou
secundria para identificar cada item de
recurso.

164

(continuao)

12. Fonte(s)
para
estimativas de
custos

Estimativas baseadas em estudo nico ou


estimativas baseadas em modelos. Quando
for baseada em um nico estudo, descrever
os mtodos de investigao primria ou
secundria para valorar cada item de
recurso em termos de sua unidade de custo.
Descrever eventuais ajustes feitos para
aproximar ao custo de oportunidade.
Quando for baseada em modelos, descrever
abordagens e fontes de dados utilizados
para estimar os custos associados com os
estados de sade do modelo. Descrever
os mtodos de investigao primria ou
secundria para valorar cada item de
recurso em termos de sua unidade de custo.
Descrever eventuais ajustes feitos para
aproximar ao custo de oportunidade.

13.
Mtodos de
mensurao
dos dados
de custos
(quantidades
e unidades)

Informar o mtodo de custeio utilizado


para estimar os custos: Macrocusteio ou
Top down (de cima para baixo, a partir
de bases de dados nacionais, bancos de
dados de seguradoras ou planos de sade),
Microcusteio ou Botton-up (de baixo
para cima, com base em pronturios
mdicos, inquritos, entrevistas), ou mistos,
combinao dos dois mtodos anteriores.

14. Modelo
de anlise de
deciso

Descrever e justificar o tipo especfico de


modelo utilizado (rvore de deciso, modelo
de Markov, modelo de simulao de eventos
discretos, etc.). Fornecendo uma figura para
mostrar a estrutura do modelo.

165

Marco Akerman e Juarez Pereira Furtado (Orgs)

Quadro 3. Elementos das avaliaes econmicas em sade


(concluso)
Desenho de
estudo

Descrio / Recomendao

Anlise e
interpretao
dos resultados

15. Anlise de
sensibilidade

Usada para considerar a incerteza dos


parmetros em um modelo ou para
identificar lacunas na evidncia disponvel.
Os clculos so repetidos substituindo uma
gama de valores plausveis para um ou mais
parmetros. Se os resultados permanecem
consistentes, a anlise considerada
robusta.

16. Anlise
incremental

Relatar para cada alternativa comparada, os


valores mdios das principais categorias de
custos e desfechos de interesse estimados,
bem como a mdia das diferenas entre
os grupos de comparao. Se for o caso,
apresentar a razo de custo-efetividade
incremental (RCEI). A RCEI pode no
ser aplicvel quando uma interveno
dominante ou dominada.

Fontes: Reviso sistemtica dos checklists da AHRQ (WALKER et al.,


2012), Checklist CHEERS (HUSEREAU et al., 2013) e o estudo de McBrien
e Manns (2013).

Para os interessados em obter mais informaes


sobre como desenvolver estudos de avaliao econmica,
sugerimos a leitura dos livros de Gold et al. (1996) e
Drummond et al. (2005; DRUMMOND; MCGUIRRE, 2001)
Alm disso, para que ela possa efetivamente ser
utilizada na tomada de deciso, deve ser equilibrada e
imparcial (confivel), transparente e acessvel ao leitor ou
166

Prticas de avaliao em sade no Brasil - dilogos

usurio do estudo. H muitas situaes em que as avaliaes


econmicas podem auxiliar os tomadores de deciso
(CANADIAN AGENCY FOR DRUGS AND TECHNOLOGIES IN
HEALTH, 2006):
Decises em vrios nveis de governo ou rgos
administrativos (por exemplo, secretarias municipais
e estaduais de sade, hospitais, planos de sade) para
financiar uma tecnologia, servio ou programa de sade;
Decises de preos por rgos reguladores do
governo e fabricantes de tecnologia;
Guidelines de prtica clnica;
Prioridades para o financiamento de pesquisa por
parte dos governos e pesquisa de empresas de base;
Vigilncia ps-comercializao e atualizaes de
informaes econmicas baseadas no uso da tecnologia no
mundo real.
Avaliaes econmicas podem fornecer informaes
valiosas para aqueles que tomam decises sobre a alocao
de recursos de sade limitados. Em particular, avaliaes
econmicas podem ser usadas para identificar intervenes
que contribuem de forma positiva para a sade da
populao, distinguindo-as daquelas que no representam
bom investimento do recurso disponvel. Alm disso, as
avaliaes podem ser utilizadas em conjunto com outras
abordagens, tais como anlise de impacto oramentrio
e anlise marginal para ajudar a definir prioridades.
(DONALDSON; MOONEY, 1991; MITTON; DONALDSON,
2004a, 2004b; RUTA et al., 2005)
Existem preocupaes sobre a adequao das
avaliaes econmicas para a tomada de deciso. A falta de
transparncia em alguns estudos de avaliao econmica,
quanto iseno dos seus financiadores e realizadores
167

Marco Akerman e Juarez Pereira Furtado (Orgs)

e consequentes decises metodolgicas, pode levar a


interpretao inadequada dos resultados e lanar dvidas
sobre a credibilidade da avaliao. (DRUMMOND et al.,
2003) H tambm crticas com relao divulgao e
oportunidade da informao produzida, embora essa crtica
no seja exclusiva para avaliaes econmicas. (MCDAID et
al., 2002) Problemas de confiabilidade incluem a escolha
inadequada dos pressupostos e mtodos nas anlises (por
exemplo, tcnicas de extrapolao de dados) e limitaes
dos mtodos (por exemplo, considerao de custos indiretos
relacionados produtividade perdida). (DRUMMOND et al.,
2003; MCDAID et al., 2002; HILL et al., 2000)
As avaliaes econmicas so criticadas por no
levarem em conta a natureza dinmica das condies,
resultados e custos, e por no terem uma viso abrangente
de todos os fatores que podem ter um impacto sobre o custoefetividade de uma interveno, tais como a interao com
programas existentes. Problemas relevantes incluem o uso
de comparadores inadequados, a falta de dados do Mundo
real na anlise, falta de anlise de subgrupo apropriada e
a generalizao pobre dos resultados. (DRUMMOND et al.,
2003; MCDAID et al., 2002)
As avaliaes econmicas no analisam todas as
implicaes econmicas de uma tecnologia como, em
particular, as consequncias financeiras das decises.
(DRUMMOND et al., 2003; HOFFMAN; GRAF VON DER
SCHULENBURG, 2000) A anlise de impacto oramentrio
(AIO) fornece informaes complementares sobre as
despesas oramentrias e questes de affordability ou
viabilidade de financiamento. A finalidade de uma AIO
estimar as consequncias financeiras da adoo e da difuso
de uma nova interveno em sade dentro de um cenrio
de cuidados de sade ou contexto de um sistema de sade
especfico, onde os recursos so limitados. A AIO prev
168

Prticas de avaliao em sade no Brasil - dilogos

como uma mudana no mix de drogas e outras terapias


usadas para tratar uma determinada condio de sade
que ir afetar os gastos com essa condio. (MAUSKOPF et
al., 2007)
A AIO pode ser independente ou fazer parte de
uma avaliao econmica abrangente. Cada vez mais, os
responsveis pelas decises de cobertura exigem que,
juntamente com a ACE, seja apresentada uma AIO como
parte da solicitao de cobertura ou incluso de novas
tecnologias em listas de reembolso. Vrios pases (Austrlia,
Canad, Estados Unidos, Inglaterra e Pas de Gales,
Espanha, Blgica, Frana, Hungria, Itlia, Polnia, Coreia do
Sul, Taiwan, Tailndia, Israel, Brasil e Colmbia) incluram a
solicitao de uma AIO para decises locais ou nacionais de
cobertura ou reembolso. (SULLIVAN et al., 2014) A diretriz
metodolgica para AIO de tecnologias em sade nacional
foi publicada recentemente. Para o seu desenvolvimento,
foram consideradas as recomendaes da International
Society for Pharmacoeconomics and Outcomes Research
(ISPOR) e foram revisadas as diretrizes de outros pases.
(FERREIRA-DA-SILVA et al., 2012)
A comparao de algumas caractersticas da avaliao
econmica e da anlise de impacto oramentrio so
apresentadas no Quadro 4.

169

Marco Akerman e Juarez Pereira Furtado (Orgs)

Quadro 4 - Comparao entre avaliao econmica e da


anlise de impacto oramentrio
Avaliao
Econmica

Anlise de Impacto
oramentrio

Questo
abordada

um bom
investimento do
dinheiro?

vivel?

Objetivo

Eficincia das
alternativas

Plano para o impacto


financeiro

Desfechos em
sade

Includa

Excluda

Medida

Custo adicional
por unidade de
benefcio ou
desfecho

Gasto total

Horizonte
temporal

Geralmente mais
longo (pode ser a
vida toda)

Geralmente mais curto


(1-5 anos)

Fonte: Adaptado de Guidelines for the economic evaluation of health


technologies: Canada. Ottawa, 2006. (CANADIAN AGENCY FOR DRUGS
AND TECHNOLOGIES IN HEALTH, 2006)

Para um maior detalhamento das etapas


metodolgicas de um estudo de anlise de impacto
oramentrio, consultar os princpios de boas
prticas publicadas pela International Society For
Pharmacoeconomics and Outcomes Research (ISPOR)
(SULLIVAN et al., 2014) e as diretrizes metodolgicas do
Ministrio da Sade (2014).
Algumas barreiras impedem o uso de avaliaes
econmicas na tomada de deciso, incluindo problemas
de oramento e falta de conhecimento econmico em
170

Prticas de avaliao em sade no Brasil - dilogos

instituies responsveis pelo processo de tomada de


deciso, as quais podem levar interpretao inadequada
das avaliaes. (HOFFMAN; GRAF VON DER SCHULENBURG,
2000) Esses fatores ajudam a explicar por que avaliaes
econmicas no tm sido usadas com mais frequncia nas
decises no setor sade. Alm da utilidade potencial dos
resultados de uma anlise econmica, a sua realizao
permite sintetizar conhecimentos sobre a epidemiologia
da doena sob estudo, seu impacto sobre o sistema de
sade (utilizao de servios e seus custos) e alternativas
tecnolgicas de interveno, de forma a oferecer aos
usurios das informaes uma forma estruturada de pensar
as informaes teis sobre as implicaes das decises. Isso
permite aos tomadores de deciso uma viso mais ampliada
do impacto de uma tecnologia, e decises mais explcitas e
transparentes. O teste final da avaliao se de fato ela leva
a melhores decises em condies de incerteza e contribui
para a utilizao mais efetiva e eficiente dos recursos.
A necessidade dos tomadores de deciso por
informaes econmicas mais completas refletida no
nmero crescente de guidelines produzidos mundialmente.
(HJELMGREN et al., 2001) No entanto, seguir as orientaes
contidas nesses guidelines no eliminar a possibilidade
de vis nas avaliaes em virtude da dos julgamentos que
permeiam a conduo dessas avaliaes.
O Brasil tem procurado utilizar essa ferramenta de
apoio tomada de deciso para gesto racional do sistema
de sade. Na Agncia Nacional de Vigilncia Sanitria
(ANVISA), a Gerncia de Avaliao Econmica de Novos
Medicamentos tem utilizado conceitos de Avaliao
Tecnolgica e Econmica em Sade para a tomada de
deciso sobre preo de novos medicamentos desde 2004.
(AUGUSTOVSKI et al., 2011) Essa atividade foi regulamentada
pela Lei Federal n 10.742, que definiu normas de regulao
do setor farmacutico e criou a Cmara de Regulao do
171

Marco Akerman e Juarez Pereira Furtado (Orgs)

Mercado de Medicamentos (CMED), responsvel pelos


critrios para fixao e ajuste dos preos dos medicamentos.
(REPBLICA, 2003)
O Ministrio da Sade, por meio do Departamento de
Cincia e Tecnologia (DECIT), tem fomentado a realizao de
estudos de avaliao econmica. Desde 2006, o DECIT tem
desenvolvido diretrizes metodolgicas para a elaborao
de revises sistemticas e estudos de avaliao econmica
e tem colaborado com a Comisso de Incorporao de
Tecnologias do Ministrio da Sade (CITEC) na avaliao
de incorporao de novas tecnologias pelo Sistema nico
de Sade (SUS). (BRASIL. MINISTRIO DA SADE, 2006a,
2006b, 2008) No perodo de 2008 a 2010, foi produzido um
total de 103 estudos para auxiliar as decises no mbito da
CITEC. Em relao ao tipo de estudo, houve predominncia
de Nota Tcnica de Reviso Rpida (36/103) e Parecer
Tcnico-Cientfico (26/103). Somente 11,6% (12/103) desses
estudos foram anlises econmicas. (NOVAES; ELIAS, 2013)
Em 2011, a CITEC foi substituda pela Comisso
Nacional de Incorporao de Tecnologias no SUS
(CONITEC), que passou a assessorar o Ministrio da Sade
nas decises de incorporao, excluso ou alterao de
novos medicamentos, produtos e procedimentos no
Sistema nico de Sade. (BRASIL. MINISTRIO DA SADE,
2011a, 2011b) A CONITEC passou a exigir estudos de
avaliao econmica e a us-los nas suas recomendaes
de incorporao de novas tecnologias ou abandono de
tecnologias j incorporadas pelo SUS. De acordo com a Lei
Federal n 12.401, que disps sobre a assistncia teraputica
e a incorporao de tecnologia em sade no mbito do SUS,
os relatrios da CONITEC devero levar em considerao,
alm de evidncias cientficas sobre a eficcia, a acurcia,
a efetividade e a segurana, tambm estudos de avaliao
econmica comparativa dos benefcios e dos custos em
relao s tecnologias j incorporadas.
172

Prticas de avaliao em sade no Brasil - dilogos

No entanto, no perodo de 2012 a 2015, os relatrios


de recomendao da CONITEC se basearam em estudos
mais restritos, do tipo descrio de tecnologia e anlises
preliminares de impacto oramentrio. Entre as tecnologias
recomendadas para incorporao, apenas 11,1%
apresentaram uma avaliao econmica completa com o
clculo da razo de custo-efetividade incremental.
Apesar do desenvolvimento metodolgico dos
estudos de avaliao econmica ocorrido na academia
e nos institutos de pesquisa, essa expertise ainda est
pouco presente nas instncias governamentais. A falta
de recursos humanos capacitados, ausncia de uma
equipe permanente nos departamentos em nvel federal e
municipal, combinado a frequentes mudanas de pessoal
do nvel de deciso, so apresentadas como obstculos para
a continuidade das aes e uso das avaliaes econmicas
em nvel governamental. (ELIAS; ARAJO, 2014)
Estudo de caso: Uso da avaliao econmica no processo
de tomada de deciso da introduo de novas vacinas no
calendrio de rotina do Programa Nacional de Imunizaes
(PNI)
O projeto de pesquisa Estudos de custoefetividade da incorporao de novas vacinas rotina do
Programa Nacional de Imunizaes: varicela, rotavirus,
meningoccica C conjugada, hepatite A e pneumoccica
conjugada, coordenado pela Professora Hillegonda Maria
Dutilh Novaes, foi uma demanda do Programa Nacional
de Imunizaes (PNI) da Secretaria de Vigilncia Sade
(SVS) do Ministrio da Sade com financiamento do CNPq
e Ministrio da Sade, teve incio a partir de 2005 e foi
sucedido com projetos de outras vacinas posteriores.

173

Marco Akerman e Juarez Pereira Furtado (Orgs)

O objetivo do projeto era realizar estudos de


custo-efetividade para as vacinas de varicela, rotavirus,
meningoccica C conjugada, hepatite A e pneumoccica
conjugada para contribuir no processo de tomada de
deciso do PNI de incorporao dessas novas tecnologias
ao calendrio vacinal de rotina. Posteriormente foram
solicitadas avaliaes das vacinas HPV, pneumoccica
polissacardica 23-valente e trplice acelular de adultos.
Foram desenvolvidas estimativas epidemiolgicas, de
utilizao de servios de sade e de custos diretos e indiretos
relacionados s doenas a serem prevenidas pelas vacinas e
da introduo dessas vacinas no PNI. Modelos matemticos
de anlise de deciso especficos foram construdos para
cada uma das vacinas. Medidas snteses do tipo razo de
custo-efetividade incremental, bem como anlises de
sensibilidade univariadas, multivariadas e probabilsticas
foram apresentadas.
A construo das estimativas que alimentam os
modelos matemticos foi fortemente apoiada no uso
de dados secundrios provenientes de Sistemas de
Informao em Sade (SIS) (Sistema de Informaes sobre
Mortalidade SIM, Sistema Informaes de Nascidos
Vivos SINASC, Sistema de Informaes de Agravos de
Notificao SINAN, Sistema de Informaes Hospitalares
do SUS SIH-SUS, Sistema de Informaes Ambulatoriais
SIA-SUS, Sistema de Informaes da Assistncia Bsica
SIAB, Sistema de Informaes do PNI - SIPNI), e de bases
de dados provenientes de inquritos nacionais, como a
Pesquisa Nacional de Amostra de Domiclios (PNAD) e
a Pesquisa sobre Oramento Familiar (POF), ambas do
Instituto Brasileiro de Geografia e Estatstica (IBGE).

Prticas de avaliao em sade no Brasil - dilogos

meningoccica C conjugada, hepatite A e pneumoccica


conjugada esto apresentados na forma de razes de
custo-efetividade incremental no Quadro 5. (DE SOREZ et
al., 2008, 2011, 2015; VALENTIM et al., 2008; SARTORI et
al., 2012a, 2012b; NOVAES et al., 2015)
Como limiar de custo-efetividade, foi utilizada a
recomendao da Organizao Mundial da Sade (OMS),
na qual para uma interveno ser considerada custoefetiva, a RCEI por DALY evitado deve ser at 3 vezes o valor
do PIB per capita, quando a RCEI por DALY evitado de 1
vez o valor do PIB per capita, a interveno considerada
muito custo-efetiva; e quando a RCEI maior que 3 vezes
o PIB, a interveno no custo-efetiva. Considerando, por
exemplo, a vacina da varicela, avaliada em 2008, e o PIB
per capita do Brasil, em 2008 (R$15.240), a vacina custou
menos do que um PIB per capita (3 X R$14.749) por ano de
vida salvo e foi considerada uma tecnologia muito custoefetiva.
Todas as vacinas se mostraram custo-efetivas (so
um bom investimento do recurso). Mas preciso tambm
realizar uma anlise de impacto oramentrio para avaliar se
as despesas oramentrias incrementais com a compra das
novas vacinas so viveis e para garantir a sustentabilidade
das vacinas incorporadas anteriormente ao PNI.

Os resultados do projeto de pesquisa Estudos de


custo-efetividade da incorporao de novas vacinas rotina
do Programa Nacional de Imunizaes: varicela, rotavirus,
174

175

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 5 Resultados dos estudos de custo-efetividade


das vacinas rotavirus, varicela, pneumoccica conjugada,
meningoccica C conjugada, hepatite A, pneumoccica
polissacardica 23-valente e trplice acelular de adultos
RCEI

Vacinas

Deciso
Resultado
da
(Custo por
ano de
avaliao
ano de vida
incorporao
salvo)

Rotavirus

R$ 1,028

Muito custoefetiva

Sim / 2006

Varicela

R$ 14,749

Muito custoefetiva

Sim / 2013

Pneumoccica

R$ 21,369*

Custo-efetiva

Sim / 2010

Meningoccica
C

R$ 21,620

Custo-efetiva

Sim / 2010

Hepatite A

Cost-saving

Econmica

Sim / 2014

HPV

R$ 13,355*

Muito custoefetiva

Sim / 2014

Pneumoccica
polissacardica
23-valente

R$1.699

Muito custoefetiva

**

Trplice acelular
de adultos

R$29.310

Custo-efetiva

**

Fonte: De Sorez et al. (2008; 2011, 2015), Valentim et al. (2008), Sartori
et al. (2012a; 2012b), Novaes et al. (2015).
*Custo por DALY evitado.
**Decises ainda no publicadas. Relatrios tcnicos-cientficos
enviados ao PNI em outubro de 2014.

176

Consideraes finais
A avaliao econmica em sade tem sido utilizada
nas decises de incorporao de tecnologias nos sistemas
de sade e poderia desempenhar um papel mais importante
no Brasil. Porm, desafios precisam ser superados para que
ela alcance seus objetivos.
Cooperao entre produtores e usurios dos estudos
mostra-se essencial para garantir avaliaes de um escopo
ampliado de tecnologias, reduzir duplicaes e promover o
alinhamento das avaliaes com as prioridades em sade.
Para maior aceitao da avaliao econmica,
necessrio garantir processos transparentes e desenvolver
a capacitao dos profissionais para conduzir estudos e dos
tomadores de deciso para interpretar o conhecimento
produzido pelos mesmos. Essa iniciativa dever estar
baseada no comprometimento poltico dos gestores do
sistema de sade em promover a produo e a utilizao
dos resultados e recomendaes das avaliaes econmicas
nos processos de deciso.

Referncias
ANDERSON, R. Systematic reviews of economic evaluations:
utility or futility? Health Econ., v. 19, n. 3, p. 350-64, Mar
2010. ISSN 1099-1050. Disponvel em: <http://www.ncbi.
nlm.nih.gov/pubmed/19378354>. Acesso em: 03 nov 2015.
ANDRADE, E.I.G. et al. Pesquisa e produo cientfica em
economia da sade no Brasil. RAP, v. 41, n. 2, p. 211-35,
2007.

177

Marco Akerman e Juarez Pereira Furtado (Orgs)

AUGUSTOVSKI, F. et al. Barriers to generalizability of health


economic evaluations in Latin America and the Caribbean
region. Pharmacoeconomics, v. 27, n. 11, p. 919-29, 2009.
ISSN 1179-2027. Disponvel em: <http://www.ncbi.nlm.nih.
gov/pubmed/19888792>. Acesso em: 03 nov 2015.
AUGUSTOVSKI, F. et al. Implementing pharmacoeconomic
guidelines in Latin America: lessons learned. Value Health,
v. 14, n. 5 Suppl 1, p. S3-7, Jul-Aug 2011. ISSN 15244733. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/21839895>. Acesso em: 03 nov 2015.
BEUTELS, P.; SCUFFHAM, P.A.; MACINTYRE, C.R. Funding of
drugs: do vaccines warrant a different approach? Lancet
Infect Dis, v. 8, n. 11, p. 727-33, Nov 2008. ISSN 14733099. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/18992409>. Acesso em: 03 nov 2015.
BRASIL. Ministrio da Sade. Health Technology Assessment:
institutionalization of actions in the Brazilian Ministry of
Health. Rev. Sade Pblica, v. 40, n. 4, p. 743-7, Aug. 2006a.
ISSN 0034-8910. Disponvel em: <http://www.ncbi.nlm.nih.
gov/pubmed/17063254>. Acesso em: 03 nov 2015.
______. Portaria n 3.323, de 27 de dezembro de 2006.
Institui a comisso para incorporao de tecnologias no
mbito do Sistema nico de Sade e da Sade Suplementar.
Braslia: Ministrio da Sade, 2006b.
______. Portaria n 2.587, de 30 de outubro de 2008.
Dispe sobre a Comisso de Incorporao de Tecnologias
no Ministrio da Sade e vincula sua gesto Secretaria
de Cincia, Tecnologia e Insumos Estratgicos. Braslia:
Ministrio da Sade 2008.

178

Prticas de avaliao em sade no Brasil - dilogos

______. Diretrizes Metodolgicas: estudos de avaliao


econmica de tecnologias em sade. Braslia: 152 p. 2009.
______. Decreto n 7.646, de 21 de dezembro de 2011.
Regulamenta a Lei n 12.401, de 28 de abril de 2011 e
Dispe sobre a Comisso Nacional de Incorporao de
Tecnologias no Sistema nico de Sade e sobre o processo
administrativo para incorporao, excluso e alterao de
tecnologias em sade pelo Sistema nico de Sade - SUS.
Braslia: Ministrio da Sade, 2011a.
______. Lei n 12.401, de 28 de abril de 2011. Altera a Lei
n 8.080, de 19 de setembro de 1990 para dispor sobre
a assistncia teraputica e a incorporao de tecnologia
em sade no mbito do Sistema nico de Sade. Braslia:
Ministrio da Sade, 2011b.
______. Diretrizes metodolgicas: diretriz de avaliao
econmica. Braslia: Ministrio da Sade: 132 p. 2014.
BRASIL. Presidncia da Repblica. Lei N 10.742, de 6 de
outubro de 2003.Define normas de regulao para o setor
farmacutico, cria a Cmara de Regulao do Mercado de
Medicamentos - CMED e altera a Lei no 6.360, de 23 de
setembro de 1976, e d outras providncias. 2003.
CHILVERS, M.; SMITH, B. Economic Evaluation Guidelines:
Performance Analysis & Development Branch Policy and
Planning Division: 36 p. 2009.
DECIMONI, T. et al. Systematic review of economic
evaluation of health technologies developed in brazil from
1980-2013. Value in Health, v. 17, n. 7, p. A438-A438, Nov.
2014. ISSN 1098-3015.

179

Marco Akerman e Juarez Pereira Furtado (Orgs)

DE SOREZ, P.C. et al. Cost-effectiveness analysis of routine


rotavirus vaccination in Brazil. Rev. Panam. Salud Publica,
v. 23, n. 4, p. 221-30, Apr 2008. ISSN 1020-4989. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/18505602>.
Acesso em: 03 nov 2015.
DE SOAREZ, P.C. et al. Cost-effectiveness analysis of a
universal infant immunization program with meningococcal
C conjugate vaccine in Brazil. Value Health, v. 14, n. 8,
p. 1019-27, Dec. 2011. ISSN 1524-4733. Disponvel em:
<http://www.ncbi.nlm.nih.gov/pubmed/22152170>.
Acesso em: 03 nov 2015.
DE SOREZ, P.C. et al. Cost-Effectiveness Analysis of
Universal Vaccination of Adults Aged 60 Years with 23-Valent
Pneumococcal Polysaccharide Vaccine versus Current
Practice in Brazil. PLoS One, v. 10, n. 6, p. e0130217, 2015.
ISSN 1932-6203. Disponvel em: <http://www.ncbi.nlm.nih.
gov/pubmed/26114297>. Acesso em: 03 nov 2015.
DONALDSON, C.; MOONEY, G. Needs assessment, priority
setting, and contracts for health care: an economic view.
BMJ, v. 303, n. 6816, p. 1529-30, Dec. 1991. ISSN 09598138. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/1782499>. Acesso em: 03 nov 2015.
DRUMMOND, M. et al. Use of pharmacoeconomics
information--report of the ISPOR Task Force on use of
pharmacoeconomic/health economic information in
health-care decision making. Value Health, v. 6, n. 4, p. 40716, Jul-Aug. 2003. ISSN 1098-3015. Disponvel em: <http://
www.ncbi.nlm.nih.gov/pubmed/12859580>. Acesso em:
03 nov 2015.
DRUMMOND, M. et al. Methods for the Economic
Evaluation of Health Care Programmes. Third. Oxford
Medical Publications, 2005.
180

Prticas de avaliao em sade no Brasil - dilogos

DRUMMOND, M.F.; JEFFERSON, T.O. Guidelines for authors


and peer reviewers of economic submissions to the BMJ.
The BMJ Economic Evaluation Working Party. BMJ, v. 313, n.
7052, p. 275-83, Aug 1996. ISSN 0959-8138. Disponvel em:
<http://www.ncbi.nlm.nih.gov/pubmed/8704542>. Acesso
em: 03 nov 2015.
DRUMMOND, M.; MCGUIRE, A. Economic evaluation in
health care: merging theory with practice. First. Oxford:
Oxford University Press, 2001.
ELIAS, F.T.; ARAJO, D.V. How health economic evaluation
(HEE) contributes to decision-making in public health
care: the case of Brazil. Z Evid Fortbild Qual Gesundhwes,
v. 108, n. 7, p. 405-12, 2014. ISSN 2212-0289. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/25444299>.
Acesso em: 03 nov 2015.
FERREIRA-DA-SILVA, A.L. et al. Guidelines for budget impact
analysis of health technologies in Brazil. Cad. Sade Pblica,
v. 28, n. 7, p. 1223-38, Jul 2012. ISSN 1678-4464. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/22729254>.
Acesso em: 03 nov 2015.
GOLD, M.R. et al. Cost-effectiveness in Health and
Medicine. Oxford University Press, 1996.
GONSALEZ SAES, S. Estudo bibliomtrico das publicaes
em economia da sade, no Brasil, 1989-1998 / Bibliometric
study of publications in health economics, Brazil, 1989 to
1998. 2000. 104 (Mestrado). Faculdade de Sade Pblica.
Departamento de Prtica de Sade Pblica, Universidade
de So Paulo.
HILL, S.R.; MITCHELL, A.S.; HENRY, D.A. Problems with the
interpretation of pharmacoeconomic analyses: a review
of submissions to the Australian Pharmaceutical Benefits
181

Marco Akerman e Juarez Pereira Furtado (Orgs)

Scheme. JAMA, v. 283, n. 16, p. 2116-21, Apr 2000. ISSN


0098-7484. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/10791503>. Acesso em: 03 nov 2015.
HJELMGREN, J.; BERGGREN, F.; ANDERSSON, F. Health
economic guidelines--similarities, differences and some
implications. Value Health, v. 4, n. 3, p. 225-50, May-Jun.
2001. ISSN 1098-3015. Disponvel em: <http://www.ncbi.
nlm.nih.gov/pubmed/11705185>. Acesso em: 03 nov 2015.
HOFFMANN, C.; GRAF VON DER SCHULENBURG, J.M. The
influence of economic evaluation studies on decision making.
A European survey. The EUROMET group. Health Policy, v.
52, n. 3, p. 179-92, Jul 2000. ISSN 0168-8510. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/10862993>.
Acesso em: 03 nov 2015.

Prticas de avaliao em sade no Brasil - dilogos

MCBRIEN, K. A.; MANNS, B. Approach to economic


evaluation in primary care: review of a useful tool for
primary care reform. Can. Fam. Physician, v. 59, n. 6, p.
619-27, Jun. 2013. ISSN 1715-5258. Disponvel em: <http://
www.ncbi.nlm.nih.gov/pubmed/23766042>. Acesso em:
03 nov 2015.
MCDAID, D.; MOSSIALOS, E.; MRAZEK, M. Making use of
economic evaluations. Int. J. Risk Saf. Med., v. 15, p. 67-74,
2002.
MITTON, C.; DONALDSON, C. Health care priority setting:
principles, practice and challenges. Cost Eff Resour Alloc,
v. 2, n. 1, p. 3, Apr 2004a. ISSN 1478-7547. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/15104792>.
Acesso em: 03 nov 2015.

HUSEREAU, D. et al. Consolidated Health Economic


Evaluation Reporting Standards (CHEERS)--explanation
and elaboration: a report of the ISPOR Health Economic
Evaluation Publication Guidelines Good Reporting Practices
Task Force. Value Health, v. 16, n. 2, p. 231-50, Mar-Apr.
2013. ISSN 1524-4733. Disponvel em: <http://www.ncbi.
nlm.nih.gov/pubmed/23538175>. Acesso em: 03 nov 2015.

______.Priority setting toolkit: a guide to the use of


economics in healthcare decision making. London: BMJ
Books, 2004b.

IGLESIAS, C.P. et al. Health-care decision-making processes


in Latin America: problems and prospects for the use of
economic evaluation. Int. J. Technol. Assess. Health Care,
v. 21, n. 1, p. 1-14, 2005. ISSN 0266-4623. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/15736509>.
Acesso em: 03 nov 2015.

NOVAES, H.M. et al. Cost-effectiveness analysis of


introducing universal human papillomavirus vaccination of
girls aged 11 years into the National Immunization Program
in Brazil. Vaccine, v. 33 Suppl 1, p. A135-42, May 2015. ISSN
1873-2518. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/25919154>. Acesso em: 03 nov 2015.

MAUSKOPF, J.A. et al. Principles of good practice for


budget impact analysis: report of the ISPOR Task Force on
good research practices--budget impact analysis. Value
Health, v. 10, n. 5, p. 336-47, Sep-Oct. 2007. ISSN 10983015. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/17888098>. Acesso em: 03 nov 2015.

RUTA, D. et al. Programme budgeting and marginal


analysis: bridging the divide between doctors and
managers. BMJ, v. 330, n. 7506, p. 1501-3, Jun. 2005. ISSN
1468-5833. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/15976426>. Acesso em: 03 nov 2015.

182

NOVAES, H.; ELIAS, F. Uso da avaliao de tecnologias


em sade em processos de anlise para incorporao de
tecnologias no Sistema nico de Sade no Ministrio da
Sade. Cad. Sade Pblica, v. 29, n. Sup, p. S7-S16, 2013.

183

Marco Akerman e Juarez Pereira Furtado (Orgs)

SARTORI, A.M.; DE SOREZ, P.C.; NOVAES, H.M. Costeffectiveness of introducing the 10-valent pneumococcal
conjugate vaccine into the universal immunisation of infants
in Brazil. J. Epidemiol. Community Health, v. 66, n. 3, p.
210-7, Mar. 2012a. ISSN 1470-2738. Disponvel em: <http://
www.ncbi.nlm.nih.gov/pubmed/20884668>. Acesso em:
03 nov 2015.
SARTORI, A.M. et al. Cost-effectiveness analysis of universal
childhood hepatitis A vaccination in Brazil: Regional analyses
according to the endemic context. Vaccine, v. 30, n. 52, p.
7489-97, Dec. 2012b. Disponvel em: <http://www.ncbi.
nlm.nih.gov/pubmed/23107593>. Acesso em: 03 nov 2015.
SILVA, E.N. et al. Economic evaluation of health technologies:
checklist for critical analysis of published articles. ver.
Panam Salud Publica, v. 35, n. 3, p. 219-27, Mar. 2014. ISSN
1680-5348. Disponvel em: <http://www.ncbi.nlm.nih.gov/
pubmed/24793870>. Acesso em: 03 nov 2015.
SIMOENS, S. Health economic assessment: a methodological
primer. Int. J. Environ. Res. Public Health, v. 6, n. 12, p. 295066, Dec. 2009. ISSN 1660-4601. Disponvel em: <http://
www.ncbi.nlm.nih.gov/pubmed/20049237>. Acesso em:
03 nov 2015.
SULLIVAN, S.D. et al. Budget impact analysis-principles of
good practice: report of the ISPOR 2012 Budget Impact
Analysis Good Practice II Task Force. Value Health, v. 17, n.
1, p. 5-14, 2014 Jan-Feb. 2014. ISSN 1524-4733. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/24438712>.
Acesso em: 03 nov 2015.
TRUEMAN, P.; ANOKYE, N.K. Applying economic evaluation
to public health interventions: the case of interventions to
promote physical activity. J. Public Health (Oxf), v. 35, n. 1,

184

Prticas de avaliao em sade no Brasil - dilogos

p. 32-9, Mar. 2013. ISSN 1741-3850. Disponvel em: <http://


www.ncbi.nlm.nih.gov/pubmed/22753453>.Acesso em: 03
nov 2015.
VALENTIM, J. et al. Cost-effectiveness analysis of universal
childhood vaccination against varicella in Brazil. Vaccine, v.
26, n. 49, p. 6281-91, Nov. 2008. ISSN 0264-410X. Disponvel
em: <http://www.ncbi.nlm.nih.gov/pubmed/18674582>.
Acesso em: 03 nov 2015.
VIANNA, C.; CAETANO, R. Avaliaes econmicas como um
instrumento de incorporao tecnolgica em sade. Cad.
Sade Coletiva, v. 13, n. 3, p. 747-766, 2005.
VIANNA,S.M. Evoluo e perspectivas da pesquisa em
economia da sade no Brasil. Braslia. 1998.
WALKER, D. et al.Best practices for conducting economic
evaluations in health care: a systematic review of quality
assessment tools. Rockville, MD. 2012.
WILLIAMS, A. The cost-benefit approach. Br. Med. Bull., v.
30, n. 3, p. 252-6, Sep. 1974. Disponvel em: <http://www.
ncbi.nlm.nih.gov/pubmed/4458903>. Acesso em: 03 nov
2015.
WOODS, B.
et al. Country-Level Cost-Effectiveness
Thresholds: Initial estimates and the Need for Further
Research. CHE Research Paper 109. Center for Health
Economics - CHE. The University of York, p.24. 2015.
Canadian Agency for Drugs and Technologies in
Health. Guidelines for the economic evaluation of
health technologies: Canada. Ottawa, p.74. 2006.
Disponvel em: < https://www.cadth.ca/media/pdf/186_
EconomicGuidelines_e.pdf>. Acesso em: 03 nov 2015.

185

Marco Akerman e Juarez Pereira Furtado (Orgs)

National Institute for Health and Care Excellence. Guide to


the methods of technology appraisal. 80 p. 2013. Disponvel
em:
<http://www.nice.org.uk/article/pmg9/resources/
non-guidance-guide-to-the-methods-of-technologyappraisal-2013-pdf >. Acesso em: 03 nov 2015.
Institute for Quality and Efficiency in Health Care.
General Methods for the Assessment of the Relation
of Benefits to Costs. 70 p. 2009. Disponvel em:
<http://www.ispor.org/peguidelines/source/Germany_
AssessmentoftheRelationofBenefitstoCosts_En.pdf>.
Acesso em: 03 nov 2015.
Health Information and Quality Authority. Guidelines for the
Economic Evaluation of Health Technologies in Ireland. 75
p. 2010. Disponvel em: <http://www.hiqa.ie/publication/
guidelines-economic-evaluation-health-technologiesireland>. Acesso em: 03 nov 2015.

PARTE 2

Desafios do Programa
Nacional de Melhoria do
Acesso e da Qualidade da
Ateno Bsica (Pmaq)

186

Captulo 5
Desafios para a avaliao na
ateno bsica no Brasil: a
diversidade de instrumentos
contribui para a instituio de
uma cultura avaliativa?
Elen Rose Lodeiro Castanheira
Patricia Rodrigues Sanine
Thais Fernanda Tortorelli Zarili
Maria Ines Battistella Nemes

Para discutirmos a questo apresentada no ttulo,


optamos por partir de um breve reconhecimento do
contexto atual e do processo onde emergem as propostas
de instituio de mecanismos de avaliao da Ateno
Primria Sade (APS)1 no Brasil, para avanarmos, a seguir,
Iremos considerar o campo de estudos que orienta as pesquisas e
prticas em nvel mundial como melhor representado pela expresso
ateno primria sade (APS), e o nvel de ateno do sistema de sade
brasileiro, assim como a nominao dos servios, de ateno bsica
(AB), embora, no mais das vezes, essas dimenses se sobreponham, j
que o campo de estudo vincula-se muito fortemente aos servios e ao
sistema de sade. Desse modo, optamos por considerar no presente
trabalho as nominaes APS e AB como tendo sentidos equivalentes em

Marco Akerman e Juarez Pereira Furtado (Orgs)

nas concepes sobre qualidade e avaliao de servios,


descrevendo por fim os diferentes instrumentos que vm
sendo utilizados, de modo a construir uma resposta
questo inicial.
Ateno Primria no Brasil: por que avaliar?
Vinte e cinco anos aps sua criao, o Sistema nico
de Sade (SUS) continua a enfrentar desafios que pem
prova seus princpios e diretrizes, num cenrio onde
competem projetos de sade e sociedade distintos em
valores e concepes. Ao mesmo tempo, essas diferentes
proposies por vezes se confundem com aquelas que
norteiam o SUS, ora com propostas aparentemente
semelhantes, ora com crticas que encobrem os sucessos
alcanados e que procuram reduzir o SUS a um conjunto
de aes malsucedidas, como a propalada baixa
resolubilidade da Ateno Bsica e sua responsabilizao
pelos principais problemas do sistema de sade, que
postos dessa forma mais encobrem do que esclarecem os
problemas de fato colocados.
Em defesa do SUS e partindo das grandes conquistas
j alcanadas, devemos avanar na compreenso dos
processos em curso, aprofundando os estudos em diferentes
perspectivas que contribuam para a consolidao de um
sistema pblico promotor da sade como direito. Nesse
sentido, a Ateno Primria Sade tem assumido um
papel cada vez mais estratgico.
inquestionvel o crescimento do nmero,
abrangncia e capacidade de atendimento dos servios
relao s propostas que representam hoje para o sistema de sade
brasileiro com a diferenciao apontada. (BRASIL. MINISTERIO DA
SADE, 2011a; MELLO; FONTANELLA; DEMARZO; 2009; CONILL, 2008;
GIL, 2006)

190

Prticas de avaliao em sade no Brasil - dilogos

de Ateno Bsica em todo Brasil sob gesto municipal e


com corresponsabilidade dos outros entes federados. Em
2014, a Estratgia de Sade da Famlia (ESF) apresentou
uma cobertura de 62,3% da populao brasileira, em torno
de 121 milhes de habitantes, com equipes em 5.463
municpios, (BRASIL. MINISTRIO DA SADE, 2015) o que
reflete o grande alcance da principal poltica de ateno
primria do SUS. Entretanto, muitos questionamentos tm
sido colocados, a maioria recaindo sobre a qualidade das
aes realizadas. Mas afinal, qual a qualidade desejada?
A qualidade que, de modo estereotipado, pode ser
representada por atendimento rpido, sempre por mdico,
com muitos remdios, muitos exames e encaminhamentos
para diferentes especialistas, sintetiza o j tradicionalmente
nominado modelo queixa-conduta, ou consultao, que
h muito questionado e, no entanto, ainda muito presente
no dia a dia dos servios. (CAMPOS, 2008; SCHRAIBER,
2000; MENDES-GONALVES, 1994; SCHRAIBER, 1990)
Apesar das medidas de valorizao da APS, persiste
ainda em muitos servios sua traduo como uma ateno
simplificada, baseada num conhecimento cientfico e
tecnolgico fraco, ou at inexistente; o que representa
a persistncia de um outro projeto assistencial que se
contrape ao representado originalmente pela APS de
Alma Ata, ou pela Ateno Bsica do SUS, potencialmente
capazes de promover um novo modelo de ateno
sade. (ROVERE, 2012; PAIM, 2012b; SCHRAIBER; MENDESGOLALVES, 2000; SCHRAIBER et al., 1999) A tendncia em
repetir o velho modelo de atendimento pronto e centrado
na medicalizao da sade e da vida pode ser observada
inclusive em unidades de sade da famlia, apontando a
necessidade de mudanas que consigam alterar o prprio
processo de trabalho desenvolvido em seus diversos
arranjos organizacionais. (CASTANHEIRA et al., 2014; 2011)
191

Marco Akerman e Juarez Pereira Furtado (Orgs)

Nesse sentido, a atual Poltica Nacional de Ateno Bsica


(PNAB) (BRASIL. MINISTRIO DA SADE, 2011a) estende
para toda a rede de servios de Ateno Bsica o papel de
reorientao do sistema, mantendo-se a priorizao dos
princpios orientadores da ESF mais do que a exclusividade
de um determinado modelo, ainda que esta se mantenha
como a estratgia preferencial de reorientao.
A construo do SUS que queremos passa pela
redefinio do modelo que se mantm hegemnico.
As medidas de enfrentamento precisam ser mltiplas e
simultneas. Muitas delas tm sido tomadas, como a prpria
Estratgia de Sade da Famlia, a instituio do Programa
Nacional de Melhoria do Acesso e da Qualidade da Ateno
Bsica (PMAQ) e a formao de profissionais de sade por
estratgias de educao a distncia, mas precisamos avanar
mais, consolidando e inovando. H questes estruturais a
serem superadas, como o subfinanciamento e a fixao de
recursos humanos, como tambm questes processuais,
como a necessidade de aprimoramento de mecanismos
de gesto e participao da comunidade, assim como
de garantia da qualidade dos servios para que se possa
avanar na efetivao dos princpios da Reforma Sanitria
erigindo a sade como direito social. (PAIM, 2012a; 2012b;
TEIXEIRA, 2009)
Os desafios para a qualificao do conjunto dos
servios de Ateno Bsica, em todo territrio nacional,
precisam ser identificados nas diferentes esferas em que se
colocam. Ao lado da superao de questes macropolticas,
h que se superar obstculos postos na dimenso
cotidiana dos servios, como o trabalho em equipe, a
qualidade tcnica articulada humanizao das prticas e
comunidade. Entre os diversos desafios postos, a qualidade
da ateno realizada na rede de servios de AB j existente
se apresenta como uma dimenso imediatamente mais
192

Prticas de avaliao em sade no Brasil - dilogos

prxima da governabilidade de gestores, profissionais e


usurios, e que pode impulsionar o enfrentamento das
demais dimenses.
Na busca pela qualidade, a avaliao apontada
como uma abordagem capaz de fornecer indicadores que
ajuzam a realidade e possibilitam intervenes a partir de
normas e critrios bem-definidos e adequados ao tempo
e local ao qual se referem. Avaliar possibilita o diagnstico
de uma situao inicial e o estabelecimento de metas a
serem trabalhadas a partir das necessidades de mudanas
observadas, alm de poder fortalecer o compromisso e
responsabilizao da equipe pela qualidade da assistncia
prestada, sempre que esta participar do processo avaliativo.
(SANINE, 2014; BRUIN-KOOISTRA et al., 2012)
Nesse sentido, a avaliao de servios pode corroborar
com o processo de mudana, evidenciando necessidades e
fornecendo elementos para uma reflexo crtica sobre o
trabalho para gestores e profissionais, como tambm para
a comunidade.
Qualidade dos servios de Ateno Bsica: o que avaliar?
A definio do que qualidade da assistncia no
tarefa fcil nem consensual, pois permite diferentes
interpretaes e remete a vrias esferas da produo
do cuidado. Um ponto de partida para a discusso sobre
qualidade considerar que sua construo deve se dar a
partir do aumento da responsabilidade e compromisso com
o cuidar, (DONABEDIAN, 2005; 1969; SCOTT; CAMPBELL,
2002) que tem por base os processos de trabalho
desenvolvidos pelos diferentes profissionais da equipe de
AB.

193

Marco Akerman e Juarez Pereira Furtado (Orgs)

Para Donabedian (1990), qualidade depende de trs


componentes:
() la atencin tcnica, el manejo de la
relacin interpersonal, y el ambiente
en el que se lleva a cabo el proceso de
atencin. La evaluacin de cada uno
de estos aspectos permite estimar la
calidad de la atencin brindada, siempre
y cuando se tomen en consideracin las
caractersticas especficas del pas en
que se da la atencin del paciente. De
cultura a cultura cambian las normas de
adecuacin y la disponibilidad de recursos,
las preferencias de la disponibilidad de
recursos, las preferencias de la gente, sus
creencias, y consecuentemente deben
cambiar los criterios para evaluar la calidad
de la atencin. Una vez definidos estos
criterios, garantizar la calidad depende
del diseo de un sistema adecuado a las
particularidades de cada caso, y de la
monitora eficiente del desempeo de ese
sistema. (DONABEDIAN, 1990, p. 113)

Assim, pode-se afirmar que a qualidade da


assistncia refere-se capacidade de resposta s
necessidades de sade da populao, incluindo a
compreenso dos valores culturais que orientam sua
manifestao, assim como, ao acesso, enquanto um
aspecto fundamental, alm da preveno de resultados
indesejveis, como os Ds: death, disease, disability,
discomfort, dissatisfaction apontados por Campos (2005).
Segundo este autor, a qualidade na APS deve abranger
a identificao e o atendimento s necessidades da
populao, o cuidado ofertado aos portadores de condies
crnicas, o estabelecimento de vnculo entre profissional e
usurio e o olhar atento deteco precoce de condies
194

Prticas de avaliao em sade no Brasil - dilogos

de risco e vulnerabilidade. J para os usurios, a qualidade


pode configurar-se em obter respostas s necessidades que
atendam s expectativas de cuidado, em parte moldadas
pelas prticas de ateno realizadas pelos servios de
sade. (PISSATTO, 2011; BRASIL. MINISTRIO DA SADE,
2006; CAMPOS, 2005)
Ao considerarem-se as mudanas no contexto de
sade, nos conhecimentos e tecnologias utilizadas, alm de
alteraes no prprio modelo assistencial, os padres do
que se espera como a melhor qualidade possvel tambm
sofrem alteraes, definindo a qualidade como um atributo
mutvel e incremental, ou seja, que sofre alterao,
conforme o contexto sociopoltico e que sempre pode ser
aprimorada. (ZARILI, 2015; BRASIL. MINISTRIO DA SADE,
2012a; ANVERSA et al., 2012; BROUSSELLE et al., 2011;
FURTADO, 2006)
Para uma construo continuada, que leve em
conta os acmulos j alcanados, deve-se resgatar a
responsabilizao das equipes locais, cujo compromisso
no contnuo aprimoramento das aes da sade pode
ser apontado como um dos principais mecanismos, em
parceria com o movimento social, para a conquista de
uma estabilidade que impea o eterno recomear a cada
mudana de governo, ainda que esse tipo de proposio j
esteja colocada para todos os que defendem a sade como
uma poltica de Estado e no de governo.
Uma vez que avaliar estabelecer juzo de valor
- julgar e mensurar -, necessrio que se explicite os
preceitos de qualidade utilizados. Para Donabedian (1985),
a estrutura refere-se aos recursos humanos, fsicos,
materiais, financeiros e normatizao do servio; o
processo est relacionado diretamente ao funcionamento
do sistema, ou seja, como as aes so organizadas; e o
resultado diz respeito s mudanas geradas pelas aes
195

Marco Akerman e Juarez Pereira Furtado (Orgs)

realizadas. O quadro definido por Donabedian prope


que a avaliao deve se dar a partir da inter-relao entre
estrutura, processo e resultado, assim, uma boa estrutura
aumenta a possibilidade de um bom processo e um bom
processo favorece um bom resultado. (BRITO; JESUS, 2009;
NEMES, 2001; DONABEDIAN, 1988)
Um resgate da avaliao dos servios de Ateno Bsica
no Brasil: como avaliar?
Com o propsito de melhorar a qualidade e definir
mecanismos de monitoramento dos servios de Ateno
Bsica, o SUS tem desenvolvido ferramentas de gesto,
com apoio implementao de processos avaliativos com
diferentes escopos, mas que convergem de um modo geral
no propsito de induzir prticas que traduzam as diretrizes
do SUS. (CASTANHEIRA et al., 2014; FURTADO; VIEIRA-DASILVA, 2014; BRASIL. MINISTRIO DA SADE, 2010; 2005;
2003; FACCHINI et al., 2008; TANAKA; ESPIRITO SANTO,
2008)
Desde 1990, as avaliaes voltadas implantao
de programas vm aumentando com a utilizao de
diferentes instrumentos e metodologias; no entanto, foi
com o incentivo do Projeto de Expanso e Consolidao
da Sade da Famlia (PROESF), a partir de 2003, que se
desenvolveu o maior nmero de estudos, destacando-se os
84 trabalhos de Linha de Base institudos com o objetivo
de ampliar o conhecimento sobre avaliao da Ateno
Bsica e fortalecer sistemas de monitoramento e avaliao,
alm de contriburem para a institucionalizao de
sistemas de avaliao, por meio de projetos cooperativos e
interinstitucionais. (VERAS; VIANNA, 2009; FACCHINI et al.,
2008; PICCINI et al., 2007)

196

Prticas de avaliao em sade no Brasil - dilogos

Uma das primeiras iniciativas de institucionalizao


da cultura avaliativa da APS no SUS, como estratgia
indutora de qualidade em sade, foi o projeto Avaliao
para Melhoria da Qualidade da Estratgia Sade da Famlia
(AMQ), que contou com cooperao tcnica e financeira
da Organizao Pan-Americana de Sade (OPAS) e do
Banco Mundial, alm da assessoria tcnica do Instituto de
Qualidade em Sade do Ministrio da Sade de Portugal.
Foi lanado em 2005 pelo Departamento de Ateno
Bsica do Ministrio da Sade, com uma metodologia
de autoavaliao e autogesto. (BRASIL. MINISTRIO DA
SADE, 2012b; 2010; 2006; VASCONCELOS, 2011)
O Instrumento de Avaliao da Ateno Primria
(PCATool Primary Care Assessment Tool), validado
por Starfield nos Estados Unidos em 1998, apresenta
originalmente verses autoaplicveis destinadas a crianas,
adultos maiores de 18 anos, profissionais de sade e
tambm direcionados coordenao/gerncia do servio
de sade. Em 2010, foi traduzido e utilizado pelo Ministrio
da Sade para suprir a falta de instrumentos validados que
avaliassem as interaes entre os usurios e os profissionais
dos servios de APS, alm de permitir a avaliao de servios
de APS organizados sob diferentes modelos. (HARZHEIM
et al., 2013; 2006; BRASIL. MINISTRIO DA SADE, 2012b;
2010a; 2010c)
Nesse perodo, o instrumento de autoavaliao
utilizado pelo Ministrio da Sade, o AMQ, dirigia-se
apenas aos servios organizados segundo a ESF, o que
deixava muitos servios de AB fora do processo avaliativo,
particularmente no Estado de So Paulo, onde a cobertura
populacional por equipes de sade da famlia era apenas de
24%. (BRASIL. MINISTRIO DA SADE, 2015)

197

Marco Akerman e Juarez Pereira Furtado (Orgs)

Como parte do processo descrito, no Estado de So


Paulo foi desenvolvido e validado em 2007 um instrumento
de avaliao de servios de Ateno Bsica autoaplicvel,
via web, o Questionrio Avaliao da Qualidade de Servios
de Ateno Bsica (QualiAB), dirigido a todos os servios
de AB, independentemente de seu modelo organizacional,
incluindo Unidades de Sade da Famlia, Unidades Bsicas
tradicionais e outras formas de organizao definidas pelo
gestor municipal, o que conferia uma capacidade de maior
abrangncia do conjunto da rede de AB instalada nesse
estado. (CASTANHEIRA et al., 2014; 2011; 2009)
O acmulo proporcionado pelos estudos de Linha de
Base, e especialmente do prprio AMQ, alm de outras
pesquisas de menor abrangncia, favoreceu a instaurao
de uma poltica de qualidade de APS no SUS, a Melhoria
Contnua da Qualidade (MCQ) nos servios de sade. A
partir da reviso da AMQ, do PCATool e Quality book of
Tools, e com contribuies de consultores externos de
diversas instituies, foi desenvolvido um novo instrumento
avaliativo destinado a todos os servios de APS, isto ,
no mais se restringindo apenas aos servios organizados
segundo a ESF, denominado Autoavaliao para Melhoria
do Acesso e Qualidade da Ateno Bsica (AMAQ). (BRASIL.
MINISTRIO DA SADE, 2012b; 2010a; 2010c)
Esta
iniciativa
impulsionou
no pas o
comprometimento em desenvolver aes voltadas para
a melhoria do acesso e da qualidade dos servios. Com
o objetivo de avaliar os resultados da nova poltica de
sade, em todas as suas dimenses, com destaque para
o componente da APS, lanado em 2011 o Programa
de Avaliao para a Qualificao do SUS e o Programa
Nacional de Melhoria do Acesso e da Qualidade da Ateno
Bsica (PMAQ), com garantia de um padro de qualidade
comparvel nacional, regional e localmente, de maneira
198

Prticas de avaliao em sade no Brasil - dilogos

a permitir maior transparncia e efetividade das aes


governamentais direcionadas Ateno Bsica em Sade,
(BRASIL. MINISTRIO DA SADE, 2012b) permitindo a
anlise do processo de consolidao da APS em todo
territrio brasileiro. (BRASIL. MINISTRIO DA SADE, 2011b)
Instrumentos de avaliao da Ateno Primria Sade
no Brasil: caractersticas de alguns modelos
A escolha de qual o melhor modo de avaliar deve ser
diversificada conforme a natureza do servio e das perguntas
que deseja responder, como no caso das avaliaes de
processo, relevantes para responder a questo se o cuidado
est sendo corretamente praticado. (BROUSSELLE et al.,
2011; NEMES, 2001; DONABEDIAN, 1969)
As avaliaes de servios, particularmente
quando baseadas na abordagem Donabediana, tendem
a desenvolver mecanismos estruturados de avaliao,
com critrios e padres rgidos e privilegiando desenhos
quantitativos. Os limites desse escopo avaliativo devem
ser reconhecidos sem que isso represente a negao de
suas potencialidades na orientao de polticas e medidas
de melhoria de qualidade, ainda que no considere a
subjetividade inerente a toda avaliao e tenha limites em
tomar como objeto a dimenso intersubjetiva das aes em
sade. (MARSIGLIA, 2008)
Apesar da grande importncia internacional dada
para as avaliaes de resultado, no Brasil as iniciativas
de incentivo melhoria de qualidade tm trabalhado
principalmente com variveis e indicadores de processo
voltados para a organizao do trabalho e para o
gerenciamento local, alm da abordagem dos usurios e da
gesto municipal, (BRASIL. MINISTRIO DA SADE, 2011a;
199

Marco Akerman e Juarez Pereira Furtado (Orgs)

2006; BRITO; JESUS, 2009) pois as avaliaes de resultados


so complexas, dada as dificuldades em se estabelecer
nexos causais e ainda com pouca tradio nos estudos
brasileiros. Por outro lado, avaliar o processo de trabalho
de um servio tem maior viabilidade, alm de possibilitar
medidas de aprimoramento da qualidade mais imediatas
e sob governabilidade das equipes e da gesto municipal.
(NEMES, 2001)
Nesse contexto, a autoavaliao consiste numa
tendncia contempornea em relao a instrumentos de
melhoria da qualidade, sendo considerada uma abordagem
com potencial de promover mudanas, j que envolve os
atores de maneira efetiva e direta. (SCHRAIBER et al., 1999)
Os instrumentos autoaplicveis, como as autoavaliaes,
ganham destaque por utilizarem pedagogias ativas, ou
seja, reforam a autonomia e a emancipao dos atores
envolvidos, desde que bem-articuladas e com sensibilizao
dos sujeitos, possibilitando s equipes de sade a
construo de novas metas e a organizao de tecnologias
que melhorem a assistncia prestada. (BRASIL. MINISTRIO
DA SADE, 2012a)
Avaliao para Melhoria da Qualidade (AMQ ) da
Estratgia Sade da Famlia
Institudo pelo Ministrio da Sade em 2005, a AMQ
consistia em uma ferramenta de autoavaliao sobre a
organizao do processo de trabalho destinado apenas
aos servios organizados segundo o modelo de Sade da
Famlia. Orientado pelos princpios do SUS, adotava o
modelo terico proposto por Donabedian, tendo como foco
de anlise os servios e as prticas de sade. (VENNCIO et
al., 2008)

200

Prticas de avaliao em sade no Brasil - dilogos

Aplicado por livre adeso, sem o envolvimento


de incentivos financeiros ou sanes com relao aos
resultados obtidos, previa a realizao de diagnstico,
planejamento e interveno, completando o denominado
Ciclo AMQ. (BRASIL. MINISTRIO DA SADE, 2009)
Composto por cinco instrumentos de autoavaliao,
um para cada mbito de gesto e execuo da ESF (gestor
municipal de sade, coordenadores municipais da ESF,
diretores tcnicos dos servios de SF, profissionais da
equipe de SF, e profissionais de nvel superior da equipe
de SF), apresentava tambm um caderno tcnico com
material de apoio para orientar o planejamento das aes.
Era respondido em verso impressa e depois digitado, e,
em todas as verses, a mensurao quanto aos possveis
padres de qualidade era classificada em cinco nveis: E
(elementar), D (em desenvolvimento), C (consolidada), B
(boa) e A (avanada). (BRASIL. MINISTRIO DA SADE, 2009)
Os cinco instrumentos avaliativos compreendiam um
total de trezentas questes ou indicadores de qualidade,
apresentados no formato de respostas do tipo sim e no,
com a descrio do padro esperado para cada indicador,
distribudos em duas grandes unidades de anlise: Gesto
e coordenao local da estratgia e Equipes de Sade
da Famlia, compostos em dimenses e subdimenses,
conforme disposto no Quadro 1.

201

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 1: Unidades de anlise, dimenses e subdimenses


do instrumento AMQ

(concluso)
Organizao do
Trabalho em Sade
da Famlia

(continuao)
UNIDADES DE
ANLISE

DIMENSES

SUBDIMENSES
Implantao /
Implementao da SF
no Municpio

Desenvolvimento
de Estratgias SF

Consolidao
do Modelo de
Ateno

Integrao da Rede
de Servios
Gesto do Trabalho
Fortalecimento da
Coordenao

GESTO E
COORDENAO
LOCAL

Planejamento e
Integrao
Coordenao
Tcnica das
Equipes

EQUIPES DE
SADE DA
FAMLIA

Participao
Comunitria e
Controle Social

Sade da Criana
Sade do
Adolescente

Acompanhamento
das Equipes

Sade da Mulher e
Homens Adultos

Gesto da Educao
Permanente

Sade do Idoso
Ateno Sade

Normatizao

Insumo,
Imunibiolgicos e
Medicamentos

Vigilncia
Sade II: Doenas
Transmissveis
Vigilncia Sade
III: Agravos com
Prevalncia Regional

Infraestrutura e
Equipamentos da USF

202

Promoo da Sade

Vigilncia Sade I:
Aes Gerais da ESF

Gesto da Avaliao

Unidades SF

Acolhimento,
Humanizao e
Responsabilizao

Padres Locoregionais
Fonte: Brasil. Ministrio da Sade, 2009.

203

Marco Akerman e Juarez Pereira Furtado (Orgs)

Exemplo de questes para a equipe de Sade da Famlia em


relao sade do adulto:
E

A ESF possui registro atualizado dos


(S) (N)
hipertensos da rea

O padro refere-se ESF possuir, registrado e documentado


em papel, o nmero de hipertensos referidos e confirmados,
discriminados por grupos etrios (ver SIAB) e sexo, atualizado
mensalmente. A partir do conhecimento desta populao
possvel o desenvolvimento de vrias outras aes indicadas
nos estgios mais elevados de qualidade.

A ESF monitora a frequncia dos


(S) (N)
hipertensos s atividades agendadas

O padro refere-se ESF monitorar a frequncia dos


hipertensos s atividades agendadas, empregando esforos
para garantir a adeso s atividades coletivas e individuais e
realizando busca ativa aos faltosos.

A ateno populao de hipertensos


(S) (N)
realizada a partir da classificao do risco

O planejamento da ateno aos hipertensos realizado


utilizando-se classificao segundo o tipo de hipertenso,
adeso e resposta ao tratamento, presena de fatores de
risco associados, grau de instruo e autonomia, entre outros
fatores. A frequncia de consultas mdica e de enfermagem
proposta e realizada a partir desta avaliao, de acordo com
os consensos para o tema (www.saude.gov.br/hipertensaodiabetes).

204

Prticas de avaliao em sade no Brasil - dilogos

Houve reduo do nmero absoluto


de internaes por Acidente Vascular ( S ) ( N )
Cerebral

O padro refere-se reduo do n absoluto de internaes


por acidente vascular cerebral nos ltimos 24 meses, para a
populao adscrita entre 40 e 69 anos, acompanhada. um
dos temas abordados pelo do Pacto de Indicadores da Ateno
Bsica.

A ESF desenvolve atividades de


reintegrao e reabilitao comunitria
(S) (N)
em conjunto com as equipes de Sade
Mental de referncia

O padro refere-se ESF desenvolver ativamente projetos e


aes de reintegrao e reabilitao comunitria em conjunto
ou com a assessoria da equipe de Sade Mental de referncia.

Observa-se que os nveis progressivos de qualidade


avanam de indicadores mais vinculados estrutura, como
sistema de registro de dados, para indicadores de processo,
no exemplo, a classificao de risco, e de resultado, como
o impacto nas internaes por AVC na populao adscrita.
Para o nvel avanado na ateno ao adulto no h questo
especfica em relao ao controle de hipertensos, mas o
deslocamento para o trabalho integrado com outras equipes
e em relao a tema que se refere a diferentes condies e
necessidades de sade do adulto.
Entre as limitaes apontadas para o AMQ esto a
complexidade e o elevado nmero de questes (PINTO;
SOUSA; FLORNCIO, 2012), alm de no contemplar
servios organizados fora do modelo Sade da Famlia, no

205

Marco Akerman e Juarez Pereira Furtado (Orgs)

abrangendo assim o conjunto de servios da AB, alm de no


abordar a avaliao pelos usurios, enquanto importantes
atores no processo de cuidado e organizao dos servios.
(OLIVEIRA, 2007)
Instrumento de Avaliao da Ateno Primria Sade
(PCATool-Brasil ) - Primary Care Assessment Tool
O instrumento foi desenvolvido para avaliar os
atributos essenciais e derivados que qualificam a APS de
acordo com quadro avaliativo desenvolvido por Starfield,
com base no modelo Donabediano. Tem como finalidade
mensurar a presena e a extenso de quatro atributos
essenciais e de trs atributos derivados da APS, e, por
meio deles, qualificar o processo de ateno, priorizando
as interaes entre profissionais e usurios mediadas pela
estrutura do servio. (BRASIL. MINISTRIO DA SADE,
2010, p.10)
Segundo Starfield, os quatro atributos essenciais dos
servios de APS so: Acesso de primeiro contato do indivduo
com o sistema de sade, longitudinalidade, integralidade
e coordenao da ateno; e os atributos derivados so:
ateno sade centrada na famlia (orientao familiar),
orientao comunitria e competncia cultural. (SHI;
STARFIELD; XU, 2001; CASSADY et al., 2000)
O PCATool-Brasil composto por trs instrumentos:
PCATool-Brasil verso Criana; verso Adulto e verso
Profissionais, os dois primeiros aplicados a usurios.
Pretende identificar aspectos de estrutura e processo
dos servios que exigem reafirmao ou reformulao na
busca da qualidade tanto para o planejamento como para
a execuo das aes de APS. s respostas so atribudos
valores de 1 a 4, numa escala tipo Likert, sendo com
certeza sim (4), provavelmente sim (3), provavelmente
206

Prticas de avaliao em sade no Brasil - dilogos

no (2), com certeza no (1) e as respostas no sei/


no lembro (9). Para obter-se o escore da qualidade de
cada servio, calcula-se a mdia dos valores dos itens que
compem cada dimenso. A aplicao da verso brasileira
tem feito uso de entrevistadores para a realizao da
coleta dos dados, o que difere da proposta original de um
instrumento autoaplicvel. (BRASIL. MINISTRIO DA SADE,
2010; HARZHEIM, 2006; DUNCAN, 2000)
Para suprir a ausncia de ferramentas destinadas a
medir as interaes usurios-servios no contexto da APS
em nosso pas, o PCATool foi adaptado ao Brasil como uma
ferramenta aplicvel por entrevistadores treinados, tanto
quando as questes so dirigidas a usurios como quando
os entrevistados so profissionais. (HARZHEIM et al., 2013,
2006)
O instrumento PCATool-Brasil verso Criana
aplicado aos pais das crianas ou cuidadores (como avs,
tios ou cuidadores legais), identificando-se o familiar/
cuidador que o maior responsvel pelo cuidado da sade
da criana. composto por 55 itens (ou questes). A
verso Adulto composta por 87 e a verso Profissionais
composta por 77 itens.
As questes ou itens de cada um desses instrumentos
esto distribudos em componentes, ou dimenses, que
representam os atributos da APS. Os instrumentos para
crianas e adultos so constitudos por 10 componentes,
com 55 itens, para crianas e 87 para adulto (Quadro 2). Os
componentes so indicados por ordem alfabtica de A a J,
conforme sequncia de aplicao, em todos eles existem
itens relacionados estrutura e ao processo.
A verso profissional foi elaborada em espelho com as
verses adulto e criana, mantendo-se os mesmos atributos
e o mesmo temrio. Por ser dirigido a profissionais, foram
excludos os componentes Grau de afiliao e Utilizao,
207

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

relativos relao dos usurios com o servio, ficando com 8


componentes e 77 itens avaliados (Quadro 2).
Quadro 2: Atributos essenciais e derivados, componentes e
nmero de itens avaliados segundo o instrumento PCATool-Brasil,
para as verses criana, adulto e profissional
ATRIBUTOS
ESSENCIAIS E
DERIVADOS

COMPONENTES

NMERO DE ITENS AVALIADOS

ATRIBUTOS
ESSENCIAIS

PCATool
Criana

PCATool
Adulto

PCATool
Profissionais

Acesso de
Primeiro Contato*

Utilizao
Acessibilidade

--

12

Grau de afiliao
Longitudinalidade

--

14

14

13

Longitudinalidade

Coordenao da
Ateno

Integralidade

Integrao de
cuidados
Sistema de
Informaes
Servios
disponveis
Servios prestados

22

22

13

15

ATRIBUTOS
DERIVADOS
Orientao
Familiar

Orientao
Familiar

Orientao
Comunitria

Orientao
Comunitria

Fonte: Brasil. Ministrio da Sade, 2010.


* No contemplados no instrumento dirigido a profissionais.

208

O instrumento PCATool-Brasil discrimina a qualidade dos servios


de acordo com itens que procuram representar os atributos da APS,
definidos por Starfield, abordando principalmente indicadores de
processo a partir do questionamento de usurios e profissionais das
unidades sobre aspectos de mesma ordem em relao assistncia
realizada.
A ttulo de exemplo, no PCATool Profissionais, o componente
Integralidade Servios Prestados apresenta como uma de suas
questes (em relao assistncia prestada para todas as idades) :

Voc discute os seguintes assuntos com seus pacientes ou seus responsveis?


Com
certeza,

No sei
/no
lembro

Por favor,
indique a melhor
opo

Com
certeza,
sim

Provavelmente,

Provavelmente,

Sim

No

F1 Conselhos
sobre
alimentao
saudvel ou
sobre dormir
suficientemente.

F2 Segurana
no lar, ex:
como guardar
medicamentos
em segurana.

F3
Aconselhamento
sobre o uso
de cinto de
segurana,
assentos seguros
para crianas
ao andar de
carro, evitar que
crianas tenham
queda de altura.

No

209

Marco Akerman e Juarez Pereira Furtado (Orgs)

Os nmeros indicam a pontuao que caber a cada


resposta, cuja soma compe a razo que define a pontuao
para cada questionrio aplicado, e partir do conjunto dos
questionrios um escore final para o servio. (BRASIL.
MINISTRIO DA SADE, 2010)
Uma caracterstica que se destaca nesse instrumento
o fato da verso original em ingls ter recebido adaptaes e
validaes em diferentes pases, com verses em espanhol,
catalo, alm de pases como Taiwan, Hong Kong e Canad,
o que possibilita comparaes entre os sistemas de sade.
(PASARN et al., 2013; TSAI et al., 2010a, 2010b; WONG et
al., 2010; HAGGERTY; MARTIN, 2005) A verso brasileira
foi validada por meio de processo de traduo e traduo
reversa, adaptao e validao de contedo e de construto e
anlise de confiabilidade. (HARZHEIM, 2013; 2006; BRASIL.
MINISTRIO DA SADE, 2010; DUNCAN, 2000)
Questionrio Avaliao da Qualidade de Servios de
Ateno Bsica (QualiAB)
O InstrumentoQuestionrio de Avaliao da Qualidade
de Servios de Ateno Bsica (QualiAB ) foi elaborado em
2007 como fruto de um projeto de pesquisa financiado pela
linha de fomento Programa Pesquisa para o SUS (PPSUS),
partindo de pressupostos de qualidade erigidos a partir da
teoria do trabalho em sade. (MENDES-GONALVES, 1994)
Foi construdo por processo de consenso iterativo, que
incluiu metodologias qualitativas, teste-piloto e validao
de construto e confiabilidade. A metodologia utilizada
tem por base a experincia de avaliao de servios
ambulatoriais a pessoas que vivem com Aids, realizada pela
equipe Qualiaids. (NEMES et al., 2009; 2004; CASTANHEIRA
et al., 2011)

210

Prticas de avaliao em sade no Brasil - dilogos

No ano de 2010, em parceria com a Secretaria de


Estado da Sade de So Paulo, foi respondido por 2.735
unidades bsicas de sade, distribudas em 586 municpios,
de um total de 645 em todo o Estado. Nessa ocasio,
contou com o apoio do Programa Articuladores da Ateno
Bsica, da SES SP, para realizao das devolutivas para
os participantes, em sua maioria municpios do interior
paulista de mdio e pequeno porte. (CASTANHEIRA et al.,
2014; 2011; 2009; ANDRADE; CASTANHEIRA, 2011)
O foco avaliativo a organizao e o gerenciamento
dos servios por meio de um instrumento autoaplicado,
que procura avaliar as condies de exerccio de boas
prticas nos moldes de uma avaliao normativa.
Baseia-se principalmente em variveis de processo cujos
padres tomam por referncia as diretrizes do SUS e da
PNAB e normas tcnicas de cuidado individual e coletivo
para a ateno primria, conforme consensos nacionais
e internacionais. Procura identificar a organizao das
aes realizadas no dia a dia dos servios, tomadas como
indicadoras do modelo de ateno efetivado. (CASTANHEIRA
et al., 2011)
O QualiAB um instrumento autoaplicvel, via web,
sob responsabilidade do gerente local ou coordenador
da unidade. As respostas ao questionrio pressupem o
envolvimento do conjunto dos profissionais que participam
da execuo das diferentes aes, pois questiona sobre
aspectos da organizao dos mltiplos processos presentes
nas unidades de AB. No prev mecanismos de abordagem
dos usurios. Na verso original, de 2007, as 85 questes
geravam 65 indicadores de qualidade que avaliavam duas
grandes dimenses: oferta e organizao da assistncia e
gerenciamento do trabalho. (CASTANHEIRA et al., 2011)

211

Marco Akerman e Juarez Pereira Furtado (Orgs)

A necessidade de atualizao de alguns padres e de


introduo de novos indicadores desdobrou-se num projeto
de reviso e atualizao do instrumento original, mantendose o mesmo quadro avaliativo. A nova verso resultado de
processo de reviso por pares, pr-teste, aplicao-piloto
em regio do interior paulista e avaliao por grupo de
especialistas e encontra-se em fase final de validao com
o objetivo de ter aplicabilidade para os diferentes contextos
do territrio nacional. (ZARILI, 2015)
A verso atualizada, revista em 2015, composta
por 120 questes de mltipla escolha, organizadas em
cinco blocos (identificao e caractersticas gerais do
servio; informao, planejamento e avaliao em sade;
organizao da ateno sade; perfil de atividades; e
caractersticas do processo gerencial) que definem um total
de 103 indicadores de qualidade, predominantemente
de processo. Foram mantidas duas grandes dimenses
de anlise: Gesto, incluindo questes mais diretamente
vinculadas gesto municipal e mantendo-se outras de
responsabilidade da gerncia local; e Assistncia, com
questes relativas a diferentes componentes da ateno
sade na APS - aes de promoo, preveno e educao
em sade; vigilncia; ateno demanda espontnea;
organizao geral da assistncia, sade bucal e a diferentes
grupos que requerem seguimento na ateno primria,
como mulheres, crianas e adolescentes, adultos e idosos.
As duas grandes dimenses por seus diversificados
componentes permitem variados recortes de anlise a
partir da eleio de subconjuntos de indicadores, como, por
exemplo, das aes dirigidas sade da criana, (SANINE,
2014) aos portadores de doenas crnicas ou sade
sexual e reprodutiva, tal como j se colocava para a verso
de 2007.

212

Prticas de avaliao em sade no Brasil - dilogos

Exemplo de questo em relao promoo, preveno e


educao em sade:
As estratgias de educao em sade realizadas NA
UNIDADE so: Assinale uma ou mais alternativas
1) Campanhas sobre diferentes temas realizadas em momentos
especficos (DST/Aids, HA, DM, Raiva, Dengue, Sade do Idoso
e outras).
2) Palestras sobre diversos temas definidos pela equipe de
sade.
3) Realizao de grupos relacionados s aes programticas
(programas de pr-natal, hipertenso e diabetes outros).
4) Atividades em sala de espera.
5) Atividades em grupo que abordem outros temas.
6) Atividades peridicas com temas definidos a partir do perfil
epidemiolgico e demanda dos usurios.
7) Outras .
8) No realiza atividades de educao em sade.

A pontuao de cada questo varia entre 0, 1 e 2,


sendo 0 (insuficiente), 1 (aceitvel) e 2 (padro esperado),
e a base para a definio de uma pontuao final por
servio.
A experincia de aplicao via web, com respostas
online, tem sido positiva, permitindo a consolidao de
dados para devolutivas s equipes e gestores municipais.
O aprimoramento desse sistema deve viabilizar devolutivas
imediatas para cada servio participante, associadas a
orientaes de boas prticas, conforme previsto no projeto
em desenvolvimento. (ZARILI, 2015; CASTANHEIRA et al.,
2014)

213

Marco Akerman e Juarez Pereira Furtado (Orgs)

Autoavaliao para Melhoria do Acesso e da Qualidade


da Ateno Bsica (PMAQ: AMAQ) e Avaliao externa
A avaliao proposta pelo Programa de Avaliao
para a Qualificao (PMAQ) do SUS, do Ministrio da
Sade, situa a avaliao como estratgia permanente para
tomada de deciso e mecanismo central para melhoria da
qualidade das aes de sade. Considera que um servio de
qualidade deve compreender os princpios de integralidade,
universalidade, equidade e participao social, e, dessa
forma, tenta envolver todos os atores neste processo
avaliativo.
O PMAQ encontra-se organizado em quatro fases
que se complementam: a Fase 1 iniciada pela adeso
voluntria dos municpios mediante a contratualizao de
compromissos e indicadores a serem firmados entre as
equipes dos servios e os gestores municipais e desses com
o Ministrio da Sade; a Fase 2 constituda por quatro
dimenses: autoavaliao, monitoramento, educao
permanente e apoio institucional, no qual a autoavaliao
considerada o ponto de partida no processo de melhoria,
pois a partir da aplicao de uma ferramenta como o AMAQ,
as equipes so capazes de identificar problemas e discutir
estratgias de reorganizao da equipe e da gesto local.
Cabe ressaltar que no obrigatrio que o instrumento de
autoavaliao seja o AMAQ, sendo facultado aos gestores
municipais e s equipes de AB definir o instrumento que
melhor responda s necessidades e realidade local. A
Fase 3 constituda pelas avaliaes externas, por meio de
certificao de desempenho das equipes de AB e gestes
municipais, por meio de monitoramento de indicadores
e verificao das condies locais e da avaliao das
condies de acesso e de qualidade, por meio de outros
instrumentos e da satisfao e utilizao dos servios por
parte dos usurios. So realizadas por equipes contratadas
214

Prticas de avaliao em sade no Brasil - dilogos

e treinadas para esse fim, com a aplicao de instrumentos


estruturados, cujos padres de qualidade se assemelham
aos da autoavaliao da segunda fase. A Fase 4, com base
nas realidades evidenciadas na avaliao externa, encerra o
ciclo e gera nova recontratualizao com a gesto municipal
e equipes dos servios de Ateno Primria. (BRASIL.
MINISTRIO DA SADE, 2012b)
O instrumento de autoavaliao AMAQ tem como
foco as equipes de Ateno Bsica, sejam elas Sade da
Famlia ou equipes multiprofissionais estruturadas em
outros modelos, desde que organizadas de acordo com os
princpios e diretrizes da APS e parametrizadas. composto
por 111 questes que apresentam os padres de qualidade
esperados para cada uma. As respostas se baseiam numa
escala Likert, com variao numrica de 0 a 10, que
corresponde ao grau de adequao ao padro esperado,
sendo: 0 (o completo no cumprimento do padro) e 10
(a total adequao ao padro). (BRASIL. MINISTRIO DA
SADE, 2012a; 2012b)
Cada questo representa um indicador de qualidade
que em conjunto so divididos em duas grandes unidades
de anlise, compostas por dimenses e subdimenses,
conforme o Quadro 3.

215

Marco Akerman e Juarez Pereira Furtado (Orgs)

Quadro 3: Unidades de anlise, dimenses e subdimenses


utilizadas na autoavaliao (AMAQ) e na Certificao da
Fase 3
UNIDADE
DE
ANLISE

DIMENSO

SUBDIMENSO
Implantao e
Implementao da Ateno
Bsica no Municpio

Gesto
Municipal

Organizao e Integrao da
Rede de Ateno Sade
Gesto do Trabalho
Participao, Controle Social e
Satisfao do Usurio

Gesto

Apoio Institucional
Gesto da
Ateno Bsica

Unidade Bsica
de Sade

Educao Permanente
Gesto do Monitoramento e
Avaliao - M&A
Infraestrutura e
Equipamentos
Insumos, Imunobiolgicos e
Medicamentos
Perfil da Equipe

Equipe

Organizao do Processo de
Perfil, Processo
Trabalho
de Trabalho
Ateno integral Sade
e Ateno
integral Sade
Participao, Controle Social e
Satisfao do Usurio

Fonte: Brasil. Ministrio da Sade, 2012b.

216

Prticas de avaliao em sade no Brasil - dilogos

Exemplo de questo do AMAQ para a equipe:


4.17

A equipe de ateno bsica acompanha


01234
o crescimento e desenvolvimento das
56789
crianas menores de um ano da sua rea
10
de abrangncia.

A equipe realiza, durante o primeiro ano de vida da criana, no


mnimo sete consultas de acompanhamento, sendo trs com o
mdico e quatro de enfermagem. Essas consultas acontecem
na 1 semana e no 1, 2, 4, 6, 9 e 12 ms. A avaliao
integral da sade da criana envolve o registro, na caderneta
de sade da criana e no pronturio, de avaliao do peso,
altura, desenvolvimento, imunizaes e intercorrncias,
estado nutricional, bem como orientaes me/famlia/
cuidador sobre os cuidados com a criana (alimentao,
higiene, imunizaes, estimulao e aspectos psicoafetivos). O
acompanhamento da criana realizado visando a estreitar e
manter o vnculo da criana e da famlia com a Unidade Bsica
de Sade, propiciando oportunidades de abordagem para
a promoo da sade, preveno de problemas e agravos e
provendo o cuidado em tempo oportuno.

O Instrumento de avaliao externa composto por


quatro mdulos: I. Observao da Unidade Bsica - tem por
objetivo avaliar as condies de infraestrutura, materiais,
insumos e medicamentos; II. Entrevista com o profissional
da equipe e verificao de documentos - objetiva obter
informaes sobre o processo de trabalho e a organizao
do servio e do cuidado com os usurios; III. Entrevista com
um usurio do servio objetiva verificar a satisfao e a
percepo dos usurios quanto ao acesso e utilizao.
H tambm um Mdulo eletrnico que complementa os
mdulos anteriores, respondidos pelos gestores no Sistema
de Gesto da Ateno Bsica (SGDAB) por meio do site
do Programa (http://dab.saude.gov.br/sistemas/Pmaq/).
(BRASIL. MINISTRIO DA SADE, 2012b; PINTO; SOUSA;
FLORNCIO, 2012)
217

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Exemplo de questo para o avaliador observar:


Teste rpido de gravidez

Exemplo de questo para os usurios:

Sempre disponveis

ES
s vezes disponvel
I.15.2 S poder marcar uma opo de
resposta
Nunca disponveis

Exemplo de questo para o profissional da equipe:


Glicema de jejum
Sorologia
para
sfilis (VDRL)
Sorologia para HIV
Sorologia
hepatite B
Quais desses exames so
solicitados pela sua equipe e
so realizados pela rede de
G
servios de sade para o prII.15.2 natal?

para

Exame sorolgico
para toxoplasmose
Exame
para
dosagem
de
hemoglobina
e
hematcrito

Poder escolher mais de uma Teste rpido de


opo
gravidez
Teste rpido de
sfilis
Teste rpido de HIV
Urocultura
ou
sumrio de urina
(urina tipo I)
Nenhuma
das
anteriores

218

III.23.7

De zero a dez, qual nota 0 1 2 3 4 5 6 7 8 9 10


o(a) senhor(a) atribui
para sua satisfao com o
cuidado recebido pelo(a)
No se aplica (se
mdico(a)?
no tiver mdico na
Poder marcar s uma equipe)
opo de resposta.

Ao final do processo, as equipes so classificadas em


quatro categorias em relao ao desempenho: insatisfatrio;
regular; bom; ou timo. Esta classificao leva em conta o
resultado da equipe em comparao ao desvio-padro da
mdia do desempenho das equipes do estrato no qual
est inserida. Foram definidos seis estratos para garantir
comparabilidade entre equipes de AB de todo territrio
brasileiro, utilizando-se critrios sociais, econmicos e
demogrficos (densidade demogrfica; produto interno
bruto (PIB) per capita; percentual da populao com plano
de sade; com Bolsa-Famlia; e em extrema pobreza). A
partir do segundo ciclo do PMAQ, alm da comparao
entre as diferentes equipes de um mesmo estrato, ser
levado em conta a evoluo de cada equipe ao longo do
tempo a partir do segundo ciclo de implementao do
programa, a equipe de APS dever ser avaliada a cada 18
meses. (BRASIL. MINISTRIO DA SADE, 2012a)
A Certificao feita a partir do monitoramento de
47 indicadores contemplados no Sistema de Informao da
Ateno Bsica (SIAB), subdivididos em sete reas (sade da
mulher, da criana, mental, bucal, tuberculose e hansenase,
controle de diabetes mellitus e hipertenso arterial
sistmica e produo geral) que se encontram classificadas
em indicadores de desempenho e monitoramento. A
219

Marco Akerman e Juarez Pereira Furtado (Orgs)

pontuao dessa fase definida conforme o nvel de:


implementao de processos autoavaliativos (10%);
desempenho alcanado para o conjunto de indicadores
contratualizados (20%); e evidncias para um conjunto
de padres de qualidade (70%). (BRASIL. MINISTRIO DA
SADE, 2012a)
Por tratar-se de um processo que integra a poltica
de Ateno Bsica do Ministrio da Sade, seus resultados
desdobram-se em diferentes repasses financeiros de acordo
com o desempenho das equipes. Esta questo, apesar de
favorecer a adeso de gestores municipais e das equipes
avaliao e induzir melhoria da qualidade, segundo os
critrios e padres utilizados, pode tambm, em parte,
induzir o falseamento de evidncias em prol da busca por
um bom desempenho. (HARTZ, 1999)

Consideraes Finais
Com base nas discusses apresentadas, avanamos
em direo questo original: a diversidade de instrumentos
contribui para a instituio de uma cultura avaliativa?
Apesar dos incentivos e dos avanos j alcanados, a
avaliao em sade ainda se constitui num grande desafio,
em parte em funo da grande complexidade do sistema de
sade e da relativa juventude do SUS, ao que se acresce
a heterogeneidade dos servios, num pas de dimenses
continentais, alm das oscilaes polticas que em alguns
contextos contrapem-se s proposies e conquistas
histricas do sistema pblico de sade.
Institucionalizar a avaliao significa integr-la em
um sistema organizacional no qual seja capaz de influenciar
seu comportamento, ou seja, um modelo orientado para a
220

Prticas de avaliao em sade no Brasil - dilogos

ao que articule, necessariamente, as atividades analticas


s de gesto das intervenes programticas. (HARTZ, 1999)
Neste sentido, a crescente preocupao com a
qualidade e avaliaes de servios na APS nos permite
observar o engajamento do Brasil em relao ao movimento
internacional pela institucionalizao de uma cultura
avaliativa, como j implementada em diversos pases. No
entanto, a institucionalizao de uma poltica vai alm
dos limites das avaliaes, sendo estas apenas um dos
elementos que apoia o aprendizado e facilita a cooperao
entre os envolvidos. (VAN DER MEER; EDELENBOS, 2006,
p.207) Nessa perspectiva, necessrio permitir que as
prticas avaliativas sejam aceitas e utilizadas de uma forma
contnua como ferramentas de prestao de contas
sociedade e de monitoramento das prticas desenvolvidas.
A realizao de processos peridicos de avaliao
coloca-se como uma importante estratgia na busca pela
melhoria da qualidade dos servios de AB, pois pode
integrar processos de educao permanente, nos quais a
equipe possa identificar problemas, definir prioridades
e no s reorientar as prticas na direo dos padres
preconizados como tambm desenvolver novos padres de
qualidade. (BRASIL. MINISTRIO DA SADE, 2012b; PINTO;
SOUSA; FLORNCIO, 2012; FURTADO; LAPERRIRE, 2012;
BROUSSELLE et al., 2011; PISCO, 2006)
Diferente dos servios especializados, a AB
composta por mltiplos e diversificados objetos de ateno
sade, abarcando desde o nascimento ao envelhecimento,
incluindo a ateno sade sexual e reprodutiva, a sade
do trabalhador, a ateno a situaes de conflito e violncia,
o uso abusivo de lcool e outras drogas, o cuidado s
condies e agravos crnicos, entre tantas outras condies
que compem a ateno integral sade, o que lhe atribui
uma complexidade prpria.
221

Marco Akerman e Juarez Pereira Furtado (Orgs)

Soma-se a essa complexidade, o desafio posto para


a APS brasileira de constituir-se no eixo de reorientao do
sistema pblico de sade de modo a ordenar um modelo
de ateno que tome a sade como direito social, expressa
em prticas e tecnologias de cuidado individual e coletivo.
Nossa ainda pequena experincia com avaliao de servios
de sade, ao lado da complexidade do projeto definido pelo
SUS para a Ateno Primria, exige a soma de inmeros
esforos e a articulao de pesquisas e experincias de
gesto. nesta complexa abrangncia das prticas da APS
que se situa o grande desafio da construo de instrumentos
de avaliao de servios.
A exigncia de uma estruturao que aborde
dimenses mais globais capazes de contemplar esta
diversidade de aes favorece a emergncia de instrumentos
com semelhanas, diferenas e aspectos complementares,
conforme pudemos observar nas snteses apresentadas.
As avaliaes devem ser utilizadas como
instrumentos de discusso crtica sobre a organizao dos
servios e prticas de sade, explorando-se seu potencial
de induzir mudanas, mas tendo claro que a transformao
de normas ticas e polticas em critrios tcnicos e padres
de qualidade sero sempre temporrios e sujeitos s
realidades s quais se aplicam.
Nenhum dos instrumentos apresentados cobre
completamente a avaliao dos servios de AB e nem seria
o caso de faz-lo. De fato, fundamental que as avaliaes
integrem as polticas pblicas de sade e que estas possam
definir modelos avaliativos que utilizem instrumentos
que alimentem o planejamento e a implementao de
mudanas. No entanto, a multiplicidade das avaliaes,
com focos, estratgias e instrumentos diversificados, traz
maior riqueza s anlises, pois permite comparaes e
complementaridades que ampliam a visibilidade do
222

Prticas de avaliao em sade no Brasil - dilogos

sistema e fortalecem a implementao de uma cultura


avaliativa nos servios, um dos passos na direo de um
modelo assistencial comprometido com a sade como
direito.

Referncias
ANDRADE, M.C.; CASTANHEIRA, E.R.L.. Cooperao e
Apoio Tcnico entre Estado e Municpios: a experincia do
Programa Articuladores da Ateno Bsica em So Paulo.
Sade Soc. So Paulo, v.20, n.4, p.980-990, 2011.
ANVERSA, E.T.R. et al.Qualidade do processo da assistncia
pr-natal: unidades bsicas de sade e unidades de
Estratgia Sade da Famlia em municpio no Sul do Brasil.
Cad. Sade Pblica, v. 28, n.4, p.789-800, Rio de Janeiro,
abr., 2012. Disponvel em: <http://www.scielosp.org/scielo.
php?script=sci_arttext&pid=S0102-311X2012000400018&l
ng=pt&nrm=iso&tlng=pt>. Acesso em 02 mai 2012.
BRASIL. Ministrio da Sade. Departamento de Ateno
Bsica DAB. Histrico de cobertura Sade da Famlia.
[2015]. Disponvel em: <http://dab.saude.gov.br/dab/
historico_cobertura_sf/historico_cobertura_sf_relatorio.
php>. Acesso em 01 jun 2015.
______. Autoavaliao para a Melhoria do Acesso e da
Qualidade da Ateno Bsica: AMAQ. Braslia, Ministrio
da Sade, 2012a.
______. Programa Nacional de Melhoria do Acesso e da
Qualidade da Ateno Bsica (PMAQ). Braslia, 2012b.
BRASIL. Ministrio da Sade. Portaria n 2.488. Aprova a
Poltica Nacional de Ateno Bsica. Braslia, 2011a.
223

Marco Akerman e Juarez Pereira Furtado (Orgs)

______. Portaria n 1.654, de 19 de julho de 2011. Braslia,


2011b.
______. A melhoria contnua da qualidade na ateno
primria sade: conceitos, mtodos e diretrizes. Srie B.
Textos Bsicos de Sade. Braslia, 2010.
______. Caderno de Auto-Avaliao n.3: Unidade Sade da
Famlia. Braslia, 2009.
BRASIL. Ministrio da Sade. Secretaria de Ateno Sade.
Departamento de Ateno Bsica. Avaliao para Melhoria
da Qualidade da Estratgia Sade da Famlia: Guia de
Implantao Municipal AMQ. Braslia, 2006.
BRASIL-PISSATTO, S.B.G. Avaliao da qualidade da ateno
bsica nos municpios do Departamento Regional de Sade
de Sorocaba. Tese [Doutorado] Faculdade de Medicina de
Botucatu, Universidade Estadual Paulista, Botucatu, 2011.
BRITO, T.A.; JESUS, C.S. Evaluacin de servicios de salud:
aspectos conceptuales y metodolgicos, Revista Lecturas,
Educacin Fsica y Deportes, Revista Digital, v. 139, n. 14,
p 1-7, 2009. Disponvel em: <http://www.efdeportes.com/
efd139/avaliacao-de-servicos-de-saude.htm>. Acesso em:
21 jun 2013.
BROUSSELLE, A. et al. (Org.). Avaliao: conceitos e
mtodos. Traduo de Michel Colin. Rio de Janeiro: Editora
Fiocruz, 2011.
BRUIN-KOOISTRA, M. et al.Finding the right indicators for
assessing quality midwifery care. International Journal for
Quality in Health Care, v. 24, n. 3, p. 301310. 2012.
CAMPOS, G.W.S. Suficincias e insuficincias da poltica
para a Ateno Bsica no Brasil. Debate sobre o artigo de
Conill. Cad. Sade Pblica, Rio de Janeiro, 24 Sup 1, p. S7S27, 2008
224

Prticas de avaliao em sade no Brasil - dilogos

______. Estratgias de avaliao e melhoria contnua


da qualidade no contexto da Ateno Primria Sade.
Revista Brasileira de Sade Materno Infantil, v. 5, supl. 1,
p. s63-s69, dez. 2005.
CASSADY, C.E. et al. Measuring consumer experiences with
primary care. Pediatrics, v. 105, p. 998-1003, 2000.
CASTANHEIRA, E.R.L. et al. Avaliao de Servios de
Ateno Bsica em municpios de pequeno e mdio porte
no Estado de So Paulo: resultados da primeira aplicao
do instrumento QualiAB. Revista Sade em Debate,
Rio de Janeiro, v. 38, n. 103, p. 679-691, out.-dez., 2014.
Disponvel em: <http://cebes.com.br/site/wp-content/
uploads/2015/01/RSD103_web.pdf>. Acesso em: 12 de jan
2015.
CASTANHEIRA, E.R.L. et al. QualiAB: desenvolvimento e
validao de uma metodologia de avaliao de servios
de ateno bsica. Saude e Sociedade, So Paulo, v. 20,
n. 4, p.935-947, dez. 2011. Disponvel em: <http://dx.doi.
org/10.1590/S0104-12902011000400011>. Acesso em: 27
fev 2014.
CASTANHEIRA, E.R.L. et al.Avaliao da qualidade da
ateno bsica em 37 municpios do centro-oeste paulista:
caractersticas da organizao da assistncia. Sade e
Sociedade, So Paulo, v.18, supl.2, abr./jun.,2009.
CONILL, E.M. Ensaio histrico-conceitual sobre a Ateno
Primria Sade: desafios para a organizao de servios
bsicos e da Estratgia Sade da Famlia em centros urbanos
no Brasil. Cad. Sade Pblica, Rio de Janeiro, 24 Sup 1, p.
S7-S27, 2008.
DONABEDIAN, A. Evaluating the Quality of Medical Care.
The Milbank Quarterly, v. 83, n. 4, p. 691-729, 2005.
225

Marco Akerman e Juarez Pereira Furtado (Orgs)

______. La dimension internacional de La evaluacin y


garanta de La calidad. Salud Pblica de Mxico, v.32, n.2,
p. 113-117, 1990.

Prticas de avaliao em sade no Brasil - dilogos

______.Assessment of technology and quality. International


Journal of Technology Assessment in Health Care, v.4,
p.487-496, 1988.

HAGGERTY, J.; MARTIN, C. M. Evaluating Primary Health Care


in Canada AND The Right Questions to Ask! The National
Evaluation Strategy for Primary Health Care. Ottawa: Health
Canada; 2005. Disponvel em: <http://www.academia.
edu/233290/EVALUATING_PRIMARY_HEALTH_CARE_IN_
CANADA_THE_RIGHT_QUESTIONS_TO_ASK>. Acesso em:
30 dez 2014.

______.Some issues in evaluating the quality of nursing


care. Measuring and Evaluting Nursing Care, v. 59, n. 10,
Oct. 1969.

HARTZ, Z.M.A. Avaliao dos programas de sade:


perspectivas terico metodolgicas e polticas institucionais.
Cincia & Sade Coletiva, v. 4, n. 2, p. 341-353, 1999.

DUNCAN, B.B. et al.Quality and effectiveness of different


approaches to primary care delivery in Brazil. BMC Health
Services Research, London, v. 6, n. 156, p. 1-13, Dec. 2000.

HARZHEIM, E. et al. Validao do instrumento de avaliao


da ateno primria sade: PCATool-Brasil adultos. Revista
Brasileira de Medicina de Famlia e Comunidade. Rio de
Janeiro, v. 8, n. 29, p. 274-84, out-dez. 2013.

FACCHINI, L.A. et al.Avaliao de efetividade da Ateno


Bsica Sade em municpios das regies Sul e Nordeste
do Brasil: contribuies metodolgicas. Cad. Sade
Pblica,Rio de Janeiro, v.24, supl.1,2008.
FURTADO, J.P.; VIEIRA-DA-SILVA, L.M. A avaliao de
programas e servios de sade no Brasil enquanto espao
de saberes e prticas. Cad. Sade Pblica, Rio de Janeiro, v.
30, n. 12, p. 2643-2655, dez. 2014.
FURTADO, J.P.; LAPERRIRE, H. Parmetros e paradigmas
em meta-avaliao: uma reviso exploratria e reflexiva.
Cincia & Sade Coletiva, v. 17, n. 3, p. 695-705, 2012.
FURTADO, J.P. Avaliao de programas e servios. In:
GASTO W.S.C. et al. Tratado de Sade Coletiva. So Paulo/
Rio de Janeiro: Hucitec/Fiocruz, 2006.
GIL, C.R.R. Ateno primria, ateno bsica e sade da
famlia: sinergias e singularidades do contexto brasileiro.
Cad. Sade Pblica, Rio de Janeiro, v. 22, n. 6, p. 1171-1181,
jun. 2006.
226

HARZHEIM, E. et al. Consistncia interna e Confiabilidade


da Verso em Portugus do Instrumento de Avaliao da
Ateno Primria (PCATool-Brasil) para Servios de Sade
Infantil. Cad. Sade Pblica, Rio de Janeiro, v. 22, n. 8,
p.1649-1659, 2006.
PINTO, H.A.; SOUSA, A.; FLORNCIO, A.R. O Programa
Nacional de Melhoria do Acesso e da Qualidade da Ateno
Bsica: Reflexes sobre o seu desenho e processo de
implantao. RECIIS R. Eletr. de Com. Inf. Inov. Sade. Rio
de Janeiro, v.6, n.2, Sup., Ago. 2012.
MARSIGLIA, R.M.G. et al. Integralidade e ateno primria
em sade: Avaliao da organizao do processo de
trabalho em unidades de sade da Secretaria Municipal
da Sade de So Paulo. 2008. Disponvel em: <http://
www.cealag.com.br/Trabalhos/INTEGRALIDADE%20E%20
ATEN%C3%87%C3%83O%20PRIM%C3%81RIA%20EM%20
SA%C3%9ADE/Relat%C3%B3rio.pdf>. Acesso em: 18 nov
2014.
227

Marco Akerman e Juarez Pereira Furtado (Orgs)

MELLO, G.A.; FONTANELLA, B.J.B.; DEMARZO, M.M.P.


Ateno Bsica e Ateno Primria Sade - origens e
diferenas conceituais. Revista de Ateno Primria
Sade, v. 12, n. 2, p. 204-213, abr./jun. 2009.
MENDES-GONALVES, R.B. Tecnologia e organizao social
das prticas de sade. So Paulo: Editora Hucitec; 1994.
Nemes, M.I.B. Avaliao em Sade: questes para os
programas de DST/AIDS no Brasil. Associao Brasileira
Interdisciplinar de AIDS. Rio de Janeiro, 2001.
Nemes, M.I.B.; CASTANHEIRA, E.R.L.; MELCHIOR, R.; ALVES,
M.T.S.S.B.; BASSO, C. R. Avaliao da qualidade da assistncia
no programa de Aids: questes para a investigao em
servios de sade no Brasil. Cad. Sade Pblica, Rio de
Janeiro, v. 20, n.Supl. 2, p. S310-S321, 2004.
OLIVEIRA, M.M.C. Presena e extenso dos atributos a
ateno primria sade entre os servios de ateno
primria em Porto Alegre: uma anlise agregada.
[Dissertao de mestrado]. Faculdade de Medicina.
Universidade Federal do Rio Grande do Sul. Porto Alegre,
2007.
ORGANIZAO PAN-AMERICANA DE SADE. Organizao
Mundial de Sade. Renovao da Ateno Primria em
Sade nas Amricas: documento de posicionamento
da Organizao PanAmericana da Sade/Organizao
Mundial da Sade (OPAS/OMS), 35 p., Washington:
Mar. 2008. Disponvel em: <http://bvsms.saude.gov.br/
bvs/publicacoes/renovacao_atencao_primaria_saude_
americas.pdf>. Acesso em: 08 fev 2015.
PAIM, J. et al. O futuro do SUS. Editorial. Cad. Sade Pblica,
Rio de Janeiro, v. 28, n. 4, p. 612-613, abr. 2012a.

228

Prticas de avaliao em sade no Brasil - dilogos

PAIM, J. et al.Ateno Primria Sade: uma receita para


todas as estaes? Sade em Debate. Rio de Janeiro, v. 36,
n. 94, p. 343-347, jul./set. 2012b.
PASARN, M.I.; BERRA, S.; GONZLEZ, A.; SEGURA, A.;
TEB, C.; GARCA-ALTS, A.; VALLVERD, I.; STARFIELD, B.
Evaluation of primary care: The Primary Care Assessment
Tools Facility version for the Spanish health system.
RevistaGaceta Sanitaria., v. 27, n. 1, p. 12-18, 2013.
PISCO, L.A. A avaliao como instrumento de mudana.
Cincia & Sade Coletiva, Rio de Janeiro, v.11, n.3, p.566568, 2006.
SANINE, P.R. Avaliao da ateno sade da criana
em unidades bsicas de sade no Estado de So Paulo.
Dissertao (Mestrado) Faculdade de Medicina de
Botucatu, Unesp, Botucatu, 2014.
SCHRAIBER, L.N. et al.Planejamento, gesto e avaliao em
sade: identificando problemas. Cincia & Sade Coletiva,
v. 4, n. 2, p. 221-242, 1999.
SCHRAIBER, L.N.; MENDES-GONALVES, R.B. Necessidades
de sade e ateno primria. In: SCHRAIBER, L.N.. Sade do
adulto: programas e aes na unidade bsica. So Paulo:
Hucitec, 2000.
SCOTT, I.; CAMPBELL, D. Health services research: what is
it and what does it offer? Internal Medicine Journal, v. 32,
p. 91-99, 2002. Disponvel em: <http://www.ncbi.nlm.nih.
gov/pubmed/11885850>. Acesso em: 22 jan 2015.
SHI, L.; STARFIELD, B.; XU, J. Validating the Adult Primary
Care Assessment Tool. The Journal of Family Practice, v. 50,
n. 161, 2001.

229

Marco Akerman e Juarez Pereira Furtado (Orgs)

Starfield, B. Ateno Primria: equilbrio entre


necessidades de sade, servios e tecnologia. Braslia:
Ministrio da Sade Unesco, 2002.
TEIXEIRA, S.M.F. Retomar o debate sobre a Reforma
Sanitria para avanar o Sistema nico de Sade (SUS).
RAE, So Paulo, v. 49, n.4, 472-480, out./dez. 2009.
TANAKA, O.Y.; ESPIRITO SANTO, A.C.G. Avaliao da
qualidade da ateno bsica utilizando a doena respiratria
da infncia como traador, em um distrito sanitrio do
municpio de So Paulo. Rev. Bras. Saude Mater. Infant.,
Recife, v. 8, n. 3,p. 325-332, set. 2008. Disponvel em: <http://
www.scielo.br/scielo.php?script=sci_arttext&pid=S151938292008000300012&lng=pt&nrm=iso>. Acessos em: 01
mar 2015.
TSAI, J.; SHI, L.; YU, W. L.; HUNG, L. M.; LEBRUN, L. A. Physician
specialty and the quality of medical care experiences in the
context of the Taiwan national health insurance system. J
Am Board Fam Med., v. 23, n. 3, p. 402-12. 2010a.
TSAI, J.; SHI, L.; YU, W. L. LEBRUN, L. A. Usual source of
care and the quality of medical care experiences: a crosssectional survey of patients from a Taiwanese community.
Med Care, v. 48, n.7, p. 628-34. 2010b.

Prticas de avaliao em sade no Brasil - dilogos

VASCONCELOS, R.A. Avaliao da qualidade da ateno


bsica no municpio de Bauru: desafios para um processo de
mudana. Dissertao (Mestrado) Faculdade de Medicina
de Botucatu, Universidade Estadual Paulista, Botucatu, 2011.
Disponvel em: <http://www.athena.biblioteca.unesp.br/
exlibris/bd/bbo/33004064078P9/2011/vasconcelos_ra_
me_botfm.pdf>. Acesso em: 17 fev 2014.
Venncio, S.i. et al.Avaliao para a melhoria da
qualidade da estratgia Sade da Famlia AMQ: estudo
de implantao no Estado de SP. So Paulo, Instituto de
Sade, 2008.
VERAS, C.L.S.M.; VIANNA. R.P.T. Desempenho de
Municpios paraibanos segundo avaliao de caractersticas
da organizao da ateno bsica: 2005. Epidemiol.
serv. Sade. Vol.18, n.2, p. 133-140, 2009. Disponvel
em:
<http://scielo.iec.pa.gov.br/scielo.php?script=sci_
arttext&pid=S1679-49742009000200004&lng=pt&nrm=iso
&tlng=pt&tlng=>. Acesso em: 14 mar 2014.
ZARILI, T.F.T. Avaliao de servios de ateno bsica:
atualizao e validao do instrumento QualiAB. Dissertao
[Mestrado]. Faculdade de Medicina de Botucatu, Unesp,
Botucatu, 2015.

WONG, S. Y.; KUNG, K.; GRIFFITHS, S. M. CARTHY, T.; WONG,


M. C.; LO, S. V.; CHUNG, V. C.; GOGGINS, W. B.; STARFIELD,
B. Comparison of primary care experiences among adults
in general outpatient clinics and private general practice
clinics in Hong Kong. BMC Public Health, v. 10, n. 397, 2010.
VAN DER MEER, F.B.; EDELENBOS, J. Evaluation in multiactor policy processes: accountability, learning and cooperation. Evaluation: The International Journal of Theory,
Research and Practice, London, v.12, n.2, p.201-218, 2006.
230

231

Captulo 6
PMAQ So Paulo: avaliao,
articulao em rede e
resultados preliminares
Marco Akerman, Juarez Pereira Furtado,
Maria do Carmo Caccia Bava, Augusto
Mathias, Vnia Barbosa do Nascimento, Lcia
Izumi, Lislaine Fracolli, Maria Jos Bistafa
Pereira, Lara Motta,Ione Ferreira Santos,
Elen Rose, Oziris Simes, Isa Trajtergetz,
Adriana Barbosa, Grace Noronha, Tereza
Nakagawa,Geovani Gurgel Aciole da Silva,
Laura Feuerwerker, Marcia Tuboni

Introduo: algumas iniciativas de avaliao da Ateno


Bsica no Brasil
A Ateno Bsica (AB) vem sendo propugnada como
reordenadora da rede de ateno e cuidado sade, tendo
a Estratgia de Sade da Famlia (ESF) como o principal
dispositivo para o alcance de seus objetivos. Esta Estratgia
tem suas aes centradas no territrio, ativadas por equipes
de sade em cooperao com os moradores de suas

Marco Akerman e Juarez Pereira Furtado (Orgs)

respectivas reas, apoiadas por outros setores de governo


ou Organizaes No Governamentais. (TANAKA, 2011)
A expanso e consolidao da Ateno Bsica Sade
no Brasil, luz do processo de descentralizao, no tem
sido uma tarefa simples de ser alcanada. As dificuldades
para implant-la em todo o territrio nacional j foram
muito debatidas e apontadas em artigos acadmicos e
documentos tcnicos, demonstrando a complexidade do
problema. (CARNEIRO JR. et al., 2011; ESCOREL et al., 2007;
HEIMANN et al., 2011)
A amplitude das questes envolvidas relaciona-se
ao pouco investimento financeiro que historicamente vem
sendo destinado ateno bsica em contraposio aos
recursos aplicados na mdia e alta complexidade; herana
de um modelo centrado no consumo de tecnologia mdica
como preferncia teraputica; a um sistema privado
que pauta o modo de organizao do sistema pblico
de sade; diversidade territorial brasileira, que exige
estratgias distintas de implantao da AB; desigualdade
na oferta de servios, sendo sua distribuio concentrada
nos grandes centros urbanos e de modo desarticulado; a
municpios com pouca capacidade tcnica e financeira
para enfrentar a gesto de uma rede de ateno sade
e modalidade complexa de cuidados em sade como
a AB; tmida cooperao das instncias estaduais;
precria institucionalidade para dar conta de alternativas
gerenciais capazes de solucionar entraves e proporcionar
a agilidade necessria ao desempenho dos servios; s
instituies formadoras de profissionais de sade que
oferecem resistncia s mudanas em seus currculos,
evitando o compromisso de ampliar o ensino voltado para a
Ateno Primria em Sade (APS) pautada nos princpios da
Poltica Nacional de Ateno Bsica; (BRASIL. MINISTRIO
DA SADE, 2012) poucos profissionais disponveis e
qualificados para exercerem suas atividades em unidades
234

Prticas de avaliao em sade no Brasil - dilogos

de ateno primria sade, na perspectiva citada, entre


outras dificuldades.
Sem dvida, a complexidade dos diferentes aspectos
apontados compromete o modo como a ateno sade
deve ser organizada na direo da expanso, cobertura e
qualidade dos servios de AB. O ritmo de implantao e
melhoria da ateno e dos cuidados oferecidos populao
ainda no o desejvel.
Mas so constataes que se apresentam em um
contexto geral de ampliao dos mecanismos de avaliao
da AB que tm contribudo para conceber estratgias
e macropolticas que procuram reverter a realidade
apresentada. No obstante, h que dimensionar se essas
estratgias tm provocado melhorias ou se possvel
identificar novos desafios.
Apesar do crescente interesse pela avaliao
de programas e polticas em sade no Brasil, seja nas
universidades, no terceiro setor ou no interior do
Ministrio da Sade, o Brasil tem ainda muito a avanar
no estabelecimento de prticas avaliativas incorporadas
s iniciativas pblicas, tanto como forma de apoio
gesto como para a transparncia e prestao de contas
sociedade das aes de polticas pblicas no mbito social.
O campo da avaliao tem uma dimenso pragmtica
muito presente que o faz um campo de conhecimentos
e prticas, no qual cientificidade e compromisso com
a realidade mais imediata mantm-se em permanente
tenso. Nesse sentido, Dubois e Marceau (2005) apontam
grande ciso entre prtica e teoria, consequentemente
havendo pouca contribuio das formulaes acadmicas
s prticas avaliativas e, por outro lado, poucos subsdios
dessas mesmas prticas ao pensamento na rea. Assim,
polarmente consideradas, as formulaes tericas no
se beneficiam das questes oriundas da implementao
235

Marco Akerman e Juarez Pereira Furtado (Orgs)

concreta de processos avaliativos em uma realidade que


sempre resiste aos nossos intentos, por mais planejados
que sejam, suscitando novos e inesperados desafios. Por
seu turno, as prticas avaliativas ficam privadas de reflexes
e anlises que potencialmente permitiriam aprofundar
e avanar suas estratgias e ferramentas. (FURTADO;
LAPERRIRE, 2012)
Desde 1998, com o advento do Pacto de Gesto,
muitos so os anncios de propostas e projetos de pesquisas
propondo a avaliao da AB/ESF no Brasil e que esto
ancoradas em instrumentos e metodologias diversificados
buscando a adoo de parmetros de qualidade que sejam
mensurveis, comparveis e que, idealmente, possam
alcanar validade nacional. A ttulo de ilustrao, seguem
alguns exemplos que merecem citao: (1) Avaliao para
Melhoria da Qualidade (AMQ); (BRASIL. MINISTRIO DA
SADE, 2005) (2) Primary Care Assessment Tool(PCATool);
(FIGUEIREDOet al., 2013) (3) EuropeanTask Force on
Patient Evaluation of General Practice Care (EUROPEP);
(BRANDOet al., 2013) (4) iniciativas de monitoramento e
avaliao ligados ao Projeto de Expanso e Consolidao do
Sade da Famlia (Proesf). (IBAEZ et al., 2006)
A AMQ proposta pelo Ministrio da Sade como
instrumento de autoavaliao, utilizado na ESF (BRASIL.
MINISTRIO DA SADE, 2005), possui duas grandes
categorias de anlise, a gesto e a equipe de sade, que
so compostas por cinco dimenses: desenvolvimento da
estratgia; coordenao tcnica das equipes; unidade de
Sade da Famlia; consolidao do modelo de ateno;
e ateno sade. Estas dimenses esto dispostas em
instrumentos especficos, todos compostos por diversos
padres categorizados por estgios de qualidade, assim
definidos: qualidade elementar (E), em desenvolvimento (D),
consolidada (C), boa (B) e avanada (A). Citando Figueiredo
et al. (2013), ele nos informa que desde sua implantao,
236

Prticas de avaliao em sade no Brasil - dilogos

246 municpios finalizaram a primeira autoavaliao,


sobre um total de 2.090 equipes da Estratgia Sade da
Famlia. Contudo, at o presente momento, no foram
publicados estudos validando a AMQ como instrumento de
avaliao da qualidade da AB. (FIGUEIREDO et al., 2013)
O PCATool foi desenhado com base nos atributos
essenciais derivados da ateno primria em sade (APS)
e sistematizado por Almeida e Macinko (2006): acesso do
primeiro contato do indivduo com o sistema de sade;
longitudinalidade; integralidade; coordenao; orientao
familiar; orientao comunitria; e competncia cultural. A
estes aspectos foram agregadas as proposies de estrutura
e processo de Donabedian e associadas a cada um deles, o
que possibilitou a avaliao da relao entre a utilizao de
servios da AB e os resultados em sade. (FIGUEIREDO et
al., 2013)
Figueiredo et al. (2013) fizeram uma anlise de
concordncia entre estes dois instrumentos na cidade
de Curitiba em 2008 e tomando o PCATool como gold
standard encontraram elevada concordncia com os
atributos de integralidade e orientao familiar, mas
baixa concordncia com acesso do primeiro contato do
indivduo com o sistema de sade; longitudinalidade;
coordenao; orientao comunitria; e competncia
cultural.
J o EUROPEP trabalha com a dimenso da satisfao
dos usurios com os cuidados em sade e compreende:
acesso, organizao, interao usurio-profissional. O
estudo de Brando et al. (2013), que revisou, adaptou
e aplicou o EUROPEP no municpio do Rio de Janeiro,
mostrou que o instrumento de fcil aplicao, podendo
ser utilizado rotineiramente para monitoramento da ESF,
sendo importante ferramenta para a institucionalizao da
avaliao. (BRANDO et al., 2013)
237

Marco Akerman e Juarez Pereira Furtado (Orgs)

IBANEZ et al. (2006) incluiu em sua anlise municpios


paulistas com mais de 100.000 habitantes abordando
oito dimenses da ateno bsica avaliadas por usurios,
acompanhantes e trabalhadores de sade. Em grupos de
municpios com melhores indicadores sociais houve melhor
avaliao por parte dos usurios, mas naqueles com
indicadores sociais mais desfavorveis os trabalhadores
avaliaram melhor a dimenses vnculo, elenco de servios,
enfoque familiar e orientao comunitria.
E a veio o PMAQ
O Programa Nacional de Melhoria do Acesso e da
Qualidade da Ateno Bsica (PMAQ) prope: buscar
induzir a ampliao do acesso e a melhoria da qualidade da
ateno bsica, com garantia de um padro de qualidade
comparvel nacional, regional e localmente de maneira
a permitir maior transparncia e efetividade das aes
governamentais direcionadas Ateno Bsica em Sade
em todo o Brasil. (BRASL. MINISTRIO DA SADE, 2011)
Nesse sentido, o PMAQ procura induzir a instituio
de processos que ampliem a capacidade das gestes federal,
estaduais e municipais, alm das Equipes de Ateno
Bsica, em ofertarem servios que assegurem maior acesso
e qualidade, de acordo com as necessidades concretas da
populao. (BRASIL. MINISTRIO DA SADE, 2014)
Em outras palavras, estimular que o clamor to
necessrio por recursos se d ancorado em processos
avaliativos nacionais que possam ser parametrizados e
monitorados com algum grau de continuidade.
O PMAQ est organizado em fases que se
complementam e que conformam um ciclo contnuo de
melhoria do acesso e da qualidade da AB. Num primeiro
passo, o municpio faz adeso ao projeto por meio da
238

Prticas de avaliao em sade no Brasil - dilogos

assinatura do Termo de Compromisso Municipal e a


contratualizao das equipes de sade e os trs entes
de gesto (federal, estadual e municipal) assumem
compromissos para a melhoria do acesso e qualidade no
mbito da ateno bsica.
Da seguem-se as seguintes etapas: Autoavaliao
(ponto de partida do PMAQ), Monitoramento, Educao
Permanente e Apoio Institucional. Na sequncia, vem a
Avaliao Externa, Certificao e Recontratualizao.
Este captulo trata especificamente da fase da
Avaliao Externa, que obteve em campo um panorama das
condies gerais de acesso e de qualidade da totalidade de
municpios e equipes participantes.
Especificamente, vamos:
1) discutir os resultados obtidos pela avaliao externa
do PMAQ no 1 ciclo (2011/ 2012), comparando os dados
selecionados no banco nacional com dados do Estado de
So Paulo;
2) descrever o arranjo organizativo dos participantes
institucionais, Instituies de Ensino Superior, na avaliao
externa do 2 ciclo do PMAQ (2013/2014) no Estado de So
Paulo. Este desenho redundou em um arranjo original de
coordenao colegiada estadual composta pelos seguintes
participantes: Ministrio da Sade (MS), Secretaria de
Estado da Sade do Estado de So Paulo (SESSP), Conselho
de Secretrios Municipais de Sade do Estado de So Paulo
(COSEMS-SP), a Universidade Federal do Rio Grande do Sul
(UFRGS) e 10 instituies paulistas de Ensino Superior na
avaliao externa.
3) apresentar as impresses e percepes extradas de
narrativas dos docentes das 10 IES participantes do 2 ciclo.

239

Marco Akerman e Juarez Pereira Furtado (Orgs)

Resultados e discusso
O espao da avaliao em sade no Brasil, a partir do
advento do SUS, na dcada de 1990, produto de foras
oriundas de trs campos distintos (burocrtico, cientfico e
econmico). Dessa forma, podemos afirmar que o espao
da avaliao em sade no Brasil, a partir dos anos 1990,
formado pela convergncia e articulao entre agentes
ligados aos campos burocrticos e agentes do campo
cientfico, cuja resultante o delineamento de novo espao
especializado no interior da Sade Coletiva. (FURTADO;
VIEIRA-DA-SILVA, 2014)
As influncias do campo econmico e do campo
burocrtico determinaro especial compromisso do espao
da avaliao com a utilizao dos resultados gerados pelos
processos avaliativos, uma vez que esses dois campos
citados se caracterizam por grande compromisso com a
aplicao do conhecimento em suas prprias iniciativas.
Esse compromisso com o uso e aplicao da informao e
do conhecimento para subsidiar decises ir impor desafios
importantes ao campo cientfico, tradicionalmente detentor
de autonomia e baixo compromisso com a aplicao
pragmtica de seus achados, (PRAIA; CACHAPUZ, 2005)
o que aqui caracterizou importante desafio aos docentes
e pesquisadores envolvidos, uma vez que a gerao de
informaes e conhecimentos para subsidiar em decises
estava firmada desde os primrdios da preparao para os
trabalhos de campo.

Prticas de avaliao em sade no Brasil - dilogos

Bahia, Pelotas, Rio Grande do Sul, Minas Gerais, FIOCRUZ.


Cada uma destas Universidades estabeleceu conexes com
IES dos estados que estavam sob sua responsabilidade. A
cidade de So Paulo e sua Regio Metropolitana foram o
quinho que coube UFRGS; enquanto a avaliao externa
no interior do Estado de So Paulo ficou a cargo da UFMG.
Para operar esta avaliao externa em So Paulo,
a UFRGS estabeleceu cooperao com as Faculdades de
Medicina do ABC e com a Faculdade de Sade Pblica da
USP. Quarenta e quatro supervisores e avaliadores foram
selecionados e se deslocaram para o campo, munidos de
seus tablets, aps um breve treinamento sobre o censo e
os mdulos que compunham a avaliao externa e aps
dialogarmos com as equipes de gesto dos municpios que
seriam visitados.
Os supervisores e avaliadores foram bem-recebidos
pelas equipes gestoras, profissionais de sade e usurios.
Entretanto, havia certa tenso no ar sobre a natureza da
avaliao. Seria uma fiscalizao? Uma auditoria?
O que poder acontecer se no formos bem-avaliados?
Saberemos como fomos avaliados?

O 1 ciclo em So Paulo: para reconhecer localmente o


projeto nacional

Em alguns municpios visitados, no 2 ciclo, muitos


desses questionamentos ainda permaneceram entre as
equipes. Esta tarefa de retorno qualificado dos resultados
da avaliao externa para as equipes extremamente
importante e os gestores dos municpios com o apoio dos
COSEMS, Secretarias Estaduais e Universidades poderiam
se incumbir desta tarefa. E nesta prestao de contas
dos resultados, contribuir com exerccios de autorreflexo
e autoconhecimento sobre o processo de trabalho
desenvolvido pelas equipes.

Como do conhecimento pblico, o MS estabeleceu


mecanismos de cooperao com IES Federais para a
execuo da avaliao externa: Universidades Federais da

Uma pequena amostra destes dados aqui


apresentada no Quadro 1, onde 26 dimenses do cuidado e
da satisfao dos usurios so apresentadas, comparando-

240

241

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

se os valores agregados em nvel nacional com os


encontrados no Estado de So Paulo. A escolha destas
variveis, a princpio, foi feita pela equipe de avaliao do
DAB/MS como um sorteio amostral das possibilidades do
banco para serem apresentados s equipes do Ministrio,
estados, municpios, universidades, etc., em apresentaes
pblicas sobre o PMAQ.
O Quadro 1 mostra o resultado Nacional agregado
para o 1 Ciclo do PMAQ (2011/2012), cotejado com os
dados agregados do 1 ciclo em So Paulo.
Quadro 1 - Resultados agregados do PMAQ obtidos no 1
ciclo, Brasil e So Paulo, 2011-2012
CLASSIFICAO
DAS EQUIPES
CADASTRADAS NO
PMAQ
Desempenho muito
acima da mdia

So Paulo

Brasil

N equipes

(%)

N equipes

(%)

710

30,6

3.077

17,6

1.068

46

7.683

43,9

Desempenho mediano
ou um pouco abaixo
da mdia

473

20,4

6.078

34,8

Insatisfatria

34

1,5

365

2,1

Excludas*

37

1,6

279

1,6

2.322

100

17.482

100

Fonte: Disponvel em: <http://www.saude.ba.gov.br/dab/arquivos/


APRESENTACAO%20PMAQ%20VIDEO%20OUT%202013.pdf.> Acesso
em 2014 e DAB/MS.

242

Estes dados no deixam de ser um ponto de partida para


a comparao nacional e criao de padres de qualidade a
serem alcanados, mas no nos convida de maneira absoluta
a comemor-los, pois h que se indagar quo distante, ou
prximo, de padres aceitveis de qualidade se encontra a
mdia nacional.
O Quadro 2 expande mais esta comparao colocando em
questo 26 variveis e, respectivos valores, do Brasil e do Estado
de So Paulo.
Quadro 2 Comparao entre indicadores/dimenses
selecionadas dos bancos nacional e estadual (SP) coletados no
1 ciclo do PMAQ, 2011-2012
(continuao)

Desempenho acima da
mdia

TOTAL

Os dados indicam que, no Brasil, aproximadamente, 2/3


das equipes alcanam algum padro de qualidade bem acima
da mdia em comparao com outro 1/3 na mdia ou pouco
abaixo. Em So Paulo, 1/5 das equipes mostraram desempenho
mediano ou um pouco abaixo da mdia e as equipes com
desempenho muito acima da mdia quase o dobro do Brasil.

Brasil

So
Paulo

Brasil

So
Paulo

Dimenses

mdia

mdia

Satisfao do
horrio de
funcionamento
das UBS

86

88

Visita do ACS

85

89

Indicadores

Funcionamento
da Sade

243

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 2 Comparao entre indicadores/dimenses


selecionadas dos bancos nacional e estadual (SP) coletados no
1 ciclo do PMAQ, 2011-2012

(continuao)

(continuao)
Indicadores
Dimenses

Brasil

So
Paulo

Brasil

So
Paulo

mdia

mdia

90

93

Retirada na
prpria UBS

69

80

Diabetes

94

96

Retirada na
prpria UBS

69

80

Sade da Mulher
da Criana

244

63

89

Maternidade
para o parto

67

95

Vacinas do
calendrio
bsico

82

84

Retirada de
ponto

60

81

Aplicao de
penicilina
(benzetacil)

50

73

Lavagem de
ouvido

35

39

Drenagem de
abscesso

34

81

Procedimentos
Ofertados

Disponibilidade
de Medicamento
Hipertenso

Visita do ACS

Mulheres
atendida no
mesmo dia

56

52

Sutura de
ferimento

31

29

Consultas para
outro dia

44

30

Extrao de
unha

25

22

Tempo de
espera

Realizao do
citopatolgico

97

99

79

83

Dias para
entrega dos
resultados

Avalia a equipe
como Boa ou
Muito boa

Avalia a equipe
como Regular

19

15

Consulta
ps-parto
na primeira
semana

71

87

Avalia a equipe
como Ruim ou
Muito ruim

1,5

13

37

30

14

Satisfao do
Usurio

245

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 2 Comparao entre indicadores/dimenses


selecionadas dos bancos nacional e estadual (SP) coletados no
1 ciclo do PMAQ, 2011-2012
(concluso)
Brasil

So
Paulo

Brasil

So
Paulo

Dimenses

mdia

mdia

No mudariam
de UBS

82

85

Recomendaria
a UBS a um
amigo ou
familiar

86

87

Indicadores

Fonte: Banco PMAQ 1 Ciclo - DAB/MS, 2013.

No h uma diferena to marcante entre as variveis


relacionadas com a satisfao dos usurios e acesso a
medicamentos entre os dois bancos nacional e estadual, alm
de que em ambos os bancos seus valores ultrapassam os 80%, o
que era de se esperar de usurios entrevistados dentro de UBSs
e certamente naquele momento com acesso garantido.
H variaes importantes, entretanto, em algumas
dimenses do cuidado, chamando ateno para a diferena
no tempo mdio de espera para consulta de mulheres,
respectivamente 13 dias e 30 dias entre os bancos nacional e
estadual ou no tempo de espera para receber o resultado de
um exame citopatolgico de 37 dias para o Brasil e 14 dias para
o Estado de So Paulo, ou mesmo quando comparamos alguns
procedimentos ofertados retirada de ponto, aplicao de
penicilina, drenagem de abscesso , para citar alguns exemplos
ilustrativos das possibilidades que a anlise mais refinada e em
dilogo com as equipes e usurios poderia proporcionar.
246

E o 2 ciclo?
Nesta continuidade do Programa, as IES Paulistas
formataram outro arranjo para participarem da avaliao
externa e de pesquisas a serem desenvolvidas nesta etapa.
Ainda, como parte do consrcio liderado pela UFRGS,
o Estado de So Paulo, neste 2 ciclo, no foi fatiado como
no 1, entre a UFRGS e a UFMG, mas assumido integralmente
por 10 IES paulistas Faculdade de Sade Pblica da USP,
Escola de Enfermagem da USP, Faculdade de Medicina da
Santa Casa de SP, Faculdade de Medicina do ABC, UNINOVE,
UNIFESP Baixada Santista, UNESP Botucatu, USP Ribeiro
Preto: FMRP e EERP, UFSCAR, Faculdade de Medicina de
Marlia (FAMEMA) subdivididas em trs macrorregies
para efeito de planejamento do campo e operao de
lgicas de matriciamento entre as Universidades, as Regies
de Sade e os Municpios.
Definiu-se o critrio de distribuio dessas equipes
para as instituies acadmicas a partir de inseres
histricas das universidades nos territrios, o que seria
elemento facilitador da sua desejada articulao com os
Departamentos Regionais de Sade e municpios integrantes
dos Colegiados de Gesto e Redes de Ateno Sade.
Mais que um exerccio tcnico, este matriciamento
se constituiu em um dispositivo poltico de coordenao
colegiada do PMAQ no Estado de So Paulo, formado pelo
MS, SESSP, COSEMS, UFRGS e as 10 IES paulistas.
Esta
arquitetura da operao do PMAQ no
Estado de So Paulo est estampada na Figura 1 e vem
se
caracterizando como instncia de coordenao,
acompanhamento e recomendao para o desenvolvimento
do PMAQ em So Paulo.

247

Marco Akerman e Juarez Pereira Furtado (Orgs)

Figura 1 Arquitetura de Operao do PMAQ no Estado


de So Paulo

Prticas de avaliao em sade no Brasil - dilogos

trs coordenadores pedaggicos (referncias para os


tutores do Curso a Distncia em Avaliao de Sistemas e
Servios de Sade), sete coordenadores acadmicos, sete
apoios administrativos e 102 supervisores e avaliadores em
articulao com a UFRGS/FAURGS tm sido trabalhoso e
mediado por um conjunto de dispositivos de comunicao
mais contemporneos como o Whatsapp, Facebook, emails,
bem como os tradicionais telefones e encontros presenciais
na cidade de So Paulo e nas Macrorregies.
E como isso tem ecoado
Macrorregies do estado?

Foi pactuado que os municpios seriam visitados


depois de organizados dilogos pelos docentes com
os gestores regionais e municipais para preparao e
organizao das visitas. Neste sentido, foram realizadas
reunies com o Conselho de Representantes do COSEMSSP,
com a rede de apoiadores do COSEMS aos Colegiados de
Gesto Regional, com os 94 articuladores da AB da SESSP,
com CGRs e DRSs nas trs macrorregies, com os gestores
de 19 municpios da regio metropolitana de So Paulo, e
com as cinco coordenaes regionais e a Coordenadora de
AB da Secretaria Municipal de Sade de SP.
O processo de matriciamento, comunicao e fluxos
tcnicos administrativos neste arranjo de mltiplos atores:
um articulador estadual, cinco apoiadores macrorregionais,
248

em cada

uma destas

O Coordenador Estadual, buscando valorizar e dar voz


aos participantes dos processos locorregionais, formulou
aos docentes vinculados s dez instituies universitrias
envolvidas na organizao da avaliao externa um convite
para que registrassem suas experincias a partir de uma
nica questo disparadora, que envolvia a descrio de sua
vivncia e de seu grupo nesse processo.
A seguir apresentamos suas impresses sobre essa
operao no estado.
A voz dos colegas das IES
Macrorregio1 - So Paulo/Baixada Santista/ABC Paulista
A voz dos colegas da Escola de Enfermagem da USP EEUSP
A proposta de parceria na execuo do projeto
PMAQ no Estado de So Paulo nos foi trazida como pauta
em reunio do Comit de Ateno Bsica da Secretaria de
Estado da Sade de So Paulo. Professores do Departamento
de Enfermagem em Sade Coletiva optaram por participar
249

Marco Akerman e Juarez Pereira Furtado (Orgs)

do PMAQ neste segundo ciclo, entendendo que este se


constitui em importante ferramenta para qualificao da
ateno e que seus resultados subsidiaro a produo de
conhecimento na rea da sade coletiva, em particular,
em estudos de avaliao de implementao da poltica de
Ateno Bsica no pas e de avaliao da incorporao de
aes no cotidiano dos servios e das equipes de sade, em
particular com foco na Estratgia Sade da Famlia.
A EEUSP vem participando de algumas fases
do processo de seleo e composio das equipes de
avaliadores e supervisores de campo e acompanhando
o processo de qualificao das equipes de avaliadores e
supervisores, tendo por coordenao e superviso direta
de pesquisadores e docentes da UFRGS no curso de
Especializao.
Iniciamos a fase de avaliao externa no municpio
de So Paulo. A EEUSP reuniu-se, compartilhando com os
coordenadores macrorregionais e a Santa Casa de So Paulo,
com os 5 Coordenadores Regionais de Sade e respectivas
32 Supervises de Sade da Secretaria Municipal de Sade
de So Paulo para apresentao do projeto, esclarecimento
de dvidas e estabelecimento de parcerias. Nestas reunies
foram estabelecidos com os interlocutores PMAQ de cada
regio a logstica de avaliao externa (roteiro e trajeto,
horrios, etc.). A equipe de avaliadores e supervisores
encerra a avaliao externa no municpio de So Paulo, que
tem incio em 10 de fevereiro e previso de trmino em 4
de abril.
Neste segundo ciclo, percebemos que o incio do
PMAQ vinha sendo aguardado com ansiedade, desde
seu anncio, tanto por gestores quanto pelas equipes
de modo geral que se prepararam para esta avaliao
externa. Isto foi possvel identificar no conhecimento
geral dos tcnicos quando da apresentao do projeto,
250

Prticas de avaliao em sade no Brasil - dilogos

quanto aos esclarecimentos dos documentos exigidos na


avaliao e nas respostas aos questionamentos realizados
nas reunies. Nas reunies, alguns dos questionamentos
dos gestores locais: como garantir que os recursos sejam
revertidos diretamente s equipes e UBS avaliadas? Como
garantir que os resultados da avaliao externa possam
de fato servir ao monitoramento das aes nas equipes e
UBS? H expectativa quanto a alguma forma de devolutiva
s equipes dos resultados de sua avaliao?
A voz dos colegas da UNINOVE
Foi a convite do Professor Marco Akerman que o
grupo de pesquisa do Programa de Mestrado Profissional
em Gesto de Sistemas de Sade (MPGSS ) iniciou a parceria
com as IES na importante e desafiante tarefa da avaliao
externa do PMAQ.
A UNINOVE no havia participado do 1 ciclo, mas
observando a grande importncia do PMAQ na qualificao
da Ateno Bsica e do valor da colaborao integrada
entre as universidades participantes, a causa foi abraada.
Durante as reunies de coordenao e planejamento
das atividades, observamos o grande desafio enfrentado
pelos supervisores do PMAQ no 1 ciclo para seleo de
avaliadores comprometidos em participar por todo perodo
da pesquisa de campo.
Nesse momento, a UNINOVE participou ativamente
na divulgao e na seleo de supervisores e avaliadores
e, aps esta fase, segue acompanhando e supervisionando
algumas equipes no municpio de So Paulo. Na fase da
seleo, houve grande interesse, porm os profissionais
tinham de ter disponibilidade de dedicao exclusiva, o que
limitou o nmero de candidatos. Outro ponto que afetou o
processo seletivo foi o alongamento na deciso para o incio
251

Marco Akerman e Juarez Pereira Furtado (Orgs)

do trabalho em campo e o encaminhamento do recurso


financeiro, fazendo com que os candidatos optassem
por outras oportunidades de trabalho. A rotatividade de
componentes da equipe tambm compromete o processo,
uma vez que o treinamento de novos componentes no
se d no mesmo momento dificultando a sinergia entre a
equipe.
Foi possvel perceber que o bom planejamento por
parte do grupo das IES e COSEMS foi o grande responsvel
por despertar o engajamento tanto dos gestores locais,
das equipes e dos avaliadores para o desenvolvimento do
projeto. Algumas intercorrncias, como j descritas pelas
demais IES, dificultaram alguns trmites, desencadearam
perda de componentes das equipes e provocaram uma
necessidade de adaptao do planejamento inicial por
algumas vezes.
Observam-se no decorrer das atividades muitos
desafios e dificuldade, no entanto tambm nota-se que
a avaliao externa representa o complemento, com um
olhar acadmico e de reflexo, da avaliao da ateno
bsica. Acredita-se, ento, que o trabalho conjunto
e o compartilhamento das dificuldades e das ideias
so fundamentais. As particularidades de cada regio
determinam dinmicas diferentes e estas diferenas so
observadas pelas universidades que esto em contato mais
prximo com o servio, tendo este contato e vnculo como
um facilitador para a execuo.
Apesar dos obstculos ainda a serem vencidos
neste ciclo, j se fazem valer algumas contendas que
trazem reflexes em relao aos relatos dos avaliadores e
supervisores que esto em contato direto com as equipes
e usurios. Esta viso vem complementar o pensamento
e as ponderaes da academia acerca da avaliao da
qualidade dos servios do Sistema nico de Sade. A partir
252

Prticas de avaliao em sade no Brasil - dilogos

da experincia em conjunto, da rede de universidades, se


acredita que o processo de avaliao externa tem grande
valor no apenas para promover a melhora da qualidade
dos servios de sade da ateno bsica, como tambm
para fortalecer a produo de conhecimento articulao da
IES com o sistema de sade de sua regio, colaborando com
o avano da qualidade do Sistema nico de Sade.
A voz dos colegas da UNIFESP Baixada Santista
A implementao de iniciativa como a do PMAQ,
que comporta componentes tradicionalmente ligados
avaliao e ao monitoramento representa esforo de
incorporar processos avaliativos perenes ao interior do
principal foco do SUS na atualidade a ateno bsica e
aproximar pensamento e reflexo prtica avaliativa, por
meio da insero do campo acadmico em parte dessa
iniciativa.
O ingresso da UNIFESP, Campus Baixada Santista, por
meio do laboratrio de avaliao de programas e servios
em sade, do Departamento de Polticas Pblicas e Sade
Coletiva, foi motivado justamente pelo intento em colaborar
com uma iniciativa de consolidao da avaliao na ateno
bsica e colocar a mo na massa, como se diz, de modo
a contribuir e, simultaneamente, compreender e analisar
como apreendido um processo avaliativo dessa magnitude
pela sociedade brasileira, sobretudo os trabalhadores das
equipes abordadas.
Nesse sentido, a colaborao crtica e o trabalho
de campo sempre atentos devero no s captar aquilo
que est previsto nos questionrios inseridos nos tablets,
mas igualmente gerar subsdios para o pensamento e a
elaborao de novas propostas em avaliao, que devem
sobretudo considerar as especificidades nacionais, bem
253

Marco Akerman e Juarez Pereira Furtado (Orgs)

distintas daquelas encontradas nos EUA e Canad, que em


muito influenciaram o espao da avaliao de programas e
servios em sade brasileiro.
A voz dos colegas do ABC Paulista
A compreenso acerca da dimenso que representa
todo o trabalho proposto pelo PMAQ e a necessidade
de envolver distintos agentes implicados com o xito do
sistema pblico de sade, influenciaram a deciso de
docentes da disciplina de Sade Coletiva da Faculdade de
Medicina do ABC de participarem do processo de avaliao
externa do PMAQ com o compromisso de envolver a
instituio. Influenciou esse interesse a possibilidade de
colocar a disposio do projeto a experincia em pesquisa
e o acmulo terico de docentes e ps-graduandos acerca
do objeto em questo.
Partiu-se para o envolvimento de vrias universidades
de So Paulo para a execuo da pesquisa, entendendo
que isso favoreceria a avaliao proposta e os futuros
desdobramentos no tocante anlise dos resultados para
a necessria reflexo sobre a ateno primria sade
no pas. Na primeira fase de avaliao, em 2012, foram
estabelecidas parcerias com a UNIFESP da Baixada Santista,
a Faculdade do ABC e a Faculdade de Sade Pblica da
USP. Na segunda fase de avaliao, em 2013, o processo
envolveu outras universidades com potencial papel de
articulao regional.

Prticas de avaliao em sade no Brasil - dilogos

trouxe novas inspiraes para o ambiente universitrio,


possibilitou vislumbrar identificar e diversificar os cenrios
de prtica para o ensino. Permitiu a criao de vnculos
entre servio e instituio de ensino. Exercitou-se a
capacidade de mediao e tolerncia entre pesquisadores
e gestores. Os profissionais de sade e gestores-alvo das
avaliaes, inicialmente, sentiam-se ameaados por uma
possvel avaliao de desempenho ruim, gerando tenso
no processo, fato que levou os pesquisadores a reverem
posturas e conduo do processo. Certamente ganharam
novas habilidades. Houve tambm a possibilidade de
influenciar no que pese ao aprimoramento dos instrumentos
de avaliao utilizados no projeto.
importante ressaltar que o grande ganho na estratgia
utilizada pela UFRGS de envolver as universidades de
modo territorializado representou mais uma possibilidade
para romper os muros da universidade, permitindo
instituio de ensino envolver-se com o cotidiano dos
servios na comunidade que est inserida, propiciando
a aproximao entre gestores e educadores. Durante o
processo foram realizados vrios encontros com gestores,
coordenadores de ateno bsica, equipe de avaliadores e
com pesquisadores de outras instituies. Destaca-se que a
convivncia com outras instituies de ensino no decorrer
dos processos de avaliao externa tem favorecido a
constituio de uma rede de pesquisadores interessados
em refletir sobre os propsitos do Programa.

Ao final do processo, j vivenciado na primeira etapa,


pode-se destacar o movimento gerado pela iniciativa de
envolvimento da universidade no processo de avaliao
externa do PMAQ. Incorporaram-se profissionais de sade,
alunos, docentes e pesquisadores, que se aproximaram da
realidade local onde acontecem os cuidados em sade. Isso
254

255

Marco Akerman e Juarez Pereira Furtado (Orgs)

Macrorregio 2 Botucatu/Marlia
A voz dos colegas da Faculdade de Medicina de Marlia
(FAMEMA)
A parceria na execuo do segundo ciclo do projeto
PMAQ, mais especificamente, na fase de avaliao externa,
foi proposta Faculdade de Medicina de Marlia (FAMEMA)
por meio do professor da disciplina de Sade Coletiva que
compunha o Comit de Ateno Bsica do Estado de So
Paulo.
Esta proposta foi apresentada aos gestores da
academia, que desencadearam apresentao da proposta
do PMAQ na instituio, convidando professores que
poderiam ter interesse em desenvolver esse projeto,
tendo-se a compreenso da relevncia do mesmo na
qualificao das aes de sade e que seus resultados
subsidiaro a produo de conhecimento na rea da sade
coletiva, podendo sustentar a discusso/reflexo da prtica
profissional na Ateno Bsica, destacando-se a Estratgia
Sade da Famlia (ESF), tendo como inteno a mudana do
processo de trabalho no cotidiano dos servios de sade.
Ressalta-se que a FAMEMA no participou do primeiro
ciclo e que assume este trabalho, com apoio importante da
coordenao macrorregional, responsabilizando-se pela
avaliao externa das regies no Departamento Regional
de Sade X de Marlia (DRS X) e no DRS XI de Presidente
Prudente. Para este trabalho conta-se com um coordenador
acadmico, um apoio administrativo, um supervisor e doze
avaliadoras.
Nas regies de Marlia e Presidente Prudente, 97
municpios aderiram ao segundo ciclo do PMAQ, somando
um total de 343 equipes de AB, 260 equipes de Sade Bucal
e oito equipes NASF.
256

Prticas de avaliao em sade no Brasil - dilogos

O trabalho teve incio com a participao da


coordenao acadmica e apoio administrativo no processo
seletivo e a composio das equipes de avaliadores e
supervisor de campo.
Para o incio das atividades de avaliao externa,
a coordenao acadmica, supervisora e coordenao
macrorregional/SP trabalharam com os articuladores
da Ateno Bsica das regionais de Marlia e Presidente
Prudente, na construo da logstica de avaliao externa. Os
articuladores se propuseram a intermediar a comunicao
entre o coordenador acadmico local e as secretarias
municipais. As negociaes se deram de forma tranquila
e flexvel buscando atender as solicitaes de gestores e
equipes de sade das regies no que se refere a datas e
horrios das visitas.
A avaliao externa teve incio pelo municpio de
Marlia no dia trs de fevereiro, sendo desenvolvida por
uma semana, interrompida por um perodo de cinco
semanas e retomado no dia 17 de maro. Ao contato entre
as avaliadoras e equipes avaliadas tinha-se o cuidado de
desconstruir a ideia da avaliao com carter autoritrio
e punitivo e estimular a compreenso de um movimento
construtivo que busca mudanas e melhorias para os
servios.
Semanalmente, a equipe de trabalho PMAQ Marlia
e Presidente Prudente reunia-se, as sextas-feiras tarde,
para fazer a avaliao do trabalho, do desempenho
das avaliadoras e supervisora, capacitao da equipe
para o trabalho e prestao de contas, junto ao apoio
administrativo.
Essa avaliao do processo de trabalho resultou
na reconduo e reorganizao das atividades para
os prximos perodos, sendo necessrio, em alguns
257

Marco Akerman e Juarez Pereira Furtado (Orgs)

momentos, nova discusso entre articuladores da Ateno


Bsica, coordenadora acadmica e supervisora sobre as
condutas que ocorreram durante a coleta de dados, para
que houvesse reconduo do planejamento das aes e,
dessa forma, o tornasse mais dinmico e estratgico.
importante considerar que do momento do processo
seletivo at o incio efetivo da avaliao externa, o trabalho
foi muito denso em funo da demora em se iniciarem as
atividades, vrios avaliadores desistiram em funo de suas
necessidades pessoais e profissionais, sendo necessria a
realizao do segundo processo seletivo. Por outro lado,
considera-se tambm o quanto prazeroso desenvolver
este trabalho que contribui muito no aprendizado dos
sujeitos do prprio processo, nas reflexes e compreenso
da realidade da ateno sade. Ressalta-se que algumas
equipes avaliadas referiram o interesse nos resultados da
avaliao externa, o que nos remete a uma compreenso
da necessidade da devolutiva ocorrer de forma mais
sistematizada promovendo realmente a reflexo das
mudanas necessrias.
A voz dos colegas da Faculdade de Medicina de Botucatu/
UNESP
A FMB/UNESP passou a participar da avaliao
externa do PMAQ em seu segundo ciclo assumindo o
trabalho nas regies em que desenvolve aes de apoio
gesto, marcadamente a partir da adeso do Estado de So
Paulo ao Pacto pela Sade em 2007, e que correspondem
centralmente s Redes Regionais de Ateno Sade
(RRAS) - 08 (Sorocaba) e 09 (Bauru).
Essas regies contam em conjunto com um total
de 116 municpios dos quais 89 (77%) participam da
avaliao do PMAQ. So regies com grande concentrao
258

Prticas de avaliao em sade no Brasil - dilogos

de municpios de pequeno e mdio porte exceo dos


municpios-sede.
Aderiram avaliao 265 equipes de Sade da
Famlia, 124 equipes de Sade Bucal e cinco NASF, que vm
sendo avaliadas por trs equipes com nove avaliadores, um
supervisor de campo, dois coordenadores pedaggicos e
dois coordenadores acadmicos.
O trabalho foi desencadeado a partir de
reunies realizadas com a equipe de Planejamento
dos Departamentos Regionais de Sade da SES SP, que
correspondem mesma rea das RRAS, com a participao
da equipe de Articuladores da Ateno Bsica de cada
Regional. O apoio dos DRS, particularmente na figura das
articuladoras, orientou o acesso e facilitou o contato com a
gesto municipal.
Uma primeira avaliao geral da vivncia no campo,
feita com o conjunto dos avaliadores aps dois meses de
atuao, foi orientada pelas questes utilizadas no caderno
de campo e divididas em: acesso aos servios, contato com
a gesto e coordenadores das unidades, posicionamento
dos profissionais da equipe e posicionamento dos usurios,
destacando-se em cada um desses aspectos pontos positivos
e negativos e ilustrando com situaes vivenciadas.
O acesso aos servios tem sido tranquilo, facilitado
pela van contratada pelo projeto e pela integrao do
motorista equipe, um quase avaliador no dizer das
avaliadoras de campo. Os gestores municipais e as equipes
de gesto, na maioria dos casos, tm sido receptivos,
facilitando o acesso s equipes da Ateno Bsica.
O contato com os gestores municipais, em geral,
tambm tem sido positivo. Os mais entusiastas querem
mostrar no apenas a rede bsica, mas outros servios de
sade do municpio e os projetos para o sistema de sade
259

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

local. A adeso dos gestores reflete-se bastante na forma


como as equipes da rede bsica recebem a avaliao, se
mais participativos ou mais indiferentes, ou seja, com base
na postura do gestor conferem maior ou menor importncia
e legitimidade ao processo de avaliao.

conjunto de questes que precisam ser trabalhadas por


meio da devoluo dos resultados, de modo a fechar
o ciclo avaliativo e propiciar processos de mudana e
aprimoramento da qualidade das aes desenvolvidas.

A falta de entendimento sobre o que o PMAQ fez


com que alguns gestores fizessem pedidos ao Ministrio
ou convidassem alguns avaliadores para trabalhar no
municpio. Uma minoria ainda confundia a avaliao
do PMAQ como uma avaliao de desempenho dos
profissionais. Foi frequente a arguio sobre os resultados
da avaliao, fator de maior expectativa entre os gestores.

Macrorregio 3 Ribeiro Preto / So Carlos

Os profissionais j apresentaram uma postura um


pouco diferente. Muitos se queixaram das dificuldades do
dia a dia, inclusive da falta de contato e apoio da gesto
municipal. Ainda que no para a maioria, mas com certa
frequncia, os avaliadores foram identificados como fiscais
do Ministrio; nesses casos, os profissionais manifestavam
receio de punio pelas eventuais falhas evidenciadas nos
servios.
O contato com os usurios vem sendo a experincia
mais rica para os avaliadores. Houve grande diversidade
na postura dos usurios, mas em sua maioria foram
considerados com uma boa percepo e viso crtica das
unidades e preocupados em saber se a avaliao vai ajudar
a melhorar a qualidade. Alguns contatos foram mais difceis,
com situaes constrangedoras como no caso de usurios
que queriam cobrar pela entrevista, ou que se recusaram
a assinar o consentimento com receio e dificuldade de
entender o significado desse documento. Nos servios em
que a equipe local no foi receptiva, os usurios tambm se
mostraram mais reservados.
No conjunto, a experincia tem sido rica e produtiva
para a equipe de avaliao. Para os servios, abre um
260

A voz dos colegas da USP Ribeiro Preto


A aproximao do Departamento de Medicina Social
com a etapa de Avaliao Externa do PMAQ - 2 ciclo ocorreu
em 2013 a convite dos professores Marco Akerman e Laura
Feurwerker. A EERP-USP uma das IES integrantes do Comit
de Ateno Bsica do Estado de So Paulo instalado em
30/03/2012, com a finalidade de assessorar tecnicamente
a Secretaria de Estado da Sade no fortalecimento e na
qualificao da Ateno Bsica do Estado de So Paulo
recebeu o convite para participar do 2 Ciclo do PMAQ
quando os citados professores convidaram, em 2013, os
integrantes do Comit da ABS/SP para esse trabalho junto
ao PMAQ.
USP Ribeiro Preto, por meio do Departamento
de Medicina Social da Faculdade de Medicina e do Ncleo
de Estudos e Pesquisa em Sade Coletiva (NUPESCO) da
Escola de Enfermagem de Ribeiro Preto coube o territrio
da RAAS 13, que envolve os Departamentos Regionais de
Sade sediados em Araraquara, com quatro Colegiados de
Gesto Regional (CGR); Barretos, com dois CGR; Franca,
com trs e Ribeiro Preto com trs Colegiados e um total
de 80 municpios contratualizados, dentre os 90 da regio.
Em reunio ocorrida em Porto Alegre ainda em
julho de 2013, participamos com os demais estados que
tm a UFRGS como instituio lder para definir os editais
da seleo de alunos para o Curso de Especializao em
261

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Avaliao de Servios de Sade, voltados para avaliadores


de campo e para supervisores/tutores.

disponibilizao de veculos para deslocamento das equipes


em municpios com muitas unidades a serem visitadas.

Nesse encontro, tambm, foram debatidos alguns


mdulos temticos, sendo sugerida pela representante
de So Paulo a incluso de contedos relativos avaliao
das Redes de Ateno Sade, a partir de seus atributos,
para alm da avaliao dos seus vrios pontos isolados.
Seguiram-se os encontros de estruturao tanto da seleo
de candidatos quanto de organizao do trabalho de campo.
Em outubro de 2013 j havia sido definida a composio
das equipes de campo, bem como a administrativa e
pedaggica/acadmica, e respectivas funes.

Conversas sistemticas entre a Coordenao Estadual


de So Paulo, UFRGS, FAURGS, Universidades e suas equipes
tm ocorrido com frequncia, buscando aperfeioar fluxos
e agilizar processos. Vm sendo trabalhadas, coletivamente,
as formas de devoluo dos dados obtidos na avaliao
externa do PMAQ a equipes avaliadas, contando com a
participao das universidades, secretarias estaduais e
municipais de sade, COSEMS na definio dessa logstica,
de forma a desencadear processos que revertam em
melhorias no acesso e na qualidade da Ateno Bsica,
objetivo final desse projeto.

A USP Ribeiro iniciou o primeiro treinamento para


seus avaliadores/supervisores nos dias 9 e 10 de janeiro
de 2014, e, servindo de sede regional, tambm para os de
Marlia e So Carlos com cerca de 20 membros dentre os 36
esperados. No caso de Ribeiro Preto, findo o treinamento
a equipe completa que deveria ter 12 integrantes contava
com apenas cinco membros, sendo que a programao de
campo a ser cumprida nas duas semanas seguintes fora
organizada contando com o trabalho de nove pessoas, as
disponveis no momento da programao.
A agenda de cada regio foi definida em reunies
especficas em cada um dos quatro Departamentos
Regionais de Sade, contando com tcnicos da Ateno
Bsica dessas regionais e com os gestores/tcnicos dos
municpios contratualizados. Pelo conhecimento dos fluxos
regionais e de outras informaes da realidade local, alm
das relaes de trabalho estabelecida, anteriormente por
meio de outros projetos, colaboraram imensamente para a
construo das melhores logsticas, como definir municpios
para pernoite e continuidade das visitas sem necessidade
de retorno cidade sede. A colaborao tambm valeu na

262

A ttulo de concluso provisria


A arquitetura de coordenao colegiada estruturada
em SP tem sido de grande valia na pactuao entre os
distintos atores quanto aos procedimentos de campo e aos
futuros desdobramentos. preciso aperfeioar o modo de
operar a avaliao externa do PMAQ. Por ser um projeto
de grande dimenso, entende-se que so necessrios
mecanismos mais geis para a disposio dos meios ao
desenvolvimento do trabalho de campo.
O retorno dos resultados para as equipes e nos
espaos colegiados com representao dos gestores,
trabalhadores e usurios deve ser feito o mais rpido
possvel para ajudar na reflexo, anlise e aperfeioamento
dos servios e estimular a rede de pesquisadores do projeto.
Para os servios, abre-se um conjunto de questes a serem
trabalhadas para fechar o ciclo avaliativo e, talvez, propiciar
processos de anlise dos processos de trabalho.

263

Marco Akerman e Juarez Pereira Furtado (Orgs)

Ressalta-se ainda a importncia de criar incentivos


s universidades para o desenvolvimento de anlises
e proposio que contribuiro com o fortalecimento e
qualidade da ateno bsica sade em nosso pas.
Os dados apresentados no deixam de ser um ponto
de partida importante para a comparao nacional e criao
de padres de qualidade a serem alcanados, mas seria
precipitado j comemor-los de maneira absoluta, pois
h que se indagar quo distante, ou prximo, de padres
aceitveis de qualidade se encontra a mdia nacional.
No obstante, a peculiar proximidade entre os espaos
de gesto e academia na avaliao realizada por meio do
PMAQ relativiza fronteiras que se procurou estabelecer
entre pesquisa, avaliao e gesto ou entre pesquisa
acadmica, pesquisa avaliativa e avaliao normativa.
A minimizao dessas fronteiras, se por um lado pode
contribuir para aumentar a interao entre teoria e prtica
na avaliao, por outro lado expe especialmente a rea s
influncias dos campos burocrtico e de poder, aos quais os
processos avaliativos so especialmente sensveis, situao
que dever ser considerada nas futuras produes.
O PMAQ pode ser considerado mais um modo de
enfrentar o quadro de desgaste da ateno bsica no
contexto da assistncia sade no pas. A capacidade
desse programa em identificar problemas relevantes,
em captar questes segundo a perspectiva de distintos
agentes, em auxiliar na reflexo para a tomada de decises,
ao mesmo tempo em que ressalta experincias exitosas e
legitima parmetros de avaliao e monitoramento da AB,
colaborando para sua consolidao, constitui algo a ser
verificado a mdio e longo prazo.
Nesse sentido, iniciativas de meta-avaliao (ou
avaliao da avaliao) podem constituir caminho para
264

Prticas de avaliao em sade no Brasil - dilogos

a obteno de respostas dessa natureza, conforme j feito


em relao a outras iniciativas de avaliao no interior do
Ministrio da Sade, como foi o caso da meta-avaliao do
Projeto de Expanso e Consolidao da Sade da Famlia
(Proesf) realizado por Hartz et al. (2008).

Referncias
ALMEIDA, P.F.; GIOVANELLA, L. Avaliao em Ateno Bsica
Sade no Brasil: mapeamento e anlise das pesquisas
realizadas e/ou financiadas pelo Ministrio da Sade entre
os anos de 2000 a 2006. Cad. Sade Pblica, v. 24, n. 8, p.
1727-1742, 2008.
ALMEIDA, C.; MACINKO, J. Validao de uma metodologia
de avaliao rpida das caractersticas organizacionais e do
desempenho dos servios de ateno bsica do Sistema
nico de Sade (SUS) em nvel local. Serie Tcnica
Desenvolvimento de Sistemas e Servios de Sade 10,
Braslia, Organizao Pan-Americana de Sade, 2006, 215 p.
BRANDAO, A.R.B.S; GIOVANELLA, L., CAMPOS, C. E.
A.Avaliao da ateno bsica pela perspectiva dos usurios:
adaptao do instrumento EUROPEP para grandes centros
urbanos brasileiros. Cincia & Sade Coletiva,v. 18, n. 1, p.
103-114, 2013.
BRASIL. Ministrio da Sade. Secretaria de Ateno Sade.
Departamento de Ateno Bsica. Programa Nacional de
Melhoria do Acesso e da Qualidade da Ateno Bsica
(PMAQ): manual instrutivo / Ministrio da Sade. Secretaria
de Ateno Sade. Departamento de Ateno Bsica.
Braslia: Ministrio da Sade, 2012. 138 p.: il. (Srie A.
Normas e Manuais Tcnicos).
265

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

______. Poltica Nacional de Ateno Bsica / Ministrio


da Sade. Secretaria de Ateno Sade. Departamento de
Ateno Bsica. Braslia: Ministrio da Sade, 2012.110
p.:il. (Srie E. Legislao em Sade).

FURTADO, J.P.; VIERIA-DA-SILVA, L.M.A avaliao de


programas e servios de sade no Brasil enquanto espao
de saberes e prticas. Cad. Sade Pblica, 2014. (Aprovado
para publicao).

______. Poltica Nacional de Ateno Bsica. Braslia, DF,


2012.

FURTADO, J.P.; LAPERRIRE, H. Parmetros e paradigmas


em meta-avaliao: uma reviso exploratria e reflexiva.
Cincia & Sade Coletiva, v. 17, n. 3, p. 695-705, 2012.

CARNEIRO JR, N.; NASCIMENTO, V.B.; COSTA, I.M.C. Relao


entre Pblico e Privado na Ateno Primria Sade:
consideraes preliminares. Sade e Sociedade, v. 20, n. 4,
p. 971-979, Dez. 2011.
CASTRO A.L.B. A conduo federal da poltica de ateno
primria sade no Brasil: continuidades e mudanas
no perodo de 2003 a 2008. Dissertao de Mestrado.
Apresentada a Escola Nacional de Sade Pblica Sergio
Arouca. Rio de Janeiro, 2009. 215 p.
DENIS, J.L.; LEHOUX, P.; TR, G. Lutilisation des connaissances
produites. In: RIIDE, V.E.; DAGENAIS, C. (orgs). Approches
et pratiques envaluation de programme. Montreal:
LesPresses de l Umontreal, 2009.
DUBOIS, N.; MARCEAU, R. Un tat des lieux thoriques de
lvaluation: une discipline la remorque dune rvolution
scientifique qui nen finit pas.The Canadian Journal of
Program Evaluation, v. 20, n. 1, p. 1-36, 2005.
ESCOREL, S.; GIOVANELLA, L.; MENDONA, M.H.M.; SENNA,
M.C.M. O Programa de Sadeda Famlia e aconstruo
de um novo modelo para a ateno bsica no Brasil. Rev.
Panam. Salud Publica/Pan Am J Public Health, 21(2/3), p.
164-173, 2007.
FERNANDES, F.M.B.; RIBEIRO, J.M.; MOREIRA, M.R.
Reflexes sobre avaliao de polticas de sade no Brasil.
Cad. Sade Pblica, v. 27, n. 9, p. 1667-1677, 2011.
266

HARTZ, Z.M.A.; FELISBERTO, E.; VIEIRA-DA-SILVA, L.M.


Meta-avaliao da ateno sade: teoria e prtica. Rio
de Janeiro: Fiocruz, 2008.
HEIMANN, L.S.; IBANHES, L.C.; BOARETTO, R.C.; CASTRO,
I.E.N.; TELESI Jr, E.; CORTIZO, C.T.; FAUSTO, M.C.R.;
NASCIMENTO, V.B.; KAYANO, J. Ateno primria em
sade: um estudo multidimensional sobre os desafios e
potencialidades na Regio Metropolitana de So Paulo (SP,
Brasil). Cincia & Sade Coletiva, v. 16, n. 6, p. 2877-2887,
2011.
IBANEZ, N.et al. Avaliao do desempenho da ateno
bsica no Estado de So Paulo.Cincia & Sade Coletiva.
v. 11, n. 3, p. 683-703, 2006. Disponvel em: <http://
www.scielo.br/scielo.php?script=sci_arttext&pid=S141381232006000300016&lng=en&nrm=iso>. Acesso em: jun
2015.
NEIROTTI, N. Evaluation in Latin America: Paradigms and
Practices. In: KUSHNER,S.; ROTONDO, E. (orgs). Evaluation
voices from Latin America. New Directions for Evaluation,
134, 7-16.
PATTON, M.Q. Utilization-focused evaluation. Thousand
Oaks: Sage, 1997.

267

Marco Akerman e Juarez Pereira Furtado (Orgs)

PRAIA, J.; CACHAPUZ, A. Cincia-Tecnologia-Sociedade: um


compromisso tico. Revista CTS, v. 6, n. 2, p. 173-194, 2005.
REIS, A.T.; OLIVEIRA, P.T.; SELLERA, P.E. Sistema de avaliao
para a qualificao do Sistema nico de Sade (SUS).
RECIIS R. Eletr. de Com. Inf. Inov. Sade. v.6, n. 2, Sup.,
Ago. 2012. Disponvel em: <http://www.reciis.icict.fiocruz.
br/index.php/reciis/article/viewArticle/622/1089>. Acesso
em: 10 mar 2014.
TANAKA, O.Y.Avaliao da ateno bsica em sade: uma
nova proposta.Sade e Sociedade. v. 20, n. 4, p. 927-934,
2011.

Captulo 7
O processo de avaliao
do PMAQ-AB: o olhar de
uma equipe
Margareth Aparecida Santini de Almeida,
Wilza Carla Spiri, Carmen Maria Casquel
Monti Juliani, Luceime Olvia Nunes, Ndia
Placideli, Elen Rose Lodeiro Castanheira

Introduo
O crescimento da rede de servios de Ateno
Bsica, ocorrido a partir da implantao do Sistema nico
de Sade (SUS), assim como o compromisso de ampliar a
capacidade de dar respostas efetivas s necessidades de
sade de modo coerente com as diretrizes estabelecidas e
a busca pela definio de critrios que orientem polticas
de financiamento e incentivo, tem impulsionado o
desenvolvimento de iniciativas voltadas para a qualidade
da Ateno Bsica, tanto no sentido da institucionalizao de
processos avaliativos como a partir de pesquisas avaliativas
268

Marco Akerman e Juarez Pereira Furtado (Orgs)

sob diferentes perspectivas terico-metodolgicas. (BRASIL.


MINISTRIO DA SADE, 2005; 2006; 2012; CASTANHEIRA,
2009a; 2014; VERAS; VIANNA, 2009; FACCHINI, 2008;
TANAKA; ESPIRITO SANTO, 2008; Harzheim, 2006; 2013;
MARSIGLIA, 2008)
A principal iniciativa institucional de avaliao da
Ateno Primria Sade (APS) no Brasil o Programa
para a Melhoria do Acesso e da Qualidade da Ateno
Bsica (PMAQ), implantado em 2011 pelo Ministrio da
Sade (MS), com abrangncia nacional, como parte da
Poltica Nacional de Ateno Bsica (PNAB). composto por
quatro fases: adeso e contratualizao, desenvolvimento,
avaliao externa e pactuao.
A necessidade de se avaliar um grande nmero de
servios de forma simultnea tem se desdobrado, no mais
das vezes, em estudos de carter quantitativo, com o uso
de instrumentos estruturados que permitam consolidar
dados e construir indicadores com representatividade para
o conjunto avaliado. O uso de abordagens qualitativas
tende a ser mais localizado e dirigido a recortes especficos,
com bom poder explicativo a partir da anlise de casos e
situaes particulares, mas que levantam questes de
interesse geral.
A avaliao externa realizada pelo PMAQ tem sido
feita em parceria com Instituies de Ensino Superior
de diferentes regies do pas que se responsabilizam por
selecionar, capacitar e dar suporte a equipes de avaliadores
para visita aos servios e avaliao de diferentes aspectos,
como infraesturura, disponibilidade de insumos e
organizao do trabalho, por meio da aplicao de
instrumentos dirigidos a profissionais e usurios.
A juventude dessa experincia aponta para a
importncia em se avaliar o prprio processo que vem
se desenvolvendo, a partir de abordagens que possam
270

Prticas de avaliao em sade no Brasil - dilogos

discutir o interior do processo de avaliao externa, ou


seja, estudar a experincia vivenciada pelos sujeitos que
realizaram esse processo nas diferentes regies brasileiras.
(FAUSTO;FONSECA, 2014)
No presente texto, apresentada uma anlise do
processo de avaliao externa realizada, a partir do olhar
da equipe de avaliadores, sob a conduo da Universidade
Estadual Paulista Dr. Jlio de Mesquita Filho, Faculdade de
Medicina de Botucatu UNESP, em 2014, como parte do
segundo ciclo de avaliaes do PMAQ.
Ao dar voz aos avaliadores externos do PMAQ,
procura-se contribuir para o aprimoramento de processos
futuros e refletir sobre as singularidades vivenciadas pela
equipe de avaliadores em regies de sade do interior
paulista, somando-se anlise dessa experincia em outras
cidades e regies do pas.
Objetivo
Compreender a partir da vivncia dos sujeitos
que participaram do processo avaliativo, como se deu a
construo do trabalho de avaliao externa e a relao
com as equipes e usurios dos servios avaliados.
Metodologia
Ao final do trabalho de campo, foi realizada uma
avaliao do trabalho da equipe de avaliadores (nove
supervisores), mediante a aplicao de um questionrio
com questes semiestruturadas e um grupo focal, cujo
material produzido subsidia este texto que est dividido
em duas partes, mas cujos contedos se articulam e se
complementam.
271

Marco Akerman e Juarez Pereira Furtado (Orgs)

A primeira consiste na avaliao do trabalho realizado


tendo como foco as vrias etapas do processo de avaliao
do PMAQ. Teve por referncia os dados do questionrio
aplicado composto por questes que abordavam o processo
de seleo, treinamento, apoio administrativo e trabalho
de campo, este ltimo relativo aos seis mdulos que
compunham a avaliao externa observao da unidade,
entrevista com profissional, entrevista com usurio, NASF,
infraestrutura do consultrio dentrio e entrevista com
dentista; reservando-se ao final de cada bloco um espao
para observaes em aberto. Uma ltima questo aberta
era para relato da experincia do processo de avaliao.
As respostas foram organizadas em escala Likert, em
cinco nveis: concordo plenamente, concordo, indiferente,
discordo e discordo plenamente, e as questes abertas
foram agrupada.
Na segunda parte apresentada a experincia da
equipe no processo de avaliao. Baseou-se nos dados
produzidos no grupo focal que foi organizado a partir de
duas questes norteadoras: 1) Relatar a vivncia do grupo
na realizao das atividades de avaliao do PMAQ, com
foco no processo de trabalho desenvolvido pela equipe de
avaliadores; 2) A percepo da equipe sobre os servios
de Ateno Bsica, com foco na qualidade da ateno. O
grupo foi gravado e seu contedo transcrito na ntegra. O
material foi lido exaustivamente para extrao dos trechos
relevantes para a apreenso do vivido. Foram identificadas
duas temticas: a construo do trabalho em equipe e a
relao e a percepo com as equipes de sade e usurios.

Prticas de avaliao em sade no Brasil - dilogos

Contexto do processo de avaliao: onde e como se deu a


insero dos avaliadores
A avaliao externa analisada ocorreu nos municpios
que constituem as Redes de Ateno Sade equivalentes
s regies administrativas abrangidas pelos Departamentos
Regionais de Sade (DRS) de Bauru e Sorocaba da Secretaria
de Estado da Sade de So Paulo (SES SP).
Essas regies, com 116 municpios ao todo, contaram
com a adeso de 88 (77%) dos municpios no primeiro ciclo.
A composio das equipes de avaliao externa do segundo
ciclo foi projetada a partir desses dados, prevendo-se
quatro grupos de avaliadores com trs participantes e um
supervisor, com um total de 13 componentes.
Foram selecionados profissionais de nvel superior,
preferencialmente com experincia prvia em Ateno
Primria, e com disponibilidade de tempo integral, incluindo
viagens e ausncias do municpio de origem por perodos
variados, durante aproximadamente quatro meses.
As exigncias colocadas apontaram como candidatos
com perfil mais adequado os alunos dos Programas de PsGraduao em Sade Coletiva e Enfermagem ou egressos
desses programas e da residncia multiprofissional na
instituio, desde que no estivessem trabalhando e
nem fossem bolsistas da ps- graduao. Os profissionais
selecionados receberam bolsas e dirias e contavam com o
apoio de um veculo contratado para o transporte na regio
avaliada.
A composio final da equipe, devido s exigncias
colocadas e temporalidade do trabalho, nunca foi
completa. O trabalho de campo foi realizado com sete a
nove componentes e um supervisor, sem que se conseguisse
completar o grupo com os treze avaliadores inicialmente

272

273

Marco Akerman e Juarez Pereira Furtado (Orgs)

previstos. Em diferentes momentos do trabalho, ocorreram


desistncias de avaliadores que foram substitudos por
outros, conforme disponibilidade entre os recrutados no
processo inicial, inclusive de outras regies do estado.
Nesse contexto, a supervisora desempenhou um duplo
papel: acompanhou diretamente todo o trabalho de campo
e, muitas vezes, assumiu tambm o papel de avaliadora.
A equipe final, ou seja, a que permaneceu mais
tempo no campo foi constituda por oito avaliadores e mais
a supervisora, os quais a maior parte era de graduados
em enfermagem, e tambm educadora fsica, psicloga e
gerontloga, havendo alguns inseridos na ps-graduao.
Os avaliadores no geral tinham experincia prvia quanto
ateno primria, principalmente em estgios curriculares
desenvolvidos nesse nvel da sade, bem como atuao
direta para coleta de dados de pesquisas.
As reunies presenciais prvias ao trabalho de
campo foram realizadas em dois dias para conhecimento e
manuseio dos instrumentos de trabalho e do software do
PMAQ. Foram abordados os seis mdulos que compunham
a avaliao externa, orientando-se que todos estudassem o
material antes de ir a campo.
Num segundo momento, ocorreu a apresentao do
curso de especializao em Avaliao de Servios de Sade,
no formato de educao a distncia, oferecido atravs da
plataforma moodle pela UNA-SUS, por meio de parceria
com a Universidade Federal de Cincias da Sade de Porto
Alegre (UFCSPA). Foram apresentados os temas que seriam
abordados ao longo do curso, a proposta do cronograma
geral e o trabalho de concluso de curso (construo de um
portflio).
A avaliao externa ocorreu no perodo de 3 de
fevereiro a 23 de maio de 2014, nos oitenta e oito municpios,
274

Prticas de avaliao em sade no Brasil - dilogos

cobrindo 278 equipes de ateno bsica, sendo que destas


em 138 equipes foi realizada a avaliao de Sade Bucal e
seis Ncleo de Apoio Sade da Famlia (NASF). Atrasos no
repasse de recursos ocasionaram um perodo de suspenso
das atividades, reduzindo a realizao do campo para
51 dias teis, com sobrecarga da equipe e restrio dos
perodos de reunies de superviso geral para que fossem
cumpridos os prazos previstos pelo Ministrio da Sade.
Ao longo do processo de avaliao externa foram
realizadas trs reunies com toda a equipe, com o objetivo
de dar suporte ao trabalho de campo sanar dvidas,
discutir dificuldades e definir encaminhamentos mas
tambm, de fomentar a integrao da equipe.
Avaliando o processo de avaliao
Mais do que quantificar a opinio dos membros da
equipe, as respostas ao questionrio permitem depreender
as questes mais significativas do processo e representam
um olhar dos avaliadores de campo em relao s vrias
etapas do processo de avaliao externa.
No processo gerencial, o treinamento um dos
aspectos do desenvolvimento das pessoas utilizado para
se transmitir informaes, melhorar as habilidades e
o desempenho na funo. (CHIAVENATO, 2010) Ele
importante para o sucesso da meta a ser alcanada, o
objetivo a ser pretendido, no caso em anlise a avaliao
da AB.
Em relao ao treinamento recebido, os avaliadores
consideraram que o mesmo esclareceu sobre a proposta de
avaliao a ser realizada, ou seja, os objetivos do segundo
ciclo PMAQ e como ocorreria o campo (quando, como e em
quem aplicar/investigar).
275

Marco Akerman e Juarez Pereira Furtado (Orgs)

Posicionamento contrrio se deu em relao ao


tempo de treinamento, considerado insuficiente, uma vez
que no instrumentalizou adequadamente a resoluo
de problemas surgidos no campo. Alguns problemas
recorrentes poderiam ser sanados, segundo os avaliadores,
por um treinamento mais prtico. Por exemplo, no incio no
se sentiram habilitados em lidar com o tablet, que travava
e desligava, ou com muitas das dificuldades encontradas e
que poderiam ter sido previstas.
A presena constante da supervisora durante o
campo foi fundamental na superao desses problemas. Ela
intermediava com o gestor local e, quando havia demanda
de compreenso ou dvida no processo como um todo,
entrava em contato com a coordenao central do PMAQ.
No tocante execuo do campo, pode-se depreender
que foi facilitada pelo bom acolhimento da maioria dos
municpios e unidades de sade, pela logstica utilizada
em agrupar os municpios por facilidade de acesso e o
deslocamento entre os mesmos ser realizado por meio de
veculo (VAN) contratado exclusivamente para esse fim.
O planejamento para a execuo do campo foi
facilitado pela atuao da coordenao da FMB/UNESP nas
duas regies desde 2007, com aes de apoio gesto, a
partir da adeso do Estado de So Paulo ao Pacto pela Sade.
(BIZELLI; PUTTINI; CASTANHEIRA, 2011; CASTANHEIRA,
2007; 2009b)
Existe uma relativa concordncia por parte dos
avaliadores em relao ao questionrio, a organizao das
perguntas em mdulos facilita o manuseio e aplicao do
mesmo. Contudo, apresentava muitos erros gramaticais
e de estruturao de questes, que foram corrigidos com
constantes atualizaes do sistema no tablet.

276

Prticas de avaliao em sade no Brasil - dilogos

Apontaram que os profissionais das unidades de


sade e os usurios entrevistados tiveram diferentes
compreenses sobre os questionrios aplicados.
Alguns profissionais (enfermeiros, dentistas) no
tinham conhecimento do que era o PMAQ, provavelmente
pelo fato de muitos municpios no terem aderido
no primeiro ciclo ou pela troca constante de gestores
municipais ou de profissionais, conforme observado nos
contatos que a superviso fez com os municpios. No
entanto, todos receberam bem os avaliadores e tinham
total conhecimento a respeito das questes que estavam
sendo investigadas.
Foi observado algum constrangimento pela equipe
dos servios quando o mdico precisava responder a
entrevista na ausncia da enfermeira, provavelmente pelo
posicionamento deste no dia a dia com a equipe local.
Contudo, um total engajamento do profissional mdico na
equipe e vnculo com os usurios tambm foi observado.
J
em relao aos usurios, os avaliadores
consideraram que a maioria aderiu com facilidade
entrevista e se sentiram vontade em responder ao
questionrio. Poucos, mas importante ressaltar, sentiram
insegurana em assinar o Termo de Consentimento
Livre e Esclarecido (TCLE) em funo da dificuldade em
compreender sua funo, o que vem sendo observado em
outros estudos, (RODRIGUES FILHO; PRADO; PRUDENTE,
2014) alm do medo de ser identificado e com isso
prejudicar seu atendimento na unidade.
Tal dificuldade talvez pudesse ser sanada por um
distanciamento do servio no momento da realizao da
entrevista, ocorrendo, por exemplo, no domiclio, ainda
que essa sugesto acarrete um maior nus ao processo.

277

Marco Akerman e Juarez Pereira Furtado (Orgs)

Nem sempre os usurios tinham facilidade na


compreenso do que estava sendo investigado. Muitas
vezes os avaliadores liam a pergunta e depois precisavam
adaptar palavras mais comuns, ou melhor, menos tcnicas,
para facilitar o entendimento.
A esse respeito Thiollent (1985) salienta que alm do
procedimento de traduzir para melhor compreenso,
necessrio considerar tambm a motivao do respondente
em relao ao que perguntado. Um exemplo que muitos
usurios entrevistados consideravam o questionrio muito
longo, cansavam-se e no queriam mais responder, ou
argumentavam que no tinham mais tempo para continuar
a entrevista. Vale lembrar que o tempo do usurio e o
funcionamento da unidade eram respeitados, se no meio
da entrevista o usurio era chamado para a consulta, o
avaliador dizia para ele ficar a vontade que continuaria a
entrevista depois dela.
Quanto ao NASF, todos os profissionais que
compunham a equipe estavam presentes por ocasio
das entrevistas e participaram ativamente da mesma.
Ressalta-se a existncia de uma variedade muito grande
de composio das equipes, embora isso seja previsto na
Portaria n 2488 ao regulamentar a definio da composio
do NASF como uma atribuio do gestor local a partir de
critrios de prioridade. (BRASIL. MINISTRIO DA SADE,
2011)
Em relao aos documentos que deveriam ser
apresentados durante a avaliao, nem sempre os servios
tinham os mesmos organizados, o que poderia indicar
tanto uma no divulgao pela gesto local da visita dos
avaliadores como tambm a falta de acesso e utilizao
dos documentos na rotina do servio. Por outro lado, a
preparao prvia das unidades desdobrou-se na ocorrncia
de certa maquiagem em alguns servios, com situaes
278

Prticas de avaliao em sade no Brasil - dilogos

como a chegada dos avaliadores no momento em que os


totens e placas estavam sendo instalados, j que eram itens
pontuados da avaliao.
Experincia da avaliao: olhar dos avaliadores
A construo do trabalho em equipe
Um processo de avaliao, como o estabelecido no
segundo ciclo do PMAQ pressupe que para o seu xito
seja fundamental o trabalho em equipe. Por mais que essa
forma de trabalho j tenha sido definida no desenho inicial
do processo, no seu transcorrer que ele se efetiva. ... o
processo de trabalho, ... no teve uma definio prvia,
... foi se formando, (...) foi bem flexvel e a gente soube
entender isso porque tinha situaes que no tinha como
planejar, (...) o mximo que conseguiu fazer foi a logstica e
deu certo.
Os avaliadores compartilharam no exerccio do
trabalho, no apenas o mesmo objeto de trabalho, mas
aspectos pessoais como costumes, problemas particulares,
ao longo de uma rotina que, inclusive para quem dividia o
quarto, chegava a ser de 24 horas, muitas vezes durante
quinze dias contnuos. ... claro que a gente vai convivendo,
a gente ficou muito tempo junto, ...voc vai comeando ver
as manias...
O prprio cronograma da avaliao demandava
uma intensificao do trabalho e convivncia da equipe,
considerado por uma das avaliadoras como uma imerso.
... o que eu tenho pra falar sobre o PMAQ que eu achei
que foi meio que uma imerso assim de... voc s pensava
em PMAQ, s falava em PMAQ.

279

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Conforme j observado nas respostas ao questionrio,


os avaliadores apontaram algumas dificuldades durante o
processo de avaliao, como insuficincia de treinamento,
necessidade de substituir membros da equipe ou mesmo
por essa ser incompleta. Contudo, o trabalho em equipe foi
sendo construdo e fortalecido possibilitando a superao
das dificuldades encontradas. (...) eram novos e tinham
dificuldade e no conseguiam acompanhar, mas (...) eles
se saram muito bem, o grupo no geral, porque todo mundo
se ajudava (...).

processo de avaliao como tambm na relao pessoal. E


sempre amos juntas pra resolver qualquer problema, nunca
deixava uma s, uma sempre apoiava a outra mesmo....
voc estava sempre em contato com sua equipe e cada dia
melhorava mais esse contato e, s vezes ... s de voc ver a
pessoa ah, hoje (ele) no est to bem, deixa ele quietinha
ento isso era legal, tem o seu limite ali (...).

Segundo Peduzzi (2011, p.639), O trabalho em


equipe requer que os profissionais construam uma
dinmica de trabalho com interao, articulao e objetivos
compartilhados. A autora refere-se principalmente ao
trabalho da equipe multiprofissional de sade. Contudo,
mesmo na equipe de avaliadores, constituda e atuando
em um pequeno espao de tempo, pode-se identificar
esses elementos, sendo fundamentais para a execuo do
trabalho com xito.

A experincia proporcionada pelo segundo ciclo


do PMAQ-AB levou os avaliadores a terem uma viso
que se aproxima da compreenso da ateno primria
expressa na definio adotada pelo Sistema nico de
Sade (SUS) em suas duas dimenses, primeiramente
vinculada organizao interna do trabalho, referente
gerncia democrtica, ao trabalho em equipe, definio
de territrio, integralidade do cuidado, ao vnculo e
responsabilizao com a comunidade e com cada usurio; e
a outra, inclui o estabelecimento de relao com o sistema
mediante o seu papel como principal porta de entrada, sua
necessria interdependncia com outros nveis do sistema
de sade, mas tambm, com outros setores de polticas
sociais, e sua capacidade de ordenar a rede de ateno
sade. (CASTANHEIRA, 2011)

Nesse sentido, na prpria dinmica da avaliao por


eles implementada, na forma como abordar as unidades,
seus profissionais e usurios, observou-se uma articulao
constante da equipe dos avaliadores,
(...) tinha que conversar porque a todo
momento, assim, voc tem que saber o
que est acontecendo porque a unidade
tambm muito dinmica, quantos
usurios a gente j tinha conseguido
fazer, quantos ainda precisaria ser feitos,
como que ia resolver alguma questo que
aparecia na hora.

Unio e cooperao, outros elementos fundamentais


no trabalho em equipe (SANTOS, 2014) tambm estavam
presentes, seja na resoluo dos problemas inerentes ao
280

A relao e a percepo com as equipes de sade e usurios

Destaca-se como primeiro ponto relevante quanto


percepo dos avaliadores, a organizao dos servios de
ateno primria nos diferentes municpios e regies de
sade do Estado de So Paulo, estabelecendo assim uma
comparao entre as diferentes regies referente ao acesso
s unidades de sade.
Dentre os princpios fundamentadores do SUS,
destaca-se a universalidade do acesso para todos os
brasileiros em todo o territrio nacional. (SARAH et al.,
281

Marco Akerman e Juarez Pereira Furtado (Orgs)

2007) Todavia, em algumas regies, o acesso do usurio


unidade de sade acompanhado por dificuldades, como,
por exemplo, problemas do percurso da residncia at a
unidade de sade. O acesso aos servios de ateno bsica
e o acolhimento so elementos essenciais no atendimento
para a assistncia efetiva sobre as demandas de sade do
indivduo e da coletividade. (RAMOS; LIMA, 2003)
Ah, em torno de uma hora e meia, mas a
estrada boa, quando vai nossa..., eles
no sabem o que estrada boa, porque o
referencial... eram trs senhoras, senhoras
mesmos de idade, mais de 60 anos e
levando sacolas e tudo, 6 km na terra, elas
iam a p e era fcil.
Foi o que me chamou mais ateno, s
que por outro lado eu achei que aquele
pessoal l, a prpria populao e tudo
mais, os profissionais eu achei eles muito
acolhedores perto de algumas cidades.

Quanto aos contatos com as equipes de sade nas


diferentes regies de avaliao externa, podem-se destacar
as dificuldades presenciadas mediante integrao dos
profissionais que compem a equipe de sade da famlia.
Segundo Puntel de Almeida e Mishima (2001), com
a implantao do modelo sade da famlia na ateno
primria emerge o desafio aos profissionais para o
trabalho em equipe de maneira integrada, de forma que
os trabalhadores possuem maior poder e autonomia em
busca do fornecimento da ateno em sade de qualidade
populao. Porm, se a integrao no acontecer, corre-se
o risco de reproduzir o modelo de ateno desumanizado,
fragmentado, centrado no curativismo individual, com a
rigorosa diviso do trabalho e a desigualdade na valorizao
social dos diversos trabalhos. Em relao ao profissional
mdico, observou-se diferentes posicionamentos:
282

Prticas de avaliao em sade no Brasil - dilogos

Ele foi embora (O mdico) (...) gritou l na


frente de todo mundo com todo mundo e
foi embora, e assim, eu no vi nada disso
eu estava dentro da sala com a enfermeira
e a enfermeira comprometida mostrando
as aes de toda a equipe, de tudo mais, e
cad esse mdico nessas aes?
(...) eu entrevistei o mdico (...), uma graa,
ele sabia tudo do territrio, de todos os
pacientes, a enfermeira tinha passado na
residncia ai ele vai mesmo. Ns vamos
ficar sem enfermeira, mas eu dou conta
aqui, ele fazia de tudo, totalmente o
oposto, mas eu acho que a maioria das
unidades que ns fomos, essa questo
ainda muita marcada no Brasil, nessa do
mdico s chegar e fazer o atendimento e
no se engajar nessa estratgia (...).

Ainda nessa temtica quanto integrao das


equipes de sade, foca-se nas observaes levantadas pelos
avaliadores quanto dificuldade visualizada da equipe de
sade bucal para o alcance e desenvolvimento do trabalho
integrado equipe mnima da Estratgia Sade da Famlia
(ESF). No Brasil, a partir de 2000 houve a insero do
profissional cirurgio-dentista na ateno primria, com a
efetiva incorporao da equipe de sade bucal no modelo
sade da famlia. (SOUZA; RONCALLI, 2007) Todavia um dos
maiores desafios nesse processo a integrao da equipe de
sade bucal para a realizao de um trabalho em conjunto.
Eles esto trabalhando literalmente
isolados e at dentro da unidade, a prpria
sade bucal eu acho que est muito
isolada da equipe da ateno bsica (...).
Eles esto trabalhando, parece que
assim: um consultrio que montaram
l pro dentista ficar, ele no faz parte da
Estratgia da Sade da Famlia.
283

Marco Akerman e Juarez Pereira Furtado (Orgs)

Muitas sade bucais no eram articuladas


com a unidade, nem em participao na
reunio de equipe elas tinham.

Mediante avaliao externa com as equipes de sade


bucal, os avaliadores vivenciaram maiores dificuldades
com o profissional respondente cirurgio-dentista quanto
sua compreenso perante a participao no processo do
segundo ciclo do PMAQ-AB.
(...) Os dentista no tinham tanto assim...
os enfermeiros sabiam mais, agora...
a gente encontrou, eu pelo menos,
encontrei mais os dentista que no sabiam
o que era o PMAQ (...).
A sade bucal foi a mais problemtica.
(Para a avaliao)

Sobre a motivao dos profissionais das equipes de


sade e a relao com a adequao do local de trabalho
(infraestrutura das unidades de sade), em alguns
momentos foi observado uma inverso entre esses fatores
pelos avaliadores externos, como, por exemplo, o fato da
infraestrutura satisfatria no estar diretamente relacionada
com profissionais motivados ao trabalho na unidade de
sade. De acordo com Mendeset al. (2013), a motivao do
profissional em sade um dos componentes contribuintes
para o alcance da ateno de qualidade. E uma cidade
super bem-estruturada, super bonita, a cidade, as unidades
bsicas tambm muito assim, tinha tudo, a infraestrutura,
mas voc v que as pessoas estavam desmotivadas, os
profissionais (...), at os usurios (...).
Diante das percepes das equipes de sade e a
relao com o trabalho desenvolvido de forma adequada
com qualidade, destacam-se como pontos centrais a
formao profissional satisfatria e a importncia da
284

Prticas de avaliao em sade no Brasil - dilogos

educao complementar, como treinamentos, capacitaes


e especializaes (ps-graduao) em sade da famlia.
De acordo com Ministrio da Sade, para o alcance dos
princpios contidos na Poltica Nacional de Ateno Bsica
(PNAB), o novo arranjo do modelo de ateno primria
impe visivelmente a necessidade de transformao
permanente no funcionamento dos servios e do processo
de trabalho das equipes. Destaca-se ainda a importncia de
cada municpio reconhecer suas reais demandas de sade
na ateno primria e articular as propostas de educao
permanente em sade diante delas. (BRASIL. MINISTRIO
DA SADE, 2012) Em relao qualidade, eu acho que o
profissional que est ali deve ser capacitado a chave do...
onde comea, eu acredito nisso, pra ele desenvolver um
bom trabalho, ento me chocou bastante esse ponto, e de
uma forma geral mesmo.
Sobre as diversas experincias colocadas pelos
avaliadores quanto aplicao do questionrio direcionado
aos usurios dos servios avaliados, destaca-se a percepo
do usurio possuir uma viso reduzida diante das diversas
finalidades da ateno primria, dentre elas a promoo
e preveno em sade. O modelo de sade da famlia
avanou no desenvolvimento de prticas de preveno e
promoo em sade, contudo os servios de sade ainda
sofrem forte influncia do modelo curativo (individual) que
consequentemente repercute nas percepes de usurios e
profissionais. (ALVES; BOHES; HEIDEMANN, 2012)
Eu sempre via mais, em vez no micro,
assim no macro, a diferena mesmo nem
s da gesto, mas da populao mesmo,
da cultura do povo, tm umas que usam
mais tem outras que usam menos a
ateno bsica, as vezes nem gostam de ir,
vo mais pra sanar, como que fala, sem ser
preveno (...).
285

Marco Akerman e Juarez Pereira Furtado (Orgs)

Pode ser isso, essa cultura de no procurar


o profissional e em outras cidades a gente
j viu ah, no, eu fao preveno, venho
aqui sempre, to sempre por ai, ento
uma coisa de tambm de povo, de cultura
que eu vi.

Para alm da percepo dos usurios entrevistados


sobre a ateno primria em sade, os avaliadores se
depararam com opinies da populao local sobre a
importncia da avaliao das unidades de sade.
Como cidado brasileiro, o princpio do SUS, a
universalidade, prev a assistncia sade para todos;
diante disso, de acordo Moimazet al. (2010), o julgamento
dos usurios quanto qualidade da ateno em sade
considerado de suma importncia quando se pretende
avaliar os servios de sade do SUS, no podendo deixar de
considerar sua percepo, com objetivo de contribuir para
a melhoria do sistema de sade.
No hotel que a gente ficou (...), um senhor
l que estava hospedado me viu de manh
l com a blusa, falou assim: ah voc tem
que chegar nos postos..., j sabia tudo que
a gente fazia, de surpresa.
Ele falou nossa mas aqui t uma porcaria,
voc j foi na unidade (...).
Teve uma cidade que eu fui na rodoviria
esperando o nibus, ai eu entrei a moa
perguntou ah..., viu o uniforme, eu falei
avaliao, tal, nossa, o posto daqui
t horrvel menina, voc tem que ir l
avaliar, sempre eles queriam que a gente
fosse [risos], ou algum usurio coloca ai
que isso aqui t ruim, tipo anota ai, no
tem como, mas tudo bem.

286

Prticas de avaliao em sade no Brasil - dilogos

Consideraes finais
Compreender como se deu a vivncia dos sujeitos
que participaram do processo avaliativo, o processo
de trabalho da equipe de avaliao, a relao entre os
sujeitos da equipe e dela com os profissionais e usurios
dos servios avaliados, ao lado da percepo acerca dos
servios de sade em diferentes contextos, aponta para
a complexidade, e ao mesmo tempo importncia, desse
processo e nos proporciona elementos para aprimorar o
planejamento de outras avaliaes externas.
Ressalta-se que nesse processo houve fortalezas,
especialmente relacionadas com a interao da equipe
no desenvolvimento do processo de trabalho e apoio da
supervisora de forma contnua e resolutiva, e tambm
ocorreram desafios referentes ao pouco tempo de
capacitao, a pluralidade de fatores relacionados
convivncia estreita de pessoas que previamente no se
conheciam, as diferenas das unidades de sade de uma
mesma regio, no que tange as condies e aos profissionais
e ao desconhecido.
No entanto, principalmente pelos desafios
vivenciados, potencializou-se a integrao da equipe por
meio de uma comunicao dialgica, respeitosa, solidria
e com aes colaborativas, permitindo a concluso do
trabalho no tempo oportuno e com metas alcanadas.
Assim, depreende-se que o processo avaliativo do
PMAQ engendrou mais que a avaliao propriamente dita,
mas o desenvolvimento de uma equipe na modalidade
integrao.

287

Marco Akerman e Juarez Pereira Furtado (Orgs)

Referncias
ALVES, L.H.S.; BOEHS, A.E.; HEIDEMANN, I.T.S.B. A percepo
dos profissionais e usurios da estratgia de sade da famlia
sobre os grupos de promoo da sade.Texto Contexto Enferm., Florianpolis , v. 21,n. 2,p. 401-408,jun.2012.
BIZELLI, S.K.; PUTTINI, R.F.; CASTANHEIRA, E.R.L.
Regionalizao tecendo redes entre a gesto e o cuidado.
So Paulo: Unesp, 2011. Vdeo Educativo. Disponvel em:
<https://www.youtube.com/watch?v=uK6zYFI1Bfg>.
Acesso em: 04 jun2015.
BRASIL. Secretaria de Ateno Sade. Departamento de
Ateno Bsica. Avaliao para melhoria da qualidade da
estratgia sade da famlia (AMQ). Braslia: Ministrio da
Sade, 2005. (Srie B. Textos Bsicos de Sade, v. 6).
______. Avaliao para melhoria da qualidade da
estratgia sade da famlia: guia de implantao municipal
AMQ. Braslia, Ministrio da Sade, 2006.
BRASIL. Ministrio da Sade. Portaria N 2488, de 21
deoutubro de 2011. Aprova a Poltica Nacional de Ateno
Bsica, estabelecendo a reviso de diretrizes e normas para
a organizao da Ateno Bsica, para a Estratgia Sade
da Famlia (ESF) e o Programa de Agentes Comunitrios de
Sade (PACS).Braslia, 21 de outubro de 2011.
______. Programa Nacional de Melhoria do Acesso e da
Qualidade da Ateno Bsica (PMAQ): Manual Instrutivo.
Braslia: Ministrio da Sade, 2012. Disponvel em:
<http://189.28.128.100/dab/docs/geral/pmaq_ manual_
instrutivo.pdf>. Acesso em: 26 mar 2015.
CASTANHEIRA, E.R.L. et al. Projeto de Apoio Institucional
aos Departamentos Regionais de Sade e Nvel Central da
SES/SP na Construo do Plano Estadual de Sade e Pacto
288

Prticas de avaliao em sade no Brasil - dilogos

pela Sade. Botucatu: Faculdade de Medicina, Universidade


Estadual Paulista, 2007.
CASTANHEIRA, E.R.L. et al.Avaliao da Qualidade da
Ateno Bsica em 37 Municpios do Centro-Oeste Paulista:
caractersticas da organizao da assistncia. Sade e
Sociedade, So Paulo, v. 18, supl. 2, p. 81-88, 2009a.
CASTANHEIRA, E.R.L. et al. Projeto de Apoio Institucional
para o desenvolvimento do Sistema de Sade Regional,
visando o apoio e o fortalecimento da capacidade de
gesto dos DRS de Bauru, Marlia, Sorocaba e Registro.
Botucatu: Faculdade de Medicina, Universidade Estadual
Paulista 2009b.
CASTANHEIRA, E.R.L. et al. QualiAB: desenvolvimento e
validao de uma metodologia de avaliao de servios de
ateno bsica. Sade e Sociedade, v. 20, n. 4, p. 935-947,
2011.
CASTANHEIRA, E.R.L. et al. Avaliao de servios de
Ateno Bsica em municpios de pequeno e mdio porte
no Estado de So Paulo: resultados da primeira aplicao
do instrumento QualiAB.Sade em Debate, Rio de Janeiro,
v. 38,n. 103,p. 679-691,dez. 2014.
CHIAVENTATO, I. Gesto de pessoas: o novo papel dos
recursos humanos nas organizaes. 3. ed. Rio de Janeiro:
Elsevier, 2010.
FACCHINI, L.A. et al.Avaliao de efetividade da Ateno
Bsica Sade em municpios das regies Sul e Nordeste
do Brasil: contribuies metodolgicas. Cad. Sade
Pblica,v.24, supl.1,Rio de Janeiro,2008.
FAUSTO,M.C.R.;FONSECA,H.M.S.(orgs.).Rotas da ateno
bsica no Brasil: experincias do trabalho de campo PMAQ
AB. Rio de Janeiro: Saberes Editora, 2013.
289

Marco Akerman e Juarez Pereira Furtado (Orgs)

HARZHEIM, E. et al. Consistncia interna e confiabilidade


da verso em portugus do Instrumento deAvaliao da
Ateno Primria (PCATool-Brasil) para servios de sade
infantil. Cad. Sade Pblica, Rio de Janeiro, v.22, n.8,
p.1649-1659, ago. 2006.
HARZHEIM, E. et al. Validao do instrumento de avaliao
da ateno primria sade: PCATool-Brasil adultos. Revista
Brasileira de Medicina de Famlia e Comunidade. Rio de
Janeiro, v. 8, n. 29, p. 274-84, out-dez. 2013.
MARSIGLIA, R.M.G. et al.Integralidade e ateno primria
em sade: Avaliao da organizao do processo de
trabalho em unidades de sade da Secretaria Municipal
da Sade de So Paulo. 2008. Disponvel em: <http://
www.cealag.com.br/Trabalhos/INTEGRALIDADE%20E%20
ATEN%C3%87%C3%83O%20PRIM%C3%81RIA%20EM%20
SA%C3%9ADE/Relat%C3%B3rio.pdf>. Acesso em: 18 nov
2014.
MOIMAZ, SAS et al. Satisfao e percepo do usurio
do SUS: sobre o servio pblico de sade. Physis, Rio de
Janeiro, v. 20, n. 4, p. 1419-1440, 2010.
PEDUZZI, M. et al. Trabalho em equipe na perspectiva
da gerncia de servios de sade: instrumentos para a
construo da prtica interprofissional. Physis, Rio de
Janeiro, v. 21, n. 2, p. 629-646, 2011 .
PUNTEL DE ALMEIDA, M.C.; MISHIMA, SILVANA, M. O
desafio do trabalho em equipe na ateno Sade da
Famlia: construindo novas autonomias no trabalho.
Interface - Comunicao, Sade, Educao, v. 5, n. 9, p.
150-153, Ago. 2001.
RAMOS D.D.; LIMA M.A.D.S. Acesso e acolhimento aos
usurios em uma unidade de sade de Porto Alegre, Rio
290

Prticas de avaliao em sade no Brasil - dilogos

Grande do Sul, Brasil. Cad. Sade Pblica, v. 19, n. 1, p. 2734, 2003.


RODRIGUES FILHO, E.; PRADO, M. M.; PRUDENTE, C. O. M.
Compreenso e legibilidade do termo de consentimento
livre e esclarecido em pesquisas clnicas. Rev. Biot.,
Braslia, v. 22, n. 2, ago. 2014 .
SANTOS, D.A.F.; MOURAO, L.; NAIFF, L.A.M. Representaes
Sociais acerca do Trabalho em Equipe. Psicol. Cienc. Prof.,
Braslia, v. 34, n. 3, p. 643-659, set. 2014 .
SO PAULO. Secretaria de Estado da Sade. Diviso Poltico
Administrativa da RRAS. So Paulo, 2012. Disponvel em:
<http://www.saude.sp.gov.br/ses/perfil/gestor/mapasde-saude-2012/mapas-tematicos/condicoes-geograficasdemograficas-e-socio-economicas/divisao-politicoadministrativa-da-rras>. Acesso em: 20 mai 2015.
ESCOREL, S.et al. O Programa de Sade da Famlia e a
construo de um novo modelo para a ateno bsica no
Brasil. Rev Panam Salud Publica/Pan Am J Public Health,
Rio de Janeiro, v. 21, n. 2, 2007.
SOUZA, T.M.S.; RONCALLI, A.G. Sade bucal no Programa
Sade da Famlia: uma avaliao do modelo assistencial.
Cad. Sade Pblica, Rio de Janeiro, v. 23, n. 11, p. 27272739, 2007.
TANAKA, O.Y.; ESPIRITO SANTO, A.C.G. Avaliao da
qualidade da ateno bsica utilizando a doena respiratria
da infncia como traador, em um distrito sanitrio do
municpio de So Paulo. Rev. Bras. Saude Mater. Infant.,
Recife, v.8, n.3,p.325-332, set. 2008. Disponvel em: <http://
www.scielo.br/scielo.php?script=sci_arttext&pid=S151938292008000300012&lng=pt&nrm=iso>. Acessos em: 01
mar 2015.
291

Marco Akerman e Juarez Pereira Furtado (Orgs)

THIOLLENT, M. Crtica metodolgica, investigao social e


enquete operria. 5. ed. So Paulo: Polis, 1987.
VERAS, C.L.S.M.; VIANNA, R.P.T. Desempenho de municpios
paraibanos segundo avaliao de caractersticas da
organizao da ateno bsica. Revista de Epidemiologia
e Servios de Sade, Braslia, v. 18, n. 2, p. 133-140, abr./
jun. 2009.

Captulo 8
PMAQ: Consideraes crticas
para transforma-l em um dispositivo para a produo de mudanas no rumo da melhoria do
acesso e da qualidade da ateno bsica
Maria do Carmo Guimares Caccia Bava;
Maria Jose Bistafa Pereira; Lucila Brando
Hirooka; Guilherme Vincius Catanante;
Hlio Souza Porto

As reflexes trazidas no presente artigo e a


motivao para sua elaborao se deram no contexto
do desenvolvimento dos trabalhos do segundo ciclo do
Programa para Melhoria da Qualidade e Acesso Ateno
Bsica (PMAQ), do Ministrio da Sade, em 2014, tendo sua
primeira verso ocorrido dos anos de 2011 e 2012. (BRASIL.
MINISTRIO DA SADE, 2011)
Em 2014, pela primeira vez reuniram-se,
sistematicamente, universidades dez paulistas e a
292

Marco Akerman e Juarez Pereira Furtado (Orgs)

Universidade Federal do Rio Grande do Sul (UFRGS), e


representantes dos gestores das trs esferas: Coordenao
de Ateno Bsica da Secretaria de Estado da Sade
de So Paulo, Conselho dos Secretrios Municipais de
Sade (COSEMS) e do Ministrio da Sade, em torno
do planejamento, desenvolvimento e produo de
conhecimentos relativos avaliao externa do PMAQ
no Estado de So Paulo. Nessa articulao compe-se
o Colegiado Estadual do PMAQ, no formalizado, mas
operativamente ativo, desde as experincias do Colegiado
Estadual da Ateno Bsica constitudo pelo Secretrio
Estadual da Sade de So Paulo, esse sim criado por uma
resoluo do Secretrio Estadual no ano de 2012 e que
envolvia a maioria dos integrantes do presente grupo.
No Estado de So Paulo, dos 645 municpios, 542
(84,0%) aderiram ao segundo ciclo do PMAQ, sendo que
das suas 4.678 equipes de ateno bsica, 3.610 (77,2%)
participaram e de suas 2.018 equipes de sade bucal 1.703
(84,4%) aderiram ao programa. (BRASIL. MINISTRIO DA
SADE, 2014)
Um dos aspectos mais reiterados durante o
desenvolvimento do trabalho de campo das avaliaes
externas foi o questionamento das equipes quanto aos
resultados do primeiro ciclo e a explicitao clara de sua
expectativa de que, por ocasio do segundo ciclo, esses
resultados apresentados pudessem ser discutidos e talvez
superados em algumas das dificuldades mais urgentes, de
forma pontual e no generalizada.
Essa demanda tica, tcnica e poltica motivou as
instituies acadmicas e gestoras envolvidas a refletirem
sobre a relevncia do processo de restituio das avaliaes
s equipes avaliadas e nas melhores estratgias para seu
empreendimento.

294

Prticas de avaliao em sade no Brasil - dilogos

As referncias que pautaram o grupo para a


estruturao do processo de restituio foram:
- Superar o uso das medidas centrais, como a mdia,
e estruturar de forma singularizar e contextualizada a
anlise dos resultados: frente condio heterognea
das equipes, um mesmo dado colhido por ocasio da
avaliao externa poderia representar realidades bastante
diversas. Exemplo resgatado da prtica cotidiana foi trazido
discusso, referente estrutura fsica das unidades
de Ateno Bsica (AB), um dos aspectos avaliados pelo
PMAQ. Trata-se de uma regio coberta por sete unidades
de sade, das quais apenas uma possui sala de vacina.
Um olhar mais generalizante poderia levar a inferir
dificuldades de acesso, baixa cobertura vacinal, exposio
a doenas imunoprevinveis. Uma anlise contextualizada
pode, entretanto, mostrar que a nica sala de imunizao
tem funcionamento 24 horas, com vacinas de rotina e de
urgncia, pessoal muito bem-treinado, trabalho articulado
com as equipes das seis unidades de sade da famlia de
seu territrio de adscrio. A cobertura vacinal est alta
e no h registro de doenas imunoprevinveis. Em outro
contexto, esse dado poderia traduzir uma realidade bem
diferente.
- Outro exemplo no mbito dos indicadores de sade
dos municpios avaliados, que apontam situaes bastante
preocupantes em relao assistncia materno e infantil,
o aumento na incidncia da sfilis congnita, da mortalidade
materna e infantil, enquanto que, paradoxalmente, a
avaliao do PMAQ identifica que grande parte das unidades
realiza sete ou mais consultas de pr-natal. Isso nos chama
a refletir, coletivamente, sobre a qualidade da assistncia
que est sendo prestada e dos fatores ou combinao de
fatores que interferem nesse processo. Alguns desses so
intrnsecos s equipes e outros extrnsecos. Dentre esses,
295

Marco Akerman e Juarez Pereira Furtado (Orgs)

os fluxos entre os servios que compem a rede assistencial


um dos elementos a ser considerado. Esses servios so
de diferentes densidades tecnolgicas e esto dispostos
na regio de sade composta por vrios municpios, razo
pela qual a segunda referncia que pautou as reflexes do
grupo foi a de valorizar e fortalecer os espaos coletivos
de gesto regional, mais especificamente por Comisses
Intergestores Regionais (CIR).
- A terceira referncia, intimamente relacionada s
anteriores, a de que o processo de restituio deva superar
a mera apresentao de dados coletados, tarefa facilmente
cumprida mediante a mera distribuio aos municpios de
um pen drive com o banco de dados do Ministrio da Sade,
para, ao contrrio, revestir-se da capacidade de gerar
reflexes coletivas e mudanas que venham ao encontro
da ampliao do acesso e da melhoria da qualidade da
Ateno Bsica, profecia inicial de todo esse trabalho. Nesse
contexto, desenvolveram-se as presentes reflexes.
Avaliao em sade
A literatura vinculada a essa temtica aponta a estreita
relao existente entre o tipo de avaliao, enquanto campo
de investigao cientfica, que se escolhe levar a efeito, e
o modelo conceitual que a embasa, considerando-se que
este acolhe dimenses tica, esttica, ideolgica, poltica e
tcnico-operacional.
As diferentes necessidades geradas em diferentes
momentos histricos, o tipo e procedncia dos avaliadores,
o objeto da avaliao, levaram a uma ampla diversidade
de abordagens e modalidades classificatrias no campo da
avaliao. (AGUILAR; ANDER-EGG, 1994)
Contandriopoulos (2006), a despeito da variabilidade
presente nesse campo do conhecimento, define que a
296

Prticas de avaliao em sade no Brasil - dilogos

avaliao a emisso de um julgamento de valor sobre uma


interveno ou sobre qualquer um de seus componentes,
com o objetivo de ajudar na tomada de decises.
Estudiosos consideram a existncia de quatro
geraes dentro da histria da avaliao. A primeira foi
marcada pelo predomnio da medio ou verificao de
acertos e erros. Na rea da sade, esse tipo de avaliao
volta-se antes aos campos da epidemiologia e da estatstica,
verificando intervenes prioritariamente vinculadas
distribuio e ao controle das doenas infecciosas e
gerao de sistemas informacionais dos pases de primeiro
mundo. O papel do pesquisador assumia um carter
predominantemente tcnico, capaz de construir e usar
instrumentos voltados mensurao dos fenmenos
estudados. (GUBA; LINCOLN, 1989; HARTZ, 2009)
Seu segundo momento, com forte influncia at os
anos 1950, centrou-se no ato de descrever: foi conferida
prioridade s descries mais elaboradas referentes aos
processos de verificao do alcance dos objetivos, embora
ainda pouco valorizados em sua qualidade. Passam a ser
identificados e descritos os programas, compreendida sua
estrutura, dificuldades e possibilidades, frente consecuo
dos resultados esperados. Segundo Hartz (2009), a
mensurao passou a colocar-se a servio da avaliao.
Na terceira gerao, que marcou o final dos anos de
1960, e estendeu-se por vinte anos, foi dada relevncia
capacidade de julgamento agregada ao processo avaliativo.
A competncia maior do avaliador no se restringia a
medir e descrever, mas a avanar na direo de emisso
de um juzo de valor sobre o objeto avaliado, relevante
para que a avaliao pudesse desencadear as correes
de rumo necessrias, configurando-se como campo de
conhecimento especfico, como ficou evidenciado pelas
publicaes afins, pelo crescimento das associaes de
297

Marco Akerman e Juarez Pereira Furtado (Orgs)

avaliadores internacionais e dos padres de qualidade.


(HARTZ, 2009)
Essas trs geraes de referncias tericas e
metodolgicas e os papis precpuos esperados dos
avaliadores em cada modelo apresentaram avanos e
limitaes no campo da produo dos saberes e prticas
avaliativas. Segundo esses autores, a extrema valorizao
da viso gerencial, a inflexibilidade frente a diferentes
vises e valores, a exacerbao da viso positivista;, a
no relativizao dos dados frente a diferentes contextos,
a valorizao absoluta das medies quantitativas e a
desconsiderao de outros percursos para se pensar o
objeto da avaliao, a pseudoneutralidade e a ausncia
de responsabilizao moral e tica do avaliador, visto
que nenhuma delas implica o avaliador e o que emerge
da avaliao realizada ou de seu uso, so algumas de
suas principais limitaes. (GUBA; LINCOLN, 1989) A
impossibilidade de aprofundamento na interpretao dos
resultados foi, igualmente, apontada como fragilidade.
(MEIRELLES et al., 2012)
A avaliao de Quarta Gerao apresentou-se, assim,
como uma nova possibilidade tica, poltica e tcnica,
forjada a partir de novos paradigmas. Nela, o contexto, a
finalidade, os objetivos, os saberes operantes e os agentes
envolvidos interagem dentro e a partir dos distintos grupos
de interesses presentes no processo avaliativo. Nessa
concepo, as informaes no so importantes a priori,
mas tornam-se assim medida que forem pactuadas
entre os atores sociais, integrantes de grupos de interesse
implicados. Os autores classificam trs diferentes grupos
de interesse: dos agentes, que so os que produzem e
implementam os servios; dos beneficirios e das vtimas,
que so as negativamente afetadas pelo servio prestado
pelos agentes. (GUBA; LINCOLN, 1989) Ao adotar um
298

Prticas de avaliao em sade no Brasil - dilogos

carter participativo e uma dimenso formativa, possibilita


intervenes mais favorveis no sentido da qualificao
de servios de sade avaliados sob essa perspectiva.
(KANTORSKI et al., 2009)
Como ponto forte, revela-se a possibilidade de
estabelecerem-se negociaes, de integrar reflexes,
mtodos e atores do processo avaliativo, na qual a prpria
avaliao possibilite uma aprendizagem permanente,
que revele uma posio crtica e respeitosa frente e com
os agentes do processo avaliativo. Nessa concepo, a
reflexo crtica sobre os dados colhidos pode permitir mais
do que auferir os benefcios imediatos de bons resultados
do processo avaliativo, que, se descontextualizado, pode
ser equivocado. Essa mudana atinge tambm o papel dos
avaliadores, ainda tidos como interventores ou auditores
externos de um processo a que esto e continuaro alheios.
Para Hartz (2009), a quarta gerao no exclui os
referenciais anteriores, mas abre espao para que os atores
sociais envolvidos, incluindo os avaliadores, entrem em
processo de negociao como parte desse processo e no
como juiz deste. Ao encontro dessas referncias tericometodolgicas, apresenta-se a Investigao Apreciativa (IA).
Esta entendida como um mtodo centrado na deteco
dos pontos fortes e capacidades presentes nos processos
gerenciais, em lugar da busca exclusiva de suas fragilidades.
Pressupe a existncia de potncias a serem conhecidas e
desenvolvidas a partir do dilogo e da existncia de espaos
onde ideias e projetos possam ser expostos de forma
verdadeira, induzindo ao sucesso pelo comprometimento
coletivo. Igualmente no descarta os indicadores de
natureza quantitativa, mas defende a superao dos limites
de consider-los isoladamente. (COOPERRIDER; WHITNEY,
2005; MCNAMEE, 2002)

299

Marco Akerman e Juarez Pereira Furtado (Orgs)

No desenvolvimento desse processo de produo


terico-prtico houve uma aproximao com as referncias
do construcionismo social, particularmente no que se refere
compreenso de que a realidade construda a partir do
que as pessoas fazem juntas, bem como de que este fazer
e seus resultados esto sempre contextualizados cultural e
historicamente. (GERGEN, 1985; SOUZA et al., 2010)
Gergen
(1985) considera o discurso do
construcionismo social como uma teoria em ao ou
uma teoria prtica, justamente por dar nfase nas aes
produzidas pelas pessoas ao estabelecerem relaes.
Outros o tomam como um movimento. (MLLO et al., 2007)
McNamee (2002) concebe-o como uma postura filosfica
sobre o mundo. Esta perspectiva afasta-se da sustentao
terica modernista que centra seu foco no indivduo como
uma entidade ou objeto operando prticas lingusticas
focadas em apreender a realidade.
Em diferentes trabalhos, destaca-se a importncia da
linguagem entendida em suas funes pragmticas nas
relaes, em sua capacidade performativa, incluindo as
aes verbais e no verbais, objetos e ambientes.(GERGEN,
apud SOUZA et al., 2010, p. 598) Dessa forma, entende-se
que a realidade construda pela linguagem e no que esta
meramente represente uma realidade j preestabelecida.
Nessa perspectiva, assume-se a existncia de mltiplas
verdades/realidades, crenas e valores, e que estas
guardam estreita relao de produo com as circunstncias
contextuais em que se produzem.
Sobre o entendimento de que no construcionismo
social h um relativismo exacerbado, McNamee (apud
SOUZA et al., 2010, p.599) traz sua leitura:

300

Prticas de avaliao em sade no Brasil - dilogos

No entanto, os limites culturais e histricos


das prticas lingusticas das pessoas,
assim como os limites de cada contexto
de produo particular, delimitam as
possibilidades de ao e significados
coconstrudos. Em outras palavras, o
movimento construcionista no prope
uma filosofia do tudo possvel, ou
seja, que qualquer construo sobre o
mundo pode ser feita, tendo em vista
que as pessoas esto limitadas (bem
como potencializadas) pelos aspectos
histricos, contextuais e relacionais
de suas interaes. Para a proposta
construcionista existe uma tica para
a ao, sendo importante entend-la
como sendo situada localmente. Uma vez
reconhecido dentro de seu contexto local
de produo, o dilogo sobre a diversidade
das comunidades ticas pode ocorrer e
prosperar.

Assumir essa perspectiva significa comprometer-se


com a tica das relaes humanas, e, portanto, considerar
os sujeitos envolvidos na produo dos sentidos, o contexto
local, e o processo cultural e histrico que conformam os
significados particulares e produzem as aes pertinentes
dinmica das relaes de um dado grupo de pessoas situado
em um momento histrico. (GERGEN; GERGEN, 2008)
Essa produo afilia-se a tais preposies tericas por
acreditar-se que h espaos abertos para a construo de
significados a partir dos dados obtidos na avaliao externa
do PMAQ e as possibilidades podem se ampliar para a
incluso das formas alternativas de entendimento em cada
situao. Nesta direo, os significados e as aes precisam
se tornar objeto de dilogo e problematizados para a
compreenso de como as diretrizes do SUS so operadas
no cotidiano, alm de tambm fomentar a elaborao/
301

Marco Akerman e Juarez Pereira Furtado (Orgs)

construo de recursos em conjunto para o enfrentamento


do cotidiano situado em um contexto de produo contnua,
onde as prticas relacionais so inerentes.
McNamee (2006) refora que o construcionismo social
no desconsidera as estruturas fsicas, o mundo material,
bem como os seus limites, mas considera ser fundamental
a maneira pela qual as pessoas falam sobre e se relacionam
com o mundo fsico. Isto posto, ressalta-se que a valorizao
nos sentidos construdos nas relaes no significa assumir
que as mudanas dependem somente dos trabalhadores e
de suas aes, ou seja, no exclui de forma alguma o papel
das macropolticas e, consequentemente, do Estado, de
suas responsabilidades no campo das polticas pblicas.
Franco e Merhy (2006) alinham-se a essa compreenso
quando afirmam que, embora transformaes profundas
envolvam fatores macropolticos, como questes sociais,
econmicas e polticas, so os fatores micropolticos, as
relaes estabelecidas no dia a dia que as tornam possveis.
Reafirma-se, assim, a inteno dos autores do
presente trabalho de imprimir ao processo de restituio
das informaes do PMAQ s equipes e gestores loco
regionais a lgica de valorizar as capacidades presentes
e ainda, de incentivar a potncia de produzir o novo e
reconstruir sentidos acerca dos elementos avaliados,
superando a linearidade da avaliao na perspectiva da
punio, da excluso, da classificao, da identificao
de erros e acertos, julgando para penalizar ou premiar,
promovendo mais as disputas e menos a integrao que
possa impulsionar as mudanas requeridas.

Prticas de avaliao em sade no Brasil - dilogos

A experincia paulista do PMAQ


Diferentemente do 1 ciclo de avaliao externa,
desenvolvido por avaliadores ligados Universidade Federal
do Rio Grande do Sul (UFRGS) e Universidade Federal de
Minas Gerais (UFMG), no 2 optou-se por um novo formato
no Estado de So Paulo, ao contar com a parceria de 10
Instituies de Ensino Superior (IES): Faculdade de Sade
Pblica da Universidade de So Paulo (USP), Escola de
Enfermagem da USP-SP, Faculdade de Cincias Mdicas da
Santa Casa de So Paulo, Faculdade de Medicina do ABC-SP,
Universidade Nove de Julho-SP (UNINOVE), Universidade
Federal de So Paulo Baixada Santista (UNIFESP Baixada
Santista), Faculdade de Medicina da Universidade Estadual
de So Paulo (UNESP Botucatu), Departamento de Medicina
Social da Faculdade de Medicina de Ribeiro Preto/USP e
Ncleo de Pesquisa e Estudo em Sade Coletiva (NUPESCO)
da Escola de Enfermagem de Ribeiro Preto/USP, Faculdade
de Medicina de Marlia (FAMEMA) e Universidade Federal
de So Carlos, sendo que esta ltima no conseguiu aderir
ao processo.
Criou-se uma estrutura coordenada por um
articulador estadual, contando com coordenadores tcnicos,
administrativos, acadmicos, pedaggicos. Estes ltimos
eram a referncia para os tutores do Curso a Distncia de
Especializao em Avaliao de Servios de Sade da UNASUS/UFCSPA. Essa estrutura articulava-se com a Fundao
de Apoio da Universidade do Rio Grande do Sul (FAURGS) a
partir da Coordenao Geral do Projeto, uma Coordenadora
Tcnica e uma Coordenadora Administrativa, encabeando
suas ramificaes institucionais.
Uma das decises iniciais, sugerida pelas instituies
de ensino, foi agrupar o estado em trs macrorregies e
distribuir as IES nas Redes Regionais de Ateno Sade

302

303

Marco Akerman e Juarez Pereira Furtado (Orgs)

(RRAS) para efeito de planejamento do campo e operao


de lgicas de matriciamento entre as Universidades,
as Regies de Sade e os Municpios. A conformao
dos agrupamentos se deu pelas relaes histricas de
trabalho, considerando que esta aproximao anterior
das universidades e servios regionais teria potncia para
facilitar o processo de trabalho junto aos Departamentos
Regionais, com os respectivos municpios que compem os
Colegiados Intergestores e equipes contratualizadas.
Outra deciso desse grupo foi que nenhum municpio
receberia a visita dos avaliadores do PMAQ sem antes ter
se dado um encontro entre os representantes das IES de
cada macrorregio e os representantes dos respectivos
Departamentos Regionais de Sade e representantes dos
municpios para estabelecer a comunicao e os fluxos
administrativos e tcnicos.
Nesse movimento, os diretores dos respectivos
Departamentos Regionais de Sade e suas equipes,
os secretrios municipais ou seus representantes e as
universidades responsveis pela avaliao externa da regio
iniciaram as interaes sobre o processo.
O percurso da USP/Ribeiro Preto
Da USP/Ribeiro Preto participaram como
responsveis pela avaliao externa das equipes da RRAS
13 uma coordenadora pedaggica macrorregional, docente
do Departamento de Medicina Social da Faculdade de
Medicina, e uma coordenadora acadmica, membro do
Ncleo de Estudo e Pesquisa em Sade Coletiva (NUPESCO)
da Escola de Enfermagem de Ribeiro Preto/USP.
A RRAS 13 composta pelos Departamentos
Regionais de Sade de Barretos (DRS V), Araraquara (DRS
304

Prticas de avaliao em sade no Brasil - dilogos

III), Franca (DRS VIII) e Ribeiro Preto (DRS XIII), situados


na macrorregio nordeste do Estado de So Paulo. Neste
conjunto, h 90 municpios agregados em 12 Regies de
Sade: Central do DRS III, Centro-Oeste do DRS III, Norte
do DRS III, Corao do DRS III, Norte Barretos, Sul Barretos,
Trs Colinas, Alta Anhanguera, Alta Mogiana, Horizonte
Verde, Aqufero Guarani e Vale das Cachoeiras. Nessa regio
houve a adeso ao 1 ciclo do PMAQ de 183 equipes de 57
municpios. No 2 ciclo, aderiram 323 equipes de ateno
bsica, 147 equipes de sade bucal e seis NASF, distribudas
nos 80 municpios envolvidos na contratualizao.
Aps seleo dos avaliadores e supervisores
realizada por meio de chamada pblica em setembro,
com resultado final divulgado em outubro de 2013, a Rede
Governo Colaborativo em Sade, atravs de parceria com a
Universidade Federal de Cincias da Sade de Porto Alegre
(UFCSPA), disponibilizou o Curso de Especializao em
Avaliao de Servios de Sade na Modalidade a Distncia
(EaD), com durao de 12 meses. Assim, para o trabalho na
RRAS 13, foram selecionadas quatro equipes, compostas de
um supervisor, 12 avaliadores e um apoio administrativo.
As coordenadoras pedaggica e acadmica iniciaram
um trabalho de sensibilizao para o PMAQ, realizando
as primeiras reunies de esclarecimento da proposta,
ressaltando que a valorizao de aspectos como capacidade
de cooperao e de trabalhar em equipe e desejo de
proximidade com a Ateno Bsica poderiam imprimir
qualidade a todo o trabalho do PMAQ.
O treinamento dos avaliadores ocorreu em janeiro de
2014, em Ribeiro Preto, incorporando o uso dos tablets
com as mscaras dos questionrios a serem aplicados,
contando com a presena de integrantes das equipes da
UFRGS, do Coordenador Estadual do PMAQ e equipe de
macroapoiadores, docentes, pesquisadores, supervisores e
305

Marco Akerman e Juarez Pereira Furtado (Orgs)

membros das coordenaes das macrorregies de Ribeiro


Preto e Marlia, bem como de avaliadores da regio de So
Carlos. Devido a desistncias, uma segunda seleo de
avaliadores foi realizada em fevereiro, com treinamento
realizado em maro de 2014.
Foram realizadas reunies em cada uma das quatro
DRS com a finalidade de apresentar a equipe regional e
expor como se deu o processo de insero desta equipe no
PMAQ. Os Articuladores1 da Ateno Bsica tambm foram
convidados. Esses encontros tiveram por objetivo estimular
que os participantes expusessem as suas experincias
no 1 ciclo e os sentidos produzidos nesse processo, que
se transformaram em objeto de dilogos. Relatos de
desencontros e desentendimentos de diferentes naturezas
entre a equipe local e avaliadores foram expostos. Com
frequncia bem menor, ouviram-se relatos do processo ter
transcorrido sem dificuldades.
Houve unanimidade por parte dos municpios da
necessidade de conhecerem melhor os instrumentos e
as razes de determinadas exigncias do PMAQ, bem
como quanto incipincia da devolutiva dos dados do 1
ciclo. Nesses encontros foram estabelecidos os percursos
das visitas s equipes dos 80 municpios, contanto com a
experincia dos presentes que conheciam detalhes das
facilidades e dificuldades de acesso entre os municpios,
alm de peculiaridades das equipes que no esto elencadas
em manuais. Enfim, no encontro pautado pela exposio
Articuladores de Ateno Bsica so profissionais de nvel universitrio,
de carreira, selecionados para comporem Programa criado pela
Secretaria de Estado da Sade de So Paulo no ano de 2003, com a
funo de apoiar os gestores municipais nas atividades de planejamento
e gesto da Ateno Bsica. So definidos 97 articuladores para 63
Regies de Sade do estado, priorizando-se aqueles municpios com
menos de 10 mil habitantes. Sua atuao desenvolve-se na esfera local,
mantendo o horizonte das articulaes e fortalecimento dos espaos
regionais.

Prticas de avaliao em sade no Brasil - dilogos

dos diversos sentidos j produzidos em experincias


de trabalhos anteriores, foi possvel dar andamento
ao novo processo, identificando-se entendimentos e
desentendimentos a serem trabalhados, constatando-se
que as prticas relacionais do cotidiano situam-se em um
contexto de construo contnuo.
Sem dvida no foi totalmente livre de desencontros
e necessidades de repactuao que este processo foi se
dando, embora permeado por muito esforo de buscar o
entendimento para o projeto comum: avaliao pelo PMAQ
como recurso potencial para a mudana favorvel na
ampliao do acesso e na qualidade da produo em sade
na AB, valorizando a produo de um aprendizado conjunto
dos participantes do processo avaliativo.
As primeiras visitas avaliativas do 2 ciclo se deram
no incio de fevereiro e concluram-se na ltima semana de
maio de 2014, cumprindo o cronograma pactuado com os
gestores loco regionais, com a Coordenao Estadual do
PMAQ e com a FAURGS. Em reunies semanais, a equipe
regional pode conversar sobre o andamento das atividades
e sobre as experincias vivenciadas, sendo reiterado pela
equipe de campo que a participao no PMAQ proporcionou
a proximidade com realidades muito distintas e uma
possibilidade intensa de trocas de experincias.
O processo de devoluo dos resultados para os Colegiados
Intergestores

306

Reafirmando-se o compromisso de coconstruo


com os agentes envolvidos, entendeu-se que integrar
os distintos grupos de interesses presentes no processo
avaliativo seria o caminho, alm de considerar que as
informaes no so importantes a priori, mas se tornam
assim medida que forem pactuadas entre os atores
307

Marco Akerman e Juarez Pereira Furtado (Orgs)

sociais implicados. Embora ainda sem a participao direta


do usurio nesse momento, relevante considerar-se que a
melhoria do acesso e da qualidade da ateno vinculadas s
necessidades apresentadas por eles o grande disparador
desse processo.
Com essa mesma preocupao, no final do ms de
julho de 2014 o Colegiado PMAQ/SP teve como pauta
exclusiva de reunio: Como devolver os dados do PMAQ
s equipes locais. Nesse espao coletivo e pautado pela
premissa de que a devolutiva deveria vir ao encontro
da melhoria do acesso e da qualidade da AB, defendeuse a relevncia desses dados serem vistos de forma
contextualizada e, ainda, que os Colegiados Intergestores
Regionais seriam os espaos mais adequados para se fazer
essas devolutivas, para serem fortalecidos politicamente e
por serem estratgicos na configurao da regio onde h
fluxos assistenciais importantes e onde questes relevantes
apontadas pelos indicadores poderiam ser trabalhadas e
mesmo resolvidas naquele mbito. Reforou-se que nesse
processo seria possvel resgatar a singularidade de cada
situao apresentada pelas respectivas regies, permitindo
superar a anlise centrada exclusivamente nas medidas
estatsticas centrais. Os exemplos j citados para ilustrar
essa perspectiva possibilitaram agregar mais sentido
proposta.
Com essa motivao, o mesmo assunto foi levado ao
debate havido em Porto Alegre com as seis universidades
consorciadas com a UFRGS para desenvolvimento do
PMAQ 2 ciclo, sobre a produo gerada com os dados
do PMAQ, quando foi apresentada pela USP Ribeiro a
proposta de elaborao de fascculos organizados por
CIR, trazendo outras informaes e indicadores regionais
que contextualizassem os dados do PMAQ levantados
por ocasio da avaliao externa. Foi, assim, aberta essa
308

Prticas de avaliao em sade no Brasil - dilogos

possibilidade pelo Coordenador Geral do Consrcio do


PMAQ, Professor Alcindo Ferla.
Na sequncia, o Colegiado PMAQ/SP obteve espao
para abrir discusso sobre a proposta na Oficina de Trabalho
voltada aos 94 Articuladores da Ateno Bsica da Secretaria
de Estado da Sade de So Paulo, ha vida em agosto de 2014.
Muitas ideias foram dadas nesse momento, debatendo-se
as expectativas identificadas pelos articuladores junto s
equipes avaliadas, suficincias e insuficincias da proposta
e sugestes para seu aprimoramento. Uma das expectativas
mais comum a todos os presentes referiu-se incluso dos
dados do 2 ciclo na produo desse material.
Avanando-se nessas definies, novos contatos com
os diretores das Regionais e suas equipes foram disparados
para delinear esse processo de restituio em conjunto
com a equipe de avaliadores e coordenaes Pedaggica
e Acadmica. Avanou-se, assim para reunio ocorrida
no final do ms de setembro de 2014, sendo a conversa
disparada pela questo norteada: O que pensamos que
podemos produzir a partir dos resultados j apresentados
pelo 1 e 2 ciclo do PMAQ?. Apresentou-se a proposta de
elaborao de um material agregando os dados do PMAQ de
forma contextualizada por outros dados e/ou indicadores
que ajudassem a atribuir sentido anlise.
Lembrava-se de que o compromisso seria de que
a prpria avaliao possibilitasse uma aprendizagem
permanente, desde que pudesse realizar-se a partir do
dilogo aberto sobre as experincias e ideias e projetos
trazidos de forma genuna, em ambincia adequada,
crtica, respeitosa, entre os diferentes grupos de interesse
envolvidos no processo de devolutiva. Pactuou-se que as
equipes dos DRS participariam dessa produo contribuindo
com dados de contexto relevantes para a compreenso
dos dados do PMAQ. equipe de universidades, caberia
309

Marco Akerman e Juarez Pereira Furtado (Orgs)

disparar a primeira seleo e anlise das variveis do PMAQ


a comporem a matriz de anlise e dados e indicadores de
outras fontes.
Sendo assim, o grupo da USP Ribeiro Preto selecionou
e discutiu as variveis constantes nos mdulos I, II e III dos
questionrios de avaliao externa do 1 ciclo do PMAQ.
Buscou-se ainda identificar as variveis comuns aos dois
ciclos realizados, o que possibilitaria o acompanhamento
ao longo do tempo, j que houve muitas mudanas do 1
para o 2 ciclo, como a insero dos mdulos IV, V e VI. Em
17 reunies com essa finalidade, foram analisadas 1.619
variveis do 1 ciclo, delas sendo escolhidas 247 para a
composio final da matriz, considerando a relevncia e a
compatibilidade com as variveis do 2 ciclo.
O resultado desse conjunto de aes foi a gerao
de uma matriz de anlise composta por variveis do PMAQ
escolhidas a partir dos instrumentos de coleta do 1 e
2ciclos, justiando a relevncia da varivel escolhida e
sugerindo outros dados relevantes para contextualiz-las.
O conjunto de itens que compe essa matriz foi fruto da
discusso do sentido que cada varivel produziu em cada
um. Em um movimento de escuta, de buscar esclarecimento
sobre o comum e a distino entre esses sentidos que
foi composta a matriz avaliativa, ainda debatida com os
Articuladores de Ateno Bsica e com o Coordenador
Estadual da Ateno Bsica da Secretaria Estadual de Sade
de So Paulo.
A proposta de matriz elaborada foi apresentada e
discutida em reunio do colegiado PMAQ/SP em 12 de
novembro de 2014 e disponibilizada para debate mais
aprofundado e sugestes. Nesse momento, definiu-se
que cada instituio de ensino envolvida com a avaliao
externa do PMAQ escolheria um CIR para aplic-la e avaliar
sua adequao. Esse exerccio deveria ser apresentado
em Oficina ampliada desse grupo, ocorrida em 16 de
310

Prticas de avaliao em sade no Brasil - dilogos

dezembro. O processo e o produto desse trabalho foram


apresentados pela USP Ribeiro nesse evento, contando
com 60 participantes, entre pesquisadores, representantes
do nvel central da SES e seus Articuladores da Ateno
Bsica, Ministrio da Sade e COSEMS/SP.
O uso dos dados e dos indicadores apontados pela
Matriz de Anlise foi organizado a partir do apresentador
Prezi, na modalidade de acesso pblico. (COLEGIADO
PMAQ, 2014) Informaes de contexto retiradas de sites
pblicos e abertos a todos os cidados referentes aos
municpios no preservaram o sigilo, mas os dados obtidos
a partir da avaliao externa do PMAQ no identificam o
municpio, mas o conjunto da CIR.
Essa apresentao aponta as premissas do trabalho
desenvolvido na regio de sade Centro Oeste do DRS III,
integrada por cinco municpios: Tabatinga e Borborema,
ambos com cerca 15 mil habitantes; Itpolis e Ibitinga,
j maiores, com 40 e 53 mil, respectivamente; e Nova
Europa, o menor, com 9 mil. O deslocamento entre os
municpios dessa regio apresenta dificuldades, e o PIB
est acima do Estado de So Paulo, da RRAS 13 e do DRS
III, conforme apontou o mapa da Sade. (SO PAULO, 2012)
Desses municpios, participaram do 1 ciclo do PMAQ 11
equipes de sade da famlia, sendo que seis destas com
equipes de sade bucal. Em todas as unidades, o mdulo
II da avaliao externa foi respondido por profissionais da
enfermagem, sendo que sete destes profissionais possuam
ou cursavam ps-graduao em Sade da Famlia ou Sade
Coletiva. Responderam ao mdulo III, 44 usurios, sendo 41
mulheres e trs homens entre 18 e 83 anos.
Como principais causas de internao, excetuando-se
os partos, esto as pneumonias e a insuficincia cardaca
para ambos os sexos e os problemas relacionados gravidez
para as mulheres.
311

Marco Akerman e Juarez Pereira Furtado (Orgs)

Os usurios dessas unidades indagados na avaliao


externa do PMAQ sobre haver ou no a abordagem de
outras necessidades para alm da queixa imediata, 28 deles
referiram que sempre, cinco que na maioria das vezes e 11
que isso nunca ocorre. Quanto qualidade da assistncia
recebida, 33 a consideraram boa ou muito boa e 11 regular
ou ruim. Ainda segundo dados do PMAQ, 10 entre 11 equipes
avaliadas ofereciam consultas mdicas programticas e
exames subsidirios aos pacientes hipertensos assistidos.
Por outras fontes, entretanto, pode-se identificar que
as internaes por condies sensveis Ateno Bsica
na regio, nesse mesmo perodo, superaram os nveis do
Estado de So Paulo, da RRAS 13 e do DRS III. Nesse mesmo
contexto e perodo, identificou-se que a taxa de internao
por acidente vascular cerebral (AVC) mais do dobro do
estado (6,31%), chegando a 22,64% em Tabatinga, o que
refora a premissa de olhar para os dados do PMAQ de
forma contextualizada. Preocupante tambm o nmero
de pacientes em dilise, estando a taxa de prevalncia anual
da regio em quase 30,61% e os municpios de Tabatinga e
Itpolis com 40,15% e 54,5%, respectivamente.
Voltam-se agora as anlises para outro segmento
da populao, os idosos, registrando-se um alinhamento
claro entre os dados colhidos pelo PMAQ e os de outras
fontes, o que revela uma situao preocupante, dadas as
transies demogrfica e epidemiolgica. Os percentuais de
internaes por fratura de fmur nessa populao so altos
e superam a regio (28%) e o estado (24%), sendo que em
Itpolis chega a 45,39%. Em consonncia a isso, pelo PMAQ
identificou-se que apenas uma unidade organiza trabalho
em grupo para idosos. Considerando-se que o indicador,
geralmente, aponta os resultados de um processo longo
e complexo, e no apenas um momento mais pontual e
recente, analis-los no conjunto com as informaes
colhidas presentemente pelo PMAQ pode ajudar a apontar
312

Prticas de avaliao em sade no Brasil - dilogos

tendncias. Nesse caso, frente fragilidade da assistncia


direcionada para esse segmento, pode-se dizer que esses
indicadores ruins tenderiam a manter-se ou a piorar frente
a um grupo vulnervel e crescente. A avaliao do 2 ciclo
poder oferecer elementos para essa anlise.
No perodo de coleta da avaliao externa do PMAQ,
o percentual de partos em mulheres menores de 20 anos
nessa regio era de 19%, superando a DRS e o estado,
este com 14%. O municpio de Nova Europa diferenciavase ao apresentar um percentual de 12,80%. Procurou-se
identificar se houve mudanas mais recentes por outras
fontes, o que se confirmou, mas para pior. Nova Europa
subiu para 18,6% e a regio se manteve perto dos 19%.
Quanto aos tipos de parto, registra-se uma inverso
no que preconizado pela Organizao Mundial de Sade,
que o total de partos cesreos em relao ao nmero total
de partos realizados em um servio de sade seja de at 15%
(OMS, 1996). A RRAS 13 estava em 56% e a regio em 72%
de partos cesreos no momento de avaliao pelo PMAQ.
Mais recentemente (2013), registrou-se uma piora nesta
proporo: a regio passou de 72 para 83%; Borborema
de 78 para 84%; Ibitinga de 67 para 77%; Nova Europa de
55 para 82,7%; Tabatinga de 62 para 82,5% e Itpolis de 84
para 91,7%. Entretanto, o nmero desejvel de consultas
de pr-natal feito na regio (sete ou mais consultas) chega
a 79,47%, acima do estado e da RRAS 13.
Outro elemento importante para essa reflexo
foi obtido com o auxlio dos Articuladores da Ateno
Bsica por meio do SIMWEB, (SISTEMA DE INFORMAO
SOBRE MORTALIDADE, 2015) confirmando a intuio dos
pesquisadores quanto proporo que se configura entre
os bitos maternos derivados de pr-natal de alto risco e de
pr-natal de baixo risco: dos 80 bitos maternos havidos na
regio de 2011 a 2014, cinco deles (6%) eram de gestaes
313

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

de alto risco e 94% eram de gestaes de baixo risco. A


inquietao que levou a se buscar esse dado veio sendo
construda ao se identificar, sistematicamente, que os prnatais de alto risco tm seus fluxos muito bem-definidos,
agilizados e acatados. Essa informao no o nico fator
envolvido nessa situao, mas pode ser considerada para
futuras discusses.

em pelo menos trs unidades a espera ultrapassa sessenta


dias, com duas unidades podendo chegar a noventa
dias. H demanda reprimida para os exames ultrassom
com Doppler, ultrassom E, endoscopia, colonoscopia e
ressonncia magntica, o que leva os gestores dessa regio
a comprarem servio nos municpios de Ribeiro Preto,
Araraquara e Mato.

Ainda sobre as fragilidades da assistncia ao pr-natal,


a taxa de incidncia da sfilis congnita, bom indicador da
qualidade do pr-natal oferecido, foi crescente na regio
ao ir de 2,44 para 5,15 a 7,17 nos anos de 2011 a 2013,
respectivamente. Em Ibitinga foi de 3,16 para 7,04 para 13%
no mesmo perodo. Que fatores esto envolvidos nesse
fenmeno injustificvel? Esses dados podem ser associados
s respostas das 13 usurias entrevistadas que possuam
filhos com at 2 anos no 1 ciclo do PMAQ, das quais
quatro informaram terem feito seis ou menos consultas de
pr-natal, nmero abaixo do recomendado, reforando a
necessidade de adequao e qualificao do cuidado pr
e perinatal.

O PMAQ indica que os registros quanto ao tempo de


espera para o acesso a outras especialidades variam entre um
a cento e oitenta dias, mas a maioria dos encaminhamentos
para a assistncia especializada requerida tem o tempo
de espera desconhecido. Essa situao vem corroborar o
registro da existncia de grandes vazios assistenciais pelo
mapa da sade da regio e, conceitualmente, a ausncia
da coordenao do cuidado, atributo essencial da Ateno
Bsica.

Associam-se a essa reflexo as informaes dadas


pelas mulheres entrevistadas pelo PMAQ, onde apenas
10 em 38 mulheres respondentes referiram ter as mamas
avaliadas, num contexto de alta mortalidade feminina
por esse tipo de cncer. Pode-se tambm identificar uma
queda na cobertura dos exames citopatolgicos do colo de
tero em mulheres de 25 a 64 anos, embora esse tipo de
neoplasia apresente uma evoluo lenta e seja sensvel aos
cuidados adequados na Ateno Bsica.
Quanto ao tempo de espera para realizao de
mamografia para diagnstico de cncer de mama, o mapa
da sade indica no haver dificuldade de acesso a esse
recurso por contar com dois mamgrafos. O 1 ciclo do
PMAQ aponta uma realidade divergente, registrando que
314

No perodo de 2000 a 2010, foi observado que a


taxa de mortalidade infantil do CIR regio Centro Oeste
esteve acima da respectiva DRS, RRAS e tambm do Estado
de So Paulo (DRS/RRAS Estado) com exceo apenas no
ano de 2008. Ibitinga registrou o maior nmero de bitos
neonatais, com uma mortalidade crescente, atingindo um
coeficiente de 25,39 por mil nascidos vivos.
No ano de 2010, o mapa da sade acusou para a
regio Centro Oeste, o coeficiente de mortalidade neonatal
de 9,19, superior DRS/RRAS/Estado, esses com 7,90,
7,60 e 8,13, respectivamente. Ressalta-se o registro dos
municpios de Ibitinga com 14,10 e de Itpolis com 8,81
para esse coeficiente. Desse contexto, associado aos dados
da avaliao externa do PMAQ, emerge a indagao:
quais poderiam ser os fatores que levariam trs, dentre
11 unidades de sade avaliadas na regio, a no fazerem
qualquer acompanhamento de puericultura para suas
crianas abaixo de 2 anos? Igualmente o PMAQ revela que
315

Marco Akerman e Juarez Pereira Furtado (Orgs)

os testes rpidos de gravidez e sfilis eram indisponveis para


todas as unidades pesquisadas. Dos testes dessa natureza,
apenas o de HIV foi relatado como disponvel em 10 das 11
unidades.
O acesso imunizao na regio em anlise, de cerca
de 130 mil cidados, encontra-se comprometido pela
inadequao da estrutura fsica e pela falta de profissionais
capacitados. O municpio de Itpolis, com 40 mil habitantes,
possui quatro das nove salas de vacina da regio, e Ibitinga,
com 53 mil moradores, dispe de duas salas. Cada um dos
outros trs municpios conta com uma sala para sua cidade.
Apenas duas unidades avaliadas no 1 ciclo responderam
ter sempre disponveis os imunobiolgicos questionados no
mdulo I da avaliao externa. (COLEGIADO PMAQ, 2014)
Em relao dispensao de medicamentos, os dados
do PMAQ apontam que dentre 11 unidades avaliadas, trs
so dispensadoras, levando indagao do que ocorre com
os pacientes assistidos nas oito demais unidades de sade
da regio e o quanto essa centralizao estaria dificultando
o seu acesso aos medicamentos prescritos. (COLEGIADO
PMAQ, 2014)
De acordo com o mapa da sade, as unidades
dispensadoras possuem estrutura fsica inadequada, no
apresentam uma padronizao de medicamentos a serem
dispensados pelos municpios e poucos profissionais
farmacuticos. Estes dados de contexto associados aos
da avaliao do PMAQ oferecem elementos para uma
anlise mais ampla do que ocorre no mbito da assistncia
farmacutica na regio: poucas unidades dispensadoras,
estrutura fsica inadequada, ausncia de padronizao de
medicamentos pelos municpios, escassez de farmacuticos,
revelando, assim, fragilidades que requerem ateno por
parte dos gestores de todas as esferas.

316

Prticas de avaliao em sade no Brasil - dilogos

Um dos vazios da ateno nesta regio foi identificado


na rea de sade mental, sendo registrada a existncia de
um ambulatrio de sade mental no municpio de Ibitinga e
um CAPS em Itpolis. Segundo o PMAQ, 36,4% das unidades
agendam consultas nessa rea sem restrio de dia ou de
horrio, 36,4% agendam s com restrio de horrio e
27,2% agendam apenas em dias especficos. Das unidades
encaminhadoras para a assistncia em sade mental, de
11, apenas duas unidades registram seus pacientes graves,
revelando um vazio assistencial e uma fragilidade tanto nos
processos quanto na capacidade instalada da rede. Consta
no Mapa da Sade da regio que a instalao de novos
equipamentos est indicada na proposta de reorganizao
desse setor.
Ainda segundo o Mapa da Sade, a sade mental
aparece no bojo dos dados de mortalidade, apontados
a seguir para toda a regio. A taxa de mortalidade por
10 mil, segundo grupos de causas (CID-10), registrou
132 bitos por neoplasias (taxa de 100,1); 43 mortes
por doenas endcrinas nutricionais e metablicas (taxa
de 32,64). Seguem 31 bitos por doenas infecciosas e
parasitrias (taxa de 23,53) e nove mortes por transtornos
mentais e comportamentais (taxa de 6,83), alm de dois
bitos por doenas do sangue, rgos hematolgicos e
transtornos imunitrios (taxa de 1,53). Em 2011, o registro
de internaes dessas doenas citadas anteriormente foi,
em nmeros absolutos e respectivas taxas de internao
por 10 mil: 666 - (50,56%); 257 (19,51%); 440 (33,40%); 242
(18,37%) e 72 (5,47%), respectivamente. A necessidade
por ateno sade mental fica evidente e, frente aos
equipamentos ofertados, tem explcito o dficit de acesso.
Ressalta-se que para o clculo da taxa foi usada populao
de 2010, segundo o IBGE (total e SUS dependente 2011).

317

Marco Akerman e Juarez Pereira Furtado (Orgs)

A matriz de anlise incluiu tambm aspectos relativos


ateno em sade bucal. Apenas seis das 11 unidades
de sade avaliadas de dois municpios contavam com uma
equipe de sade bucal (54,5%), que segue o padro de
cobertura por equipes de sade bucal na regio, de 54,7%
em 2013. Dos 24 usurios entrevistados nas unidades
com equipe de sade bucal, apenas 50% responderam
que conseguem marcar atendimento com o dentista da
unidade. O mapa da sade aponta que no perodo de 2009
a 2012 a primeira consulta odontolgica programtica
teve uma cobertura decrescente, indo de 22 para 17% na
regio. Nova Europa apresenta ndices baixos (7%); Itpolis
caindo de 31 para 24%; Ibitinga idem, indo de 19 para 13%
e Tabatinga de 17,76 para 14,73%. (SO PAULO, 2012) Nas
respostas do 1 ciclo do PMAQ, todas as seis equipes de
sade bucal responderam que garantem a continuidade do
tratamento, mas a razo entre os tratamentos concludos e
as primeiras consultas programticas, em 2014, foi de 0,21,
o que indica dificuldades de concluso dos tratamentos
iniciados. Esses resultados precisam ser explorados em
suas diversas dimenses com as equipes locais e os demais
grupos de interesse para a formulao de estratgias de
interveno adequadas realidade local.
As exodontias reduziram-se, indo de 10,05, em 2011,
para 3,57, em 2013, mas ainda apresentando nmeros
absolutos altos em relao aos demais procedimentos.
Em 2013, foram realizadas 5.583 exodontias e 156.519
procedimentos clnicos. H por parte dos autores uma
preocupao justificada gerada pela forma de cmputo
quando se aprende que uma extrao tomada como
um procedimento, enquanto que uma profilaxia equivale
a seis procedimentos, considerando-se o sextante como
unidade, o que pode levar a se superestimar o nmero dos
demais procedimentos. Numa hiptese de que os 156.519
procedimentos fossem de limpeza, dividindo-os por seis
318

Prticas de avaliao em sade no Brasil - dilogos

sextantes de um mesmo dente, daria uma proporo de 26


mil dentes limpos para 5.583 dentes extrados, proporo
inaceitvel para uma poltica de sade bucal que busca
superar a lgica mutiladora.
Muitas das dificuldades e fragilidades aqui
evidenciadas requerem processos de trabalho bemestruturados, profissionais capazes de trabalho em
equipe, de estabelecer cuidados longitudinais, vinculares,
intregralizadores, acessveis, coordenados, o que requer
equipes providas e profissionais fixados como requisito
essencial. Entretanto, nenhum dos cinco municpios da
regio, mesmo aqueles com perto de 50 mil habitantes,
possui Plano de Cargos, Carreiras e Salrios e todos
registram alta rotatividade e dificuldade de provimento e
manuteno dos seus profissionais.
Consideraes a meio caminho do processo de restituio
da avaliao externa do PMAQ
A matriz de anlise (MA) aqui apresentada ainda
requer que sejam agregados os dados do 2 ciclo do PMAQ
para cumprir uma parte de seu papel de monitoramento.
Entretanto, frente aos objetivos de contribuir para ampliar
acesso e qualificar a AB, as redes de ateno e o SUS, j
aponta ser relevante:
1. A anlise contextualizada
processos devolutivos reflexivos;

para

desencadear

2. A participao dos Articuladores da Ateno Bsica


e do DRS III nesse processo;
3. A superao de que
ranqueamento, nota, recurso.
importncia desses aspectos,
indicadores, como os bitos

o PMAQ restrinja-se a
No se trata de negar a
mas de valorizar outros
evitveis, as amputaes
319

Marco Akerman e Juarez Pereira Furtado (Orgs)

desnecessrias, a desassistncia sade bucal e sade


mental, os vazios assistenciais, a falta de imunobiolgicos,
por exemplo. Se outras informaes de contexto ajudarem
a expor essa realidade, que sejam mobilizadas e articuladas;
4. Superar a valorizao do foco da avaliao na
estrutura da rede (80%). Estrutura necessria, mas por
si s no garante a configurao de redes. H que haver o
fortalecimento dos fluxos de interao, articulao e troca
entre parceiros que militam pela construo de um mesmo
projeto;
5. A gesto da sade atravessada fortemente pela
poltica, pela poltica partidria, por interesses pessoais.
Compreender isso exige uma imerso no contexto. Exemplo
a ser trazido diz respeito a todos os municpios da Regio
Centro Oeste do DRS III, onde se desenvolveu o exerccio
apresentado que tm um hospital. So cinco cidades
e cinco hospitais. Que interesses levaram a construlos, mesmo quando os estudos mostram que os piores
desempenhos hospitalares, pior relao custo\benefcio,
piores indicadores esto nos hospitais pequenos? A quem
interessa mant-los? Quais so as consequncias disso? No
que isso afeta a construo das redes regionais solidrias,
resolutivas, com economia de escala? Em que grau isso
compromete a destinao de recursos para a Ateno
Bsica?
6. Sada para isso fortalecer cada vez mais os espaos
regionais de discusses e pactuao de intervenes
coletivas. Onde os municpios esto mais isolados, mais
atomizados, h os piores indicadores;
7. Os Contratos Organizativos da Ao Pblica (COAP)
e o Programa Geral de Ateno Sade (PGAS) devem
ser estimulados para avanarem, posto que tm potncia
para fortalecer o estabelecimento de compromissos e
articulaes regionais se levados a srio.
320

Prticas de avaliao em sade no Brasil - dilogos

Apresentam-se, ainda, as proposies para debate:


1. Que parte da nota do PMAQ seja definida a partir
dos indicadores pactuados e obtidos pela regio de sade
em seu conjunto e no apenas isoladamente por municpio.
Alm de fortalecer a lgica do trabalho em redes assistenciais
integradas e seus fluxos, mobilizaria gestores com maior
poder poltico e financeiro a interferirem favoravelmente
nas questes regionais para alm de seu prprio municpio.
2. Recursos da Educao Permanente:
a. serem obrigatoriamente destinados a
projetos que apresentem intervenes voltadas para a
superao dos piores indicadores regionais;
b. Serem condicionado ao compromisso do
gestor de viabilizar mudanas no processo de trabalho
necessrias para se atingir os objetivos apresentados
naquele projeto. Por exemplo, o aprimoramento do
acolhimento da unidade de sade: requer dimensionamento
equipe-usurio, ambincia, gesto compartilhada entre
as vrias esferas de gesto e fortalecimento da rede de
ateno, fortalecimento da rede assistencial, o que implica
aceitao de mudanas no processo de trabalho de todos
os envolvidos no processo;
3. Haver investimentos estaduais e federais aos
municpios e s regies que apresentem diagnsticos
singularizados (fragilidades especficas requerem, para sua
compreenso, respostas especficas a perguntas singulares:
como? por qu? onde? quando? quem? como? quanto?
Pode-se tomar como exemplo o aumento da sfilis congnita.
Vrias so as razes desse fenmeno: numa avalanche
de ideias, pode-se pensar desde a falta de testes rpidos
apontados pelo PMAQ, como a falta de pessoal qualificado,
ou a falta de condies de fixao desses profissionais nas
equipes por razes diversas, ou baixa cobertura de pr321

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

natal, ou baixa qualidade das muitas consultas de prnatal realizadas, ou deteco tardia, ou captao tardia
da gestante, ou no tratamento do parceiro, ou falta de
monitoramento da paciente em tratamento que o encerra na
primeira dose do medicamento, ou falta do medicamento,
ou falta de verificao de resultado de exames, etc. Se no
houver essa imerso a partir dessa busca e compreenso
dialogvel do processo, podem ser injetados recursos de
toda ordem sem efetividade para os resultados buscados.
Convida-se a que cessem os investimentos genricos e
homogeneizados e que se incrementem os investimentos
singularizados.

Referncias

Como desdobramento dessas discusses, pactuou-se


o compromisso de haver nova Oficina de Trabalho quando
todos os demais CIR ainda no analisados sob essa tica
sero trabalhados, mas j a partir da experincia acumulada
e compartilhada pelo grupo da USP Ribeiro Preto. A esta
caber a aplicao da matriz e a anlise dos dados no
interior de seus 11 outros CIR, onde foram realizadas as
avaliaes externas. Nesse nterim, sero disponibilizados
pelo Ministrio da Sade os dados referentes ao 2 ciclo
de Avaliao externa do PMAQ, a serem agregados,
conforme solicitao das equipes avaliadas e trazidas pelos
Articuladores.

______. Nota tcnica da Certificao das Equipes de


Ateno Bsica Participantes do PMAQ. Braslia (DF):
Ministrio da Sade; 2014. Disponvel em: <http://www.
conasems.org.br/images/smilies/Nota_Tecnica_PMAQ_-_
SP.pdf>. Acesso em: jan 2015.

Para que a matriz avaliativa proposta possa


desempenhar o papel a que se props, deve ser flexvel
e dinmica o suficiente para incorporar mudanas que
permitam a cada regio, a cada realidade identificar suas
potncias e dificuldades, exp-las e debat-las abertamente.
Deve ser flexvel suficientemente para acolher e valorizar
novos dados e variveis e que estas possam provocar a
construo de novos sentidos sobre a sade e a vida que se
desenvolve nos seus territrios.

COOPERRIDER, D. L.; WHITNEY, D. Investigao apreciativa:


uma abordagem positiva para a gesto de mudanas (N.
Freire, Trad.). Rio de Janeiro: Qualitymark. 2005.

322

AGUILAR, M.J.; ANDER-EGG, E. Avaliao de servios e


programas sociais. Petrpolis: Vozes, 1994.
BRASIL. Ministrio da Sade. Portaria n 1.654, de 19 de
julho de 2011. Institui, no mbito do Sistema nico de Sade,
o Programa Nacional de Melhoria do Acesso e da Qualidade
da Ateno Bsica (PMAQ-AB) e o Incentivo Financeiro do
PMAQ-AB, denominado Componente de Qualidade do Piso
de Ateno Bsica Varivel - PAB Varivel. Dirio Oficial da
Unio, Braslia, DF, 20 jul. 2011.

COLEGIADO PMAQ. So Paulo, 2014. Prezi. Disponvel


em:
<https://prezi.com/zf61fysiqrey/colegiado-pmaqsp-2014/>. Acesso em 30 out 2014.
CONTANDRIOPOULOS, A.P. Avaliando a Institucionalizao
da Avaliao. Cincia & Sade Coletiva, v.11, n. 3, p. 705712, 2006.

FRANCO, T.B.; MERHY, E.E. Programa de Sade da Famlia


(PSF): contradies de um programa destinado mudana
do modelo tecnoassistencial. In: MERHY, E.E., JUNIOR,
H.M.M.; RIMOLI, J.et al. O trabalho em sade: olhando
e experienciando o SUS no cotidiano. So Paulo: Hucitec,
2006. p. 55-133.
323

Marco Akerman e Juarez Pereira Furtado (Orgs)

GUBA, E.G.; LINCOLN, Y.S. Fourth generation evaluation.


Newbury Park; CA: Sage Publications, 1989.
GERGEN, K.J.; GERGEN, M.M. Social construction and
psychological inquiry. In: HOLSTEIN, J.A.; GUBRIUM, J.F.
(Orgs.). Handbook of constructionist research. New York:
The Guilford Press, 2008. p. 171-188.
GERGEN, K.J. The social constructionist movement in
modern Psychology. American Psychologist, v. 40, n. 3, p.
266-275, 1985.
HARTZ, Z.M.A. Avaliao em sade. Dirio de Educao
Profissional em Sade. Fundao Oswaldo Cruz. Escola
Politcnica de Sade Joaquim Venncio, 2009. Disponvel
em:
<http://www.epsjv.fiocruz.br/dicionario/verbetes/
avasau.html>. Acesso em: 05 jan 2015.
KANTORSKI, L.P. et al. Avaliao de quarta gerao
contribuies metodolgicas para avaliao de servios de
sade mental. Interface Comunic., Sade, Educ., v. 13,
n.31, p. 343-55, out./dez. 2009.
MCNAMEE, S. Appreciative inquiry: Social construction in
practice. In: DALSGAARD, C.; MEISNER, T.; VOETMANN, K.
(Orgs.). A symphony of appreciation: Development and
renewal inorganizations through working with appreciative
inquiry. Copenhagen: Danish Psychology Press, 2010. p.
110-139.

Prticas de avaliao em sade no Brasil - dilogos

MLLO, R.P.; SILVA, A.A.; LIMA, M.L.C.; DI PAOLO, A.F.


Construcionismo, prticas discursivas e possibilidades de
pesquisa em psicologia social. Psicologia & Sociedade, v.
19, n. 3, p.26-32, 2007.
ORGANIZAO MUNDIAL DA SADE. Sade Materna e
Neonatal. Unidade Maternidade Segura, Sade Reprodutiva
e da Famlia. Assistncia ao parto normal: guia prtico.
Genebra (SW): OMS; 1996.
SO PAULO (Estado). Secretaria de Estado da Sade. Mapa
de Sade, 2012. Disponvel em: <http://www.saude.sp.gov.
br/ses/perfil/gestor/documentos-de-planejamento-emsaude/mapa-de-saude>. Acesso em: 19 jan 2015.
SISTEMA DE INFORMAO SOBRE MORTALIDADE.
Ministrio da Sade. Secretaria de Vigilncia em Sade.
Disponvel em: <http://sim.saude.gov.br/default.asp>.
Acesso em: 21 jan 2015.
SOUZA, L. V.; MCNAMEE, S.; SANTOS, M. A. Avaliao como
construo social: investigao apreciativa. Psicologia &
Sociedade, v. 22, n. 3, p. 598-607, 2010.

______. Connection among social construction, language


and collaborative understanding. AI Pratitioner, v. 34, p.
3-5, 2006.
MEIRELLES, M.C.P.; HYPOLITO, A.M.; KANTORSKI, L.P.
Avaliao de quarta gerao: reciclagem de dados. J Nurs
Health, Pelotas (RS), v. 2, n. 1, p. 63-74, 2012.

324

325

Captulo 9
Subsdios a meta avaliaes do PMAQ
Rogrio Renato Silva, Juarez Pereira
Furtado, Marco Akerman, Max Gasparini

Introduo
Em realidades marcadas por projetos antagnicos
em forte disputa, como o caso do SUS, atividades de
monitoramento e avaliao podem cumprir importantes
papis, tais como implicar os atores nas mudanas, favorecer
a pactuao de critrios de julgamento, adicionar densidade
s arenas de formulaes polticas e qualificar o debate
pblico. Por outro lado, sabemos tambm que avaliaes
so prticas sociais to sujeitas a falhas e manipulaes
quanto quaisquer outras, (MARTUCCELLI, 2011) o que
legitima que os processos de avaliao sejam submetidos
rigorosa anlise de seus valores e qualidades. O propsito
deste captulo justamente apresentar elementos e ofertar
subsdios para a avaliao de uma avaliao.

Marco Akerman e Juarez Pereira Furtado (Orgs)

Na trilha do crescente apelo por melhorias SUS, o


Programa Nacional de Melhoria do Acesso e da Qualidade
da Ateno Bsica (PMAQ) um dispositivo desenhado
para induzir as capacidades dos gestores e das equipes de
ateno bsica a ampliarem o acesso e a qualidade dos
servios de sade, (BRASIL. MINISTRIO DA SADE, 2012a)
em resposta sociedade na qual crescente a demanda
por mais qualidade dos servios pblicos. Tambm na
trilha do crescente apelo por mais recursos financeiros, a
Poltica Nacional da Ateno Bsica (PNAB) insere o PMAQ
no mbito do financiamento federal para ateno bsica,
(BRASIL. MINISTRIO DA SADE, 2012b) localizando-o no
interior da estratgia de repasse de recursos.
J a caminho de seu terceiro ciclo, a sustentao
do PMAQ tem requerido operaes e investimentos
considerveis, consequncia do modelo de avaliao
escolhido, das dimenses geogrficas brasileiras e da
abrangncia dos servios de ateno bsica nos mais de
5.500 municpios do pas, nos quais a cobertura das equipes
de sade da famlia alcana 62,5%. (BRASIL. MINISTRIO
DA SADE, 2015) Concludos os dois ciclos iniciais de
implementao e testagem do programa, faz-se oportuno
lanar sobre ele um olhar avaliativo, passo importante
na direo de reconhecer construes e acmulos, mas
tambm de apontar a necessidade de correes.
Se as prticas de monitoramento e avaliao de
polticas pblicas so cada vez mais necessrias no Brasil,
elas se tornam ainda mais importantes em iniciativas
como o PMAQ, programa essencialmente construdo e
reconhecido por suas tecnologias de monitoramento e
avaliao. bem provvel que sua capacidade de estimular
e apoiar transformaes positivas na cultura de avaliao
dos servios de sade, com vistas a ganhar qualidade, passe
pela permeabilidade do programa a avaliaes sobre sua
328

Prticas de avaliao em sade no Brasil - dilogos

relevncia e mrito. Em outras palavras, no cabe a uma


iniciativa como o PMAQ a pecha de ser um espeto de pau
na casa de exmios ferreiros.
Neste sentido, a hiptese que sustenta este ensaio
que a cuidadosa anlise do PMAQ, de suas premissas
e instrumentos, sentidos e uso estratgico no cotidiano
dos servios e na gesto das redes municipais, de suas
operaes e custos, poder produzir informaes e juzos
teis a gestores, equipes e controle social, de forma que
tais atores possam aprimorar o programa e fortalecer as
prticas de monitoramento e avaliao na gesto do SUS,
determinantes para os ganhos de qualidade que a sociedade
brasileira espera para o SUS, imperativo em tempos de
poucos recursos e infindveis presses.
Contudo, deve ficar claro que no nos propusemos a
apresentar aqui uma avaliao do PMAQ. Apresentaremos
subsdios importantes para futuras avaliaes do programa,
como o conceito de meta-avaliao, com vistas a elucidar
possveis caminhos para a implementao de tais estudos.
Procuramos tambm lanar um olhar abrangente sobre
o PMAQ, a fim de iluminar possveis componentes que
merecero ateno de futuras meta-avaliaes.
Desejamos que o captulo que escrevemos, somado
diversa produo terica e emprica advinda dos inmeros
pesquisadores que escreveram esta e outras publicaes
em torno do PMAQ, seja mais um elemento no campo da
avaliao em sade no Brasil, contribuindo para aprofundar
pensamentos e prticas de alunos, pesquisadores, docentes,
trabalhadores, gestores e usurios do SUS, ampliando assim
seu compromisso com o SUS e a qualidade dos servios.

329

Marco Akerman e Juarez Pereira Furtado (Orgs)

Como, ento, avaliar uma avaliao?


O conceito meta-avaliao foi primariamente
formulado por Michael Scriven, ao final dos anos 1960,
como resposta necessidade de avaliar uma srie de
avaliaes educacionais em curso naquele momento.
(SCRIVEN, 1969) Daquele perodo em diante, Furtado
et al. (2014) demonstram que inmeros avaliadores e
movimentos profissionais dedicaram-se a estudar o tema
das avaliaes das avaliaes, resultando num robusto
conjunto de teorias, padres de qualidade e prticas
sistemticas de meta-avaliao, num convite para que os
avaliadores provassem um pouco de seu prprio veneno.
Entre as diversas construes realizadas neste campo,
ao menos duas merecem destaque. Primeiro, a consolidao
dos cinco padres de qualidade para a avaliao de
programas educacionais, material patrocinado pelo Joint
Committee on Standards for Educational Evaluation. Em
2011, j na terceira edio dos standards que tornaramse teis para muitos campos alm do educacional, aos
padres da Utilidade (Utility), Viabilidade (Feasibility),
Propriedade (Propriety) e Preciso (Accuracy), reuniu-se
a orientao para avaliaes com maior Accountability,
abrangendo a demanda por avaliaes capazes documentar
cuidadosamente seus processos e resultados e favorecer
olhares meta-avaliativos, internos e externos, sobre ela.
(YARBROUGH et al., 2011) Sem sombra de dvidas, os
padres ofereceram ao campo referenciais necessrios
para que as avaliaes tambm se tornassem objetos de
anlise.

330

Prticas de avaliao em sade no Brasil - dilogos

Quadro 1. Sntese dos Cinco Padres para Avaliao de


Programas. Livre traduo a partir de Yarbrough et al.
(2011).
(continuao)
Padro (Standard)

Utilidade
Busca ampliar o valor e a
utilidade dos processos
e resultados avaliativos
para os interessados em
uma avaliao.

Viabilidade
Busca ampliar a
efetividade e a eficincia
das avaliaes

Descrio resumida
Implica (a) credibilidade dos
avaliadores; (b) ateno aos
interessados; (c) sentido dos
propsitos de um estudo; (d)
explicitao dos valores que
sustentam possveis juzos
de valor; (e) relevncia das
informaes recolhidas; (f)
sentido e relevncia dos estudos
para apoiar os interessados
a revisar, redescobrir e
reinterpretar suas leituras e
posies; (g) tempestividade das
informaes produzidas para os
interessados; (h) promoo do
uso consequente e responsvel
dos estudos.
Implica (a) gesto efetiva dos
processos de avaliao; (b)
adequao dos procedimentos e
tcnicas dos estudos ao contexto
em que operam; (c) leitura e
maneio dos diferentes interesses
e necessidades dos sujeitos e
grupos interessados; (d) uso
eficiente dos recursos de um
estudo.

331

Marco Akerman e Juarez Pereira Furtado (Orgs)

Quadro 1. Sntese dos Cinco Padres para Avaliao de


Programas. Livre traduo a partir de Yarbrough et al.
(2011).
(continuao)
Padro (Standard)

Propriedade
Busca ampliar a
capacidade das
avaliaes serem
apropriadas,
equilibradas, legais,
corretas e justas.

Preciso
Busca ampliar a
confiana e a lisura
das representaes,
proposies e achados
de um estudo,
especialmente
aqueles que embasam
interpretaes e
julgamentos.

332

Descrio resumida
Implica (a) aderncia dos
estudos s particularidades dos
interessados; (b) acordos formais
entre avaliadores e interessados;
(c) respeito aos direitos
humanos; (d) clareza e equilbrio
dos estudos; (d) Transparncia
e discricionariedade dos
estudos; (e) identificao e
manejo explcito de conflitos de
interesses; (f) responsabilidade
fiscal dos estudos.
Implica (a) decises e concluses
explicitamente justificadas; (b)
validade das informaes; (c)
confiabilidade das informaes;
(d) descrio explcita do
contexto do programa ou poltica
avaliados; (e) coleta, reviso,
verificao e armazenamento
sistemticos de informao; (f)
emprego adequado de teorias
e modelos de investigao e
anlise; (g) explicitao das bases
que sustentam os argumentos e
julgamentos de um estudo; (h)
comunicao no distorcida e
no enviesada dos resultados.

Prticas de avaliao em sade no Brasil - dilogos

(concluso)
Accountability
Busca ampliar
a adequada
documentao de
uma avaliao e a
abertura dos estudos
a meta-avaliaes
que melhorem seus
processos e resultados.

Implica (a) documentao


adequada dos estudos; (b) metaavaliaes internas; (c) metaavaliaes externas.

O segundo destaque cabe publicao de um


conjunto de princpios para a prtica de seus avaliadores
pela Associao Americana de Avaliao. (AEA, 2015) Os
princpios publicados pela AEA como investigao sistemtica
e rigorosa (Systematic Inquire), competncia (Competence),
integridade e honestidade (Integrity/Honesty), respeito
s pessoas (Respect for People) e respeito pelo interesse
pblico (Responsabilities for General and Public Welfare)
trouxeram ao seio da agremiao a demanda por um olhar
mais atento a seus membros.
Associando os padres para a avaliao de programas
publicados pela Joint Committee com os princpios da
prtica estabelecidos pela AEA, Stufflebeam definiu
os estudos de meta-avaliao como a obteno de
informaes capazes de descrever e julgar a utilidade,
viabilidade, tica e preciso de uma avaliao bem como
seu rigor metodolgico, a competncia empregada em
sua conduo, a honestidade de sua equipe e seu respeito
pelo interesse pblico. (FURTADO et al., 2014) Em boa
medida, um convite a mirar as avaliaes com as mesmas
intencionalidades crtica, rigor tcnico e liberdade poltica
esperadas para as avaliaes, demovendo avaliaes e
avaliadores de pretensos pedestais.
333

Marco Akerman e Juarez Pereira Furtado (Orgs)

No processo histrico que oferece o pano de fundo


para o amadurecimento de tais referenciais de metaavaliao, a relao dessas prticas com suas bases
epistemolgicas e polticas tambm sofreu mudanas.
Enquanto a tradio avaliativa hegemnica em todo o Sculo
XX desenhava uma avaliao tradicionalmente positivista,
como bem ilustram Guba e Lincoln (2011), a efervescncia
poltica e a diversidade epistmica ps-1960 favoreceu
as correntes avaliativas mais permeveis aos atores e
s realidades sociais, inserindo valores democrticos no
corao de uma prtica historicamente pouco aberta ao
contexto. Num certo sentido, foi o crescimento dos ideais
participativos no ncleo das avaliaes, aquilo que abriu
as prticas avaliativas ao escrutnio de outros, o que veio a
significar perda da autoridade simblica e da neutralidade
dos avaliadores.
Neste sentido, devemos destacar que qualquer
meta-avaliao tambm estar sujeita aos dilemas
que impregnam as prticas avaliativas, o que favorece
um incessante movimento de criticar a crtica, e assim
sucessivamente. Se, por exemplo, conduzimos um estudo
meta-avaliativo fixado no rigor metodolgico, poderemos
nos deixar capturar pelo signo dos estudos experimentais,
lanando aos lees avaliaes erguidas em outros pilares
epistemolgicos. Por outro lado, se miramos exclusivamente
a necessidade de submeter toda tcnica ao jogo das foras
polticas, esvaziaremos a possibilidade de agenciar teoria e
prtica, tcnica e poltica, resultados e processos, desejos e
limites, reduzindo assim as perspectivas crticas das metaavaliaes.
So dilemas desta ordem que nos levam a perguntar
como ento promover meta-avaliaes que lancem mo do
uso balanceado e transparente de critrios de julgamento?
Como produzir estudos meta-avaliativos que propiciem
334

Prticas de avaliao em sade no Brasil - dilogos

aprendizagens para os diferentes interessados em uma


iniciativa? Como fazer das meta-avaliaes dispositivos de
enriquecimento tcnico e poltico, que contribuam para
decises sobre a iniciativa avaliada? Que tipos de perguntas
um estudo de meta-avaliao deve responder e como e
com quem constru-las e respond-las?
Para tratar de tais perguntas, olhemos primeiro para
o desenho e fluxo geral do PMAQ, com vistas a reconhecer
a problemtica com a qual ele se depara e as apostas de
transformao que a iniciativa sustenta, elementos-chave
para pensar o programa numa perspectiva meta-avaliativa.
Em seguida, concentraremos o olhar na produo de
subsdios para futuras meta-avaliaes do PMAQ.
Sobre o desenho geral do PMAQ
Lanado pelo Ministrio da Sade em julho de 2011,
o PMAQ um dos componentes da estratgia Sade Mais
Perto de Voc, eixo organizador da ateno bsica do SUS
nas gestes dos ministros Alexandre Padilha e Arthur Chioro.
Componente de uma srie de aes de fortalecimento do
SUS com prioridade estratgica para o Ministrio da sade,
o PMAQ foi desenhado com a inteno de favorecer e induzir
a capacidade das gestes federal, estaduais e municipais
ampliarem o acesso e a qualidade dos servios da ateno
bsica em sade. (BRASIL. MINISTRIO DA SADE, 2015b)
Tais objetivos correspondem ainda s mudanas na forma
de financiamento federal deste nvel de ateno, expressa
na Poltica Nacional de Ateno Bsica (PNAB). O chamado
Componente de Qualidade criado neste contexto como
indutor do incremento de recursos associados ao alcance
de resultados contratualizados com equipes e municpios,
tendo como base padres de acesso e qualidade. (BRASIL.
MINISTRIO DA SADE, 2012)
335

Marco Akerman e Juarez Pereira Furtado (Orgs)

Organizado num ciclo de quatro fases, o PMAQ implica


a adeso do municpio ao programa e a contratualizao
de compromissos em torno do acesso e qualidade dos
servios. Posteriormente, requer o desenvolvimento de
aes de qualificao do processo de trabalho das equipes
da ateno bsica, incluindo autoavaliao, para alcanar
a etapa de avaliao externa, que seguida de uma etapa
de pactuao comprometida a incrementar os padres
de qualidade e estimular o avano dos servios. (BRASIL.
MINISTRIO DA SADE, 2015b)
A construo do PMAQ fruto no apenas de debate
j histrico sobre a relevncia da ateno bsica no Brasil,
mas tambm de um processo tripartite entre Ministrio
da Sade, Conselho Nacional dos Secretrios Estaduais
de Sade (CONASS) e Conselho Nacional de Secretarias
Municipais de Sade (CONASEMS) para desenhar a
certificao das equipes, alm do apoio de 45 instituies
de ensino e pesquisa brasileiras de reconhecida experincia
acadmica, inclusive no campo da avaliao em sade.
Em resposta a alguns dos principais desafios do SUS
no Brasil, tais como o aumento da incidncia de doenas
crnico-degenerativas, as fortes desigualdades regionais
no acesso e na qualidade dos servios, e a perda de
financiamentos ainda acirrada pelos ajustes fiscais de
2015, o Ministrio da Sade tem procurado valorizar o
monitoramento e avaliao de processos e resultados com
vistas a conferir maior transparncia aos investimentos e a
ampliar a eficcia das aes de sade. O financiamento de
estudos e pesquisas, a formao de avaliadores em parcerias
com instituies de ensino e no mbito da UNASUS, o uso
de tecnologias para dar visibilidade e tempestividade s
informaes de sade, entre outros, so esforos na direo
de potencializar a comunidade de avaliao em sade.

336

Prticas de avaliao em sade no Brasil - dilogos

No caso particular do PMAQ, o Ministrio da


Sade elaborou sete diretrizes para sua organizao e
implementao. Em sntese, tais diretrizes definem que
o PMAQ deve (1) permitir comparao entre as equipes
da ateno bsica; (2) favorecer o incremento contnuo
e progressivo dos padres e indicadores de acesso e
qualidade; (3) ser transparente com todos os atores
envolvidos; (4) envolver e responsabilizar gestores dos
trs nveis de governo, alm de equipes e usurios; (5)
desenvolver cultura de gesto de recursos em funo de
compromissos e resultados; (6) estimular a qualificao
dos servios com base nas necessidades e satisfao
dos usurios e no desenvolvimento dos profissionais;
(7) permitir adeso voluntria dos gestores e equipes,
valorizando sua liberdade, responsabilidade e motivao.
(BRASIL. MINISTERIO DA SADE, 2011)
A nfase na ateno bsica tem como premissa que
tais servios esto estruturados como o primeiro nvel de
ateno e porta de entrada do SUS, sendo assim decisivos
para o sistema. As expectativas com o PMAQ navegam na
direo de que a iniciativa favorea a responsabilizao
sanitria das equipes, a adscrio dos usurios e o reforo
a seu vnculo com os servios, as prticas de acolhimento e
acessibilidade, a gesto do cuidado integral e singular em
rede e o trabalho em equipe multiprofissional, produzindo
efeitos positivos na experincia dos usurios do SUS e em
seus processos de sade-doena. A Figura 1 procura resumir
o desenho lgico da iniciativa.

337

Marco Akerman e Juarez Pereira Furtado (Orgs)

Figura 1. Desenho lgico geral do PMAQ.

Fonte: Autoria do autor.

A construo e anlise de desenhos lgicos ou teorias de


mudana condio importante para os chamados estudos
de avaliabilidade. Concebidos para favorecer monitoramento
e avaliao, a modelizao favorece que uma iniciativa seja
compreendida em sua racionalidade e encadeamento lgico,
abrangendo componentes tais como problemas, pressupostos,
objetivos, hipteses, estratgias e resultados esperados.
(CHAMPAGNE et al., 2011) Tambm denominados de modelo
lgico ou terico, seu uso na avaliao em sade apoia-se na
importncia em se elucidar as ideias subjacentes das intervenes
enquanto etapa essencial da avaliao, sustentada amplamente
por meio da constatao dos limites da chamada avaliao de
caixa preta.
Para Medina et al. (2005), a ausncia da teoria na avaliao
de programas resultou em avaliaes do tipo insumos/produtos,
tanto superficiais quanto insensveis aos diferentes contextos
polticos e organizacionais. Para o autor, tais avaliaes estiveram
tambm mais centradas na mensurao dos efeitos das iniciativas
338

Prticas de avaliao em sade no Brasil - dilogos

do que na descrio dos vnculos complexos entre os


recursos, as atividades e os efeitos esperados. (CHAMPAGNE
et al., 2011) Desde a publicao dos primeiros artigos a
respeito, datados do fim dos anos 1980, a modelizao
das intervenes tem ganhado ntida importncia entre
avaliadores, pesquisadores e gestores, atestando assim o
valor da perspectiva terica na avaliao de programas.
Assim como a modelizao cumpre papel importante
nos estudos de avaliabilidade, reconstruir o fio lgico de
uma avaliao de grande apoio para se implementar um
estudo de meta-avaliao. Ao compreender o caminho
percorrido pelos avaliadores, identificando suas intenes e
pressupostos, teorias e posies polticas, suas estratgias
de produo e anlise de informaes, bem como a
produo de juzos e a comunicao dos resultados, traz-se
tona o principal conjunto de elementos que devero ser
objeto de uma meta-avaliao. Destacamos, por exemplo,
que a forma como um avaliador sistematiza as aes de
um programa para conhecer sua lgica de funcionamento
determinada por suas convices ontolgicas, enraizadas
em tradies filosficas, cientficas e ideolgicas. Esta
questo esta no cerne da reflexo proposta por Potvin et al.
(2006), na qual trs tradies so identificadas nas relaes
entre avaliadores e programas ou polticas.
Os autores destacam primeiro a tradio realista
emprica, cujas razes se encontram na lgica positivista
originria no Sculo XVIII, na qual estreita a compreenso
sobre causalidade e quase inexistente a leitura dos objetos
em seus contextos tico-polticos; a tradio idealista, que
se associa s correntes fenomenolgicas e ao psicologismo,
desdobrando-se na tendncia de compreender e acolher as
realidades e de diminuir o debate em torno dos conceitos de
causalidade e influncia; e tradio ontolgica do realismo
crtico, defendida pelos autores como abordagem que
339

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

tem por pressuposto considerar a dinmica e o papel dos


atores sociais implicados em um determinado programa,
a mtua relao entre os agentes de conhecimento e os
objetos externos, bem como a leitura dos objetos em suas
realidades scio-histricas. (POTVIN et al., 2006)

das condies e processos de trabalho, dos vnculos com


os usurios e, sobretudo, dos efeitos dos servios sobre os
processos sade-doena da populao e dos territrios,
o que uma vez mais remete s argumentaes de Pinto e
Souza (2012).

nesta direo que a Figura 1 cumpre seu papel,


com elementos que merecem ser destacados. Primeiro,
porque o desenho evidencia a inteno de que o PMAQ
seja compreendido como uma operao em potencial
sinergia com outros elementos componentes da poltica
nacional de ateno bsica. (BRASIL. MINISTRIO DA
SADE, 2012) Se a poltica se prope a dar ateno
bsica a fora necessria para que se enfrente as
discrepncias no acesso e na qualidade, as dificuldades
de formar e fixar profissionais, o subfinanciamento e a
baixa resolutividade dos servios, a relevncia do PMAQ
dever ser primariamente analisada sob esta perspectiva.
Pinto e Souza (2012), por exemplo, argumentam sobre
a forte caracterstica indutora e mobilizadora presente
nos pressupostos do programa, sem a qual os objetivos
no teriam possibilidades de serem alcanados. Tanto a
adeso voluntria quanto a necessria articulao entre
vrios agentes para consolidao das diferentes etapas do
Programa explicitam essas caractersticas, marcando que os
resultados do PMAQ passam por um complexo caminho de
mediaes, negociaes, responsabilizao e participao
de diferentes agentes.

Terceiro, porque o desenho lgico evidencia premissas


ou condies que tendem a ser determinante para viabilizar
o PMAQ e permitir que os resultados esperados sejam
alcanados. Aposta-se na qualidade da ateno bsica
para ampliar a potncia do SUS e transformar a viso
crtica depositada sobre o sistema, na responsabilidade
finalstica das equipes pela qualidade das intervenes nos
usurios, na responsabilidade dos gestores pela priorizao
da ateno bsica, na lgica meritocrtica associada ao
desempenho das equipes e, por fim, no preparo de um
ambiente favorvel a qualificar a ateno bsica.

Segundo, porque o desenho evidencia o desejo de


comprometer os gestores do SUS e as equipes da ateno
bsica com a melhoria do acesso e qualidade. A iniciativa
carrega tambm o desejo de que gestores e equipes devem
ser sensibilizados, estimulados e apoiados em fortalecer a
presena do monitoramento e da avaliao em sua cultura
de gesto dos servios, o que pode enriquecer sua leitura
340

Quarto, porque o desenho tambm evidencia o


robusto conjunto de estratgias utilizadas para colocar
em p o PMAQ, com adeso voluntria ao programa, com
etapas preparatrias para as equipes, com a perspectiva de
ampliar as aes de educao permanente e apoio, com
autoavaliao que antecede a fase de avaliao externa e,
por fim, com uma estratgia de pactuao das mudanas
necessrias para ampliar acesso e qualificar os servios,
apostando frontalmente na responsabilizao pblica entre
diferentes atores do SUS.
Por fim, porque o desenho evidencia ainda as
expectativas de que o conjunto de aes desenvolvidas no
mbito do PMAQ, em articulao a outros componentes da
poltica nacional de ateno bsica, transforme as maneiras
de pensar e fazer ateno bsica no Brasil, com ganhos
de compreenso da realidade e vnculo com os usurios,
com educao permanente e articulao multiprofissional
e interinstitucional, com energia investida na gesto do
341

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

cuidado singular aos usurios, de forma que a mdio e


longo prazos conquistem-se avanos na qualidade de vida
dos usurios.

concepes e prticas a ser considerado, determinante para


melhor compreender a relevncia da iniciativa e os mritos
que ela alcana ou promete alcanar.

Como se pode depreender da Figura 1, a reconstruo


e anlise do desenho lgico de uma iniciativa, ou do fio lgico
de uma avaliao, capaz de produzir uma importante
narrativa sobre o objeto, revelando fundamentos,
compromissos, apostas e desejos que serviro de base a sua
avaliao. com a perspectiva de propor caminhos metaavaliativos sobre o PMAQ, lanando luz sobre possveis
perguntas e estratgias de avaliao, que escrevemos os
prximos pargrafos.

Feitas tais ressalvas e sustentada a importncia de se


investir no olhar crtico para polticas pblicas, tais como
o PMAQ, (SANTOS; FONSECA, 2013) abordaremos a seguir
uma srie de perguntas capazes de estimular a reviso do
PMAQ em vrios de seus aspectos. Para definir as perguntas
aqui apresentadas, recorremos primeiro a Donabedian
para organiz-las conforme sua pertinncia em relao aos
aspectos de estrutura, processos e resultados do PMAQ,
trade consagrada na avaliao em sade. Depois, tomamos
os cinco padres para avaliao de programas apresentados
introduo deste ensaio, com vistas a classificar cada
uma das perguntas luz de sua taxonomia: utilidade,
viabilidade, propriedade, preciso e accountability. O
quadro 2 apresenta as perguntas, que so posteriormente
contextualizadas no texto que a procede.

Possibilidades para meta-avaliaes


A evidente juventude do PMAQ requer cuidado dos
processos que se propuserem a analisar ou meta-avaliar a
iniciativa. A dimenso operacional da iniciativa, reconhecida
por Roland (2014) como o mais extenso programa de
avaliao de ateno bsica de que se tem notcia, a
complexidade implicada no trabalho dos avaliadores
externos, o amadurecimento dos instrumentos utilizados
e os diferentes sentidos e usos do PMAQ por gestores,
equipes, usurios e pesquisadores configuram mltiplas
realidades para o programa.
O tempo relativamente pequeno desde o primeiro
ciclo, somado a particularidades dos servios de sade,
tambm requer ateno daqueles que se lanarem a
medir seus efeitos no cotidiano dos servios e na cultura
de avaliao e qualidade de gestores e equipes. Entre as
apostas de transformao abrigadas na Poltica Nacional
de Ateno Bsica e a contribuio particular do PMAQ em
seus campos de incidncia e influncia, h um universo de
342

343

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

Quadro 2. Possveis perguntas para guiar estudos de meta-avaliao


ESTRUTURA
- As condies para dar
operacionalidade ao
PMAQ pactuadas entre
o MS e as IES foram
as mais adequadas
s necessidades do
programa? (VIA) (ACC)
- As condies de
trabalho dos avaliadores
externos, incluindo sua
formao e superviso,
foram adequadas
s necessidades
do programa, dos
municpios e dos prprios
avaliadores? (VIA) (ACC)
- A tecnologia
utilizada para coleta
(instrumentos), ingresso,
anlise (indicadores) e
publicao (quadros de
sada, comunicaes)
dos dados contribuiu
para produzir
informaes precisas,
seguras, tempestivas e
transparentes para os
interessados no PMAQ?
(PRE) (ACC)
- Os recursos financeiros
empregados no
PMAQ pelo Ministrio
da Sade foram
utilizados das maneiras
mais inteligentes e
sustentveis possveis?
(ACC) (PRO)

PROCESSOS
- Em que medida o
processo de adeso
voluntria tem sido
respeitado nos
municpios? (PRO) (UTI)
- Em que medida
o processo de
autoavaliao das
equipes encontrou
condies para ser
realizado? (UTI)
- Com que abertura
e transparncia os
avaliadores externos
foram recebidos? (PRE)
(PRO)
- Que qualidade tiveram
as entrevistas realizadas
pelos avaliadores
externos com gestores,
equipes e usurios?
(PRE) (ACC) (UTI)
- Que lugar efetivamente
coube aos usurios
nos primeiros ciclos
do PMAQ? H
oportunidades para
avanar na participao?
- Que cuidados tm tido
os gestores no uso das
informaes produzidas
pelo PMAQ como bases
para repactuar metas
de acesso e qualidade e
redefinir estratgias de
educao permanente e
apoio?

RESULTADOS
- Em que medida o processo
de autoavaliao das equipes
favoreceu o olhar criterioso
para suas concepes e
prticas? (PRE) (UTI)
- Em que medida o PMAQ
fomentou conversas
mobilizadoras dos gestores e
equipes, fortalecendo a cultura
de avaliao? (UTI)
- Que efeitos o PMAQ teve
sobre os gestores municipais
em seus primeiros ciclos? (ACC)
(UTI)
- Em que medida as equipes e
os municpios se reconhecem
nos resultados? (UTI)

Assim como se faz avaliao por muitos motivos


distintos e lanando mo de modelos e de paradigmas
tambm divergentes, o mesmo se aplica ao conceito
de meta-avaliao. Sanders et al. (2004) detalham seis
abordagens que, segundo eles, operavam com perspectivas
ticas, tericas e polticas bastante diferentes e agregavam
mirades de autores e prticas, o que tambm fora abordada
por Guba e Lincoln (2011) ao reconhecerem quatro geraes
de avaliaes e avaliadores. Das avaliaes centradas
em objetivos at as participativas, os autores revelam a
importncia de se ter e se comunicar com clareza o enquadre
de cada avaliao, sob pena dos estudos naufragarem na
frgil crena da homogeneidade epistemolgica.
Figura 2. Abordagens avaliativas e seu contexto sciohistrico. Adaptado de Sanders et al. (2004) e Guba e
Lincoln (2011).

- Que efeitos o PMAQ teve


sobre a responsabilizao
sanitria das equipes pelos
usurios e territrios? (UTI)
- Que efeitos o PMAQ teve
sobre a gesto do cuidado
integral e singular aos usurios
dos servios? (UTI)
- Que tipos de apropriao
do PMAQ tm sido feitas pelo
controle social?
- Que efeitos o pagamento por
performance tem produzido nas
equipes e nos gestores? (UTI)
- Em que medida o PMAQ
influenciou debates e aes em
torno da poltica nacional de
ateno bsica? (UTI)

Utilidade (UTI), viabilidade (VIA), propriedade (PRO), preciso (PRE) e accountability (ACC)

344

345

Marco Akerman e Juarez Pereira Furtado (Orgs)

Neste sentido, compreendemos que ainda que futuros


estudos de meta-avaliao do PMAQ se filiem a diferentes
referenciais, ser crucial que os mesmos levem em conta a
perspectiva democrtica que d origem Poltica Nacional
de Ateno Bsica, e busca valorizar o pluralismo de atores
e a diversidade de prticas que compem o SUS. esta
matriz a base tico-poltica que demandar dos estudos a
interlocuo ativa com os atores interessados no programa
e na ateno bsica, e a produo de saberes capazes de
enriquecer a gesto da ateno bsica e de ampliar o acesso
e a qualidade dos servios.
esta a matriz que nos convida, por exemplo, a pensar
que os efeitos esperados para o PMAQ so consequncia
da maneira como tal tecnologia for apresentada e tomada
(transformada) pelos gestores e equipes ou, recorrendo a
Merhy (1997), entre tecnologia dura e tecnologia leve; em
outras palavras, entre a tradio das avaliaes normativas
classificatrias e avaliaes participativas emancipatrias.
Para um programa com tais caractersticas, tem grande
sentido identificar e avaliar de que maneira se d o encaixe
entre objeto planejado e realidade dos servios, campo que
guarda tanto a potncia transformadora esperada para o
programa, quanto a contradio indesejada de se reforar
o burocrtico, o punitivo e o alienante.
Avaliar o PMAQ , por isso mesmo, procurar
convergncias e divergncias entre o que se procurou
buscar com sua implementao e a resultante do encontro
da iniciativa com realidade das unidades bsicas. Ou,
recorrendo a Safatle (2015), trabalhar no campo
relativamente amorfo daquilo que ainda no est pronto,
na zona incerta entre o ato e sua potncia. A falar do
trabalho do artista plstico Nuno Ramos, o autor advoga
pela singularidade de cada experincia particular (esttica,
naquele caso), lembrando a emblemtica frase do artista ao
346

Prticas de avaliao em sade no Brasil - dilogos

definir sua prpria produo: no estado intermedirio,


antes da secagem, hbrido ainda de morte e promessa, que
a vida guarda o seu segredo.
Tomando os argumentos de Nicole (2014), ao
PMAQ cabe lanar um olhar meta-avaliativo que possa
reconhecer tanto seu potencial de operar como estratgia
de mobilizao social em prol do acesso e da qualidade,
implicando gestores e equipes de sade, quanto de
reconhecer seus riscos de potencializar os aspectos
cerceadores da burocracia institucional, assumindo lugar
de tarefa formal para opor-se a movimentos instituintes de
pensamento e aprendizagem nos servios.
Transpondo o tema para a relao do PMAQ com
os usurios, as oportunidades de anlise tambm se
multiplicam. Nos primeiros dois ciclos do programa, pode
ser oportuno ter ateno aos mecanismos e instrumentos
utilizados para captar percepes dos usurios e para os
dispositivos utilizados para favorecer sua participao no
corao da lgica avaliativa engendrada no PMAQ. Entre o
usurio, tomado como fonte de informao nos corredores
das unidades ou como potencial fora de mobilizao
por acesso e qualidade, pode haver diferentes histrias,
conquistas ou retrocessos na experincia do programa.
Tomando uma vez mais Nicole (2014), crucial analisar a
natureza da insero do usurio no PMAQ luz da disputa
de concepes que definem o usurio como cliente a ter
sua satisfao garantida (ou seu dinheiro de volta), ou o
tomam como cidado de direitos, tambm responsvel pela
produo de sade. Por fim, se as opinies e percepes
dos usurios no forem tomadas como efetivamente teis
para melhorar os servios, por que sustentar sua escuta?
Outro conceito de importncia capital para futuras
meta-avaliaes do PMAQ o conceito de educao
permanente, tema nuclear para as transformaes
347

Marco Akerman e Juarez Pereira Furtado (Orgs)

Prticas de avaliao em sade no Brasil - dilogos

desejadas e sustentveis na ateno bsica. Se algumas


das anlises j realizadas sobre o PMAQ revelam um
vetor positivo do programa na perspectiva das equipes
de sade, (FAUSTO; FONSECA, 2013) especialmente por
induzir espaos de encontro, dilogo e reviso da prtica,
tal vetor merece ateno, tendo em vista a convergncia
de distintas correntes tericas de que o compromisso
e as capacidades tcnicas dos profissionais de sade
so o principal determinante da qualidade dos servios.
(ROLAND, 2013) Para o autor, a necessidade de produzir
profissionais de sade mais implicados, e ao mesmo tempo
no aprisionados em normas e procedimentos, pode ser
um dos desejos e um dos efeitos do PMAQ. Neste sentido,
a capacidade que o programa teve at aqui de fomentar
o estudo de eventos-chave (falhas, mortes, recuperaes,
etc.), estimulando as equipes a enxergarem mais de seus
prprios jeitos de pensar e fazer, pode ser uma conquista
preciosa do PMAQ.

de valor, crucial colocar em cheque em que medida o


grande volume de indicadores e a extenso dos instrumentos
do PMAQ revela uma face da iniciativa muito mais centrada
nas necessidades de gestores e pesquisadores do que
centrada nas equipes e, em especial, nos usurios.

s vrias possibilidades de meta-avaliar processos e


resultados, como argumentamos nos pargrafos anteriores,
somam-se outras tantas portas para pensar componentes
da estrutura do PMAQ, essencialmente sua vasta lista
de indicadores e seus instrumentos de coleta, todos
devidamente referidos a um amplo conjunto de teorias e
polticas. Com a prerrogativa de no esgotar esta temtica
aqui, cabem alguns questionamentos sobre o volume
total de indicadores no PMAQ e sobre algumas de suas
caractersticas.

Ainda sobre indicadores e instrumentos, merece


ateno o fato de que nos primeiros ciclos havia por parte
dos gestores do SUS uma grande lacuna de conhecimento a
respeito da infraestrutura das unidades de ateno bsica
e dos insumos disponveis para o trabalho das equipes de
sade, aspectos determinantes para servios de qualidade.
Conhecer agora os efeitos do saber acumulado pelo PMAQ
pode favorecer o desenho de polticas especificamente
voltadas ao tema e permitir que os novos ciclos do programa
tenham seu olhar enfocado em outras dimenses.

Parece relevante colocar em cheque o uso cada vez


mais intenso de indicadores nos modelos de monitoramento
e avaliao, como se fossem eles os remdios mais eficazes
para patalogias como incerteza ou impreciso. Se
informao disponvel no significa avaliao e se variveis
sem parmetros tambm no significam formao de juzo
348

Em complemento, se nos dois primeiros ciclos


o programa centrou-se muito mais em indicadores de
infraestrutura do que em indicadores relacionados aos
processos de trabalho e aos resultados na sade dos
usurios, cabe questionar o sentido e o potencial da escolha
sustentada at agora, a fim de pensar sua manuteno
para os prximos ciclos. Retomando Donabedian (2005), a
capacidade de balancear o olhar entre estrutura, processos
e resultados caracterstica fundamental de boas
avaliaes, buscando a associao inteligente de variveis
que permitam melhor compreender a complexidade dos
servios, formar bons juzos de valor sobre a realidade e
apoiar a tomada de boas decises.

Para Roland (2014), a quantidade de indicadores


sempre uma questo relevante nos processos de
monitoramento e avaliao. Quando muito pequena, tende
a excluir aspectos de grande relevncia para os servios. Se
muito grande, pode diluir o olhar e dificultar que gestores,
equipes e usurios compreendam a realidade com maior
349

Marco Akerman e Juarez Pereira Furtado (Orgs)

preciso e segurana, ocasionando decises incorreta,


assuno de falsas premissas, erros estratgicos e, por
fim, menos avanos. O autor lembra ainda que o excesso
de variveis muitas vezes impede ou dificulta concentrar
os esforos de melhoria em pontos que de fato importam
para ampliar acesso e qualidade. O que, de fato, ser mais
importante?
Como aspecto final desta argumentao em
torno de possveis portas pelas quais estudos de metaavaliao do PMAQ podem ingressar, merece ateno
o papel efetivamente desempenhado pelos avaliadores
que visitaram milhares de unidades de sade em todo
o Brasil. Parece ter grande relevncia questionar em que
medida tais trabalhadores foram capazes de sustentar as
premissas do programa, em especial na tarefa de retirar das
sombras da burocracia suas repetitivas e agudas perguntas
de monitoramento e avaliao, para relacion-las a uma
genuna escuta atenta, curiosidade vigorosa, formulao de
juzo, aprendizagens, decises compartilhadas e desejos de
transformaes.

Consideraes finais
Um olhar mais atento s instituies tradicionais
nos revela que vivemos tempos de marcante fluidez, entre
desejveis e arriscadas diluies de fronteiras. Os sentidos
e os limites do poder esto em cheque, e a profuso de
atores que a cada dia exigem seu quinho de cidadania
nos remete a um campo de disputas e incertezas, mas
tambm de muitas possibilidades de transformao. Entre
o pessimismo das manchetes e o ufanismo dos Messias, h
matizes bem mais interessantes aos que topam caminhar
pelas ruas com a escuta interessada. Os papis reservados
350

Prticas de avaliao em sade no Brasil - dilogos

ao monitoramento e avaliao neste caldeiro so to


difceis quanto promissores.
A tendncia horizontalidade nas relaes entre os
atores e a forte demanda por prticas mais republicanas no
Brasil, conquistas pelas quais muitos tombaram, requer que
as avaliaes sejam construdas em ambientes de elevado
nvel de dilogo e com fortes padres de negociao, sobre
o que j nos abriram os olhos Guba e Lincoln (2011). A
necessidade de formular perguntas em dilogo com os
atores, em eleger variveis e critrios de anlise que lhes
inspirem confiana e sentido e de debater resultados
em ambientes de franqueza e abertura que fortaleam a
capacidade de refletir e agir em prol do interesse pblico
so alguns dos imperativos a pesar nos ombros de quem
deseja fazer avaliao.
Da mesma forma, o elevado volume de informaes
e a crescente demanda por elas, seja nos imponentes
gabinetes ou na palma da mo dos cidados, requer
elevada capacidade de eleger o que mais importa e de
criar modelos que, ao lado de entregar grficos, entregue
tambm inteligncia e senso de coletividade a gestores,
equipes e usurios. Cada vez mais, o sucesso de uma
avaliao ter relao com sua capacidade de elevar o grau
de conhecimento de um sujeito a respeito dos objetos e
suas realidades complexas, ampliando sua capacidade
de anlise, sua velocidade de deciso e sua potncia de
atuao em seus microespaos de ao poltica.
Frente a realidades scio-institucionais tambm
mais complexas e de difcil apreenso pelo exclusivismo
paradigmtico, ser determinante que as avaliaes
ganhem capacidade de agenciar perspectivas distintas
para ler a realidade, elevando a triangulao de fontes
de informao potncia das triangulaes epistmicas
capazes de reconstruir objetos de formas interdisciplinares.
351

Marco Akerman e Juarez Pereira Furtado (Orgs)

O sucesso das avaliaes tambm depender cada vez


mais da flexibilidade dos mtodos, da diversidade das
aproximaes e da produo de narrativas que enriqueam
a experincia dos sujeitos.
frente a esses desafios que se posicionam os estudos
de meta-avaliao. Se os romanos nomeavam meta as trilhas
riscadas no cho, utilizadas para guiar suas carruagens,
o desafio do contemporneo tomar o meta como um
convite a despertar os sujeitos para enxergar a direo de
suas prticas, sempre sujeitadas a adormecer ao ritmo da
repetio apressada e das engrenagens institucionais. A
aposta em meta-avaliar o PMAQ, de forma plural, densa e
permanente, com transparncia e implicao e, sobretudo,
com profundo compromisso com a melhoria da ateno
bsica no Brasil, o batuque ao qual lanamos um convite.
Ele carrega a singela inteno de acordar os que dormem,
animar os que danam e despertar os sonolentos.
O que vimos discutindo at aqui aponta que
iniciativas de natureza avaliativa, como o PMAQ, devem
estar elas prprias sujeitas a indagaes sobre o seu valor,
pertinncia, modus operandi e quaisquer outros aspectos
considerados relevantes para qualific-las e torn-las mais
aptas s necessidades e questes dos grupos de interesse
nelas envolvidos. Significa tambm reconhecer que h
importantes desafios a serem enfrentados e superados,
por diferentes atores, nos futuros ciclos do PMAQ, sendo a
avaliao dessa avaliao um dos caminhos mais adequados
a produzir aprendizagens e a agenciar mudanas.

Prticas de avaliao em sade no Brasil - dilogos

Referncias
AMERICAN EVALUATION ASSOCIATION (AEA). American
Evaluation Association Guiding Principles For Evaluators.
Disponvel em: <http://www.eval.org/p/cm/ld/fid=51>.
Acesso em: 15 out 2015.
BRASIL. Ministrio da Sade. Gabinete do Ministro. Portaria
n 1.654, de 19 de Julho de 2011. Braslia, 2011. Disponvel
em: <http://goo.gl/lOS55L>. Acesso em: 30 out 2015.
BRASIL. Ministrio da Sade. Secretaria de Ateno Sade.
Programa Nacional de Melhoria do Acesso e da Qualidade
da Ateno Bsica (PMAQ). Braslia, 2012.
BRASIL. Ministrio da Sade. Secretria de Ateno Sade.
DAB. Poltica Nacional de Ateno Bsica. Braslia, 2012b.
______. Histrico de cobertura Sade da Famlia. 2015.
Disponvel em: <http://goo.gl/Lxu6Jm>. Acesso em: 30 out
2015.
______. Programa Nacional de Melhoria do Acesso e
da Qualidade da Ateno Bsica. 2015b. Disponvel em:
<http://goo.gl/jiLni7>. Acesso em: 30 out 2015.
CHAMPAGNE, F. et al. Modelizar as intervenes. In:
BROUSELLE, A.; CHAMPAGNE, F.; CONTANDRIOPOULOS,
A.P.; HARTZ, Z. Avaliao: conceitos e mtodos. Rio de
Janeiro: Fiocruz; 2011. p. 61-76.
DONABEDIAN, A. Evaluating the quality of medical care,
1966. The Milbank quarterly (United States). 2005; 83: 691729.
FAUSTO,M.C.R.;FONSECA,H.M.S.(orgs.).Rotas da ateno
bsica no Brasil: experincias do trabalho de campo PMAQ
AB. Rio de Janeiro: Saberes Editora, 2013.

352

353

Marco Akerman e Juarez Pereira Furtado (Orgs)

FURTADO, J.P.; LAPERRIRE, H.; SILVA, R.R. Participao e


interdisciplinaridade: uma abordagem inovadora de metaavaliacao. Sade em Debate, Rio de Janeiro, v. 38, n. 102, p.
468-481, Jul-Set 2014.
GUBA, E; LINCOLN, Y. Avaliao de quarta gerao,
Campinas: Editora da Unicamp, 2011.
MARTUCCELLI, D. Critique de la philosophie de lvaluation.
Cahiers Internationaux de Sociologie, v.128, p.27-52, 2011.
MEDINA, F.G. et al. Uso de modelos tericos na avaliao
em sade: aspectos conceituais e operacionais. In:
HARTZ, Z.M.A.; VIEIRA-DA-SILVA L.M. (Org.). Avaliao
em sade:dos modelos tericos prtica na avaliao de
programas e sistemas de sade. Salvador: EDUFBA, 2005.
MERHY, E.E. Em busca do tempo perdido: a micropolitica
do trabalho vivo em saude. In: MERHY, E.E; ONOCKO, R.
Praxis em salud um desafio para lo publico. Sao Paulo (SP):
Hucitec; 1997.
NICOLE, M.A. Instrumento avaliativo: satisfao do usurio.
Comunicao. Seminrio de Validao Internacional do
PMAQ. Banco Interamericano de Desenvolvimento (BID),
Departamento de Ateno Bsica (DAB/MS). Braslia, 29 e
30 de Maio de 2014.

Prticas de avaliao em sade no Brasil - dilogos

MERCADO, F.J. Avaliao qualitativa de programas de


sade: enfoques emergentes. Petrpolis: Vozes, 2006.
ROLAND, M. Pagamento por desempenho: reviso da
experincia britnica e internacional. Comunicao.
Seminrio de Validao Internacional do PMAQ. Banco
Interamericano de Desenvolvimento (BID), Departamento
de Ateno Bsica (DAB/MS). Braslia, 29 e 30 de Maio de
2014.
SAFATLE, V. Nuno Ramos e suas buscas. Yahoo no apenas
um dos mais conhecidos sites de busca da internet; antes,
era o nome de uma raa. Caderno Ilustrada. Folha de So
Paulo, 11 de Setembro de 2015.
SANDERS, J.; FITZPATRICK, J.; WORTHEN, B. Uma introduo
a avaliao de Programas: conceitos e prticas. So Paulo:
Editora Gente/EDUSP, 2004.
SCRIVEN, M.
An introduction to meta-evaluation.
Educational Product Report, v. 2, p. 36-38, 1969.
YARBROUGH, D.B.; HOPSON, R.K.; SHULHA, L.M.;
CARUTHERS, F.A. The Program Evaluation Standards: a
guide for evaluators and evaluation users. 3. ed. Thousands
Oaks: SAGE Publications, 2011.

PINTO, H.A.; SOUZA, A. O Programa Nacional de Melhoria


do Acesso e da Qualidade da Ateno Bsica: Reflexes
sobre o seu desenho e processo de implantao. R. Eletr.
de Com. Inf. Inov. Sade, Rio de Janeiro, v.6, n.2, Sup., Ago.,
2012.
POTVIN, L.; GENDRON, S; BILODEAU, A. Trs posturas
ontolgicas concernentes natureza dos programas de
sade: implicaes para a avaliao. In: BOSI, M.L.M.;

354

355

PSFACIO
Para onde caminhamos

com avaliao
no Brasil?

A avaliao do nosso Sistema nico de Sade (SUS)


tem sido impulsionada com mais nfase nestes ltimos
anos. Este processo decorre da preocupao dos distintos
interessados em saber: como SUS est funcionando? At
onde avanamos na ateno sade? Em qual direo
estamos indo? Quais as contradies ou tenses que esto
sendo geradas na busca do princpio da universalidade?
Quais desafios temos pela frente para alcanar os princpios
da integralidade e equidade?
Propomos retomar, de forma conceitual, a avaliao
como etapa essencial para o processo de tomada de
deciso, tendo em vista contribuir para identificar caminhos
alternativos no SUS e responder aos questionamentos
anteriomente formulados. Compreendemos avaliao como
um processo que inclui os seguintes componentes: produzir
informaes que permitam medir a realidade estudada,
compar-las com parmetros predefinidos e emitir um
juzo de valor que permita embasar uma deciso. (TANAKA;
MELO, 2004; CONTANDRIOPOULOS et al., 1997)
A avaliao , a um s tempo, um processo poltico
e tcnico para apoiar e tornar mais racional a tomada de
deciso pelos interessados na situao em foco. (TANAKA;
TAMAKI, 2012; GUBA; LINCOLN, 1989) importante realar
que entendemos deciso como a capacidade de mobilizar

Marco Akerman e Juarez Pereira Furtado (Orgs)

recursos, de qualquer tipo e natureza, podendo ser desde


um sorriso durante a interao at alocao de recursos
humanos, financeiros e materiais.
Alguns pressupostos so fundamentais para que
a avaliao seja utilizada pelos tomadores de deciso.
importante que seja identificado claramente desde o incio
o interessado principal no julgamento de valor emanado
da avaliao, isto , o ator social envolvido no processo
com responsabilidade e que tenha condies de mobilizar
o recurso necessrio para a concretizao da tomada de
deciso.
Para que o resultado da avaliao seja efetivo
imprescindvel que tenhamos uma pergunta avaliativa que
seja algo sensvel ao interessado e, portanto, tenha maior
potencial de mobilizar o recurso esperado. (TANAKA; MELO,
2008) H necessidade de se mapear o espao polticotcnico do interessado visando prever o seu grau de
governabilidade para a possvel mobilizao destes recursos
necessrios para a efetivao da tomada de deciso.
recomendvel que a pergunta avaliativa contemple um
incmodo do interessado, sendo este a motivao
principal para desencadear um processo de avaliao e
posterior ajuste realidade analisada.
No processo de identificao da origem do
incmodo vale a pena ressaltar que este decorre, em
grande parte, do conhecimento prvio da situao que se
pretende avaliar. Tendo em vista a complexidade da ateno
ao processo sade-doena e a multiplicidade de variveis
envolvidas nas intervenes disponveis, ser necessrio
que se disponha de um diagnstico adequado do objeto,
seja este um servio, um programa ou um subsistema do
SUS, para que seja formulada a pergunta avaliativa alm da
clara identificao do interessado, destinatrio principal da
avaliao a ser realizada.
358

Prticas de avaliao em sade no Brasil - dilogos

S a partir da identificao do interessado, do


conhecimento prvio (diagnstico) do objeto e da pergunta
avaliativa que ser possvel elaborar o desenho da
avaliao, contemplando uma metodologia, a escolha
de abordagens, a identificao de fontes e a escolha dos
indicadores. (CRESWELL, 2007; TANAKA; MELO, 2004;
PATTON, 2002; HABICHT et al., 1999) Essa construo
da matriz de avaliao permitir a clara identificao de
quais variveis sero as essenciais para obter a resposta
pergunta avaliativa que levem em conta o mapeamento
das motivaes dos interessados e permitam potencializar
a utilizao da avaliao no processo de tomada de deciso.
Outro elemento essencial da avaliao a previa definio
dos parmetros que sero utilizados na avaliao, pois sero
estes os balizadores que daro objetividade ao incmodo
que est incorporado na pergunta avaliativa.
No entanto, o que temos observado como iniciativas
de respostas para as questes formuladas no incio deste
texto tm sido o incentivo, a partir de editais pblicos, para
o desenvolvimento de projetos de pesquisas direcionados
a encontrar resultados que auxiliem no processo de ajustes
das polticas pblicas em sade. Os pesquisadores das
instituies de ensino e pesquisa tm se organizado para
atender a essa demanda formulando projetos com objetivos
direcionados a analisar criticamente os limites e alcances
das intervenes implementadas no SUS.
Alm dos editais pelos rgos de fomento, o gestor
federal tem impulsionado, por meio de uma rede de
colaboradores acadmicos institucionais, a aplicao, em
nvel nacional, de instrumentos tcnicos baseados em
uma extensa coleta de dados com grande detalhe, visando
uma descrio plena e completa de servios, programas e
sistemas de sade. A parceria construda com as equipes
acadmicas garante a necessria validade e confiabilidade
359

Marco Akerman e Juarez Pereira Furtado (Orgs)

no processo de coleta dos dados empricos. Este tipo de


iniciativa se apresenta mais como um amplo diagnstico
visando entender o que est ocorrendo do que um processo
de avaliao destinado tomada de deciso.
Ao impulsionar a avaliao para obter um diagnstico
no se completa o processo avaliativo, pois no h
identificao prvia e clara do interessado e nem tampouco
da pergunta avaliativa, o que dificulta a elaborao
necessria da matriz de anlise e, consequentemente, da
definio de parmetros e indicadores para que o processo
de julgamento de valor resulte em apoio efetivo de um
processo de deciso.
Uma das justificativas para desenvolver uma
avaliao tipo diagnstico, com detalhes extensos dos
servios, programas e sistemas de sade parece decorrer
do receio de que o resultado seja parcial, incompleto,
frgil e subjetivo. Esse risco existe, inerente avaliao
e no deveria ser evitado a todo custo. O julgamento de
valor sempre ter alto grau de subjetividade e, mesmo
com desenhos metodolgicos abrangentes e robustos,
inevitvel a interferncia da subjetividade do avaliador
quando da escolha dos mtodos, instrumentos e abordagens
necessrios para realizar a avaliao.
Ao ofertar/resultar um diagnstico amplo e nomelo avaliao se est abrindo mo de participar/contribuir
de forma objetiva para o processo de tomada de deciso.
Nesta situao, a deciso acabar sendo assumida por
um outro nvel de poder que, ao no se prender a uma
pergunta, a uma matriz de anlise e a parmetros prvios,
utilizar os dados disponibilizados para mobilizar recursos
para direcionalidade/finalidade distinta daquela que seria
prevista por um processo avaliativo que recorta a realidade
pela pergunta avaliativa e pela prvia identificao do
interessado.
360

Prticas de avaliao em sade no Brasil - dilogos

Portanto, no nosso entender, as avaliaes que tm


sido impulsionadas nos ltimos anos propiciam que as
tomadas de deciso sejam mais centralizadas, tendo em
vista que o diagnstico rapidamente enviado para o
gestor que emite o juzo de valor a partir de parmetros
prprios e mobiliza os recursos independentemente dos
parceiros acadmicos. Ao tomar a deciso, utilizando a
anlise do observado em relao a parmetros centralizados
e normatizados, haver uma clara induo do processo de
trabalho nos servios, programas e sistemas de sade que
resultar em uma prtica normativa e descontextualizada do
nvel local. Esta forma de executar a avaliao transformase, na prtica, em um planejamento normativo centralizado,
fragilizando o processo de descentralizao to caro para o
SUS.
Como alternativa para esse processo avaliativo
fortemente impulsionado pelo gestor do SUS, e buscando
reforar o processo de descentralizao e de participao de
distintos atores sociais envolvidos no SUS, ser importante
que as avaliaes permitam contemplar as variveis de
contexto para identificar/testar ajustes na oferta de servios
e na organizao dos programas e sistemas de sade que
contemplem as especificidades da construo das redes e
regies de sade de acordo com as realidades locais.
Nas polticas pblicas, em que h uma definio
prvia de objetivos e a pactuao de distintos atores
sociais, a avaliao mais til quando empregada para
identificar alternativas para o processo de implementao
que apontem a direo e a velocidade que seriam as mais
pertinentes para se atingir esses objetivos.
Para que essa proposta se concretize ser necessrio
que as avaliaes se transformem em aproximaes
sucessivas deste objeto/processo complexo, levando
em conta mais claramente os resultados obtidos no
361

Marco Akerman e Juarez Pereira Furtado (Orgs)

processo sade-doena do que na aplicao de normativas


institucionais. A possibilidade de explicitar a pergunta
avaliativa, os parmetros e definir com clareza o interessado
que tenha possibilidade de mobilizar recursos para realizar
os ajustes de direo e velocidade de implementao visa
fortalecer a busca da plena efetivao dos princpios da
universalidade, integralidade e equidade do SUS.
Osvaldo Yoshimi Tanaka
Edith Lauridsen-Ribeiro

Referncias

Prticas de avaliao em sade no Brasil - dilogos

TANAKA, O.Y.; MELO, C. Avaliao de servios e programas


de sade para a tomada de deciso. In: ROCHA, A.M.;
CESAR, C.L.M. (eds.). Sade pblica: bases conceituais. So
Paulo: Atheneu, 2008. p. 119-31.
______. Reflexes sobre a avaliao em servios de sade
e a adoo das abordagens qualitativa e quantitativa. In:
BOSI, M.L.M.; MERCADO, F.J. (org.). Pesquisa qualitativa de
servios de sade. Petrpolis: Vozes; 2004. p. 121-36.
TANAKA, O.Y.; TAMAKI, E.M. O Papel da avaliao para a
tomada de deciso na gesto de servios de sade. Cincia
& Sade Coletiva, v. 17, n. 4, p. 821-8, 2012.

CONTANDRIOPOULOS, A.P.; CHAMPAGNE,F.; DENIS, J-L.;


PINEAULT, R. Avaliao na rea da sade: conceitos e
mtodos. In: HARTZ, Z. (org.). Avaliao em sade. Rio de
Janeiro: Fiocruz; 1997. p. 29-47.
CRESWELL, J.W. Projeto de pesquisa: mtodo qualitativo,
quantitativo e misto. 2. ed. Porto Alegre: Artmed; 2007.
GUBA, E.G.; LINCOLN, Y.S. Fourth Generation Evaluation.
Newbury (California): Sage Publications, 1989.
HABICHT, J.P.; VICTORA, C.G.; VAUGHAN, J.P. Evaluation
designs for adequacy, plausibility and probability of public
health programme performance and impact. International
Journal of Epidemiology, v. 28, n. 1, p. 10-8, 1999.
PATTON, M.Q. Qualitative research & evaluation methods.
Thousand Oaks (California): Sage Publication, 2002. 2ed.
TANAKA, O.Y.;MELO, C. Avaliao de programas de sade
do adolescente. So Paulo: Editora da USP; 2001.

362

363

SOBRE OS

ORGANIZADORES

Marco Akerman: Mdico,


Professor Titular do
Departamento. de Prtica em Sade Pblica da Faculdade
de Sade Pblica da USP. E-mail: marco.akerman@gmail.
com.
Juarez Pereira Furtado: Docente da Unifesp, Instituto Sade
e Sociedade. Chefe do Departamento de Polticas Pblicas e
Sade Coletiva. E-mail:juarezpfurtado@hotmail.com

SOBRE OS
AUTORES

Adriana Barbosa: Assessora-Tcnica da Secretaria de Estado


da Sade de So Paulo.
Aline Aparecida Monroe: Enfermeira e Doutora em
Enfermagem em Sade Pblica. Profa. Dra. do Departamento
de Enfermagem Materno-Infantil e Sade Pblica da Escola
de Enfermagem de Ribeiro Preto da USP.
Ana Maroso Alves: Gegrafa, Pesquisadora da Equipe
Qualiaids da Faculdade de Medicina da USP.
Ana Paula Loch: Farmacutica, Doutoranda do Programa
de Ps-Graduao em Medicina Preventiva, Faculdade de
Medicina da USP.
Angela Aparecida Donini: Professora Adjunta Departamento
de Filosofia/Universidade Federal do Estado do Rio de
Janeiro. Ps-doutora em Medicina Social pela UERJ.
Augusto Mathias: Bilogo, Assessor-Tcnico do Programa
de AIDS da Secretaria Municipal de Sade de So Paulo.
Critas Relva Basso: Mdica Sanitarista e infectologista,
assistente da coordenao do Programa Municipal de DSTAids de So Paulo.

Marco Akerman e Juarez Pereira Furtado (Orgs)

Carmen Maria Casquel Monti Juliani: Docente do


Departamento de Enfermagem, Programa de PsGraduao em Enfermagem, Faculdade de Medicina de
Botucatu. Universidade Estadual Paulista. Botucatu, SP,
Brasil.
Chizuru Minami Yokaichiya: Farmacutica-bioqumica,
Mestre em Sade Coletiva, Especialista em Avaliao em
Sade.
Edith Lauridsen-Ribeiro: Mdica. Mestre e Doutora
em Sade Pblica da Faculdade de Sade Pblica da
Universidade de So Paulo.
Elen Rose Lodeiro Castanheira: Docente do Departamento
de Sade Pblica, Programa de Ps-Graduao em Sade
Coletiva, Faculdade de Medicina de Botucatu. Universidade
Estadual Paulista, Botucatu, SP, Brasil.
Felipe Campos Vale: Farmacutico, Mestre em Cincias.
Geovani Gurgel Aciole da Silva: Mdico, Docente da
Faculdade de Medicina da Universidade Federal de So
Carlos.
Grace Noronha: Pesquisadora do CEPEDOC Cidades
Saudveis.
Guilherme Vincius Catanante: Psiclogo, mestrando do
Programa de Ps-Graduao em Sade na Comunidade da
Faculdade de Medicina de Ribeiro Preto da Universidade
de So Paulo. Avaliador externo do PMAQ.
Hlio Souza Porto: Enfermeiro, mestrando do Programa de
Ps-Graduao em Sade na Comunidade da Faculdade de
Medicina de Ribeiro Preto da Universidade de So Paulo.
Avaliador Externo do PMAQ.

368

Prticas de avaliao em sade no Brasil - dilogos

Hillegonda Maria Dutilh Novaes: Docente pesquisadora,


Professora Associada nvel 3 da Faculdade de Medicina
da Universidade de So Paulo. Pesquisadora e membro
do Conselho Gestor do Instituto Nacional de Cincia e
Tecnologia do CNPq em Avaliao de Tecnologias da Sade/
IATS desde Janeiro 2009.
Ione Ferreira Santos: Enfermeira, Docente da Faculdade de
Medicina de Marlia.
Isa Trajtergetz: Assessora-Tcnica da Secretaria de Estado
da Sade de So Paulo.
Joselita Maria de Magalhes Caraciolo: Mdica
infectologista do Centro de Referncia e Treinamento em
DST/Aids - SP. Responsvel pela rea de Monitoramento e
Avaliao da Assistncia do Programa Estadual de DST/Aids
de So Paulo.
Juliana Mercuri: Gegrafa, Pesquisadora da Equipe
Qualiaids.
Lara Motta: Programa de Mestrado Profissional Gesto em
Sistemas de Sade, Universidade Nove de Julho. Graduada
em Odontologia (UMC), Doutorado em Sade Coletiva
(UNIFESP).
Laura Feuerwerker: Mdica, professora associada da
Faculdade de Sade Pblica da Universidade de So Paulo,
Dep. de Prticas de Sade Pblica.
Lgia Maria Vieira da Silva: Mdica, doutora em medicina
preventiva pela Faculdade de Medicina da Universidade
de So Paulo; professora do programa de Ps-Graduao
em Sade Coletiva do Instituto de Sade Coletiva da UFBa.
Pesquisadora do CNPq.

369

Marco Akerman e Juarez Pereira Furtado (Orgs)

Lislaine Fracolli: Enfermeira, doutora em Enfermagem


pela Escola de Enfermagem da Universidade de So Paulo,
professora do programa de Ps-Graduao em Enfermagem
da EEUSP. Pesquisadora do CNPq.
Luceime Olvia Nunes: Mestranda do Programa de PsGraduao em Sade Coletiva; Faculdade de Medicina de
Botucatu. Universidade Estadual Paulista. Botucatu, SP,
Brasil.
Lcia Izumi: Enfermeira, Livre-Docente pela Escola de
Enfermagem da Universidade de So Paulo.
Lucila Brando Hirooka: Cirurgi-dentista, Doutoranda do
Programa de Ps-Graduao em Sade na Comunidade da
Faculdade de Medicina de Ribeiro Preto da Universidade
de So Paulo. Foi Supervisora de Campo no PMAQ.
Marcia Tuboni: Assessora-Tcnica do Conselho de
Secretrios Municipais de Sade de So Paulo.
Margareth Aparecida Santini de Almeida: Graduada em
Cincias Sociais, Profa. Assistente doutora do Depto. de
Sade Pblica da Faculdade de Medicina de Botucatu/
Universidade Estadual Paulista Jlio de Mesquita Filho.
Tem experincia na rea de Sade Coletiva, com nfase em
Cincias Sociais.
Maria Altenfelder Santos: Psicloga, Doutoranda do
Programa de Ps-Graduao em Medicina Preventiva,
Faculdade de Medicina da USP.
Maria Ines Battistella Nemes: Mdica, Docente da
Faculdade de Medicina da Universidade de So Paulo.
Mariana Arantes Nasser: Mdica sanitarista. Diretora
Tcnica do Centro de Sade Escola Prof. Samuel Barnsley
370

Prticas de avaliao em sade no Brasil - dilogos

Pessoa, Faculdade de Medicina da USP. Doutoranda do


Programa de Ps-Graduao em Medicina Preventiva,
Faculdade de Medicina da USP.
Maria do Carmo Guimares Caccia Bava: Docente do
Departamernto de Medicina Social e membro do Programa
de Ps-Graduao em Sade na Comunidade da Faculdade
de Medicina de Ribeiro Preto. (FMRP) USP. Foi Diretora
Tcnica do Centro de Sade.
Maria Jos Bistafa Pereira: Enfermeira, Docente da Escola
de Enfermagem da Universidade de So Paulo, Campus
Ribeiro Preto.
Max Felipe Vianna Gasparini: Asistente Social, Mestrando
do Departamento de Medicina Preventiva e Social da
Faculdade de Medicina da Universidade de So Paulo.
Ndia Placideli: Gerontloga: Doutoranda da Faculdade de
Medicina da UNESP de Botucatu.
Oziris Simes: Mdico, Docente da Faculdade de Cincias
Mdicas da Santa Casa de So Paulo.
Osvaldo Yoshimi Tanaka: Mdico, Professor titular do
departamento de Prtica em sade Pblica da Faculdade
de Sade Pblica da Universidade de So Paulo.
Patricia Rodrigues Sanine: Doutoranda, Faculdade de
Medicina da UNESP Botucatu.
Rachel Baccarini: Mdica Clinica Emergencista graduada
pela Faculdade de Medicina da UFMG. Mestra em Saude
Pblica pela Fundao Oswaldo Cruz.
Regina Melchior: Enfermeira Sanitarista, Livre Docente em
Sade Pblica, Professora Associada do Departamento de
Sade Coletiva da UEL.
371

Marco Akerman e Juarez Pereira Furtado (Orgs)

Renata Bellenzani: Psicloga Social, Doutora em Medicina


Preventiva, Professora Adjunta do Curso de Psicologia da
Universidade Federal de Mato Grosso do Sul.
Rogrio Silva: Doutor em Sade Pblica pela FSP-USP e
Diretor de Pesquisa na Move Avaliao e Estratgia, estudou
avaliao naWestern Michigan University (EUA). H 20
anos no campo social, atua como consultor e pesquisador
em planejamento estratgico e avaliao de programas e
polticas sociais.
Ruth Terezinha Kehrig: Administradora Sanitarista, Doutora
em Sade Pblica pela USP, Professora Adjunta do Instituto
de Sade Coletiva da Universidade Federal de Mato Grosso
UFMT.
Tatianna Meireles Dantas de Alencar: Cientista Social,
Mestre em Medicina Preventiva, Analista Tcnica de
Polticas Sociais do Ministrio da Sade.
Tereza Nakagawa: Pesquisadora independente.
Thais Fernanda Tortorelli Zarili: Fisioterapeuta, Mestranda
da Faculdade de Medicina da UNESP Botucatu.
Vnia Barbosa do Nascimento: Mdica sanitarista, docente
do departamento de sade da coletividade e do curso
de ps-graduao em cincias da sade da Faculdade de
Medicina do ABC, SP.
Wania Maria do Esprito Santo Carvalho: Assistente
Social, docente e pesquisadora, diretora da Escola de
Aperfeioamento do SUS/ Fundao de Ensino e Pesquisa
em Cincias da Sade - EAPSUS/FEPECS/SES/DF.

Publicaes da Editora Rede UNIDA


Sries
Clssicos da Sade Coletiva
Micropoltica do Trabalho e o Cuidado em Sade
Arte Popular, Cultura e Poesia
Interlocues: Prticas, Experincias e Pesquisas em
Sade
Ateno Bsica e Educao na Sade
Sade Coletiva e Cooperao Internacional
Vivncias em Educao na Sade
Cadernos da Sade Coletiva
Economia da Sade e Desenvolvimento Econmico
Sade & Amaznia
Peridicos
Revista Sade em Redes
Revista Cadernos de Educao, Sade e Fisioterapia

Wilza Carla Spiri: Docente do Departamento de Enfermagem;


Programa de Ps-Graduao em Enfermagem; Faculdade
de Medicina de Botucatu. Universidade Estadual Paulista.
Botucatu, SP, Brasil.
372

www.redeunida.org.br