Академический Документы
Профессиональный Документы
Культура Документы
1
ELABORAO DE PARECERES
TCNICO-CIENTFICOS
MINISTRIO DA SADE
BRASLIA - DF
2011
3 edio revisada e atualizada
DIRETRIZES METODOLGICAS:
Ouvidoria do SUS
136
Biblioteca Virtual do Ministrio da Sade
www.saude.gov.br/bvs
|\HN 7A-A;--|A7-
MINISTRIO DA SADE
Secretaria de Cincia, Tecnologia e Insumos Estratgicos
Departamento de Cincia e Tecnologia
Braslia DF
2011
DIRETRIZES METODOLGICAS:
ELABORAO DE PARECERES
TCNICO-CIENTFICOS
3 edio revisada e atualizada
Srie A. Normas e Manuais Tcnicos
Impresso no Brasil/Printed in Brazil
Ficha Catalogrfca
Brasil. Ministrio da Sade. Secretaria de Cincia, Tecnologia e Insumos Estratgicos. Departamento de Cincia e
Tecnologia.
Diretrizes metodolgicas: elaborao de pareceres tcnico-cientfcos / Ministrio da Sade, Secretaria de Cincia,
Tecnologia e Insumos Estratgicos, Departamento de Cincia e Tecnologia. 3. ed., revisada e atualizada Braslia :
Ministrio da Sade, 2011.
80 p. (Srie A. Normas e Manuais Tcnicos)
ISBN 978-85-334-1847-9
1. Metodologia. 2.Trabalhos tcnicos. 3.Avaliao de Tecnologia em Sade. I. Ttulo. II. Srie.
CDU 001.891:614
Catalogao na fonte Coordenao-Geral de Documentao e Informao Editora MS OS 2011/0320
Ttulos para indexao:
Em ingls: Methodological guidelines: elaborating rapid HTAs
Em espanhol: Directrices metodolgicas: elaboracin de informes tcnico-cientfcos
2011 Ministrio da Sade.
Todos os direitos reservados. permitida a reproduo parcial ou total desta obra, desde que citada a
fonte e que no seja para venda ou qualquer fm comercial.
A responsabilidade pelos direitos autorais de textos e imagens dessa obra da rea tcnica.
A coleo institucional do Ministrio da Sade pode ser acessada, na ntegra, na Biblioteca Virtual em
Sade do Ministrio da Sade: http://www.saude.gov.br/bvs
Srie A: Normas e Manuais Tcnicos
Tiragem: 3 edio revisada e atualizada 2011 2.000 exemplares
Elaborao, distribuio e informaes:
MINISTRIO DA SADE
Secretaria de Cincia, Tecnologia e Insumos Estratgicos
Departamento de Cincia e Tecnologia
Esplanada dos Ministrios, Bloco G, Edifcio Sede, 8 andar, sala 852
CEP: 70058-900 Braslia DF
Tels.: (61) 3315-3471 / 3315-3633
Home page: http://www.saude.gov.br
Superviso geral:
Ana Luisa dvila Viana
Flvia Tavares Silva Elias
Elaborao:
Fernanda de Oliveira Laranjeira
Rosngela Caetano
Reviso de Tcnica:
Flvia Tavares Silva Elias
Rosimary Terezinha de Almeida
Organizao:
Flvia Tavares Silva Elias
Priscila Gebrim Louly
Vania Cristina Canuto Santos
Design Grfco:
Gustavo Lins
Reviso de Texto:
Cristiane Frana
Normalizao:
Adenilson Felix - Editora MS
LISTA DE SIGLAS
ANS: Agncia Nacional de Sade Suplementar
ANVISA: Agncia Nacional de Vigilncia Sanitria
ATS: Avaliao de Tecnologias em Sade
DECIT: Departamento de Cincia e Tecnologia
GT-ATS/CCTI/MS: Grupo de Trabalho Permanente em Avaliao de
Tecnologias em Sade, do Conselho de Cincia Tecnologia e Inovao do
Ministrio da Sade
MS: Ministrio da Sade
PNGTS: Poltica Nacional de Gesto de Tecnologias em Sade
PTC: Parecer Tcnico-Cientfico
SCTIE: Secretaria de Cincia, Tecnologia e Insumos Estratgicos
Apresentao
1 Introduo
2 Metodologia a ser aplicada na elaborao de Pareceres
Tcnico-Cientficos
2.1 Em que caso ser elaborado o Parecer Tcnico-Cientfico?
2.2 Quais as etapas fundamentais para a elaborao de um PTC?
2.2.1 Como deve ser a formulao da pergunta de um PTC?
2.2.2 O que deve estar contido na introduo?
2.2.3 Como realizar a busca e a anlise crtica da qualidade
das evidncias cientficas para a elaborao do PTC?
2.2.4 Como devem ser apresentados os Resultados?
2.2.5 Recomendaes
2.2.6 Reviso
2.2.7 Referncias
3 Consideraes finais
4 Estrutura Geral do PTC
Referncias
Glossrio
Anexo A
Anexo B
Anexo C
Anexo D
Anexo E
Anexo F
Anexo G
Anexo H
Anexo I
Anexo J
Anexo K
07
11
13
13
14
15
16
19
21
22
23
23
25
27
29
33
37
41
42
45
50
51
52
61
65
67
74
SUMRIO
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
7
APRESENTAO
A utilizao de evidncia de qualidade nos processos de Avaliao de
Tecnologias em Sade (ATS) mostrou-se uma das principais recomendaes da
Oficina de Prioridades de Pesquisa em Sade - Editais Temticos, realizada
em maro de 2006. Identificou-se tambm a necessidade de elaborao de
diretrizes metodolgicas para pareceres tcnico-cientficos, revises sistemticas
e estudos de avaliao econmica, promovidos pelo Ministrio da Sade, a fim
de promover a qualidade.
A instituio da ATS, fundamental no processo de gesto e incorporao de
tecnologias, surge da discusso da Poltica Nacional de Cincia, Tecnologia
e Inovao em Sade (BRASIL, 2005a) e da Poltica Nacional de Gesto de
Tecnologias em Sade PNGTS. (BRASIL, 2009). Esta ltima objetiva principalmente
maximizar os benefcios de sade a serem obtidos com os recursos disponveis,
assegurando o acesso da populao s tecnologias efetivas e seguras, em
condies de equidade. Entre os princpios da PNGTS, tem-se que: A gesto de
tecnologias deve utilizar as evidncias cientficas e considerar os seguintes atributos:
eficcia, efetividade, eficincia, segurana e impactos econmicos, ticos, sociais e
ambientais da tecnologia em questo. (BRASIL, 2009).
A Poltica discorre claramente sobre a importncia da ATS nos processos de
tomada de deciso da incorporao de tecnologias em sade: Utilizao de
evidncia cientfica para subsidiar a gesto: Avaliao de Tecnologias em Sade.
(BRASIL, 2009). Neste mbito, destaca-se a necessidade da elaborao de
diretrizes metodolgicas para estudos de avaliao de tecnologias, considerando
as especificidades de cada tecnologia e o estgio de desenvolvimento.
A implementao do processo de gesto de tecnologias no sistema de sade
brasileiro, iniciado pela PNGTS, orienta as aes em ATS no Brasil e contribui
para o crescimento da demanda, no Ministrio da Sade, de pareceres tcnicos
baseados em evidncias cientficas de qualidade. Esses pareceres configuram
importante instrumento para a tomada de deciso sobre a incorporao de
tecnologias no Sistema nico de Sade SUS, considerando que, desde o
final de 2006, o Decit tem colaborado com a Comisso de Incorporao de
Tecnologias do Ministrio da Sade - CITEC (BRASIL, 2006; BRASIL, 2008),
fornecendo pareceres tcnico-cientficos sobre as tecnologias para as quais
exista solicitao de incorporao.
Ministrio da Sade
8
O projeto de elaborao das Diretrizes Metodolgicas para Pareceres Tcnico-
Cientficos foi pactuado com o Grupo de Trabalho Permanente de Avaliao
de Tecnologias em Sade do Conselho de Cincia, Tecnologia e Inovao
(GT-ATS/CCTI/MS), constituindo o Grupo de Trabalho de especialistas em ATS
e Medicina Baseada em Evidncias, para elaborao deste documento. Aps
a apresentao da proposta no GT-ATS foram realizadas as seguintes reunies
com os especialistas:
1 Reunio - Elaborao de Diretrizes Metodolgicas para Pareceres
Tcnico-Cientficos, em 27/04/2006: definidos os objetivos e princpios
bsicos para as diretrizes metodolgicas, prazos e especialistas a serem
convidados para a Oficina de Consenso, assim como os elaboradores e
revisores da proposta do documento.
Oficina de Consenso para Elaborao das Diretrizes Metodolgicas para
Pareceres Tcnico-Cientficos, em 25/07/2006: a proposta do documento foi
apreciada por especialistas convidados e as sugestes e crticas incorporadas.
A primeira edio do documento, publicada em outubro de 2007, aps o teste
de aplicao das instrues contidas nas diretrizes, passou a ser utilizada em
diversos contextos em todo o Brasil, nos nveis federal, estadual e municipal do
SUS e da Sade Suplementar. Alm disso, o documento tambm foi pactuado
no MERCOSUL e serviu como base para o Guia de Elaborao de Avaliao
de Tecnologia em Sade do MERCOSUL. (MERCOSUL, 2008).
A experincia federal, no domnio do Ministrio da Sade, permitiu determinar
um fluxo de produo dos pareceres tcnico-cientficos, incluindo a elaborao
por parte dos consultores tcnicos, reviso metodolgica da busca e anlise
crtica dos estudos selecionados, bem como a reviso de especialistas e gestores
envolvidos com as polticas de ateno sade. O fluxograma e critrios de
reviso das etapas de produo de um PTC elaborado pelo Departamento de
Cincia e Tecnologia esto expostos no Anexo A.
A 2 edio das Diretrizes (2009) teve base na experincia do DECIT, no uso
desse documento e das sugestes dos participantes das oficinas de capacitao,
realizadas em 2008, com aproximadamente 100 pessoas advindas das reas
tcnicas do prprio Ministrio da Sade, de Secretarias Estaduais e Municipais
de Sade, hospitais, universidades e seguradoras de sade, que avaliaram o
documento em relao utilidade, validade e aplicabilidade. Na etapa final da
publicao participaram diversos pesquisadores e gestores atuantes na rea de
avaliao, gesto e incorporao de tecnologias em sade, medicina baseada
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
9
em evidncia e economia da sade. Ainda, foram discutidos e atualizados
diversos aspectos estruturais e metodolgicos para a construo de uma verso
mais didtica e completa.
Analogamente, a 3 edio foi elaborada considerando as sugestes de
150 participantes das oficinas realizadas em 2009 e no primeiro semestre
de 2010. Esta verso contemplou a opinio de integrantes dos Ncleos de
Avaliao de Tecnologias em Sade (NATS) e a apreciao final do grupo de
Desenvolvimento e Avaliao Metodolgica de ATS da Rede Brasileira de
Avaliao de Tecnologias em Sade REBRATS (lanada em agosto de 2008),
disponvel em <www.saude.gov.br/rebrats>.
A importncia das Diretrizes Metodolgicas para elaborao de Pareceres
Tcnico-Cientficos demarcada, principalmente, pela ausncia de publicaes
anteriores semelhantes no Brasil e no Ministrio da Sade. Assim, o objetivo
contribuir para a padronizao dos pareceres elaborados, tanto por
pesquisadores externos, quanto pelos prprios tcnicos do Ministrio, alm de
qualific-los e estabelecer critrios para avaliao de qualidade dos estudos.
Pretende-se, pois que as Diretrizes se estabeleam na soma dos vrios esforos
empreendidos para a estruturao e disseminao da Avaliao de Tecnologias
em Sade no Brasil.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
11
1 INTRODUO
Em parte dos avanos, vrios campos do conhecimento, a medicina
alcanou resultados satisfatrios no ltimo sculo, incluindo a reduo
da mortalidade e morbidade em reas das doenas infecciosas, perinatais
e cardiovasculares, o aumento da expectativa de vida, o transplante de
rgos e tecidos, a terapia com clulas-tronco e at a cura de alguns
tipos de cncer.
Em contrapartida, problemas na utilizao das tecnologias vm sendo
observados, tanto por estudos que no identificaram evidncias cientficas
para procedimentos largamente utilizados, quanto por aqueles que
evidenciaram substancial variao no uso de tecnologias sem melhorias
nos resultados em sade (OTA, 1994; GARBER, 2001). Em outros casos
demonstrou-se que tecnologias comprovadamente sem efeito, ou com
efeitos deletrios, continuam sendo amplamente utilizadas, ao passo que as
eficazes apresentam baixa aplicabilidade. Outra questo frequente mostra
o emprego de tecnologias fora das condies e indicaes eficazes.
A crescente inovao e utilizao tecnolgica tambm se relacionam ao
aumento dos gastos em sade. Assim, no cenrio de elevao de gastos,
com restrio de recursos em sade e reestruturao dos servios, com
maior efetividade e melhor utilizao do dinheiro pblico, os gestores
se vem pressionados. Pois, necessitam de informaes coerentes e
fundamentadas sobre os benefcios das tecnologias em sade e o impacto
sobre os servios de sade, para racionalizarem a tomada de deciso
(PANERAI; MOHR, 1989), demonstrando o crescente interesse pela
Avaliao de Tecnologias em Sade.
A ATS um processo abrangente de avaliao dos impactos clnicos, sociais
e econmicos das tecnologias em sade, considerando ainda aspectos de
eficcia, efetividade, segurana, custo-efetividade, e outros (GOODMAN,
1998; HUNINK; GLASZIOU, 2001). O princpio da ATS serve para auxiliar
os gestores em sade na tomada de decises coerentes e racionais quanto
incorporao de tecnologias em sade (PANERAI; MOHR, 1989; HUNINK;
GLASZIOU, 2001; CCOHTA, 2006). Entendem-se por Tecnologias em
Sade os medicamentos, equipamentos e procedimentos tcnicos, sistemas
organizacionais, informacionais, educacionais e de suporte, programas e
protocolos assistenciais, por meio dos quais a ateno e os cuidados com
a sade so prestados populao. (BRASIL, 2005b).
Ministrio da Sade
12
Os Pareceres Tcnico-Cientficos (PTC) so ferramentas de suporte gesto
e deciso, baseada na mesma racionalidade que envolve a ATS, contudo
com execuo e contedo mais simplificados. Embora envolvam reviso
da literatura menos extensa e abrangente, que uma reviso sistemtica,
e sejam de execuo e elaborao mais rpidas, representam um relato
sistematizado e abrangente do conhecimento possvel de ser fornecido
nesse contexto, contribuindo para qualificar as decises a serem tomadas.
(CCOHTA, 2003; NICE, 2004a; DACEHTA, 2005; CAMERON, 2007).
Estudos de ATS, envolvendo mtodos de reviso rpida da literatura, so
elaborados em diversos pases, levando de trs a seis meses para serem
concludos. A padronizao de parmetros mnimos de qualidade para esses
estudos necessria para evitar possveis vieses de seleo e interpretao.
(GANANN et al, 2010).
As Diretrizes Metodolgicas para Elaborao de Pareceres Tcnico-
Cientficos tm no pblico-alvo prioritrio os tcnicos do Ministrio da
Sade, das demais esferas do SUS e da sade suplementar, envolvidos
nos processos relacionados incorporao e avaliao de tecnologias em
sade. Os elaboradores devem alcanar os pr-requisitos mnimos: leitura
em ingls, experincia com internet, conhecimentos em epidemiologia e
medicina baseada em evidncias, trabalho direto com regulao, gesto
e incorporao de tecnologias, judicializao em sade, assistncia
farmacutica, uso racional de medicamentos, vigilncia de doenas e
agravos, ateno primria e especializada em sade e assuntos correlatos.
Recomenda-se tambm que autores e revisores de PTC declarem seus
potenciais conflitos de interesses, sugerido no Anexo B.
O objetivo deste documento contribuir para a padronizao, qualificao
e avaliao dos pareceres elaborados com base em evidncias cientficas,
tanto por consultores externos, quanto pelos prprios tcnicos do Ministrio
e nas demais esferas do Sistema nico de Sade e da sade suplementar.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
13
2 METODOLOGIA A SER APLICADA NA ELABORAO DE
PARECERES TCNICO-CIENTFICOS
2.1 Em que caso ser elaborado o Parecer Tcnico-Cientfico?
O Parecer Tcnico-Cientfico (PTC) o primeiro passo no processo de
avaliao de demandas pela incorporao de novas tecnologias ou de
novas aplicaes para tecnologias j existentes no sistema de sade.
Justificando-se apenas nos casos de rpida tomada de deciso pelo Ministrio
da Sade sobre a incorporao de tecnologia especfica.
Nesta situao, o PTC apresenta os resultados de uma primeira avaliao
para responder rapidamente s questes iniciais sobre a tecnologia:
populao-alvo e evidncias de eficcia e segurana. Esta avaliao
preliminar indica que as informaes disponveis so suficientes para a
tomada de deciso. Alternativamente, as evidncias obtidas podem ser
insuficientes ou inadequadas, demandando um aprofundamento para
melhor anlise dos efeitos ou impactos clnico, econmico e social da
tecnologia. Neste caso, o PTC pode sugerir a realizao de Reviso
Sistemtica ou uma Avaliao Econmica, entre outros trabalhos que
requeiram recursos extras para a elaborao.
Entretanto, o uso do PTC no se limita s novas tecnologias (aquelas ainda
no-incorporadas ao SUS, mesmo disponveis para uso no pas). Ao contrrio,
pode e deve ser utilizado para a anlise das tecnologias em sade em
qualquer fase, pois configura elemento til para a avaliao de tecnologias
estabelecidas e as que se propem adaptaes ou novos usos, em fase de
potencial obsolescncia, pela incorporao de outras mais seguras, efetivas
ou custo-efetivas.
O contedo do PTC deve ser breve, redigido em at 20 pginas (ou
20.000 caracteres), com exceo dos anexos, considerando alguns pontos
fundamentais: a pergunta a ser respondida pelo parecer; a descrio dos
aspectos epidemiolgicos da condio de sade qual a tecnologia ser
destinada; a descrio da tecnologia e das tecnologias alternativas; as
evidncias disponveis; os resultados encontrados e as recomendaes.
Os mtodos utilizados para a elaborao do PTC devem ser descritivos,
podendo ser apresentados em anexos incluindo a exposio completa e
detalhada da busca por evidncia cientfica, critrios de incluso, excluso e
classificao dos artigos de acordo com o nvel da qualidade da evidncia e
os possveis vieses.
Ministrio da Sade
14
Os autores devem lembrar-se de que o PTC ser organizado para os
gestores, assim, observando as seguintes regras: - O sistema de linguagem,
para a plena compreenso e utilizao dos resultados na prtica da
atuao; - A terminologia utilizada deve ser compreensvel ao pblico no-
especializado; - Abreviaturas devem ser evitadas, exceto as amplamente
conhecidas (por exemplo, Aids, HIV). Se essenciais, as abreviaturas devem
ser explicitadas por extenso em seu primeiro uso; - Nomes de medicamentos
e de intervenes que possam ser internacionalmente compreendidos
devem ser usados sempre que possvel.
O PTC deve conter todos os elementos que possibilitem ao leitor avaliar a
validade da anlise, incluindo informaes que permitam: compreender a
metodologia adotada, averiguar as fontes de evidncia, verificar a relevncia
das informaes e contextualizar as recomendaes em termos de implicaes
para a prtica clnica, para os servios e pesquisa. Os tpicos futuros de
pesquisa devem ser apontados, em funo dos resultados obtidos na anlise,
fundamentando as prioridades a serem investigadas.
Os resumos em portugus e em ingls (abstract) devem ser inseridos no
incio do documento, com extenso de at uma pgina (350 palavras) e
redigidos em linguagem acessvel ao leitor no-especializado. Assim, os
elementos contextuais devem ser apresentados sinteticamente: - intensidade
das recomendaes; - contexto (propsito que motivou a elaborao do
parecer); - questo a ser respondida (incluindo a tecnologia sob anlise e
as alternativas; - a condio de sade para a qual a mesma indicada e
o resultado em sade de interesse); - busca e avaliao da qualidade da
evidncia; - principais resultados dos estudos selecionados e recomendaes,
conforme modelo de resumo executivo e de tpicos contidos num PTC
(Captulo 4. Estrutura Geral do PTC).
2.2 Quais as etapas fundamentais para a elaborao de um PTC?
De acordo com a recomendao do Ministrio da Sade toda a metodologia
apontada nos tpicos seguintes est baseada em diretrizes metodolgicas j
publicadas internacionalmente (CCOHTA, 2003; NICE, 2004a,b; DACEHTA,
2005; CAMERON, 2007).
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
15
2.2.1 Como deve ser a formulao da pergunta de um PTC?
A clareza e a preciso so essenciais para a construo do PTC, devendo
explicitar sempre: o problema de sade ao qual se aplica (populao de
interesse), tecnologia a ser avaliada, tecnologias alternativas de comparao
e os resultados ou desfechos em sade de interesse (mortalidade, morbidade,
efeitos adversos, incidncia de complicaes, qualidade de vida, etc.). Modelos
de pergunta para cada tipo de interveno esto dispostos no Quadro 1.
Quadro 1. Modelo de pergunta de um Parecer Tcnico-
Cientfico, de acordo com o tipo de interveno
Populao Interveno Comparao Outcome
(desfecho)
Tratamento
Para pacientes
com infarto
agudo do
miocrdio
com supra do
segmento ST...
...o uso do
Tromboltico...
comparado
angioplastia
com stent...
diminui a taxa
de mortalidade?
diminui a taxa
de re-infarto?
melhora a
qualidade de
vida?
Diagnstico
Para as
mulheres entre
25 e 60 anos,
com citologia
onctica
alterada, NIC I*
ou ASCUS**...
o Teste
para deteco
do HPV***
por captura
hbrida...
comparado
ao padro-ouro
(Colpocitologia
com
Papanicolaou)...
acurado?
(desempenho)
o Teste
para deteco
do HPV por
captura
hbrida...
comparado
ao padro-ouro
(Colpocitologia
com
Papanicolaou)...
diminui a taxa
de mortalidade
por cncer de
colo de tero?
diminui a taxa
de cncer de
colo de tero?
muda a
conduta
teraputica?
(utilidade)
*NIC I: neoplasia intra-epitelial cervical de baixo grau.
**ASCUS: clulas escamosas atpicas de aspecto indeterminado.
***Papilomavrus humano.
Outcome
Ministrio da Sade
16
2.2.2 O que deve estar contido na Introduo?
a) Aspectos epidemiolgicos, demogrficos e sociais
Neste tpico descreve-se o cenrio do pas com relao condio de sade
ou problema clnico para o qual a tecnologia est indicada (considerando a
indicao que consta na pergunta que o PTC dever responder), incluindo
prevalncia, incidncia, mortalidade, gravidade da condio de sade e
carga de doena (caso haja informaes sobre este parmetro). Devem
ser mencionadas tambm as caractersticas populacionais importantes na
avaliao, a exemplo das prevalncias diferenciadas para gnero, etnia,
idade, gravidade da condio de sade, co-morbidades, assim tambm os
fatores relacionados a desigualdades em sade.
Para obter essas informaes, os autores devem consultar bancos de dados
existentes (endereos eletrnicos disponveis no Anexo C). Adicionalmente, os
autores podem utilizar outras fontes de informao, estimativas, inquritos e
outros estudos. Destaque deve ser dado caso as informaes utilizadas tenham
carter estadual, regional ou internacional, lembrando que todas devem ser
referenciadas.
b) Descrio da tecnologia a ser avaliada
Deve-se descrever a tecnologia a ser avaliada, esclarecendo primeiramente
se possui ou no registro no rgo regulador brasileiro (Agncia Nacional
de Vigilncia Sanitria ANVISA) ou em rgos reguladores de outros pases
(Anexo C) e, tambm, em quais condies pode ser utilizada, de acordo com
os registros.
Se a pergunta a ser respondida pelo PTC diz respeito a uma nova indicao
da tecnologia, para a qual no possui registro, isto deve ser claramente
especificado. Para obter essa informao, no caso de medicamentos, deve-se
consultar a bula autorizada pela ANVISA.
Para saber se uma tecnologia possui ou no registro na ANVISA, o autor
necessita visitar o ambiente eletrnico da agncia (ANVISA, 2010), de acordo
com as instrues contidas no Quadro 2.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
17
Quadro 2. Instrues para consulta de registro de
medicamentos e produtos para a sade
Devem ser mencionados: o tipo de tecnologia sob avaliao (diagnstica,
preventiva, teraputica, em termos de sua funo no processo de cuidado,
medicamento, vacinas, equipamentos, procedimentos clnicos ou cirrgicos, no
que se refere natureza da tecnologia), caractersticas bsicas, usos previstos,
diferentes indicaes, contra-indicaes e riscos conhecidos e descritos na
literatura sobre o tema.
No caso de medicamento, quando necessrio, devem ser abordados os
aspectos farmacocinticos e farmacodinmicos de sua estrutura e aplicao,
forma de apresentao, posologia e outros aspectos comuns a tais substncias.
Estas informaes podem estar disponveis no ambiente eletrnico da ANVISA
(ANVISA, 2010), no espao destinado bula de medicamentos registrados e,
quando indisponveis nessa fonte, deve-se utilizar o MICROMEDEX (Anexo C)
para as informaes farmacolgicas (acesso restrito).
Quando se tratar de produtos para a sade, o ambiente eletrnico da
ANVISA tambm disponibiliza documentos equivalentes bula para
medicamentos, denominados rtulos de instrues, conforme documentos
dispostos no Quadro 3.
Para procedimentos diagnsticos, clnicos ou cirrgicos importante tambm
a descrio das exigncias quanto formao, habilidades e capacitao
dos profissionais. Para os equipamentos, as caractersticas tcnicas e a
infraestrutura necessrias ao uso adequado devem ser mencionadas quando
aplicveis. Alm disso, deve ainda ser descrito o espao de prtica onde a
tecnologia est sendo ou dever ser utilizada, bem como a necessidade de
capacitao profissional para a utilizao e existncia de outras condies que
estejam relacionadas ao uso da tecnologia e que necessitem ser consideradas
<www.anvisa.gov.br>
Servios
Consulta a Bancos de Dados: clicar em
Medicamentos ou Produtos para a Sade
Consulta de Registro
Ministrio da Sade
18
(viabilidade operacional, exigncia de outras tecnologias associadas
diagnsticas ou teraputicas necessidade de ambientes especiais, etc.). Essas
informaes podem ser obtidas nas normas tcnicas (Associao Brasileira de
Normas Tcnicas CB26), instruo de uso do equipamento ou em peridicos
dedicados como, por exemplo, o ECRI Emergency Care Research Institute
(plataforma de acesso restrito), disponvel em: <http://www.ecri.org.br>.
Dependendo da complexidade da descrio da tecnologia, ela pode ser
anexada ao PTC, constando apenas informaes bsicas no tpico descrio
da tecnologia a ser avaliada.
Quadro 3. Consulta s instrues de uso de Produtos
para a Sade registrados na Agncia Nacional de
Vigilncia Sanitria
Devem ser citados os preos por unidade de compra da tecnologia analisada e
das alternativas sob comparao. Para as tecnologias em uso pelo sistema de
sade, deve-se estimar este valor pela mdia ponderada de preos do ltimo
ano, por meio dos valores disponveis no Banco de Preos em Sade (Anexo
C). Se estes preos no estiverem disponveis, no caso de medicamentos, deve-
se considerar o valor aprovado pela Cmara de Regulao do Mercado de
Medicamentos CMED (Anexo C), mais especificamente o Preo Fbrica, ICMS
18%. J no caso de produtos para sade, pode ser consultado o comprasnet
(Anexo C), portal de compras do governo federal, que relaciona os valores
celebrados nas aquisies pblicas, servindo inicialmente como estimativa,
uma vez que cada licitao tem um edital proposto pelo proponente e pode
variar de acordo com cada descrio solicitada. Outra fonte de preos de
produtos para sade a Ferramenta de Consulta de Preos de Produtos para
a Sade, disponvel no stio da ANVISA (Anexo C).
Alm do preo unitrio, necessrio informar os fatores potenciais a serem
considerados para uma futura anlise de impacto oramentrio, por exemplo,
a demanda potencial, o padro de utilizao e, quando houver, o gasto
adicional em tecnologias e procedimentos complementares, investimento
<www.anvisa.gov.br>
Servios
Consulta a Banco de Dados: clicar em
Produtos para a sade
Pesquisa sobre rotulagem e instrues de uso
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
19
em infra-estrutura e gasto de capital. Quando esses valores no estiverem
disponveis, deve-se mesmo assim citar e descrever as possveis fontes de
gastos. Para anlise mais aprofundada de custos, os autores do PTC precisam
recomendar uma futura elaborao de anlise econmica completa.
c) Descrio das tecnologias alternativas
Devem ser descritas as tecnologias alternativas existentes, assim tambm
aquelas consideradas padro-ouro de comparao para a condio de
sade em questo, tambm as bem aceitas pela comunidade cientfica ou na
prtica clnica. No caso de novas tecnologias avaliadas ou indisponveis nos
sistemas de sade, a comparao deve ser a(s) tecnologia(s) disponvel (is)
no SUS ou na sade suplementar, se for o caso, para a mesma indicao. As
tecnologias alternativas devem ser descritas considerando os mesmos critrios
apresentados para a tecnologia sob avaliao. Comparando a abrangncia
das indicaes, preos por unidade de compra, caractersticas das tecnologias,
pontos de discrepncia e identificao dos desfechos adequados.
2.2.3 Como realizar a busca e a anlise crtica da qualidade das
evidncias cientficas para a elaborao do PTC?
Os mtodos utilizados na elaborao do PTC devem ser apresentados clara e
detalhadamente. Embora a abrangncia da busca da literatura e a avaliao
da qualidade da evidncia sejam tipicamente mais limitadas em um PTC
do que em uma reviso sistemtica, ainda assim devem ser sistematizadas,
assegurando uma viso geral da melhor evidncia disponvel e priorizando as
evidncias de acordo com a qualidade metodolgica dos trabalhos.
a) Busca por evidncia
O segundo passo para a elaborao de um PTC consiste em descrever
a estratgia de busca por evidncias, considerando as bases eletrnicas
utilizadas, a descrio do algoritmo empregado, os descritores, palavras-chave
e utilizao de termos MeSH (do ingls Medical Subject Headings descritores)
na pesquisa eletrnica.
Os autores devem considerar algumas bases de referncia na busca por
evidncias cientficas de qualidade (Anexo D).
Nem sempre possvel obter as informaes de segurana necessrias para
anlise da nova tecnologia, provenientes dos estudos de eficcia, como
ensaios clnicos randomizados. A segurana de uma tecnologia pode ser fator
determinante na deciso por sua incorporao. Por isso, a importncia da
busca especfica para esse fim. Em algumas situaes, as bases de dados e
a estratgia de busca por evidncia de segurana podem ser diferentes das
utilizadas para busca por evidncias de eficcia (Anexo D).
Ministrio da Sade
20
As bases de dados e as respectivas estratgias de busca que embasaro as
recomendaes do PTC devem estar descritas de acordo com a proposta de
tabela apresentada no Anexo E.
b) Critrios de seleo e excluso de artigos
Os critrios de incluso de estudos no PTC devem ser claramente mencionados,
a partir da busca traada no item anterior, por exemplo:
Desenho do estudo: ensaios clnicos controlados randomizados, no
randomizados, revises sistemticas, estudos de coorte, estudos caso-controle,
etc. Destaque-se que num PTC devem ser priorizados os estudos de maior
qualidade metodolgica disponveis para o tema a ser analisado;
Populao ou subgrupos de interesse: problema de sade, gravidade do
problema, idade, gnero e etnia;
Interveno ou tecnologia avaliada;
Desfechos (resultados em sade): mortalidade, morbidade, incidncia de
complicaes, qualidade de vida, etc.
Assim como os critrios de seleo, tambm devem ser descritos os critrios
de excluso dos estudos, bem como o nmero de estudos encontrados e os
motivos da excluso em cada fase da busca. No Anexo F h um exemplo de
fluxograma que pode ser utilizado para demonstrar a seleo dos estudos.
No recomendada a incluso de estudos de custo-efetividade, pois este no
objeto de um PTC.
c) Avaliao da qualidade da evidncia
Pelas caractersticas do prprio tipo de documento e das indicaes j
mencionadas, a rigidez metodolgica para a elaborao de um PTC pode
ser menor que a exigida para uma reviso sistemtica. Por isso, o parecer
pode incluir anlise de tpicos de interesse dos tomadores de deciso, mesmo
aqueles para os quais as evidncias so subtimas, em particular, na fase
inicial do ciclo de vida de uma nova tecnologia.
aceitvel que uma hierarquia de evidncia seja utilizada na avaliao da
qualidade dos estudos, cujos valores mais elevados so atribudos a revises
sistemticas de estudos clnicos controlados randomizados de alta qualidade e
estudos clnicos controlados randomizados (ECCR) adequadamente desenhados,
enquanto os nveis menores contemplam estudos no randomizados, estudos
de coorte, caso-controle e sries de casos. Este documento fornece duas
sugestes de como hierarquizar as evidncias encontradas e graduar a fora
da recomendao: a Classificao de Nvel de Evidncia do Oxford Centre for
Evidence Based Medicine e a Classificao do Grading of Recommendations
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
21
Assessment, Development and Evaluation GRADE (Anexo G), mas o autor
pode utilizar outras fontes, se desejar, devendo referenci-las.
Embora exista uma forte preferncia para que a tomada de deciso esteja
baseada em revises sistemticas ou ECCR, deve-se reconhecer que diversas
tecnologias ou intervenes (por exemplo, procedimentos cirrgicos ou
programas de sade) raramente so investigadas por este tipo de estudo,
comum para os medicamentos. Assim, outros tipos de estudos devem ser
ponderados se forem a nica opo e a de maior qualidade disponvel para a
interveno em questo, dependendo da pergunta que motivou o PTC.
Alm disso, o nvel de evidncia no o nico fator de relevncia ao avaliar
os estudos selecionados. Um estudo clnico randomizado de m qualidade
pode fornecer menos informao que outro no randomizado, porm bem
desenhado. necessrio que a avaliao das evidncias envolva os mais
importantes parmetros determinantes de qualidade e seja sempre realizada
e mencionada.
fundamental tambm descrever o mtodo utilizado para avaliao da
evidncia encontrada, incluindo os parmetros de qualidade para cada tipo
de estudo selecionado no PTC, assim como a fonte considerada, j que os
parmetros podem variar conforme os autores considerados (GUYATT et al.,
2008a; GUYATT et al., 2008b; GUYATT et al., 2008c; GUYATT e RENNIE,
2006; SACKETT et al., 2003; OXMAN et al., 1994). Um modelo sugerido
para avaliar as evidncias selecionadas num PTC apresentado no Anexo
H, que contm tabelas com parmetros de avaliao para ensaios clnicos
controlados, estudos diagnsticos, estudos coorte e revises sistemticas.
2.2.4 Como devem ser apresentados os Resultados?
a) Resultados dos estudos selecionados
Os resultados dos estudos considerados na anlise devero ser apresentados
em tabela, contendo identificao do estudo, pas onde foi realizado,
nmero de participantes, tipo de estudo, interveno realizada e alternativas
de comparao, descrio dos desfechos e resultados obtidos. A tabela
de resultados ainda deve conter um espao delimitado entre os estudos
selecionados, para descrio de vieses e limitaes deles, conforme o exemplo
apresentado no Anexo I.
recomendvel discutir criticamente as limitaes da literatura
encontrada e, quando for o caso, justificar a utilizao de estudos de
menor qualidade metodolgica.
Ministrio da Sade
22
b) Interpretao dos resultados
Deve-se, aps a apresentao dos estudos selecionados e resultados
proceder a interpretao sempre tomando por base a questo que orientou
a realizao do PTC e sua importncia para a tomada de deciso sobre
a tecnologia avaliada. Considerando a significncia estatstica e clnica,
incluindo comentrios acerca das medidas estatsticas e de associao
utilizadas (razo de riscos, razo de chances, nmero necessrio para tratar,
nmero necessrio para causar dano), e ponderar o tamanho do efeito e o
intervalo de confiana das medidas analisadas.
Alm disso, como a maioria dos ensaios clnicos controlados realizada fora
do Brasil, devem-se discutir os seus benefcios para a realidade brasileira.
Contextualmente, recomenda-se observar as diferenas populacionais,
epidemiolgicas, condies necessrias e a viabilidade de implantao da
tecnologia no segmento brasileiro, como capacitao de recursos humanos,
infra-estrutura, capacidade de manuteno, entre outras.
Os autores ainda devem comentar e discutir as condies de implantao da
tecnologia, assim tambm os fatores negativos para utilizao na realidade
brasileira, bem como os contributivos para resultados e desempenho
diferenciados daqueles encontrados em avaliaes estrangeiras.
c) Recomendaes de agncias internacionais de ATS
Os estudos de agncias de ATS devem constar de tpico parte, conforme a
sugesto de apresentao dos resultados desses estudos no Anexo I. Tais estudos
podem ser aplicados como fonte de informaes, de estudos relevantes, alm de
servir para comparao dos resultados. A recomendao final da agncia pode ser
relatada, apenas a ttulo de informao, j que a deciso por incorporao leva em
conta outros aspectos, regionais inclusive, que no apenas a evidncia cientfica.
2.2.5 Recomendaes
O princpio das recomendaes aborda a resposta pergunta do PTC,
respeitando o contexto para o qual foi elaborado. Assim, com base na resposta,
os autores devem elaborar as recomendaes a favor ou contra a tecnologia,
com indicao de sua fora, considerando os quesitos de eficcia, segurana
e efetividade. E, o motivo que levou o autor a classificar a recomendao deve
estar explicitado no texto.
A recomendao final do PTC deve ser classificada como:
Recomendao forte a favor da tecnologia
Recomendao fraca a favor da tecnologia
Recomendao fraca contra a tecnologia
Recomendao forte contra a tecnologia
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
23
Os autores do PTC podem incluir consideraes sobre a incorporao da
tecnologia nos servios de sade, ponderando sobre os valores e preferncias
dos pacientes; a qualidade da evidncia; a relao entre benefcio e dano; as
relaes com as polticas especficas de cuidados para a condio de sade
em questo; os fatores relevantes que contribuam para a identificao de
desigualdades em sade e a promoo da equidade no acesso tecnologia.
Ainda, se for identificada a necessidade, deve-se recomendar o monitoramento
da tecnologia em questo, descrevendo os pontos-chave de ateno.
O parecer deve ser finalizado com a apresentao de recomendaes quanto
s implicaes dos resultados da avaliao para a prtica clnica e pesquisa.
Com relao a esse ltimo tpico, ressalta-se a importncia de sugerir temas
para estudos que possam preencher lacunas de informaes.
Neste contexto, quando as concluses do parecer indicar a existncia de muitas
evidncias disponveis ou, ao contrrio, a falta de evidncias suficientes para a
tomada de deciso, deve-se recomendar a realizao de outros estudos, tais como
uma reviso sistemtica ou um estudo clnico, respectivamente. Outra indicao
possvel da recomendao dos autores se for o caso, diz respeito elaborao de
estudos de custo-efetividade, custo-utilidade ou de impacto oramentrio. No caso
de equipamentos, se for identificada a necessidade de anlise mais completa de
aspectos no abordados, pode-se recomendar a realizao de estudos adequados.
2.2.6 Reviso
Este tpico no obrigatrio no PTC. Entretanto, na finalizao do documento,
se as evidncias forem limitadas ou existirem estudos em andamento, cujos
resultados possam alterar o cenrio, recomenda-se que o autor indique quando
o PTC precisar ser revisado.
A todo o momento surgem novas tecnologias e novos estudos so publicados.
Com isso, as recomendaes, baseadas em evidncias podem mudar tanto positiva
quanto negativamente com relao a uma dada tecnologia. Por isso, de extrema
importncia que as anlises de tecnologias em sade sejam revisadas e atualizadas.
2.2.7 Referncias
Devem ser referenciados todos os estudos, bases e fontes de dados utilizados,
pois abonam a integridade das informaes. As referncias empregadas na
elaborao do PTC so apresentadas com base nas instrues e regras da
ABNT ou outra normalizao especfica, a exemplo da Vancouver.
Recomenda-se, pois o uso de gerenciadores de referncias, alguns softwares
gratuitos esto disponveis na internet, como JabRef. Disponvel em: <http://
jabref.sourceforge.net/>.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
25
3 CONSIDERAES FINAIS
Aos leitores interessados nos Pareceres Tcnico-Cientficos, elaborados pelos
tcnicos do Ministrio da Sade e baseados nessas diretrizes, orienta-se
acessar o ambiente eletrnico da Rede Brasileira de Avaliao de Tecnologias
em Sade: <www.saude.gov.br/rebrats>.
Para opinar sobre este documento, encontra-se, no Anexo L, a ficha para
avaliao da clareza, conceitos e mtodos das Diretrizes Metodolgicas:
Elaborao de Pareceres Tcnico-Cientficos. Todos os usurios (gestores,
profissionais de sade, consultores e tcnicos do Ministrio da Sade, suas
agncias e demais nveis de administrao do SUS e da sade suplementar)
esto convidados a responder e remeter-nos sugestes e dvidas, pelo email:
ats.decit@saude.gov.br, visando reavaliao peridica do documento.
O Decit agradece a participao de todos que contriburam para a
atualizao das Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-
Cientficos e espera que estas diretrizes sejam teis na prtica profissional.
No futuro, pretende-se avaliar o impacto do uso desta metodologia pelos
usurios finais, gestores e profissionais de sade.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
27
4 ESTRUTURA GERAL DO PTC
Os quadros abaixo trazem a sntese do formato sugerido para a elaborao
e redao dos Pareceres Tcnico-Cientficos e seus resumos executivos:
Pareceres Tcnico-Cientficos
Capa (instituio, ttulo, local, ms e ano)
Folha de rosto (instituio, ttulo, local, ms e ano)
Contracapa (rgo financiador do PTC, autores e revisores com a formao
e instituio a que pertencem)
Potenciais conflitos de interesse (declarao de cada autor e revisor do
PTC)
Resumo executivo
Abstract (resumo em ingls)
Sumrio
Contexto
Pergunta
Introduo:
Aspectos epidemiolgicos, demogrficos e sociais
Descrio da tecnologia avaliada e das alternativas (caractersticas
tcnicas, indicaes, riscos, preos, dentre outros)
Bases de dados e estratgia de busca
Critrios de seleo e excluso de artigos
Avaliao da qualidade da evidncia
Resultados dos estudos selecionados (principais achados, tabela de
resultados dos estudos, vieses e limitaes):
Apresentao dos resultados dos estudos
Interpretao dos resultados
Recomendaes (implicaes para a prtica clnica, servios de sade
e pesquisa)
Reviso (data da atualizao e justificativa)
Referncias bibliogrficas
Anexos (contendo detalhes dos mtodos e resultados)
Ministrio da Sade
28
Resumo Executivo de Pareceres Tcnico-Cientficos
Intensidade das recomendaes:
Tecnologia:
Indicao:
Caracterizao da tecnologia:
Pergunta:
Busca e anlise de evidncias cientficas:
Resumo dos resultados dos estudos selecionados:
Recomendaes:
( ) Recomendao forte a favor da tecnologia
( ) Recomendao fraca a favor da tecnologia
( ) Recomendao fraca contra a tecnologia
( ) Recomendao forte contra a tecnologia
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
29
REFERNCIAS
ANVISA, 2010. Agncia Nacional de Vigilncia Sanitria. Disponvel em:
<http://www.anvisa.gov.br>, acessado em 13/09/2010.
BRASIL. Ministrio da Sade. Poltica Nacional de Cincia, Tecnologia e
Inovao em Sade: PNCTIS. Braslia: Ministrio da Sade, 2005a.
__________. Ministrio da Sade. Portaria n 2.510, de 19 de dezembro de 2005.
Institui a Comisso para Elaborao da Poltica de Gesto Tecnolgica no mbito
do Sistema nico de Sade CPGT. Braslia: Ministrio da Sade, 2005b.
__________. Ministrio da Sade. Secretaria-Executiva. Secretaria de
Cincia, Tecnologia e Insumos Estratgicos. Glossrio temtico: economia
da sade. Braslia: Ministrio da Sade, 2005c.
__________. Ministrio da Sade. Portaria n 3.323, de 27 de dezembro de 2006.
Institui a comisso para incorporao de tecnologias no mbito do Sistema nico
de Sade e da Sade Suplementar. Braslia: Ministrio da Sade, 2006.
__________. Ministrio da Sade. Portaria n 2.587, de 30 de outubro
de 2008. Dispe sobre a Comisso de Incorporao de Tecnologias
no Ministrio da Sade e vincula sua gesto Secretaria de Cincia,
Tecnologia e Insumos Estratgicos. Braslia: Ministrio da Sade, 2008.
__________. Ministrio da Sade. Portaria n 2.690, de 05 de novembro de
2009. Institui, no mbito do Sistema nico de Sade (SUS), a Poltica Nacional
de Gesto de Tecnologias em Sade. Braslia: Ministrio da Sade, 2009.
CALLEGARI-JACQUES, S. M. Bioestatstica: princpios e aplicaes. Porto
Alegre: Artmed, 2003.
CAMERON, A. et al. Rapid versus full systematic reviews: an inventory of
current methods and practice in health technology assessment. ASERNIP-S
Report n. 60. Adelaide, South Australia: ASERNIP-S, 2007.
CANADIAN COORDINATING OFFICE FOR HEALTH TECHNOLOGY
ASSESSMENT (CCOHTA). Guidelines for authors of CCOHTA health
technology assessment reports, 2003. Disponvel em: <www.cadth.ca>.
Acesso em: 08 maio 2006.
__________. Health technology assessment, 2006 Disponvel em: <www.
cadth.ca/index.php/em/hta>. Acesso em: 08 maio 2006.
CENTRE FOR REVIEWS AND DISSEMINATION. Undertaking systematic
reviews of research on effectiveness: CRDs guidance for those carrying out or
commission reviews. CRD Report n. 4, 2. ed., 2001. Disponvel em: <http://
www.york.ac.uk/inst/crd/crdpublications.htm>. Acesso em: 08 maio 2006.
Ministrio da Sade
30
COCHRANE COLLABORATION CENTER. The Cochrane reviewers
handbook glossary. Disponvel em: <www.virtual.epm.br/cursos/metanalise/
glossario.pdf>. Acesso em: 22 Nov. 2006.
DANISH CENTRE FOR EVALUATION AND HEALTH TECHNOLOGY
ASSESSMENT (DACEHTA). Introduction to mini-HTA: a management and
decision support tool for the hospital service. 2005. Disponvel em: <http://
www.sst.dk/publ/Publ2005/CEMTV/Mini_MTV/Introduction_mini_HTA.pdf>.
Acesso em: 24 maio 2006.
FLETCHER, R.; FLETCHER, S.; WAGNER, E. H. Clinical epidemiology.
Baltimore: Williams and Wilkins. 1982.
GANANN, R.; CILISKA, D.; THOMAS, H. Expediting systematic reviews:
methods and implications of rapid reviews. Implement Sci., [S.l.], v. 5, p.
56, 2010.
GARBER, A. M. Evidence-based coverage policy. Health Affairs, [S.l.], v. 20,
n. 5, p. 62-82, 2001.
GOODMAN, C. S. Introduction to health care technology assessment.
1998. Disponvel em: <http://www.nlm.nih.gov/nichsr/hta101/ ta101c1.
html>. Acesso em: 01 mar. 2003.
GUYATT, G.; RENNIE, D. Diretrizes para utilizao de literatura mdica:
fundamentos para a prtica clnica da medicina baseada em evidncias.
Porto Alegre: Artmed, 2006.
GUYATT, G. et al. Grade: um consenso sobre a quantificao da qualidade
das evidncias e da fora das recomendaes. BMJ, Porto Alegre, v. 1, n. 2,
p. 152-154, 2008a.
GUYATT, G. et al. Grade: o que qualidade das evidncias e por que isso
importante para os mdicos? BMJ, Porto Alegre, v. 1, n. 4, p. 217-220, 2008b.
GUYATT, G. et al. Grade: das evidncias s recomendaes. BMJ, Porto
Alegre, v. 1, n. 5, p. 280-282, 2008c.
HULLEY, B. S. et al. Delineando a pesquisa clnica: uma abordagem
epidemiolgica. 2. ed. Porto Alegre: Artmed, 2006.
HUNINK, M. G. M.; GLASZIOU, P. P. Decision making in health and
medicine: integrating evidence and values. Cambridge: Cambridge
University Press, 2001.
KHAN, K. S. et al. Systematic reviews to support evidence-based medicine.
2. ed. London: Royal Society of Medicine Press, 2005.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
31
MAUSKOPF, J. A. et al. Principles of good practice for budget impact
analysis: report of the ISPOR task force on good research practices-budget
impact analysis. Value Health, [S.l.], v. 10, n. 5, p. 336-347, 2007.
MERCOSUL. Subgrupo de Trabalho n 11. Resoluo 52/2008: guia para
elaborao de informes de avaliao de tecnologias em sade. 2008.
NATIONAL INSTITUTE FOR CLINICAL EXCELLENCE (NICE). Guide to the
technology appraisal process. 2004a. Disponvel em: <http://www.nice.org.
uk/page.aspx?o=201971>. Acesso em: 08 maio 2006.
__________. Guide to the methods of technology appraisal. 2004b.
Disponvel em: <http://www.nice.org.uk/page.aspx?o=201973>. Acesso
em: 08 maio 2006.
OFFICE OF TECHNOLOGY ASSESSMENT (OTA). Assessing the efficacy and
safety of medical technologies. Washington, DC: U.S. Government Printing
Office, 1978.
OFFICE OF TECHNOLOGY ASSESSMENT (OTA), U.S. Congress. Identifying
health technologies that work: searching for evidence. Washington DC.: US
Government Printing Office, 1994.
ORGANIZAO MUNDIAL DE SADE (OMS). Comisso de Determinantes
Sociais de Sade. Rumo a um modelo conceitual para anlise e ao sobre
os determinantes sociais de sade. Brasil, 2005.
OXMAN, A. D.; COOK, D. J.; GUYATT, G. H. Users guides to the medical
literature VI: HOW TO USE AN OVERVIEw. JAMA, [S.l.], v. 272, n. 17,
p.1367-1371, 1994.
PANERAI, R. B.; MOHR, J. P. Health technology assessment
methodologies for developing countries. Washington, D.C.: Pan
American Health Organization, 1989
SACKETT, D. L. et al. Medicina baseada em evidncias: prtica e ensino. 2.
ed. Porto Alegre: Artmed, 2003.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
33
6 GLOSSRIO
Avaliao de Tecnologias em Sade (ATS): processo abrangente por meio
do qual so avaliados os impactos clnicos, sociais e econmicos das
tecnologias em sade, levando-se em considerao aspectos como eficcia,
efetividade, segurana, custos, custo-efetividade, entre outros (GOODMAN,
1998, HUNINK e GLASZIOU, 2001). Seu objetivo principal auxiliar os
gestores em sade na tomada de decises coerentes e racionais quanto
incorporao de tecnologias em sade (PANERAI e MOHR, 1989).
Avaliao Econmica em sade: anlise comparativa de diferentes tecnologias
no mbito da sade, referentes aos seus custos e aos efeitos sobre o estado
de sade (BRASIL, 2005c).
Custo em sade: valor dos recursos empregados no uso de uma alternativa
teraputica, de um programa ou de um servio de sade, durante um perodo
de tempo (BRASIL, 2005c).
Custo-efetividade: tipo de avaliao econmica na qual as conseqncias
(resultados) das tecnologias em sade so medidas em unidades naturais em
sade, tais como anos de vida ganhos ou eventos clnicos evitados; este termo
tambm utilizado por vezes para referir-se a todos os tipos de avaliaes
econmicas (BRASIL, 2005c).
Custo unitrio: valor pago por unidade da tecnologia (BRASIL, 2005c).
Custo-utilidade: tipo de avaliao econmica na qual as conseqncias
(resultados) das tecnologias em sade so mensuradas como preferncias
relacionadas sade, freqentemente expressas como anos de vida ajustados
por qualidade (BRASIL, 2005c).
Efetividade: probabilidade de que indivduos de uma populao definida
obtenham um benefcio da aplicao de uma tecnologia em sade
direcionada a um determinado problema em condies reais de uso (OTA,
1978).
Eficcia: probabilidade de que indivduos de uma populao definida
obtenham um benefcio da aplicao de uma tecnologia em sade
direcionada a um determinado problema em condies controladas de uso
(OTA, 1978).
Ensaio clnico controlado randomizado: estudos clnicos com seleo
aleatria de pacientes (HULLEY et al., 2006).
Ensaio clnico controlado no randomizado: estudos clnicos sem seleo
aleatria de pacientes (HULLEY et al., 2006).
Ministrio da Sade
34
Equidade: ausncia de diferenas injustas, evitveis ou remediveis na
sade de populaes ou grupos definidos com critrios sociais, econmicos,
demogrficos ou geogrficos (OMS, 2005).
Estudo de coorte (estudo de seguimento, cohort study): estudo longitudinal
onde o pesquisador, aps distribuir os indivduos como expostos e no
expostos a um dado fator em estudo, segue-os durante um determinado
perodo de tempo para verificar a incidncia de uma doena ou situao
clnica entre os expostos e no expostos (HULLEY et al., 2006).
Impacto oramentrio: avaliao das conseqncias financeiras advindas
da adoo de uma nova tecnologia (interveno) em sade, dentro de um
determinado cenrio de sade com recursos finitos (MAUSKOPF et al., 2007).
Intervalo de confiana: margem de erro em torno de uma estatstica
(CALLEGARI-JACQUES, 2003).
Meta-anlise: tcnica que aplica protocolo e utiliza mtodos estatsticos para
revisar e interpretar criticamente os resultados combinados de relevantes
investigaes primrias que foram realizadas, a fim de obter snteses
quantitativas sobre os efeitos das tecnologias em sade que nortearo
decises (KHAN et al., 2005).
Morbidade: proporo de pacientes com uma doena particular durante um
dado ano por uma dada unidade da populao (FLETCHER et al., 1982).
Mortalidade: todas as mortes notificadas em uma populao (FLETCHER et
al., 1982).
Parecer Tcnico-Cientfico: uma ferramenta de suporte gesto e deciso,
baseada na mesma racionalidade que envolve uma ATS, embora com
execuo e contedo mais simplificado.
Qualidade de vida: combinao do bem-estar fsico, mental e social do
indivduo, e no somente a ausncia de doena.
Reviso Sistemtica: reviso de um tema a partir de uma pergunta claramente
formulada que usa mtodos sistemticos e explcitos para identificar,
selecionar e avaliar criticamente pesquisas relevantes, e coletar e analisar
dados dos estudos includos na reviso (COCHRANE, 2001).
Tecnologia em sade: medicamentos, equipamentos e procedimentos
tcnicos, sistemas organizacionais, informacionais, educacionais e de
suporte, programas e protocolos assistenciais por meio dos quais a ateno
e os cuidados com a sade so prestados populao (BRASIL, 2005a).
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
35
Vis: qualquer processo, em qualquer estgio da inferncia, que tende a
produzir resultados e concluses, que diferem sistematicamente da verdade.
Seu efeito o de distorcer a estimativa de uma varivel, por exemplo,
aumentando a mdia de uma varivel ou diminuindo a prevalncia de uma
caracterstica (FLETCHER et al., 1982).
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
37
ANEXO A
Formulrio de solicitao de estudo de ATS, fluxo de elaborao
de PTC e critrios de reviso adotados pelo Decit
Formulrio de Solicitao de Estudos de ATS
1
1
Adaptado do Formulrio de Solicitao de Avaliao de Tecnologias em Sade do Mercosul -
resoluo 012/2008 da Subcomisso de ATS Mercosul
1
ANEXO A
Formulrio de solicitao de estudo de ATS, fluxo de elaborao de PTC e
critrios de reviso adotados pelo Decit
Formulrio de Solicitao de Estudos de ATS
1
IDENTIFICAO DA PROPOSTA
Tecnologia a ser avaliada:
Indicao(es) proposta(s):
Instituio demandante:
Endereo:
Responsvel: E-mail: Telefone:
( )
Data da entrega: ____/____/____
I- Formulao da pergunta:
Populao:
Comparao (tecnologias alternativas relevantes):
Desfechos relevantes (efeitos a serem avaliados e eventos adversos):
II- Motivo da solicitao:
( ) Incorporao de uma tecnologia
( ) Incorporao de uma indicao
( ) Incorporao de um procedimento
( ) Retirada de uma tecnologia
( ) Retirada de uma indicao
( ) Retirada de um procedimento
( ) Alterao de uma indicao
III- Tipo de tecnologia:
( ) Medicamento
( ) Dispositivos Mdicos
( ) Procedimento
( ) Sistemas de informao
( ) Outros (especificar) _________________________________________
IV- Finalidade da tecnologia:
( ) Preveno
( ) Terapia
( ) Organizao
( ) Diagnstico
( ) Outros (especificar) _________________________________________
V- Existe registro?
( ) Sim / ( ) No
Em caso afirmativo, complete:
N do registro: Autoridade Sanitria: Validade:
Indicaes de uso autorizado:
1
Adaptado do Formulrio de Solicitao de Avaliao de Tecnologias em Sade do Mercosul -
resoluo 012/2008 da Subcomisso de ATS Mercosul
Ministrio da Sade
38
2
VI- Indicao(es) proposta nesta solicitao / posologia / doses habituais / durao do tratamento.
VII- Riscos / eventos adversos / interaes relevantes conhecidos
VIII- A tecnologia a ser avaliada:
( ) Substitui completamente as tecnologias utilizadas atualmente
( ) Substitui parcialmente as tecnologias utilizadas atualmente (algumas indicaes da(s)
tecnologia(s) em uso sero substitudas pela nova tecnologia)
( ) Adiciona ou complementa a utilizao da tecnologia atual, sem substituir as indicaes
IX- Fase do desenvolvimento da tecnologia:
( ) Pesquisa bsica ( ) Difuso ampla, porm controvertida
( ) Pesquisa clnica ( ) Prtica clnica aceita e generalizada
( ) Estgio inicial de difuso ( ) Obsolescncia
X- Outras tecnologias
a) Indique quais so as alternativas tecnologia solicitada que se encontram atualmente
includas no Sistema nico de Sade:
b) Indique quais so as alternativas da tecnologia solicitada que se encontram no mercado e que
no se encontram financiadas pelo Sistema nico de Sade:
XI- Interesses ou controvrsias dos atores relacionados com a tecnologia a ser avaliada. (Indicar
aspectos de contexto polticos, tcnicos, comerciais/de mercado, ticos, ambientais que
facilitem ou dificultem a incorporao/retirada da tecnologia)
Bases Obrigatrias
Endereo Acesso
Biblioteca Cochrane
ou
Cochrane Library
<http://cochrane.bvsalud.org/portal/php/index.ph
p?lang=pt>
<www.thecochranelibrary.com>
LIVRE
RESTRITO
PubMed <www.pubmed.gov> LIVRE
LILACS <www.bireme.br> LIVRE
CRD (Centre for Reviews
and Dissemination)
<www.york.ac.uk/inst/crd> LIVRE
Bases Opcionais
Embase <www.embase.com> RESTRITO
Web of Science <http://thomsonreuters.com/> RESTRITO*
Scopus <http://www.scopus.com/home.url> RESTRITO*
SCIRUS <http://www.scirus.com/> LIVRE
Bases Especializadas
CENETEC (Centro Nacional
de Excelencia Tecnolgica
en Salud) -
Para estudos de
equipamentos biomdicos
<http://www.cenetec.salud.gob.mx/interior/equipo
_medico.html>
LIVRE
CEP (Centre for Evidence-
based Purchasing) -
Para estudos de
equipamentos biomdicos
<http://www.cep.dh.gov.uk/CEPProducts/Default.
aspx >
LIVRE
AAMI (Association for the
Advancement of Medical
Instrumentation) -
Para estudos de
equipamentos biomdicos
<http://www.aami.org/> RESTRITO
ECRI (Para estudos de
equipamentos biomdicos) -
Para estudos de
equipamentos biomdicos
<http://www.ecri.org.br> RESTRITO
CINAHL
Cumulative Index to Nursing
and Allied Health Literature
<www.cinahl.com> RESTRITO*
PsycINFO
Behavioral & Social
Sciences: Psychology
<psycinfo.apa.org> RESTRITO*
Ministrio da Sade
48
*Bases com acesso via Portal CAPES (www.periodicos.capes.gov.br)
# Colocam-se os termos de busca e automaticamente ele procurar nas 45 agncias
(com sites disponveis) que fazem parte da INAHTA. Ao colocar os termos de pesquisa
com uma pergunta bem estruturada (doena, interveno, comparao, desfecho)
os resultados so bem satisfatrios. Apesar de existirem pginas em portugus e em
espanhol, os melhores resultados so recuperados quando a busca feita em ingls.
12
PEDro -
Physiotherapy Evidence
Database
<http://www.pedro.org.au/> LIVRE
BBO-
Bibliografia Brasileira de
Odontologia
<http://odontologia.bvs.br/> LIVRE
ADOLEC
Base de dados de
adolescentes e jovens
<http://www.adolec.br/> LIVRE
BDENF-
Base de dados de
enfermagem
<http://enfermagem.bvs.br> LIVRE
Bases Complementares
Bandolier <www.jr2.ox.ac.uk> LIVRE
REBRATS (Rede Brasileira
de Avaliao de Tecnologias
e Sade)
<www.saude.gov.br/rebrats> LIVRE
NHS Evidence <http://www.evidence.nhs.uk/default.aspx> LIVRE
INAHTA (International
Network of Agencies for
Health Technology
Assessment)
<www.inahta.org/> LIVRE
HTAi (Health Technology
Assessment International)
<www.htai.org/> LIVRE
Portal do Ministrio da
Sade
Revises Sistemticas promovidas pelo
Departamento de Cincia e Tecnologia
<portal.saude.gov.br/portal/saude/visualizar_text
o.cfm?idtxt=25514>
LIVRE
Busca otimizada nos sites
dos membros da INAHTA
#
Desenvolvida no laboratrio do Google:
<http://by.ly/ats ou http://ats.by.ly>
LIVRE
TripDatabase <http://www.tripdatabase.com/> LIVRE
*Bases com acesso via Portal CAPES (www.periodicos.capes.gov.br)
#
Colocam-se os termos de busca e automaticamente ele procurar nas 45 agncias (com sites
disponveis) que fazem parte da INAHTA. Ao colocar os termos de pesquisa com uma pergunta
bem estruturada (doena, interveno, comparao, desfecho) os resultados so bem satisfatrios.
Apesar de existirem pginas em portugus e em espanhol, os melhores resultados so
recuperados quando a busca feita em ingls.
2
Medline (via Pubmed). Disponvel em: < www.pubmed.gov >
3
Center for Reviews and Dissemination. Disponvel em < www.york.ac.uk/inst/crd>
4
The Cochrane Library (via Bireme). Disponvel em:
<http://cochrane.bvsalud.org/portal/php/index.php?lang=pt>
Base Termos
Medline (via Pubmed)
2
((everolimus or certican) and (heart or cardiac) and
(transplant or transplantation)) and systematic[sb]
((everolimus or certican) and (heart or cardiac) and
(transplant or transplantation)) AND (randomized
controlled trial[Publication Type] OR
(randomized[Title/Abstract] AND
controlled[Title/Abstract] AND trial[Title/Abstract]))
Centre for Reviews and
Dissemination (CRD)
3
(everolimus or certican) and (heart or cardiac) and
(transplant or transplantation)
The Cochrane Library (via
Bireme)
4
(everolimus or certican) and (heart or cardiac) and
(transplant or transplantation)
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
51
5
Adaptado de: PRISMA Transparent Reporting of Systematic Reviews and Meta-
analyses. Disponvel em: <http://www.prisma-statement.org/index.htm>
ANEXO F
Exemplo de fluxograma para demonstrar a seleo dos estudos
5
15
ANEXO F
5
Adaptado de: PRISMA Transparent Reporting of Systematic Reviews and Meta-analyses.
Disponvel em: <http://www.prisma-statement.org/index.htm>
Publicaesidentificadasatravs
dapesquisanasbasesdedados
(n=)
Publicaesadicionaisidentificadas
pormeiodeoutrasfontes
(n=)
Publicaesapsaremoodasduplicatas
(n=)
Publicaesselecionadas
(n=)
Publicaesexcludas,com
justificativas
(n=)
Artigoscomtextocompleto
paraavaliaraelegibilidade
(n=)
Artigoscomtextocompleto
excludos,comjustificativas
(n=)
Estudosincludos
(n=)
I
d
e
n
t
i
f
i
c
a
S
e
l
e
E
l
e
g
i
b
i
l
i
d
a
d
e
I
n
c
l
u
i
d
o
s
Ministrio da Sade
52
ANEXO G
Sugesto de Classificaes de Nvel de Evidncia Cientfica -
Oxford e GRADE
Classificao de Nvel de Evidncia Cientfica da Oxford Centre for Evidence
Based Medicine
6
6
<http://www.projetodiretrizes.org.br/projeto_diretrizes/texto_introdutorio.pdf>
16
ANEXO G
Fonte da evidncia
indireta
Questo de interesse Evidncia disponvel
Populao Antagonistas de endotelina (p.ex.
bosentana) so teis para crianas
com hipertenso arterial pulmonar?
Diversos estudos
randomizados avaliam
antagonistas de endotelina
versus placebo em adultos
com hipertenso arterial
pulmonar
Interveno Tenecteplase um tromboltico
administrvel em bolus, prtico para
uso pr-hospitalar. A tromblise pr-
hospitalar com tenecteplase reduz a
mortalidade em comparao
tromblise hospitalar em paciente
com infarto do miocrdio?
Os estudos randomizados que
comparam a tromblise pr-
hospitalar com tromblise
hospitalar no utilizaram a
tenecteplase
Comparador Inibidores da fosfodiesterase 5 (p.ex.
Sildenafil) apresentam eficcia
similar aos antagonistas de
endotelina (p.ex. bosentana) para
pacientes com hipertenso arterial
pulmonar?
Diversos estudos
randomizados comparam
inibidores da fosfodiesterase 5
com placebo, e antagonistas
de endotelina com placebo.
Apenas um estudo muito
pequeno e no informativo
compara diretamente
inibidores da fosfodiesterase 5
com antagonistas da
endotelina.
Desfecho Tratamento de infeces com
teicoplanina em comparao a
vancomicina reduz o risco de leso
renal aguda com necessidade de
dilise?
Reviso sistemtica de
estudos randomizados indica
reduo de34% (IC 95% 10%
a 52%) no risco de elevao
da creatinina ao se usar
teicoplanina ao invs de
vancomicina, porm nenhum
paciente nos estudos precisou
de dilise, impossibilitando
estimativa direta do efeito
sobre este desfecho.
Impreciso
Quando poucos eventos clnicos so observados os intervalos de
confiana so largos. Ou seja, h impreciso quanto ao verdadeiro efeito da
interveno, por isso, a qualidade da evidncia reduzida.
Em reviso sistemtica de estudos randomizados avaliando
antagonistas de endotelina para hipertenso pulmonar do grupo I (idioptica,
induzida por drogas, associada a doenas do tecido conectivo e cardiopatias
congenitas) verificou-se reduo do risco de bito de 51%. Entretanto, o
intervalo de 95% de confiana vai de uma reduo de risco relativo de 80% at
Impreciso
Quando poucos eventos clnicos so observados os intervalos de confiana
so largos. Ou seja, h impreciso quanto ao verdadeiro efeito da interveno,
por isso, a qualidade da evidncia reduzida.
Em reviso sistemtica de estudos randomizados avaliando antagonistas de
endotelina para hipertenso pulmonar do grupo I (idioptica, induzida por
drogas, associada a doenas do tecido conectivo e cardiopatias congenitas)
verificou-se reduo do risco de bito de 51%. Entretanto, o intervalo de 95%
de confiana vai de uma reduo de risco relativo de 80% at um aumento no
risco relativo de 20%. Ou seja, possvel que o verdadeiro efeito do tratamento
seja uma reduo extrema da mortalidade, mas tambm que aumente a
mortalidade dos pacientes.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
57
Alta probabilidade de vis de publicao
Vis de publicao ocorre quando investigadores deixam de publicar os
resultados de estudos negativos, ou seja, estudos em que os efeitos no so
estatisticamente significativos ou quando os resultados para alguns desfechos
so omitidos, tipicamente desfechos para os quais os resultados no so
estatisticamente significativos ou os que sugerem malefcio da interveno.
A disponibilidade exclusivamente de estudos pequenos indcio de maior risco
de vis de publicao. Outro sinal quando estudos de maior porte mostram
pouco ou nenhum efeito, enquanto os estudos pequenos mostram benefcios
acentuados. As revises sistemticas podem minimizar este problema: 1)
realizando buscas mais completas e exaustivas, em diversas bases de dados,
contatando autores dos artigos originais, pesquisando bases que listam
trabalhos no publicados (como a Cochrane Central Register of Controlled
Trials), registros de ensaios clnicos, etc.; e 2) avaliando o risco de vis de
publicao por meio de ferramentas como o grfico de funil (funnel plot).
Fatores que elevam a qualidade da evidncia
Em geral, estudos observacionais produzem evidncia de baixa qualidade.
Por isso, inicialmente, atribu-se baixa qualidade a evidncia proveniente de
estudos observacionais. Entretanto, algumas circunstncias podem elevar a
qualidade da evidncia para moderada ou at alta. Os fatores que podem
elevar a qualidade da evidncia so:
Grande magnitude do efeito
As potenciais variveis de confuso levam a subestimao do efeito
Gradiente dose resposta
Grande magnitude do efeito
Quando estudos observacionais apresentam risco pequeno de vis, devido a
timo delineamento e conduo, e a magnitude do efeito muito grande,
aumenta a confiana de que de fato h uma relao causal. Ainda que a
ameaa de variveis de confuso sempre exista para qualquer estudo
observacional, quando a magnitude da estimativa de efeito muito grande
fica mais difcil atribuir aos potenciais confundidores todo o efeito observado.
Sugere-se considerar elevar a evidncia em um nvel quando o risco relativo
for >2 ou <0,5, o risco de vis por problemas metodolgicos for baixo e
for implausvel atribuir todo o efeito a confundidores. Sugere-se considerar
elevao da evidncia em dois nveis (ou seja, de baixa para alta qualidade)
quando o risco relativo for >5 ou <0,2, com baixo de risco de vis e for
implausvel que o efeito tenha sido observado por conta de confundidores.
Ministrio da Sade
58
As potenciais variveis de confuso levam a subestimao do efeito
H situaes em que as variveis de confuso e outros vieses operam no
sentido de reduzir a estimativa de efeito. Por exemplo, um estudo observacional
demonstrou que o tabagismo aumenta a incidncia de periodontite. Uma falha
do estudo foi que tabagistas prvios foram considerados no grupo controle,
dos no tabagistas. O que essa falha produziu? Caso o grupo de no-
tabagistas no inclusse ex-tabagistas o gradiente de risco entre no-tabagistas
e tabagistas atuais provavelmente seria ainda maior do que o observado. Em
casos assim, pode-se considerar elevao da qualidade da evidncia.
Gradiente dose-resposta
A presena de gradiente dose-resposta aumenta nossa confiana nas estimativas
de estudos observacionais. Por exemplo, exposies a nveis crescentes de
tabagismo esto associadas a riscos crescentes de doenas cardiovasculares.
Fora da recomendao
Uma das virtudes do GRADE a simplicidade e clareza no modo de apresentar
a recomendao. H quatro possibilidades:
Recomendao forte a favor de uma ao
Recomendao fraca a favor de uma ao
Recomendao fraca contra uma ao
Recomendao forte contra uma ao
Recomendao contra ou a favor depende do balano de benefcios versus
malefcios/inconvenientes. Recomendao forte ou fraca depende do grau de
confiana de que os efeitos benficos superam os malficos, ou vice-versa.
Fatores que influenciam a fora das recomendaes
Os fatores que influenciam a fora da recomendao so:
Qualidade da evidncia
Balano entre benefcios e malefcios/inconvenientes
o Importncia relativa dos desfechos (benefcios, malefcios
e incovenientes)
o Risco basal dos desfechos
o Magnitude do risco relativo
o Custos
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
59
Como apresentar as evidncias e recomendaes utilizando o sistema GRADE?
Uma forma completa, clara e ao mesmo tempo sinttica de apresentar as
evidncias e recomendaes por meio do perfil de evidncia GRADE como
exemplificado na tabela 3. Este tipo de apresentao pode ser elaborado
com um editor de texto usual. No entanto, o programa GRADE Profiler
(GRADE Working Group 2004-2007) foi elaborado justamente para auxiliar e
padronizar a elaborao dos perfis GRADE. O download gratuito e pode
ser feito a partir de: http://ims.cochrane.org/revman/gradepro .
Onde posso encontrar informaes adicionais para avaliar a qualidade de
evidncias e desenvolver recomendaes usando o sistema GRADE?
Informaes adicionais podem ser encontradas nas seguintes fontes:
Captulo sobre o GRADE do livro Diretrizes para utilizao da literatura
mdica. Guyatt G, Rennie D, Meade MO, Cook DJ. Artmed; 2aedio,
2010: Bastante completo e didtico.
Programa GRADE Profiler: as instrues (help) so muito teis, com vrios
exemplos que facilitam a avaliao da qualidade das evidncias.
Srie de artigos sobre o GRADE, publicada no British Medical Journal,
destacando-se:
o Guyatt GH, Oxman AD, Vist G, Kunz R, Falck-Ytter Y, Alonso-Coello
P, Schnemann HJ, for the GRADE Working Group. Rating quality
of evidence and strength of recommendations GRADE: an emerging
consensus on rating quality of evidence and strength of recommendations.
BMJ 2008;336:924-926
o Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schnemann
HJ; GRADE Working Group. Rating quality of evidence and strength of
recommendations: What is quality of evidence and why is it important
to clinicians? BMJ. 2008 May 3;336(7651):995-8
o Guyatt GH, Oxman AD, Kunz R, Jaeschke R, Helfand M, Liberati A, Vist
GE, Schnemann HJ; GRADE working group. Rating quality of evidence
and strength of recommendations: Incorporating considerations
of resources use into grading recommendations. BMJ. 2008 May
24;336(7654):1170-3
o Guyatt GH, Oxman AD, Kunz R, Falck-Ytter Y, Vist GE, Liberati A,
Schnemann HJ; GRADE Working Group. Rating quality of
evidence and strength of recommendations: Going from evidence to
recommendations. BMJ. 2008 May 10;336(7652):1049-51
Ministrio da Sade
60
Tabela 3 - Exemplo de Perfil GRADE Antagonistas da endotelina para
hipertenso arterial pulmonar grupo I
2
7
T
a
b
e
l
a
3
.
E
x
e
m
p
l
o
d
e
P
e
r
f
i
l
G
R
A
D
E
A
n
t
a
g
o
n
i
s
t
a
s
d
a
e
n
d
o
t
e
l
i
n
a
p
a
r
a
h
i
p
e
r
t
e
n
s
a
r
t
e
r
i
a
l
p
u
l
m
o
n
a
r
g
r
u
p
o
A
v
a
l
i
a
d
e
q
u
a
l
i
d
a
d
e
R
e
s
u
m
o
s
d
o
s
r
e
s
u
l
t
a
d
o
s
I
m
p
o
r
t
n
c
i
a
d
e
p
a
c
i
e
n
t
e
s
E
f
e
i
t
o
Q
u
a
l
i
d
a
d
e
E
s
t
u
d
o
s
D
e
s
e
n
h
o
L
i
m
i
t
a
e
s
r
i
a
s
?
I
n
c
o
n
s
i
s
t
n
c
i
a
?
E
v
i
d
n
c
i
a
I
n
d
i
r
e
t
a
?
I
m
p
r
e
c
i
s
O
u
t
r
a
s
c
o
n
s
i
d
e
r
a
e
s
A
n
t
a
g
o
n
i
s
t
a
d
a
e
n
d
o
t
e
l
i
n
a
C
o
n
t
r
o
l
e
R
e
l
a
t
i
v
o
(
I
C
9
5
%
)
A
b
s
o
l
u
t
o
b
i
t
o
E
C
R
s
M
u
i
t
o
i
m
p
o
r
t
a
n
t
e
1
0
/
8
2
3
(
1
.
2
%
)
1
0
/
4
2
6
(
2
.
3
%
)
R
R
0
.
4
9
(
0
.
2
1
.
2
)
1
2
m
e
n
o
s
p
o
r
1
0
0
0
(
d
e
1
9
m
e
n
o
s
m
a
i
s
)
B
A
I
X
A
C
R
T
I
C
A
H
o
s
p
i
t
a
l
i
z
a
p
o
r
H
A
P
E
C
R
s
2
1
/
6
8
1
(
3
.
1
%
)
2
7
/
3
5
5
(
7
.
6
%
)
R
R
0
.
3
7
(
0
.
2
1
0
.
6
6
)
4
8
m
e
n
o
s
p
o
r
1
0
0
0
(
d
e
2
6
m
e
n
o
s
6
0
m
e
n
o
s
)
A
L
T
A
C
R
T
I
C
A
M
e
l
h
o
r
a
n
a
c
l
a
s
s
e
f
u
n
c
i
o
n
a
l
E
C
R
s
I
m
p
o
r
t
a
n
t
e
1
6
8
/
4
3
5
(
3
8
.
6
%
)
6
7
/
2
6
0
(
2
5
.
8
%
)
R
R
1
.
4
9
(
1
.
1
8
1
.
8
9
)
1
2
6
m
a
i
s
p
o
r
1
0
0
0
(
d
e
4
6
m
a
i
s
2
2
9
m
a
i
s
)
M
O
D
E
R
A
D
A
C
R
T
I
C
A
Parmetros Referncia do
estudo 1
(nome do
autor e data)
Referncia do
estudo 2
(nome do autor
e data)
Referncia do
estudo 3
(nome do autor
e data)
O teste diagnstico foi avaliado em um
espectro apropriado de pacientes tais
como aqueles para os quais se destinaria
na prtica diria?
Foi realizada comparao cega com o
padro-ouro de diagnstico (melhor teste
disponvel para a confirmao do
diagnstico)?
Os resultados do teste em avaliao
influenciaram o desempenho do padro-
ouro? O padro ouro foi aplicado
independente do resultado do teste
diagnstico?
O exame foi validado em um segundo
grupo independente de pacientes?
Foram apresentadas razes de
probabilidade para os resultados de
testes disponveis?
O teste distingue de maneira precisa os
que tm ou no determinada doena?
A reprodutibilidade e a interpretao dos
resultados do teste sero satisfatrias
para o servio de sade?
Os resultados so aplicveis aos
pacientes de interesse?
Os resultados podem mudar a conduta?
Os pacientes podero melhorar com o
resultado do teste?
Os potenciais conflitos de interesse foram
declarados?
Ministrio da Sade
62
29
Os pacientes do estudo so
semelhantes aos de interesse?
Os desfechos apresentados pelo estudo
so relevantes clinicamente?
Os potenciais conflitos de interesse
foram declarados?
Parmetros Referncia do
estudo 1
(nome do
autor e data)
Referncia do
estudo 2
(nome do autor
e data)
Referncia do
estudo 3
(nome do autor
e data)
O teste diagnstico foi avaliado em um
espectro apropriado de pacientes tais
como aqueles para os quais se destinaria
na prtica diria?
Foi realizada comparao cega com o
padro-ouro de diagnstico (melhor teste
disponvel para a confirmao do
diagnstico)?
Os resultados do teste em avaliao
influenciaram o desempenho do padro-
ouro? O padro ouro foi aplicado
independente do resultado do teste
diagnstico?
O exame foi validado em um segundo
grupo independente de pacientes?
Foram apresentadas razes de
probabilidade para os resultados de
testes disponveis?
O teste distingue de maneira precisa os
que tm ou no determinada doena?
A reprodutibilidade e a interpretao dos
resultados do teste sero satisfatrias
para o servio de sade?
Os resultados so aplicveis aos
pacientes de interesse?
Os resultados podem mudar a conduta?
Os pacientes podero melhorar com o
resultado do teste?
Os potenciais conflitos de interesse foram
declarados?
Tabela contendo parmetros sobre como avaliar a qualidade da evidncia de
ensaios clnicos controlados para diagnstico
8
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
63
Tabela contendo parmetros sobre como avaliar a qualidade da evidncia de
revises sistemticas
8
30
Parmetros Referncia do
estudo 1
(nome do autor
e data)
Referncia
do estudo 2
(nome do
autor e data)
Referncia do
estudo 3
(nome do autor
e data)
A reviso se baseou numa pergunta
estruturada, explcita e sensvel?
A busca por estudos relevantes foi
detalhada e completa*?
Os estudos primrios apresentavam
qualidade metodolgica adequada para a
pergunta?
A avaliao dos estudos includos pode
ser reproduzida?
Os resultados foram semelhantes de
estudo para estudo?
O estudo apresentou estimativa de
preciso para os efeitos do tratamento /
exposio?
O desfecho apresentado pelo estudo
relevante clinicamente?
Os potenciais conflitos de interesse foram
declarados?
* Para uma reviso sistemtica entende-se por busca completa a busca sensibilizada, ou seja,
que tenha utilizado o vocabulrio Oficial (termos Mesh, para o PubMed/Medline; Emtree, para o
Embase e Decs para o Lilacs) somados ao vocabulrio No Oficial (sinnimos); e que tenha
mapeado no mnimo as seguintes bases: Pubmed, Lilacs, Embase e Central da Cochrane - sendo
que deve-se observar ainda se os autores fizeram a busca nas bases especficas da rea, como
por exemplo: psicologia ou Psiquiatria PsyCinfo, enfermagem CINHAL.
Parmetros
Referncia do
estudo 1
(nome do autor
e data)
Referncia
do estudo 2
(nome do
autor e data)
Referncia do
estudo 3
(nome do
autor e data)
Os pacientes de ambos os grupos eram
similares com relao aos fatores
prognsticos que poderiam estar
associados com o desfecho (ou houve
ajuste estatstico para diferenas na
anlise)?
As circunstncias e os mtodos para
medir o desfecho foram similares em
ambos os grupos?
As perdas foram significativas?
A durao do seguimento foi adequada?
Os pacientes do estudo so semelhantes
aos de interesse?
O estudo apresentou estimativa de
preciso para a associao entre a
exposio e o desfecho?
Os potenciais conflitos de interesse foram
declarados?
Referncia
Autor,
data,
(Pas)
Agncia Foco, metodologia bsica, principais achados e concluses, e recomendaes
Rebollo
Aguirre,
2009
(Espanha)
Agncia de
Evaluacin
de
Tecnologas
Sanitarias
de
Andalcia
(AETSA)
Objetivo:
Avaliar o rendimento da PET ou PET-TC com fluordesoxiglucose (F 18), como prova diagnstica
na avaliao da resposta do tratamento de pacientes com vrios tipos de neoplasias, incluindo o
cncer de pulmo de no pequenas clulas (CPNPC), em termos de validade diagnstica e
utilidade clnica.
Metodologia:
Reviso sistemtica+metanlise. Bases: MEDLINE; EMBASE e CancerGov. Perodo: entre 1999
e agosto de 2006. Busca de revises sistemticas nas bases de dados da COLABORAO
COCHRANE (DARE, NHSEED, HTA Database), NCI, CSIC, IME. Reviso manual a partir das
listas de referncias obtidas na busca a partir dos ttulos e do contedo dos resumos, para
avaliar se ajustavam aos critrios de incluso. Avaliao da qualidade metodolgica: QUADAS,
adaptado para o castelhano.
Resultados:
9 artigos (n=22-128, com idade mdia entre 60-69 anos e relao homem/mulher de 2,2),
totalizando 399 pacientes, maioria no estdio IIIA. Tipos histolgicos: adenocarcinomas (53,7%)
e carcinomas epidermides (46,3%).
Estratgias teraputicas: QT+RT - 67,8% dos pacientes; apenas QT- 32,2%, com esquemas
diferentes, a maioria utilizando derivados da cisplatina. Em todos os estudos, foi realizado PET
pr-tratamento e ao final da terapia; em 8 foi realizado PET ao final do tratamento e em um
estudo Durant o tratamento, aps o 1 e 3 ciclos de QT. Intervalo de tempo entre final do
tratamento e PET= 2-4semanas. Intervalo de tempo entre PET e cirurgia=1-8semanas.
PET 7 estudos, PET-TC 2 estudos. Grande variedade nos critrios de anlises e
interpretao dos estudos com FDG-PET: todos tiveram analise visual e em 7 tambm semi-
quantitativa (SUV)
Todos estudos prospectivos, 3 estudos (33,3%) com recrutamento consecutivo.
Acurcia Diagnstica:
Avaliao da resposta do tumor primrio ao tratamento neoadjuvante
Sens sumria= 90,7% (IC 95% 81,7- 6,2); Esp=65,5% (IC 95% 45,7- 82,1).
Avaliao da resposta das metstases ganglionares ao tratamento neoadjuvante
Sens sumria= 63,8 (IC 95% 53,3-73,5%); Esp=85,3% (IC 95% 80,4-89,4).
Concluses:
Os resultados mostraram que a FDG-PET podia ser uma ferramenta til na avaliao da
resposta ao tratamento neoadjuvante nos CPNPC
Recomendou-se a realizao de mais estudos prospectivos, com maior nmero de pacientes
e com critrios consensuados de realizao dos estudos, assim como a avaliao dos mesmos a
fim de assegurar que sejam comparveis.
MSAC,
2000
(Austrlia)
Medicare
Services
Advisory
Committee
(MSAC)
Objetivo: avaliar o valor da PET para algumas indicaes, incluindo o estadiamento pr
operatrio do cncer pulmonar de no pequenas clulas (CPNPC).
Metodologia:
Reviso sistemtica. Base: MEDLINE. Perodo: 1966 at Janeiro de 2000. Idioma: ingls.
Critrios de incluso e qualidade bem descritos. Tambm foram revisados documentos
pertinentes da Colaborao Cochrane, INAHTA, DARE, York HTA Database, bases de dados
em avaliao econmica e ATS, e NHS Economic Evaluation Database.
Resultados:
Foram encontradas 3 revises sistemticas e 63 estudos primrios, dos quais 17 foram includos
na reviso da MSAC.
Estadiamento ganglionar:
PET Sens=67-99% e Esp=86-100%; TC Sens=20-75% e Esp= 56-94%.
Deteco de metstases distncia:
PET Sens=90-100% e Esp= 80-98%; Cintilografia ssea Sens=90% e Esp=61%.
Concluses:
A PET apresentou maior acurcia que os mtodos de imagem convencionais na deteco
pr-cirrgica de metstases mediastinais e distncia em pacientes com CPNPC.
A PET fornecia informaes prognsticas teis para o CPNPC recentemente diagnosticado.
Recomendaes:
Diferenciao de leso maligna de benigna em ndulos pulmonares solitrios.
Para esta indicao, a MSAC recomendava financiamento pelo sistema publico australiano
somente quando estes ndulos no eram acessveis por bipsia transtorcica com aspirao por
agulha fina ou quando havia falha na caracterizao histopatolgica.
Estadiamento de pacientes com cncer pulmonar de clulas no pequenas antes da
cirurgia ou da radioterapia com inteno curativa.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
67
*Adaptado do Checklist da INAHTA
ANEXO J
Formulrio para Avaliao da Qualidade de Pareceres
Tcnico-Cientficos*
Este formulrio visa avaliar se o PTC atendeu a critrios de qualidade em sua
elaborao. O objetivo no atribuir pontuao aos PTCs, pois podem ser
teis mesmo sem completarem todos os critrios abordados. Ao preencher este
formulrio, por favor, registre seus comentrios nos itens em que so solicitados.
34
ANEXO J
Ttulo do PTC
Instituio que o elaborou
Nome do revisor que
completar o questionrio
Email
15
Os resultados e recomendaes so aplicveis a que contextos?
Adaptado do checklist da INAHTA
MarqueumX
Critrios a serem avaliados Inadequado*
Parcialmente
adequado*
Adequado
Consegue orientar bem o leitor a
elaborar um PTC?
Apresenta os conceitos de maneira fcil
e adequada?
Os Mtodos descritos e propostos para a
elaborao de um PTC so adequados?
O documento foi escrito com clareza?
* Se inadequado ou parcialmente
adequado, por favor, justifique, indicando
os pontos que necessitam de mudanas.
Questes abertas
Comentrios gerais:
Pontos positivos:
Pontos negativos:
Qual o n de exemplares que a instituio precisa (tiragem)?
9
Enviar para: Esplanada dos Ministrios, Ministrio da Sade, 8 andar, sala 852, Braslia-DF,
CEP: 70.058-900 - email: ats.decit@saude.gov.br.
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
75
EQUIPE TCNICA
Elaborao:
Fernanda de Oliveira Laranjeira (DECIT/SCTIE/MS)
Rosngela Caetano (IMS/UERJ)
Reviso Tcnica:
Flvia Tavares Silva Elias (DECIT/SCTIE/MS)
Rosimary Terezinha de Almeida (GEATS/ANS)
Organizao:
Flvia Tavares Silva Elias (DECIT/SCTIE/MS)
Priscila Gebrim Louly (DECIT/SCTIE/MS)
Vania Cristina Canuto Santos (DECIT/SCTIE/MS)
Design Grfico:
Gustavo Lins (DECIT/SCTIE/MS)
Reviso de Texto:
Cristiane Frana (DECIT/SCTIE/MS)
Membros do Grupo de Trabalho para Elaborao de Diretrizes Metodolgicas
para Pareceres Tcnico-Cientficos e Revises Sistemticas para o Ministrio da
Sade (27/04/2006):
Alexandre Lemgruber (GERAE/NUREM/ANVISA)
Fernanda de Oliveira Laranjeira (DECIT/SCTIE/MS)
Flvia Tavares Silva Elias (DECIT/SCTIE/MS)
Hellen Miyamoto (DAF/SCTIE/MS)
Humberto Saconato (Centro Cochrane do Brasil/UNIFESP)
Marcus Tolentino Silva (DECIT/SCTIE/MS)
Rosngela Caetano (IMS/UERJ)
Rosimary Terezinha de Almeida (GEATS/ANS)
Participantes da Oficina de Consenso (25/07/2006):
Alexandre Lemgruber (GERAE/NUREM/ANVISA)
Aline Mizusaki Imoto (Centro Cochrane do Brasil/UNIFESP)
lvaro Atallah (Centro Cochrane do Brasil/UNIFESP)
Fernanda de Oliveira Laranjeira (DECIT/SCTIE/MS)
Flvia Tavares Silva Elias (DECIT/SCTIE/MS)
Gerusa Figueiredo (PNHV/DEVEP/SVS/MS)
Hellen Miyamoto (DAF/SCTIE/MS)
Marcos Vincius Lucatelli (SE/MS)
Marcus Tolentino Silva (DECIT/SCTIE/MS)
Ministrio da Sade
76
Moacyr Roberto Cuce Nobre (AMB)
Newton Guilherme Wiederhecker (ANVISA)
Rosngela Caetano (IMS/UERJ)
Rosimary Terezinha de Almeida (GEATS/ANS)
Vincius Pawlowski Queiroz (DAE/SAS/MS)
Participantes da Oficina para Apreciao das Diretrizes Metodolgicas para
Pareceres Tcnico-Cientficos (22 a 24/11/2007):
Everton Nunes da Silva (DECIT/SCTIE/MS)
Flvia Maria Ribeiro Vital (Centro Cochrane do Brasil/UNIFESP)
Gabriela Bittencourt Gonzalez Mosegui (UERJ)
Luiz Henrique Picolo Furlan (DECIT/SCTIE/MS)
Marcela de Andrade Conti (DECIT/SCTIE/MS)
Mrcia Regina Godoy (DECIT/SCTIE/MS)
Mrio Henrique Osanai (CREMERS) (DECIT/SCTIE/MS)
Priscila Gebrim Louly (DECIT/SCTIE/MS)
Participantes da Oficina para Atualizao das Diretrizes Metodolgicas para
Pareceres Tcnico-Cientficos 2 edio (30/09 e 1/10/2008):
Cid Manso de Melo Vianna (IMS/UERJ)
Cludia Regina de Oliveira Cantanheda (UNIMED/RJ)
Diogo Penha Soares (ANVISA)
Eduardo Vieira Neto (ANS)
Fernanda de Oliveira Laranjeira (DECIT/SCTIE/MS)
Flvia Cristina Ribeiro Salomon (DECIT/SCTIE/MS)
Flvia Tavares Silva Elias (DECIT/SCTIE/MS)
Francisco de Assis Acrcio (UFMG)
Luiz Henrique Picolo Furlan (UNIMED/PR)
Marcela de Andrade Conti (DECIT/SCTIE/MS)
Marcus Aurlio M. de Arajo (ANVISA)
Marcus Tolentino Silva (DECIT/SCTIE/MS)
Maria Eduarda Santos Puga (Centro Cochrane do Brasil/UNIFESP)
Priscila Gebrim Louly (DECIT/SCTIE/MS)
Silvana Mrcia Bruschi Kelles (UNIMED/MG)
Suzana Alves da Silva (FIOCRUZ)
Colaboradores na atualizao das Diretrizes Metodolgicas para Pareceres
Tcnico-Cientficos 3 edio (Oficinas 19 a 23/07/2010 e 07/10/2010):
Airton Telelbom Stein (HNSC-RS)
Alexandre Biasi Cavalcanti (Hcor)
Aline Silveira Silva (DECIT/SCTIE/MS)
Andr Luis Ferreira da Silva (UFRGS/IATS)
vila Teixeira Vidal (DECIT/SCTIE/MS)
Diretrizes Metodolgicas: Elaborao de Pareceres Tcnico-Cientficos
77
Carisi A. Polanczyk (UFRGS/IATS)
Cid Manso de Melo Vianna (IMS/UERJ)
Clementina Corah Lucas Prado (DESS/SE/MS)
Diogo Penha Soares (ANVISA)
Eduardo Coura Assis (DECIT/SCTIE/MS)
Eli Ila Gurgel Andrade (UFMG)
Evelinda Trindade (HC-USP)
Fernando Luiz Benevides da Rocha Gutierrez (INTO-RJ)
Flvia Cristina Ribeiro Salomon (DECIT/SCTIE/MS)
Flvia Tavares Silva Elias (DECIT/SCTIE/MS)
Francisco de Assis Acrcio (UFMG)
Gabriela Vilela de Brito (DECIT/SCTIE/MS)
Gilberto Bandeira Lang (HNSC-RS)
Joice Zuckermann (HC-UFRGS)
Luciane N. Cruz (UFRGS/IATS)
Luiz Henrique Picolo Furlan (DECIT/SCTIE/MS)
Luzimar Rosngela Mazeto Freitas Borges (HCRP-USP)
Mabel F. Figueir (Hcor)
Mrcia Pinto (IFF-RJ)
Marcus Tolentino Silva (DECIT/SCTIE/MS)
Maria Anglica Pires Ferreira (HC-UFRGS)
Maria Auxiliadora de Souza Mendes Gomes (IFF-RJ)
Maria Eduarda Santos Puga (Centro Cochrane do Brasil/UNIFESP)
Mariama Gaspar Falco (DECIT/SCTIE/MS)
Mrio Henrique Osanai (CREMERS) (DECIT/SCTIE/MS)
Mrio Roberto Garcia Tavares (HNSC-RS)
Marisa da Silva Santos (INC-RJ)
Mirian Carvalho de Souza (INCA-RJ)
Myrian Machado Fernandes (INCA-RJ)
Nashira Campos Vieira (DECIT/SCTIE/MS)
Natlia Franco Veloso (DECIT/SCTIE/MS)
Otvio Berwanger (Hcor)
Paulo Henrique Godoy (HCFF-RJ)
Priscila Gebrim Louly (DECIT/SCTIE/MS)
Rimena Glucia Dias de Arajo (DECIT/SCTIE/MS)
Rondineli Mendes da Silva (SMS/RJ)
Silvana Andrea Molina Lima (HC-UNESP)
Silvana M. Bruschi Kelles (UFMG)
Vania Cristina Canuto Santos (DECIT/SCTIE/MS)
Veriano Alexandre Jnior (HCRP-USP)
Wilson Braz Corra Filho (HCFF-RJ)
Esta obra foi impressa em papel couch fosco 240 g/m (capa) e papel off set
90 g/m (miolo) pela NOME DA GRFICA, em outubro de 2011. A Editora
do Ministrio da Sade foi responsvel pela normalizao (OS 2011/0320).
Disque Sade
0800-000000
www.saude.gov.br
ELABORAO DE PARECERES
TCNICO-CIENTFICOS
MINISTRIO DA SADE
BRASLIA - DF
2011
3 edio revisada e atualizada
DIRETRIZES METODOLGICAS:
Ouvidoria do SUS
136
Biblioteca Virtual do Ministrio da Sade
www.saude.gov.br/bvs
|\HN 7A-A;--|A7-