Dra.

Victoria Wurcel

Lic. Giselle Balaciano

Calidad de una GPC

 Confianza en que los sesgos potenciales del desarrollo de

la guía han sido señalados de forma adecuada.

 Las recomendaciones son válidas tanto interna como

externamente, y se pueden llevar a la práctica3.

 Valorar beneficios, daños, costos y aplicabilidad de las

recomendaciones3.

 Utilizar una sistemática específica validada en la

generación de una GPC nueva.

 Evaluar una GPC ya existente mediante la misma

sistemática para decidir adaptarla al contexto local.

3 Colaboración AGREE. OSTEBA.Evaluación de GPC.Instrumento AGREE.2001 .

Instrumento AGREE
 Instrumento para la evaluación e
investigación de la calidad de las GPC
(Appraisal of Guidelines Research and
Evaluation)
 Valora de forma objetiva la calidad de la
evidencia sobre la cual se basa la GPC.
 Valora el proceso de armado de la GPC
y las recomendaciones.
 Elaborado por investigadores de varios
países que tienen amplia experiencia y
conocimiento sobre guías de práctica
clínica.
Concepto base
 Debe estar explícito el nexo entre
cada recomendación y la evidencia
científica que la sostiene.
 La evidencia científica y el juicio
clínico deben anteponerse a las
opiniones de expertos4.

4 Scottish Intercollegiate Guideline Network. SIGN 50.A guideline developers handbook.Jan. 2008.
 ¿Por qué evaluar guías?

Una guía es una forma de intervención sanitaria

Puede afectar a una gran cantidad de pacientes.

Los usuarios de las guías necesitan tener confianza en

sus recomendaciones

Los grupos profesionales y organismos oficiales deben

asegurar que las guías son confiables antes de
recomendarlas.
 ¿Por qué la colaboración
internacional?

Las GPC’s juegan un papel cada vez más importante en

la práctica clínica de la mayoría de los países.

Asegurar su calidad es una preocupación compartida.

Es necesaria un acuerdo internacional para la

elaboración de GPC’s.

‘El conjunto es superior a la suma de sus partes’.

 Antecedentes

Desarrollo en R.U.

Instrumento de evaluación desarrollado y validado en

R.U. (financiado por el programa nacional de I+D)

Usado en R.U., Europa y Canadá.

Financiación de la U.E.

Financiación obtenida del 4º Programa Marco de la U.E.

para tres años (1998-2001)
LA COLABORACIÓN AGREE

FINLANDIA

ESCOCIA
DINAMARCA
INGLATERRA &
GALES
HOLANDA

ALEMANIA

FRANCIA SUIZA  EEUU

ITALIA  Canada
ESPAÑA  Nueva Zelanda
 Objetivos

Desarrollar aproximaciones compatibles para la

elaboración de GPC’s.

Establecer un modelo para la evaluación y monitorización

de las GPC’s.

Definir criterios de calidad relevantes para las guías.

Promover y estimular la difusión de esos criterios

mediante intercambios y relaciones de colaboración.
Propósito del Instrumento AGREE

Aportar un marco sistemático para la evaluación de la

calidad de las GPC’s.
Ayudar a quienes elaboran guías a seguir una
metodología estructurada y sistemática.
Ayudar a los proveedores de cuidados de salud a evaluar
guías antes de adoptar sus recomendaciones en la práctica
clínica.
Ayudar a los decisores de diferentes niveles y organismos
a recomendar guías para su uso en la práctica.
 Definición de Calidad

Se entiende por calidad de una GPC, cuando:

hay confianza en que se han evitado los sesgos

potenciales producidos en su desarrollo

y las recomendaciones son válidas interna y

externamente y son útiles para la práctica clínica.
Proceso de desarrollo

Subgrupo de revisión de literatura

Circulación del primer borrador para comentarios

Primera reunión de trabajo: modificación del instrumento

Primer estudio de validación

Segunda reunión de trabajo: revisión del instrumento

Estudio de validación final

Proceso de Validación (1)

Fase 1

El instrumento fue aplicado a 100 guías de 11 países

Todos los países siguieron el mismo protocolo

Cada guía fue evaluada independientemente por

cuatro evaluadores (194 en total)

El instrumento fue utilizado en inglés

Proceso de Validación (2)

Fase 2

El instrumento refinado fue testado en 33 guías

seleccionadas aleatoriamente del primer estudio

Participaron los mismos países

Se reclutó un nuevo grupo de evaluadores (70)

Cada país evaluó 3 guías

Resultados

El tiempo medio de evaluación (leer y completar el instrumento) fue

de 1,5 horas.

Tras el análisis de componentes principales la versión final del

instrumento refinado contuvo 23 ítems en 6 áreas.
La fiabilidad fue satisfactoria para cada área:
- Cronbach’s Alpha 0.64 - 0.88
- ICC 0.57 -0.91
El instrumento fue útil para un 95% y la guía de uso para un
98% de los evaluadores

Mejores resultados con mayor nº de evaluadores

 Estructura

Seis áreas
 23 criterios
 Escala de 4 Alcance y Objetivo (3)
puntos de Participación de los
Lickert
implicados (4)
Evaluación Rigor en la elaboración (7)
global
Claridad y presentación (4)
Guía del Aplicabilidad (3)
Usuario Independencia editorial (2)
 Instrumento AGREE
 A cada ítem se le puede asignar un puntaje

4 1
Muy Muy
de acuerdo en desacuerdo

A mayor valor , más probabilidades de que sea

seleccionada la guia, por su mayor puntaje
Alcance y objetivo (3)

1. Los objetivos generales de la guía están

específicamente descritos.

2. Los aspectos clínicos están específicamente

descritos

3. Los pacientes a quienes se pretende aplicar la guía

están específicamente descritos
Participación de los implicados (4)

4. El grupo de desarrollo incluye todas las

profesiones relevantes

5. Se han tenido en cuenta los puntos de vista y

preferencias de los pacientes

6. Los usuarios diana de la guía están claramente

definidos

7. La guía ha sido probada por los usuarios finales.

Rigor en la elaboración (7)

8. Se han utilizado métodos sistemáticos para la

búsqueda de la evidencia

9. Se han descrito con claridad los criterios para

seleccionar la evidencia

10. Los métodos para formular recomendaciones están

claramente descritos
Rigor en la elaboración (7)

11. Al formular las recomendaciones se han tenido en

cuenta los beneficios, los efectos secundarios y los
riesgos

12. Relación explícita entre las recomendaciones y las

evidencias en que se basan

13. La guía ha sido revisada por expertos externos antes de

su publicación

14. Se incluye un procedimiento para actualizar la guía

Claridad y presentación (4)

15. Las recomendaciones son específicas y no son

ambiguas

16. Las distintas opciones de manejo están

claramente presentadas

17. Las recomendaciones clave son fácilmente

identificables

18. La guía se apoya en herramientas para su

aplicación
Aplicabilidad (3)

19. Se han discutido las barreras potenciales a la hora de

aplicar las recomendaciones.

20. Han sido considerados los costes potenciales de la

aplicación de las recomendaciones.

21 La guía ofrece una relación de criterios clave con el fin de

realizar monitorización y/o auditoría.
Independencia editorial (2)

22. La guía es editorialmente independiente de la

entidad financiadora

23. Se han registrado los conflictos de los intereses de

los miembros del grupo de elaboración.
 Puntuación de las áreas:
Las puntuaciones de las distintas áreas pueden calcularse sumando todos los puntos de los ítems
individuales de un área y estandarizando el total, como porcentaje sobre la máxima puntuación
posible de ése área.
Ejemplo: 4 evaluadores dan las siguientes puntuaciones a los ítems del área 1, Alcance y objetivo

Ítem 1 Ítem 2 Ítem 3 Total

Evaluador 1 2 3 3 8

Evaluador 2 3 3 4 10

Evaluador 3 2 4 3 9

Evaluador 4 2 3 4 9

Total 9 13 14 36

Máxima puntuación posible = 4 (Muy de acuerdo) x 3 (ítems) x 4 (evaluadores) = 48

Mínima puntuación posible = 1 (Muy en desacuerdo) x 3 (ítems) x 4 (evaluadores) = 12

La puntuación estandarizada del área será:

Puntuación obtenida – mínima puntuación posible 36-12 24

= = = 0,67
Máxima puntuación posible – mínima puntuación posible 48-12 36

Nota: Las puntuaciones de las seis áreas son independientes y no

deben ser agregadas en una única puntuación de calidad.
 Cálculo de la puntuación de las
áreas

La puntuación estandarizada del Área en una guía se calcula:

sumando todas las puntuaciones de los criterios individuales

de un Área
y
estandarizando el total como un porcentaje de la máxima
puntuación posible en ese Área.
 Ejemplo de puntuación de un área (1)

Criterio 1 Criterio 2 Criterio 3 Total

Evaluador 1 2 3 3 8
Evaluador 2 3 3 4 10
Evaluador 3 2 4 3 9
Evaluador 4 2 3 4 9
Total 9 13 14 36

Max. punt. posible =4(muy de acuerdo)x 3(criterios)x4(evaluadores)= 48

Min. Punt. posible = 1(muy en desacuerdo)x3(criterios)x4(evaluadores)= 12
 Ejemplo de puntuación de un área (2)

La puntuación estandarizada del área será:

Puntuación obtenida – mínima puntuación posible

Máxima puntuación posible – mínima puntuación posible

36-12 24
= = x 100 = 67%
48-12 36
 Instrumento AGREE
Puntajes estandarizado

Puntaje real / Puntaje ideal = 63%

Cuanto más cercano a 100%

mejor es el puntaje para la GPC.
 Instrucciones para la evaluación
global

Balance entre:

Los criterios AGREE que evalúan principalmente la calidad en la elaboración

y en la publicación de la GPC
Y
El contenido clínico de las recomendaciones aplicadas al contexto local y su
impacto en los resultados en pacientes

Puede ser interpretado como un juicio ponderado entre el rigor científico de

proceso de elaboración y las consideraciones prácticas de su aplicación
 Guía para la evaluación global

Muy recomendada:

Cuando la guía puntúa alto (3 a 4) la mayoría de los ítems y la mayoría de

las puntuaciones de las áreas son superiores a 60.

Esto indica que la guía tiene una alta calidad general y que podría ser
considerada para su uso en la práctica sin tener que modificarla.
 Guía para la evaluación global

Recomendada (con condiciones o modificaciones):

La guía puntúa alto (3 a 4) o bajo (1 o 2) en un número similar de ítems y la

mayoría de las puntuaciones de las áreas se encuentran entre 30 y 60%.
Esto indica que la guía tiene una moderada calidad general. (Podría ser debido a
una insuficiente información sobre los ítems).

Se considera que introduciendo algunas modificaciones siempre que la información sobre el método
de elaboración esté bien descrito esta guía podría ser considerada para su uso, especialmente cuando
no hay otras disponibles sobre el mismo contenido clínico.
 Guía para la evaluación global

No recomendada:
La guía puntúa bajo (1 o 2) en la mayoría de los ítems y la mayoría de
las puntuaciones de las áreas son inferiores a 30%.

Esto indica que la guía tiene una baja calidad general y serias
deficiencias. Por tanto no debería ser recomendada para su uso en la
práctica.
 Evaluación global

¡No agregar las puntuaciones de las seis áreas en una

única puntuación de calidad!

Tomar en cuenta cada uno de los criterios de

evaluación.

Naturalmente, ¡usar el sentido común!

 Instrumento AGREE
Puntajes estandarizado

Al ser una puntuación estandarizada

nos permite comparar este puntaje con
el puntaje obtenido en otra GPC
sobre el mismo tema.
 Conclusiones

AGREE es el primer instrumento de evaluación para GPC’s que

ha sido desarrollado y testado internacionalmente

Puede ser usado consistentemente por un amplio rango de

profesionales que procedan de diferentes entornos culturales.

Para cada Guía son necesarios varios evaluadores.

 Diseminación

El Instrumento AGREE ha sido traducido a 7 idiomas.

La UE ha propuesto que todos los proyectos financiados evalúen

las GPC’s con el Instrumento AGREE.

La OMS ha suscrito el Instrumento AGREE.

El Consejo de Europa ha recomendado formalmente su uso.

 Diseminación

Osteba ha sido responsable de la traducción y edición al español.

El AGREE trust gestiona la web de AGREE:
http://www.agreetrust.org

Se ha recibido financiación adicional de la UE para diseminar el

Instrumento AGREE en 22 países Europeos.

Se ha establecido la International Guidelines Network (GIN):

www.g-i-n.org

Pautas para la incorporación de GPC al PNGCAM

Recomendaciones
 La jerarquía de la evidencia
científica para cuestiones terapéuticas
alta Revisiones sistemáticas / Meta-análisis

Ensayos Clínicos Aleatorizados

calidad de la evidencia

Revisiones sistemáticas de estudios observacionales

Estudios controlados no aleatorizados

Estudios de cohorte

Casos-controles
Est. de corte transversal / Serie de casos/
ecológicos
Serie de
casos
baja Estudios fisiológicos / Observaciones no sistemáticas
Niveles de Evidencias:Protección de
Sesgos
Ia: evidencia desde meta-análisis de ICCAs
Ib: evidencia desde al menos una ICCA

IIa: evidencia desde al menos un ensayo clínico

controlado no aleatorizado (cohorte prospectiva)
IIb: evidencia desde al menos un ensayo clínico cuasi-
aleatorizado

III: evidencia desde estudios observacionales (caso-

control, comparativos, descriptivos y de correlación)

IV: evidencia generada en comités de expertos,

opiniones, experiencia clínica no controlada
Graduación de la Evidencia
Niveles de Evidencias
Nivel de Grado de
Evidencia Recomendación

Basada en evidencias de Nivel I A

Basada en evidencias Nivel II o

extrapolada de la anterior B

Basada en evidencias Nivel III o

C
extrapolada de las anteriores

Basada en evidencias Nivel IV o D

extrapolada de las anteriores
Graduación de la Evidencia
Grado de Nivel de
Intervenciones
recomendación evidencia
1a Revisión sistemática de RCTs
A
1b Un ensayo randomizado controlado
2a Revisión sistemática de cohortes
2b Cohorte individual
B Revisión sistemática de estudios caso-
3a
control
3b Caso-control individual
C 4 Series de casos

D 5 Opinión de expertos sin análisis crítico

 Dra. Victoria Wurcel

Lic. Giselle Balaciano

dcsss@msal.gov.ar