ORIGINAL

Mtodos de consenso. Uso adecuado de la evidencia en la toma de decisiones. Mtodo RAND/UCLA

M. E. MARTNEZ-SAHUQUILLO AMUEDO* y M. C. ECHEVARRA RUIZ DE VARGAS**
*Servicio de Rehabilitacin Hospital Juan Ramn Jimnez. Huelva. **Servicio de Rehabilitacin Hospital Virgen del Roco. Sevilla.

Resumen.La creciente complejidad y multiplicidad de dimensiones de los problemas sanitarios y la incertidumbre que estos generan, as como su posible aplicacin en aspectos de la gestin y de la prctica clnica, han motivado el inters y desarrollo por las Conferencias de Consenso o Consenso de Expertos. Realizamos un pequeo recorrido por el origen, elaboracin, difusin y puesta en prctica de las distintas metodologas existentes. A continuacin describimos el mtodo que en la actualidad goza de mayor predicamento y rigor, el Mtodo RAND/UCLA o Mtodo de Uso Apropiado desarrollado por un grupo de investigadores de la RAND Corporation y la Universidad de California en los ngeles (UCLA) y que se basa en la evidencia cientfica y en el juicio colectivo de un panel de expertos. Es una combinacin de la Tcnica Delphi con la de Grupos Nominales. Palabras clave: Medicina Basada en la Evidencia. Mtodos de Consenso. Mtodo RAND/UCLA. Mtodo de Uso Adecuado.Tcnica Delphi modificada. CONSENSUS METHODS. ADEQUATE USE OF EVIDENCE IN DECISION MAKING. RAND/UCLA METHOD Summary.The growing complexity and multiplicity of the dimensions of the health care problems and the uncertainty that these generate as well as their possible application in aspects related to management and clinical practice have motivated an interest in and the development of the Consensus Meetings or Experts Consensus. We take a short journey through the origin, elaboration, communication and initiation of the different existing methodologies. In the following, we describe the method that presently has the greatest prestige and accuracy, the RAND/UCLA Method or the Appropriate Use Method developed by a group of investigators from the RAND Corporation and the University of California in Los Angeles (UCLA) which is based on the scientific evidence and on the collective opinion of an experts panel. It is a combination of the Delphi Technique with that of the Nominal Groups. Key words: Evidence based medicine. Consensus methods. RAND/UCLA Method. Adequate Use Method. Modified Delphi Technique.

INTRODUCCIN Segn la Real Academia Espaola, consensuar significa: Adoptar una decisin de comn acuerdo entre dos o ms partes. Desde la antigedad, conocemos diversas manifestaciones de cmo el ser humano ha intentado, sobre todo ante situaciones de incertidumbre, llegar a un consenso: consejos de ancianos, comisiones de notables, comits de las sociedades cientficas, funcionamiento de los jurados en los tribunales de justicia, etc. Dentro del campo de las ciencias de la salud, donde existen situaciones que exigen tomar decisiones sin tiempo a que se elaboren teoras cientficas definitivas, han sido frecuentes las discusiones de criterios entre colegas en foros como las sesiones clnicas, reuniones cientficas, etc. A partir de la ltima mitad del siglo XX, la forma de ejercer la medicina ha cambiado sustancialmente debido al aumento y rapidez en la introduccin de nuevas tecnologas, a la gran especializacin, al desarrollo de la investigacin clnica, as como a la socializacin del contexto de prestacin de los servicios, tanto a nivel de la relacin mdico-paciente como administrativo (1). Esto ha provocado que se produzca una gran variabilidad de criterios a la hora de la toma de decisiones en la prctica clnica diaria, y es por lo que comenzaron a desarrollarse tcnicas, para contrastar las opiniones de los expertos de la forma ms sistemtica posible que, junto a la utilizacin consciente, explcita y juiciosa de la mejor evidencia cientfica disponible, como la definieron Sackett et al (2), constituyen la base objetiva de la Medicina Basada en la Evidencia (MBE).

MTODOS DE CONSENSO El intento de elaborar de modo sistemtico metodologas para obtener consenso (conferencias de consenso o consenso de expertos) surge ante la crecien74

Rehabilitacin (Madr) 2001;35(6):388-392

M. E. MARTNEZ-SAHUQUILLO AMUEDO, ET AL.MTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. MTODO RAND/UCLA

389

te complejidad y multiplicidad de dimensiones de los problemas sanitarios y la incertidumbre que estos generan (3, 4). El inters por las conferencias de consenso ha aumentado en los ltimos aos dadas sus posibles aplicaciones en aspectos de la gestin y de la prctica clnica. Basan sus objetivos en su capacidad para favorecer el uso adecuado de procedimientos y, en general, para mejorar la eficiencia en la prestacin de servicios sanitarios (5, 6). Sin embargo ha aumentado la preocupacin y el debate sobre la metodologa utilizada en su elaboracin, difusin y puesta en prctica, teniendo en cuenta la gran variabilidad que encontramos en sus procesos y en los resultados finales (7). Las conferencias de consenso utilizan distintos enfoques metodolgicos dirigidos a sistematizar y reducir la subjetividad de los expertos y a que los procesos de sntesis mejoren su validez y fiabilidad. Lgicamente y teniendo en cuenta el objetivo y la finalidad de uso posterior que se busque del resultado del consenso, depender la eleccin de la metodologa y la calidad del producto final. Podemos distinguir tres grandes grupos de aplicaciones: a) Apoyo a la planificacin sanitaria. Encaminadas al mbito de la gestin sanitaria. Los mtodos empleados ms comnmente, son las tcnicas de grupo nominal y el mtodo Delphi. b) Elaboracin de recomendaciones o guas de prctica clnica. Siguiendo a Woolf (8), podemos distinguir diferentes aproximaciones metodolgicas: Consenso informal. Opinin de expertos que llegan a un acuerdo tras una discusin no sistematizada; aporta recomendaciones y muy poca informacin sobre las bases que sustentan el consenso. Presentan importantes deficiencias, adems de no explicar los mtodos utilizados. Se les critica la facilidad con que pueden verse influidas por las dinmicas de grupo, personalidades dominantes e intereses ajenos a los objetivos del consenso. Consenso formal. A partir de una revisin bibliogrfica, un panel de expertos debate acerca de una determinada prctica mdica y realiza unas recomendaciones que luego se difunden (9, 10). Se les ha criticado la ausencia de criterios explcitos sobre acuerdo/desacuerdo y la urgencia de producir las recomendaciones en una sola sesin. Guas basadas en la evidencia. Evalan la evidencia cientfica publicada mediante consultores expertos. A este enfoque se le ha criticado que existen pocos procedimientos de la prctica mdica que hayan sido validados suficientemente y que, por tanto, no aporta recomendaciones en los casos de situaciones dudosas o de alta incertidumbre.
Rehabilitacin (Madr) 2001;35(6):388-392

Guas explcitas. Especifican los beneficios, riesgos y costes de cada intervencin y se derivan estimaciones explcitas de la probabilidad de que ocurra cada uno de los resultados. Sus crticos argumentan que es demasiado complejo para ser prctico, dada la limitacin de tiempo y recursos para el desarrollo de guas prcticas (11). c) Evaluacin de la idoneidad de la atencin sanitaria. Si se quiere evaluar la adecuacin o la calidad de la prctica clnica en un determinado hospital o para un grupo determinado de indicaciones, tendr que utilizarse un mtodo para resumir la opinin de los expertos y aplicarlo a las situaciones prcticas en evaluacin. Estos mtodos han sido planificados principalmente por la RAND Corporation mediante la Tcnica Delphi modificada. En el mbito de la MBE se utiliza el Consenso Formal (12), es decir, a partir de una revisin bibliogrfica, un panel de expertos debate sobre un cuestionario acerca de una determinada prctica mdica y realiza una serie de recomendaciones. Existen unos elementos estructurales determinantes para garantizar la validez de un consenso: El problema a estudiar y los objetivos han de ser concretos y especficos. La revisin bibliogrfica o evidencia cientfica disponible debe cumplir un nivel de calidad estructurado (13). Los miniescenarios deben ser elaborados metdicamente. Por ltimo la seleccin del grupo de expertos y del moderador debe cumplir una serie de caractersticas personales y profesionales que garanticen la validez del consenso como: experiencia clnica, reconocido prestigio en la comunidad cientfica, inters por el tema, disponibilidad de tiempo y ausencia de conflictos de inters entre otros. A continuacin vamos a describir la metodologa que en la actualidad goza de mayor predicamento y rigor, que es el Mtodo RAND o Mtodo de uso apropiado (tabla 1).

Mtodo RAND/UCLA o Mtodo de uso apropiado A comienzo de la dcada de los ochenta se iniciaron en Estados Unidos una serie de estudios para medir la calidad de la asistencia mdica. Al no disponer siempre de una referencia cientfica que apoye la decisin clnica, hay que utilizar otro tipo de criterio para decidir en situacin de incertidumbre (14, 15). El grupo de investigadores que trabajaban en el Centro Rand y la Universidad de California en los ngeles (UCLA) abordaron dicho problema, desarrollando un
75

390

M. E. MARTNEZ-SAHUQUILLO AMUEDO, ET AL.MTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. MTODO RAND/UCLA

mtodo que utiliza las evidencias cientficas, junto con el juicio u opinin que los especialistas tienen sobre la utilizacin de un procedimiento en condiciones reales. Para tratar las opiniones de estos expertos se recurri a la utilizacin de tcnicas de grupo, en concreto a un mtodo desarrollado en dicho centro: la tcnica Delphi (16), modificndola para adaptarla mejor al objetivo perseguido. El mtodo Delphi asume que hay numerosas reas de la actividad humana en las que hay una informacin cientfica insuficiente para apoyar la toma de decisiones. Para rellenar esas lagunas se debe recurrir a otras fuentes de evidencias, las que provienen de la experiencia prctica, confrontando para ello las opiniones de un grupo de personas, de una forma sistemtica y susceptible de ser sometida a evaluacin cientfica. Para ello hay que usar elementos que permitan cuantificar de alguna manera la expresin de cada opinin. Las caractersticas propias del mtodo segn Dalkey (16) son: Confidencialidad de las opiniones de cada uno de los miembros del grupo. Iteracin y retroalimentacin controlada. Capacidad para resumir estadsticamente las distintas opiniones o juicios. El Mtodo RAND/UCLA o Mtodo de uso apropiado est basado en la evidencia cientfica y en el juicio colectivo de un panel de expertos. Es una combinacin de la tcnica Delphi con la de Grupos Nominales. En esta tima tambin se persigue la convergencia de los juicios, pero son los expertos los que en una primera fase proponen las preguntas sobre un tema para en una segunda fase reunirse y discutir entre todos, de una forma estructurada, las propuestas que ellos mismos han hecho. Por ltimo cada experto, de forma confidencial, valora por escrito las propuestas ms interesantes (17). En primer lugar, varios mdicos especialistas en el procedimiento de estudio desarrollan una lista de todas las posibles indicaciones en las que pueda plantearse la aplicacin o no del procedimiento. Las indicaciones se clasifican teniendo en cuenta los factores clnicos crticos que condicionan la toma de decisiones (factores de riesgo, sntomas y signos del paciente, resultados de pruebas diagnsticas, terapias y otras variables relevantes de su historia clnica previa). El objetivo de esta lista es clasificar a los pacientes en grupos clnicos homogneos. A la vez que se disea la lista de indicaciones, el equipo de investigadores realiza una revisin sistemtica de la literatura y elabora una sntesis de la evidencia cientfica disponible en el momento del estudio. Los artculos se obtienen a travs de bsquedas sistemticas en MEDLINE para un determinado perodo y bsquedas
Rehabilitacin (Madr) 2001;35(6):388-392

manuales de citas bibliogrficas. Los artculos identificados se clasifican segn la calidad de la evidencia, dando prioridad a los resultados obtenidos de ensayos clnicos de diseo aleatorio grandes y bien realizados. Una vez elaboradas la lista de indicaciones y la sntesis de la evidencia, ambos documentos son enviados a un panel de expertos. Los paneles de expertos estn formados, generalmente, por nueve miembros especialistas mdicos, incluyendo a veces a generalistas. Los panelistas son seleccionados con los criterios de experiencia clnica, reconocido prestigio en la comunidad cientfica, y ausencia de conflictos de inters. Dependiendo del pas, puede ser deseable que los panelistas representen tambin diferentes regiones geogrficas, tipos de hospitales, u otras caractersticas (4). Usando un proceso Delphi modificado, las indicaciones son puntuadas por los panelistas en dos rondas. En la primera ronda, el informe de la sntesis de la evidencia y la lista de indicaciones son enviados a los miembros del panel, junto con instrucciones sobre la metodologa para puntuar las indicaciones. La cumplimentacin del cuestionario se hace individualmente, sin que los expertos mantengan ningn tipo de comunicacin o intercambio de opiniones. Cada panelista recibe una definicin escrita del concepto de apropiado. Apropiado en el contexto de este mtodo significa que el esperado beneficio excede las esperadas consecuencias negativas por un margen suficientemente amplio como para que merezca la pena realizar el procedimiento. Cada panelista punta cada indicacin en una escala de uno a nueve dependiendo de como de apropiado considere la realizacin del procedimiento para esa indicacin concreta. Una puntuacin de 1 significa que el procedimiento es extremadamente inapropiado para esa indicacin, un nueve significa que el procedimiento es extremadamente apropiado, y una puntuacin de cinco indica que los riesgos y beneficios son aproximadamente iguales. Los panelistas envan las puntuaciones al equipo investigador, y una vez analizadas estadsticamente se convoca la segunda ronda. En la segunda ronda del Delphi, los panelistas se renen durante un da o dos para discutir y repuntuar las indicaciones. Cada panelista recibe un documento que muestra sus propias puntuaciones identificadas y el resultado de las puntuaciones de los dems panelistas sin identificar, pudiendo as comparar su opinin frente a la del resto de los componentes del panel, sin verse por ello forzado a modificarla por la posible presin del grupo. El moderador de la reunin seala las reas de desacuerdo o confusin para discusin. Si los panelistas lo desean, se puede modificar la estructura de la lista de indicaciones amplindola, simplificndola, aadiendo nuevas categoras o eliminando categoras de la primera ronda. Al final de la sesin, los panelistas puntan de nuevo cada indicacin de la lista definitiva de indicaciones. Este mtodo est diseado para identificar el grado de acuerdo pero,
76

M. E. MARTNEZ-SAHUQUILLO AMUEDO, ET AL.MTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. MTODO RAND/UCLA

391

TABLA 1. Mtodo RAND de uso apropiado. 3. Panel de expertos (Delphi modificado) 1. Lista de indicaciones (especialistas+investigadores) 1. ronda: no interactan

2. Sntesis de la evidencia (investigadores)

2. ronda: interactan

ESTNDARES % de uso: Apropiado, Dudoso, Inapropiado. Retrospectivo: Comparacin con las historias clnicas Apropiado

Dudoso Aumentar uso apropiado

Fuente (4).

Prospectivo: Guas de uso

Inapropiado

a diferencia de otros mtodos, no fuerza a los miembros del panel a que lleguen a un consenso. Despus de la segunda ronda del Delphi, cada indicacin es clasificada como apropiada, inapropiada o dudosa dependiendo de la mediana de las puntuaciones y del nivel de acuerdo. En cada indicacin existe acuerdo (para un panel de nueve miembros) cuando no ms de dos panelistas la han puntuado fuera de la regin de tres puntos (1-3, 4-6, 7-9) que contiene a la mediana. Existe desacuerdo cuando las puntuaciones de tres o ms panelistas estn en la regin de 1-3, y tres o ms en la regin de 7-9. Las indicaciones en las que no existe ni acuerdo ni desacuerdo se consideran como puntuadas con un nivel de acuerdo indeterminado. Todas las indicaciones puntuadas sin desacuerdo (incluye acuerdo e indeterminado) son clasificadas como apropiadas si la mediana de las puntuaciones est en el rango 7-9, y como inapropiadas si la mediana est en el rango 1-3. Las indicaciones cuya mediana est en el rango 4-6, y todas aquellas puntuadas con desacuerdo, independientemente de su mediana, son clasificadas como dudosas (tabla 2). Los resultados obtenidos pueden aplicarse no slo a estudios enfocados a la evaluacin de la prctica mdica sino tambin usarlos en la elaboracin de guas clnicas que apoyen la toma de decisiones en la prctica diaria (18, 19). El mtodo RAND/UCLA posee algunas ventajas frente a otros mtodos para elaborar consenso: Adecuado nivel de confidencialidad: el experto no se ve presionado por las opiniones de otros miembros del panel; el anonimato se mantiene en las dos rondas.
Rehabilitacin (Madr) 2001;35(6):388-392

La metodologa es reproducible. Los resultados pueden aplicarse no slo en la evaluacin de la prctica mdica sino tambin para elaborar GPC. Sirve para poner en evidencia la existencia de reas de discrepancia o incertidumbre por lo que promueve la investigacin. A pesar de las ventajas comentadas, otros autores (20) han sealado diversos inconvenientes: Posiblemente la crtica ms seria que se le ha hecho es que a pesar de su carcter aparentemente objetivo, es subjetivo, puesto que fundamentalmente lo que mide son opiniones. Crticas con respecto a la aplicacin del mtodo, como dificultad a la hora de la definicin de experto, diseo del cuestionario... Adems, el mtodo requiere la colaboracin de un grupo de personas a las que no se les puede exigir una dedicacin larga en tiempo y la coordinacin de grupos es compleja y costosa.

TABLA 2. Anlisis de datos y calificacin de los escenarios. 1) Distribucin de frecuencias: intervalos. 2) Medida de centralizacin y de dispersin. 3) Clasificacin de la adecuacin de uso del procedimiento: Apropiado: mediana en intervalo 7-9 y sin desacuerdo. Inapropiado: mediana en intervalo 1-3 y sin desacuerdo. Dudoso: mediana en intervalo 4-6 desacuerdo.
77

392

M. E. MARTNEZ-SAHUQUILLO AMUEDO, ET AL.MTODOS DE CONSENSO. USO ADECUADO DE LA EVIDENCIA EN LA TOMA DE DECISIONES. MTODO RAND/UCLA

Esta metodologa ha sufrido diversas modificaciones desde su creacin, en un intento de mejorar su aplicacin y conseguir una mejor utilizacin de los procedimientos mdicos, as como una mayor eficiencia en la prestacin de los servicios sanitarios. Una nueva aplicacin del mtodo es su utilizacin en la determinacin de la necesidad de un procedimiento para la evaluacin de la actividad asistencial (21, 22). Aunque existe una amplia experiencia en el uso del mtodo RAND en el mbito sanitario y a nivel internacional (23-26), no hemos encontrado en la bsqueda sistemtica realizada ninguna publicacin que utilice el Mtodo de Uso Apropiado como base para la evaluacin de la calidad asistencial en Rehabilitacin a nivel nacional.

13. 14. 15. 16. 17.

BIBLIOGRAFA
1. Berra de Unamuno A, Marn Len I, lvarez Gil R. Consenso en Medicina. Metodologa de expertos. Escuela Andaluza de Salud Pblica; 1996. Serie Monografas n.14. 2. Sackett DL, Rosemberg W, Muir Gray JA, Haynes RB, Richarson WS. Evidence based medicine: what it is and what it isnt. BMJ 1996;312:71-2. 3. Pozo F, Gmez de la Cmara A. Como ejercer y ensear la MBE. En: Sakett DL, Richarson WS, Rosemberg W, Haynes RB, eds. Medicina basada en la evidencia. Madrid: Churchill Livingstone;1997. 4. Lzaro P, Fitch K. Calidad asistencial y uso apropiado de procedimientos mdicos. Seminario el Hospital actual y del futuro. Escuela Andaluza de Salud Pblica; 1998. Documento de Apoyo Bibliogrfico n. 8:1-6. 5. Briones Prez de la Blanca E, Marn Len I, lvarez Gil R, Reyes Domnguez A. Fundamentos de Consenso en el mbito de las Ciencias de la Salud. En: Consenso en Medicina. Metodologa de Expertos. EASP; 1996. 6. Oishi SM, Morton SC, Moore AA, Beck JC, Hays RD, Spritzer KL, et al. Using data to enhance the expert panel process. Rating indications of alcohol-related problems in older adults. Int J Technol Assess Health Care 2001;17:125-36. 7. Murillo Capitn E, Albero Tamarit A, Duque Amusco A, Reche Molina P. El Trabajoso Camino hasta la Evidencia. Med Clin (Barc) 1998;14:539-41. 8. Woolf SH. Pratice guidelines. A new reality in Medicine. II Methods of developing guidelines. Arch Intern Med 1992;152:946-52. 9. Peir S, Portella E. No todo es acuerdo en el consenso: limitaciones de los mtodos de consenso en los servicios de salud. Gac Sanit 1993;7:294-300. 10. Granados A. Las Conferencias de Consenso. Un mtodo para la evaluacin de las tecnologas mdicas? Gac Sanit 1991;26:201-2. 11. Eddy DM. Comparing benefits and harms: the balance sheet. JAMA 1990;263:2239. 12. Del Llano Searis JE, Meneu de Guillena R. Asistencia
Rehabilitacin (Madr) 2001;35(6):388-392

18.

19.

20.

21. 22. 23.

24.

25. 26.

sanitaria basada en la evidencia. Med Clin (Barc) 1999; 112,1:90-6. Arteaga Domnguez A. Evaluacin crtica de la Evidencia Cientfica. Ponencia Atencin Sanitaria Basada en la Evidencia. Congreso de la SERMEF. Barcelona; 2000. Fink A, Kosecoff J, Chassin M, Brook RH. Consensus methods: caracteristics and guidelines for use. Am J Public Health 1984;74:979-83. Eddy DM, Billings J. The quality of medical evidence: implications for quality of care. Health Aff (Millwood) 1988;7:19-32. DalKey NC. The Delphi method: And experimental study of group opinion. Rm 5888-Pr. Sta Mnica, CA : Rand Corp; 1969. Lacalle Remigio JR, Pastor Torres L, Reyes Domnguez A, Prez Lozano MJ, lvarez Gil R. Metodologa Delphi aplicada a la evaluacin de procedimientos diagnsticos y teraputicos. En: Consenso en Medicina. Metodologa de expertos. EASP; 1996. p. 53-69. Wietlisbach V, Vader JP, Porchet F, Costanza MC, Burnand B. Statistical approaches in the development of clinical practice guidelines from expert panels: the case oflaminectomy in sciatica patients. Med Care 1999;37:785-97. Sachs GS, Printz DJ, Kahn DA, Carpenter D, Docherty JP. The expert consensus guideline series: Medication treatment of bipolar disorder 2000. Postgrad Med 2000;Spec No:1-104. Campbell SM, Hann M, Roland MO, Quayle JA, Shekelle PG. The effect of panel membership and feedback on ratings in a two-round Delphi survey: results on randomized controlled trial. Med Care 1999;37:964-8. Kahan JP, Bernstein SJ, Leape LL, Hilborne LH, Park RE, Parker L, et al. Measuring the necessity of medical procedures. Med Care 1994;32:357-65. Broder MS, Kanouse DE, Mittman BS, Bernstein SJ. The appropriateness of recommendations for hysterectomy. Obstet Gynecol 2000;95:199-205. Cambell SM, Roland MO, Shekelle PG, Cantrill JA, Buetow SA, Cragg DG. Development of review criteria for assessing the quality of management of stable angina, adult asthma, and non-insulin dependent diabetes mellitus in general practice. Qual Health Care 1999;8:6-15. Fitch K, Lzaro P, Aguilar MD, Kahan JP, van Het Loo M, Bernstein SJ, European criteria for the appropriateness and necessity of coronary revascularization procedures. Eur. J Cardiothorac Surg 2000;18:380-7. Asch SM, Kerr EA, Lapuerta P, Law A, McGlynn EA. A new approach for measuring quality of care for women with hypertension. Arch Intern Med 2001;161:1329-35. Buetow SA, Coster GD. New Zealand an United Kingdom experiences with the RAND modified Delphi approach to producing angina and heart failure criteria for qualyti assessment in general practice. Qual Health
Correspondencia: M. Encarnacin Martnez-Sahuquillo Amuedo Servicio de Rehabilitacin Hospital Juan Ramn Jimnez Ronda Norte s/n 21005 Huelva

78