Академический Документы
Профессиональный Документы
Культура Документы
Resumen
Abstract
Segn lo descrito en las pginas previas, para la eleccin de los estudios a incluir en la
revisin sistemtica o en el metaanlisis es necesario agotar las etapas de identificacin,
tamizacin, eleccin e inclusin. En este captulo se describen los detalles operativos
para hacer eso.
Primer paso: definir la estrategia de bsqueda y las fuentes de informacin que se utilizarn
Con respecto a la estrategia de bsqueda, especficamente a la eleccin de las palabras
clave y su combinacin con operadores booleanos, lo ideal es elegir trminos que garan-
ticen una alta sensibilidad en la recuperacin de artculos relacionados con el tema de
investigacin, as eso sacrifique la especificidad, en cuanto esta puede ser controlada por
el investigador en las dems fases de la revisin.
Con propsitos ilustrativos, y por tratarse de un tema que han trabajado los autores
del texto, las palabras claves que se seleccionaron en este ejemplo fueron whoqol bref
(World Health Organization Quality of Life, por su sigla en ingls), en combinacin con
el operador booleano and y con la palabra clave hiv (Human Immunodeficiency Virus,
por su sigla en ingls); el whoqol bref es un instrumento diseado por la Organizacin
Mundial de la Salud para evaluar la calidad de vida. As, el objetivo de una revisin con
la estrategia de bsqueda utilizada podra ser describir el impacto del hiv en la calidad
de vida de las personas infectadas segn las publicaciones disponibles en la literatura
cientfica.
En alusin a las fuentes de informacin, vimos que estas incluyen bases de datos ge-
nricas, especficas del tema de investigacin y buscadores abiertos. Entre las mltiples
bases de datos disponibles, se eligi PubMed y ScienceDirect con propsitos pedaggi-
cos, sin embargo, para garantizar la exhaustividad de la revisin, la recomendacin es
tantas bases de datos como sea posible.
PubMed es un servicio de la National Library of Medicine (Biblioteca Nacional de
Medicina de los Estados Unidos). Incluye ms de 14 millones de referencias a artculos
biomdicos (figura 7).
44\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Figura 9. Ruta para exportar referencias desde las bases de datos. Recuperado y adaptado de http://www.sciencedirect.com/
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /45
Figura 10. Interfaz del gestor de referencias EndNote Web. Recuperado y adaptado de http://www.myendnoteweb.com/EndNo-
teWeb.html
Figura 11. Ruta para importar referencias a EndNote Web. Recuperado y adaptado de http://www.myendnoteweb.com/EndNo-
teWeb.html
46\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Si consideramos la baja sensibilidad del software EndNote Web para detectar refe-
rencias duplicadas, se sugiere seleccionar cuidadosamente cada artculo para no incluir
artculos repetidos. En caso que desee utilizar otro software con mejor sensibilidad, el
gestor de referencias bibliogrficas Zotero constituye una buena opcin para ello. Zote-
ro es un gestor de citas bibliogrficas de carcter gratuito que funciona como comple-
mento del navegador de Internet Firefox, aunque tambin existe una versin ejecutable
desde el computador. Para acceder a este programa solo se requiere registrarse en la
pgina web, www.zotero.org, e ingresar un nombre de usuario, contrasea y correo
electrnico.
El funcionamiento es similar a EndNote Web, en cuanto se requiere que se importen
las consultas hechas en las bases de datos (figura 13).
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /47
Figura 13. Ruta para importar referencias a Zotero. Recuperado y adaptado de https://www.zotero.org/
Este software permite organizar las referencias por carpetas y en su interfaz se pue-
de ver el ttulo de los manuscritos, los autores, el resumen, entre otros. Adems, permite
insertar notas y marcas (figura 14).
Figura 14. Interfaz grfica del gestor de referencias Zotero. Recuperado y adaptado de https://www.zotero.org/
La eliminacin de los artculos duplicados en este software se realiza con solo un clic
en el cono Mostrar duplicados. No obstante, presenta la opcin para que el investi-
gador verifique que lo identificado por el programa s es efectivamente un duplicado.
Observemos que se identificaron 14 referencias similares, en contraste a lo que sucedi
con EndNote Web, en el cual no se identific ninguna (figura 15).
Figura 15. Ruta para eliminar duplicados en Zotero. Recuperado y adaptado de https://www.zotero.org/
Tamizacin de artculos
Hay que hacer la tamizacin de los artculos incluidos a partir de la lectura de los re-
smenes y aplique los criterios de inclusin. En este caso se eliminarn los artculos en
48\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
los que se evale la calidad de vida de individuos diferentes a las personas que viven con
vih (figura 16).
Eleccin de artculos
Despus de aplicar los criterios de inclusin con la lectura de los resmenes de todos los
artculos, el siguiente paso consiste en aplicar los criterios de exclusin. La recomen-
dacin para esto es realizar la lectura completa del manuscrito de manera que se pueda
evaluar la calidad metodolgica de los estudios; no obstante, en algunas ocasiones esto
tambin puede hacerse con la lectura del resumen en tanto que la identificacin de la
fuente de sesgo es tan clara que no es necesario continuar evaluando las otras caracte-
rsticas del manuscrito (figura 17).
Una vez se seleccionan los artculos a incluir en la sntesis cuantitativa o cualitativa, el si-
guiente paso es extraer las variables de cada artculo que interesa al investigador. General-
mente la informacin se extrae en una plantilla en Microsoft Excel por dos investigadores
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /49
Se eligen tres categoras para esta variable: Amrica (1), Europa (2) y Asia (3); asu-
miendo que ambos revisores reportaron 20 estudios de Amrica, 25 de Europa y 15 de
Asia, se obtendran los siguientes resultados, que indican una reproducibilidad perfecta
en la extraccin de los datos de esta variable.
Kappa EE IC (95,0%)
---------- --------------- -------------------------
1,0000 0,0000 1,0000 1,0000
Prueba de significacin
50\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Estadstico Z Valor p
-------------------- ----------
10,8349 0,0000
Asumiendo que uno de los revisores se equivoc al poner uno de los estudios realiza-
dos en Amrica como si hubiese sido de Asia, los datos para el anlisis de reproducibili-
dad seran como se muestran en la tabla 1 y en la figura 19.
Tabla 1.
Concordancia entre dos investigadores para la variable continente de estudio
Observador 1 Observador 2
Amrica (1) 20 19
Europa (2) 25 25
Asia (3) 15 16
Nota. Elaboracin propia.
Figura 19. Anlisis de reproducibilidad en Epidat para la variable continente de estudio. Recuperado y adaptado de http://www.cuidan-
do.es/epidat-version-4-1-programa-para-analisis-epidemiologico-y-estadistico/
El siguiente ndice kappa, mayor a 0,95, podra ser excelente desde el punto de vista
estadstico, pero incluye un error, por ello se recomienda que solo se contine el anlisis
cuando se compruebe que en la extraccin de los datos de cada variable la reproducibi-
lidad fue perfecta (kappa de 1,00).
Kappa EE IC (95,0%)
---------- --------------- -------------------------
0,9745 0,0252 0,9251 1,0000
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /51
Prueba de significacin
Estadstico Z Valor p
-------------------- ----------
10,5834 0,0000
Figura 20. Clculo del coeficiente de correlacin intraclase en spss. Recuperado y adaptado de http://www.cuidando.es/
epidat-version-4-1-programa-para-analisis-epidemiologico-y-estadistico/
Los datos anteriores muestran los valores de hematocrito y ferritina srica que dos
investigadores extrajeron de 20 estudios incluidos en su revisin sistemtica (son datos
hipotticos).
Caso 1
Los dos observadores hacen la extraccin de los valores de hematocrito de forma in-
dependiente sin incurrir en ningn error (hematocrito 1 son los valores extrados por
52\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
el primer revisor), el clculo del coeficiente de correlacin se hara por la ruta que se
muestra en la figura 21 y en la tabla 2.
Figura 21. Ruta para calcular el coeficiente correlacin intraclase. Recuperado y adaptado de http://www.cuidando.es/
epidat-version-4-1-programa-para-analisis-epidemiologico-y-estadistico/
Tabla 2.
Resultados del coeficiente de correlacin intraclase para la variable hemoglobina
Caso 2
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /53
Los mismos dos observadores hacen la extraccin de los valores de ferritina de forma
independiente con un error por parte del segundo revisor (figura 22 y tabla 3).
Figura 22. Coeficiente de correlacin intraclase cuando hay discrepancias entre los observadores. Elaboracin propia.
Tabla 3.
Resultados del coeficiente de correlacin intraclase cuando hay discrepancias entre los observadores
Figura 23. Tipo de metaanlisis en Epidat segn la medida del efecto. Elaboracin propia.
Razones de odds
Medida de asociacin epidemiolgica empleada para comparar dos variables cualitativas
dicotmicas o bicategricas, usada tradicionalmente en estudios descriptivos y analti-
cos de casos y controles (tabla 4).
Tabla 4.
Variables de asociacin epidemiolgica en estudios descriptivos y de casos y controles
Dicotmica 1 Dicotmica 2
Descriptivos Variable independiente, generalmente Variable dependiente o de respuesta,
un factor que se presume est generalmente el fenmeno bajo estudio
asociado con el evento bajo estudio
Casos y controles El factor de riesgo bajo estudio El grupo de estudio
Caso: persona que presenta el evento bajo estudio.
Control: persona sin el evento bajo estudio, y
generalmente equiparado por edad, sexo u otro
potencial confusor
Nota. Elaboracin propia.
Riesgo relativo
Es una razn entre la proporcin (cociente o porcentaje) de incidencia del evento en las
personas expuestas a un factor de riesgo (por ejemplo, nmero de personas expuestas
a un factor de riesgo que desarrollan una enfermedad dividido entre el nmero de ex-
puestos a dicho factor) y la incidencia en las personas no expuestas. Cabe aclarar que, al
tratarse de casos incidentes (nuevos), solo puede tomarse de estudios prospectivos como
los de cohorte y experimentales. Tambin aplica solo en caso de que el factor de riesgo
y el evento sean variables dicotmicas.
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /55
Diferencia de riesgos
Se toman los mismos valores del caso anterior (proporcin de incidencia de la enfer-
medad entre expuestos al factor de riesgo y entre los no expuestos) pero en lugar de
dividirlos se restan.
Diferencia de medias
Aplica para aquellas situaciones en que el fenmeno bajo estudio se mide como una
variable cuantitativa y esta es comparada entre dos grupos. Una vez se elige una de las
cuatro medidas, aparece el cuadro de dilogo que se muestra a continuacin (figura 24).
Cabe aclarar que este es igual para las razones de odds, el riesgo relativo y la diferencia
de riesgos al contener dos vistas con Origen de datos y Datos y resultados.
Origen de datos
En el origen de datos aparecen dos columnas, en la derecha estn los aspectos sealados
por defecto como el grado de confianza (95%), el modelo para hacer el metaanlisis, la
forma de ordenar la presentacin de los resultados y el nmero de artculos del metaa-
nlisis. En la columna de la izquierda aparecen dos opciones para ingresar los datos: la
manual y la automtica. En la automtica se debe tener un archivo (por ejemplo en Excel)
con la misma estructura del Epidat; dado que esto no es conocido por muchos investiga-
dores, se recomienda el ingreso por la opcin Manual. Para el ingreso de los datos de
forma manual, se debe tener de cada estudio individual los datos que se conforman en las
tablas de contingencia (2 x 2), es decir, cuatro celdas producto de cruce de las dos varia-
bles dicotmicas (tener o no el evento y tener o no el factor de riesgo o de exposicin).
Datos y resultados
En esta vista aparece el nmero de estudios que se indic en la vista anterior, y para
cada uno se deben ingresar los datos de las cuatro celdas que se conforman en la tabla
2 x 2 (figura 24).
Figura 24. Interfaz grfica de Epidat para metaanlisis de razones de odds. Elaboracin propia.
56\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Figura 25. Interfaz grfica de Epidat para metaanlisis de diferencia de medias. Elaboracin propia.
Caso 1
En el caso 1 se presenta la interpretacin de los estadsticos de un metaanlisis para razo-
nes de odds cuando el anlisis evidencia homogeneidad entre los estudios.
Tabla 5.
Prueba de heterogeneidad mtodo analtico de DerSimonian y Laird
* Grfico de LAbb: dado que todos los puntos estn al mismo lado de la pendiente,
se concluye la existencia de homogeneidad. Adems, se evidencia que el evento se
presenta con mayor frecuencia en los expuestos (figura 27).
Tabla 6.
Mtodo analtico para evaluar sesgo de publicacin
Por su parte, el grfico de Egger (figura 29) pone de manifiesto que existe sesgo de pu-
blicacin dada la lejana del cero, es decir, cuanto ms se aleja de cero indica mayor asimetra
o mayor evidencia del sesgo. En caso de diferencias entre los estadsticos y los grficos, se
recomienda tomar la prueba de Egger dado que presenta mayor potencia estadstica.
60\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Tabla 7.
Mtodo analtico para el anlisis de sensibilidad
Figura 30. Grfico de influencias. Muestra en rojo la medida global y en negro cada estudio individual. Elaboracin propia
Reporte de resultados
El software genera el resultado global en trminos de efectos fijos o efectos aleatorios, e
interpretar uno u otro depende del anlisis de homogeneidad. En este caso, en coheren-
cia con la homogeneidad hallada en la primera parte de los anlisis, se debe leer la medi-
da global, combinada o agrupada, de efectos fijos (para este caso fue igual al anlisis por
efectos aleatorios). En el resultado total del metaanlisis se presenta la medida de efecto
de cada estudio individual (en la figura 31 equivale al punto o crculo), su intervalo de
confianza del 95% (en la figura est representado por la lnea) y la medida agrupa por
efectos fijos y aleatorios.
Adems, en el grfico forest plot se expone una lnea vertical que identifica el valor
nulo o la no diferencia entre los grupos comparados (para las razones de odds y los
riesgo relativos sera uno y para la diferencia de riesgos y de medias sera el cero), lo
que indica que el evento (enfermedad o desenlace bajo estudio) es igual entre los que
presentan y los que no presentan el factor de exposicin bajo estudio. Los resultados
que se ubiquen a la derecha indican que el evento se presenta con mayor frecuencia en
los expuestos al factor, mientras que a la izquierda de la lnea vertical se ubicaran los
estudios que hallaron una menor frecuencia del evento en los no expuestos al factor
de estudio. Si el intervalo de confianza (lnea horizontal de la medida de efecto de cada
estudio) toca la lnea vertical, indicara que no existen diferencias estadsticamente sig-
nificativas entre los grupos comparados (figura 31).
62\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
En la figura 32, el primer crculo con lnea representa la razn de odds y su intervalo
de confianza para el primer estudio incluido en el metaanlisis, la cual corresponde a la
sumatoria de los datos de los dos primeros estudios y as sucesivamente hasta incluir
la totalidad de estudios individuales de la revisin sistemtica.
Caso 2
En el caso 2 se presenta la interpretacin de los estadsticos de un metaanlisis para
razones de odds cuando el anlisis evidencia heterogeneidad entre los estudios.
Anlisis de heterogeneidad y sesgo de publicacin
La interpretacin del anlisis de heterogeneidad y el sesgo de publicacin tanto con el
mtodo grfico como con el mtodo analtico se resumen en la tabla 9. Los grficos se
presentan en la figura 32.
Tabla 9.
Anlisis de heterogeneidad y sesgo de publicacin del caso 2
Prueba Valor p
Heterogeneidad
Prueba de heterogeneidad de DerSimonian y Laird estadstico Q 0,0000
Varianza entre estudios 5,7607
Contina
64\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Cont.
Figura 33. Mtodo grfico de Galbraith, LAbb, forest plot y grfico de Egger para el caso 2. Elaboracin propia.
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /65
Anlisis de sensibilidad
A partir del anlisis de sensibilidad que se presenta en la tabla 10 y en la figura 34 se
pueden presentar las siguientes conclusiones:
* El cambio relativo en las razones de odds evidencia que existen diferencias clnica-
mente significativas en su magnitud, lo que evidenciara que algunos estudios (para
este caso el nmero tres) introducen cambios sustanciales en las conclusiones y, por
tanto, debera evaluarse la pertinencia de generar una medida combinada, mxime
teniendo presente el anlisis de heterogeneidad precedente.
* A pesar de que los intervalos se traslapan, lo que indicara que no existen diferencias
estadsticamente significativas, debe primar el criterio clnico-terico, dado que la
amplitud de los intervalos (por ejemplo, la obtenida al excluir de los anlisis a los
estudios uno y dos) evidencia que el error estndar de estas mediciones es demasiado
alto (esto se debe a que los datos presentaron una alta dispersin o algn subgrupo
present muy bajo tamao de muestra, lo que disminuye la potencia de los anlisis).
Tabla 10.
Anlisis de sensibilidad para el caso 2
Resultados
En los resultados globales se evidencian las diferencias entre las conclusiones que se
obtendran con un anlisis por efectos fijos o por efectos aleatorios, adems del efecto
tan elevado del estudio tres. Este tipo de metaanlisis, si en el ejemplo se hubiese desa-
rrollado con un mayor nmero de estudios, evidenciara la necesidad de hacer anlisis
por subgrupos (tabla 11 y figura 35).
Tabla 11.
Resultados del metaanlisis mtodo analtico caso 2
Figura 35. Forest plot y metaanlisis acumulado (efectos aleatorios) caso 2. Elaboracin propia.
Cabe aclarar que los datos de este ejemplo en la realidad no podran combinarse,
dadas sus elevadas diferencias, pero se inventaron los datos con el fin de que el lector
haga una anlisis un poco ms profundo y crtico de situaciones que pueden presentarse.
Caso 3
El caso 3 representa un escenario de un metaanlisis para diferencia de medias en el
cual se presenta heterogeneidad en los estudios individuales. La interpretacin de los
resultados de los estadsticos y los grficos propios del metaanlisis se resumen en la
tabla 12 y la figura 36.
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /67
Tabla 12.
Metaanlisis: diferencia de medias
Figura 36. Grfico de Galbraith, funnel plot, grfico de influencias y forest plot. Elaboracin propia.
68\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Este software es muy expedito en sus anlisis y no implica desafos en su parte opera-
tiva. El reto no est en sus tcnicas analticas sino en el manejo de tres partes centrales:
* Garantizar la exhaustividad, reproducibilidad y pertinencia de la revisin sistemti-
ca; esto est ms relacionado con la fundamentacin terico-conceptual.
* Manejar bien los conceptos bsicos de la evaluacin de pruebas diagnsticas. En
este sentido, el investigador o lector debe estar familiarizado con trminos como
sensibilidad, especificidad, razn de verosimilitud (o cociente de probabilidad), pro-
porcin de resultados falsos (positivos y negativos), valores predictivos (positivos y
negativos), razn de odds diagnstica, curva roc, indce de J de Youden, entre otros.
Para esto, al finalizar este acpite, se presentan algunas publicaciones de los autores
de este libro en las modalidades de revisin sistemtica sin metaanlisis, metaanli-
sis de estudios observacionales y metaanlisis de pruebas diagnsticas. Con ellas el
lector podr ampliar asuntos relacionados no solo con la investigacin terica, sino
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /69
tambin con asuntos metodolgicos propios de los estudios originales en las modali-
dades de evaluacin diagnstica y estudios observacionales.
* A partir del conocimiento de los trminos y parmetros propios de la evaluacin
diagnstica, hacer una buena extraccin de los cuatro valores que pide el software
(expuestos en la figura 38).
Una vez ingresados los valores correspondientes a verdaderos positivos (vp), ver-
daderos negativos (vn), falsos positivos (fp) y falsos negativos (fn), el investigador solo
debe usar el mdulo Analizar, en el cual se presentan los resultados del metaanlisis, los
cuales incluyen, entre otros:
* Tablas de resultados: presenta los valores de exactos de los parmetros de la evalua-
cin diagnstica con sus intervalos de confianza.
* Grficos de sensibilidad, especificidad, cocientes de probabilidad, razn de odds diag-
nstica y curva roc.
* Posibilidad de hacer metarregresin, es decir, cuando los resultados del metaanlisis
se deben desagregar en funcin de una covariable (figuras 38 y 39).
Figura 39. Ruta en Meta-DiSc para elegir los grficos. Elaboracin propia.
70\ REVISIONES SISTEMTICAS DE LA LITERATURA CIENTFICA
Tabla 14.
Resultados de CP positivo
Nota. Elaboracin propia. Efectos aleatorios. La tabla de resultados es similar para el cociente de probabilidad negativo.
Tabla 15.
Resultados de odds ratio diagnstica
Contina
Ejemplos y detalles operativos de las revisiones sistemticas y metaanlisis /71
Cont.
Tabla 16.
Anlisis del efecto umbral
Figura 45. Curva roc. Elaboracin propia.
Cabe aclarar que los datos expuestos son derivados de datos creados por los autores,
es decir, no son derivados de una revisin sistemtica y solo se hizo con fines didcticos.
Para ampliar los detalles operativos se recomienda la lectura de las siguientes investi-
gaciones publicadas por los autores.
Metaanlisis
A continuacin se exponen algunos ttulos de investigaciones desarrolladas por los au-
tores del libro, en la modalidad de metanlisis:
9. Efecto del sexo sobre la deficiencia de hierro en donantes de sangre (Mantilla y
Cardona-Arias, 2013).
10. Impacto del vih/sida sobre la calidad de vida (Cardona-Arias e Higuita-Gutirrez,
2014).
11. Evaluacin de tcnicas inmunolgicas in vitro para el diagnstico de alergias (Cuer-
vo, Arango y Cardona-Arias, 2014).
12. Diagnosis of Strongyloides Stercoralis infection: meta-analysis on evaluation of con-
ventional parasitological methods 1980-2013 (Campo-Polanco, Gutirrez y Cardo-
na-Arias, 2014).
13. Efficacy of thermotherapy to treat cutaneous leishmaniasis: a meta-analysis of con-
trolled clinical trials (Cardona-Arias, Vlez y Lpez-Carvajal, 2015).
Referencias
Guevara, N., Rivas, L. y Ros, L. (2011). Utilidad de las tcnicas moleculares aplicadas
al diagnstico de Babesia bovis y Babesia bigemina en ganado bovino: revisin siste-
mtica. Hechos Microbiolgicos, 2(2), 65-78.
Mantilla, C. y Cardona-Arias, J. (2012). Prevalencia de la deficiencia de hierro en donan-
tes de sangre. Revisin bibliogrfica del periodo 2001-2011. Revista Espaola de Salud
Pblica, 86(4), 357-369.
Mantilla, C. y Cardona-Arias, J. (2013). Metaanlisis: prevalencia de deficiencia de hie-
rro en donantes de sangre repetitivos y asociacin con sexo, 2001-2011. Revista Cu-
bana Hematologa, Inmunologa y Hemoterapia, 29(1), 59-72.
Ros, S. y Ros, L. (2011). Principales marcadores moleculares utilizados para la identi-
ficacin de Babesia bovis y Babesia bigemina. Revista mvz (Crdoba), 16(2), 2470-2483.
Torres, G., Zapata, M., Restrepo, M. y Ros, L. (2011). Investigacin cientfica sobre
genotipificacin y distribucin de Giardia intestinalis en humanos y caninos de Am-
rica. Salud Uninorte, 27(1), 49-62.
Zamora, J., Abraira, V., Muriel, A., Khan, K. y Coomarasamy, A. (2006). Meta-DiSc: a sof-
tware for meta-analysis of test accuracy data. bmc Medical Research Methodology, 6, 31.