1

COMPARACIN DE MTODOS
2
Comparacin de mtodos
Objetivos:
demostrar que un (nuevo) mtodo tiene buena
correspondencia con otro (de referencia)
demostrar que una determinacin tiene las
mismas prestaciones con diferentes tipos
Premisas de los estudios de
comparacin de mtodos:
relacin lineal entre las dos determinaciones
establecidos el LOD y el rango dinmico
transformacin para normalizar los datos
Anlisis:
para detectar sesgo constante y proporcional
3
Method X
M
e
th
o
d
Y
2 3 4 5 6 7 8
3
4
5
6
7
8
Method Y vs. Method X
Average
D
iffe
re
n
c
e
3 4 5 6 7 8
-2
-1
0
1
2
Difference vs. Average
Sesgo (error) constante
La diferencia entre ambos mtodos es
constante a lo largo del rango de medicin
4
Method X)
M
e
th
o
d
Y
3 4 5 6 7
3
4
5
6
7
8
Method Y vs. Method X
Average
D
iffe
re
n
c
e
3 4 5 6 7 8
-0
.5
0
.0
0
.5
1
.0
Difference vs. Average
Sesgo (error) proporcional
La diferencias entre ambos mtodos es lineal a
lo largo del rango de medicin
5
sin transformar
transformacin log10
0 2 4 6 8 10
0.0
0.1
0.2
0.3
0.4
Titer
7 cp/mL
20 40 60 80 100 120 140
0.0
0.010
0.020
0.030
Titer
7.2E1 cp/mL
6*10^6 10^7 1.4*10^7
0
5*10^-8
1.5*10^-7
Titer
1.4E7 cp/mL
-1.5 -0.5 0.0 0.5 1.0
0.0
0.2
0.4
0.6
0.8
Titer
7 cp/mL
1.4 1.6 1.8 2.0 2.2
0.0
0.5
1.0
1.5
2.0
2.5
3.0
Titer
7.2E1 cp/mL
6.8 6.9 7.0 7.1 7.2
0
1
2
3
4
5
Titer
1.4E7 cp/mL
Transformaciones
Ej.: determinaciones basadas en la
PCR
log10 puede eliminar parte del sesgo
6
Metodologa estadstica
Coeficiente de correlacin
Otros coeficientes
Test t
Diagrama de Bland-Altman
Regresin de mnimos cuadrados
Regresin de Deming
Regresin de Passing-Bablok
2
7
Coeficiente de correlacin
Mide la intensidad de la relacin
lineal entre dos determinaciones
No mide concordancia: no puede
detectar sesgo proporcional o
constante
El coeficiente de correlacin puede
ser artificialmente alto para
determinaciones que cubran un
amplio espectro de valores
Qu significa alto? es alto
0,95? y 0,99? y 0,995?
8
Coeficiente de concordancia
Mide la intensidad de las relaciones entre dos
determinaciones que caen en la lnea de 45
por el origen (Lin, 1989)
Coeficiente de correlacin con el
patrn ureo
Mide la correspondencia entre una nueva
determinacin y el patrn ureo (St. Laurent
1998)
( )
1 2
2
2 2
1 2 1 2
2
C

=
+ +
( )
GG
G
DD GG
S
S S
=
+
Otros coeficientes
9
Test t
El test t para datos apareados para la
diferencia entre la media de las
mediciones por los dos mtodos
Slo puede detectar sesgo constante
No puede detectar sesgo
proporcional
10
Diagrama de Bland-Altman
Mtodos:
Representar la diferencia entre los dos
mtodos (D = X-Y) vs. la media de los dos
resultados (A = (X+Y)/2)
Inspeccionar visualmente el diagrama y ver si
hay tendencias (sugeriran sesgo proporcional)
Resumir el sesgo entre los mtodos con la
media, sd, IC 95 % (sesgo constante)
Modificacin: calcular la regresin D con A,
evaluar si la pendiente = 0 (Hawkins, 2002)
Herramienta visual til:
Transformacin, heteroscedasticidad, datos
extremos, curvatura (Bland and Altman, 1986)
11
Diagrama de Bland-Altman
Method X (log Titer)
M
e
th
o
d
Y
(lo
g
T
ite
r)
2 4 6 8
2
4
6
8
Method Y vs. Method X
Average (log Titer)
D
iffe
re
n
c
e
(lo
g
T
ite
r)
3 4 5 6 7 8
-0
.5
0
.0
0
.5
1
.0
Difference vs. Average
12
Copyright 2002 American Association for Clinical Chemistry
Dewitte, K. et al. Clin Chem2002;48:799-801
Overview of difference plots with mean differences (solid lines) and 2s limits (dashed lines)
3
13
Regresin por mnimos cuadrados
Mtodo
Calcular la regresin de los datos observados
en el nuevo mtodo (Y) con los obtenidos con
el de referencia (X)
Minimizar los cuadrados de las desviaciones
de la lnea identidad en sentido vertical
Modificaciones: mnimos cuadrados
ponderados
Suposiciones
El mtodo de referencia (X) no contiene error
(o es relativamente pequeo en comparacin
con el rango de medida) P ej. en bioqumica
clnica, los errores de medicin suelen ser
mnimos
14
Regresin por mnimos cuadrados
Linnet, 1999
15
Si hay errores de medicin en ambos
mtodos, las estimaciones estn
sesgadas
la pendiente tiende a ser menor;
la interceptacin tiende a ser mayor
Regresin por mnimos cuadrados
16
17 18
Regresin de Deming
Mtodo:
Estimacin de mnimos cuadrados ortogonales:
minimiza las desviaciones al cuadrado de los
datos observados a la lnea de regresin
Obtencin de los errores estndar para los
estimados mediante el mtodo de Jackknife
Regresin ponderada si hay heteroscedasticidad
Suposiciones
Los errores de medicin para ambas
determinaciones siguen DNI(0,s)
Las varianzas de los errores son proporcionales
(la varianza no es necesariamente constante en el
rango de datos) (Linnet, 1990)
4
19
Regresin de Deming
Linnet, 1999
20
Regresin de Deming
Cornbleet & Gochman, 1979
( ) ( )
( )( )
( ) ( )( )
( )
2
2 2 2
2
1 1
1
2
2
2
1 2
1
1
2
2
1
2 2
y x y x
y x
y x y x
N N
x
i i
y
i i
N
x y
i i
i
e x
e y
N
i y x i i
i
y x y y x y x
y a b x
b U U
a y b x
s
y y x x
s
U
r s s
y y x x
s
s
y y b x x y y
N
s s b r s s
N N
= =
=
=
= +

= + +

= =

=

= =

21
Regresin de Deming ponderada
Linnet, 1999
22
Regresin de Passing-Bablok
23
Regresin de Passing-Bablok
no paramtrica, robusta a datos extremos
Mtodo
Estimacin de la pendiente como la mediana
de las pendientes entre todos los posibles pares
de puntos (Theil )
Intervalos de confianza obtenidos por tcnicas
de ordenacin
Suposiciones
Los errores de medicin para ambas
determinaciones siguen la misma distribucin,
no necesariamente normal
El cociente de varianzas constante (aunque no
sea constante en el rango de medida)
Las distribuciones muestrales son arbitrarias
(Passing and Bablok, 1983
24
Regresin de Passing-Bablok
A
B
C
X
Y
5
25 26
Software
Paquetes estadsticos: SAS, Splus, R
Otros paquetes (para diagramas de
Bland-Altman regresin por OLS,
regresin de Passing-Bablok,
regresin de Deming):
Analyse-it (add-on de Excel): (no contiene la
regresin de Deming)
Method Validator (freeware)
CBStat (Linnet K.)
27
Criterios de aceptacin
Criterios de aceptacin independientes
para las estimaciones de la pendiente e
interceptacin:
estimacin de la pendiente dentro de (0,9 , 1,1)
estimacin de la interceptacin dentro de (-0,2 , 0,2)
Problema: regin de aceptacin
asimtrica a travs del rango de valores
28
Regin asimtrica de aceptacin
Method X (Log Titer)
M
e
th
o
d
Y
(L
o
g
T
ite
r)
2 4 6 8
2
4
6
8
Y = 0.2 + 1.1 * X
Slope=(0.9, 1.1), Int=(-0.2,0.2)
Y = -0.2 + 0.9 * X
Method X (Log Titer)
B
ia
s
=
M
e
th
o
d
Y
- M
e
th
o
d
X
(L
o
g
T
ite
r)
2 4 6 8
-1
.5
-1
.0
-0
.5
0
.0
0
.5
1
.0
1
.5
Asymmetrical Acceptance Region
29
Objetivos
Demostrar que el nuevo mtodo equivale al de
referencia
Demostrar que el sesgo entre ambos mtodos
est dentro de un umbral aceptable en el
rango clnico
Criterio de aceptacin
Seleccin del nivel de tolerancia
Especificacin de exactitud para el nuevo
mtodo
( ) ( ) sesgo Y X A = < E E
Criterios de aceptacin
30
Modelos matemticos
Mtodo de referencia:
Mtodo alternativo:
donde:
i
es la concentracin verdadera

i
y
i
son errores de medida aleatorios e independientes
Sesgo:
Criterio de aceptacin:
i i i
X = +
i i i
Y = + +
( ) 1
i i i i i
Y X = + +
( ) ( ) 1
i i i
Y X A = + < E
6
31
M
e
th
o
d
Y
(L
o
g
T
ite
r)
2 3 4 5 6 7
2
3
4
5
6
7
Acceptance Region for the Data
B
ia
s
: M
e
th
o
d
Y
- M
e
th
o
d
X
(L
o
g
T
ite
r)
2 3 4 5 6 7
-1
.5
-1
.0
-0
.5
0
.0
0
.5
1
.0
1
.5
Symmetrical Region
Comparacin de los criterios
de aceptacin
{int.(-0,2 , 0,2) , pendiente(0,9 , 1,1)}
vs. { A=0,5 , L=2, U=7}
32
Intercept (Alpha)
S
lo
p
e
(B
e
ta
)
-0.5 0.0 0.5
0
.8
0
.9
1
.0
1
.1
1
.2
Acceptance Region for the Parameters
Regin de aceptacin de los
parmetros
Los criterios para la interceptacin y
la pendiente son dependientes
33
A: exactitud del nuevo mtodo
Si el intervalo de confianza 90% bilateral del
sesgo cae por completo en la regin de
aceptacin, entonces los mtodos son
equivalentes (- A, A),
Se utiliza el mtodo de Deming-Jackknife
para la estimacin
0 1
: vs. : H sesgo A H sesgo A <
Test de equivalencia
34
(regresin de errores-en-las-variables, modelo
estructural o de relaciones funcionales)
Minimiza la suma de los cuadrados:
donde = var()/var() (conocida o estimada)
Las soluciones son:
Regresin de Deming ponderada:
( ) ( )
2 2
1
n
i i i i
i
S x y
=
(
= +
(

( )
2
2
1

4
2

y y x x x x y y x y
x y
S S S S S
S
y x
(
= + +
(

=

( )
2 2
1 1

i
i
i i
w
s
X Y

+
Regresin de Deming
35
Estimacin de en la
regresin de Deming
Medidas duplicadas:
>2 replicados: errores residuales por
ANOVA
Errores de especificacin de (Linnet 1998):
estimacin sesgada de la pendiente
gran error Tipo I
( )
( )
2
2
1 2 2
2
2
2
1 2
1
2

1
2
e x i i
X
Y
e y i i
s x x
s N
s
s y y
N

=
`

36
para obtener las estimaciones finales
de los parmetros
i

i
y sus errores
estndar
Omitir un par de datos cada vez, obteniendo
una estimacin de la regresin de Deming:
Los i-simos pseudo-valores de la
interceptacin y la pendiente son:
Las estimaciones finales y e.s.s para y son
la media y el error estndar de Y
( )
( )
( )
( )
1

1
i i
i i
n n
n n
=
=


Estimacin Jackknife
7
37
A cada nivel nominal , el i-simo
pseudo-valor del sesgo es:
La estimacin del sesgo y del e.s. a
cada nivel nominal son la media y el
e.s. del sesgo
El IC al 90% del sesgo a cada nivel
nominal se compara con la regin de
aceptacin (-A, A)
Dos mtodos son equivalentes si
todos los IC caen por completo
dentro de (-A, A)
( ) ( ) ( ) ( ) ( )

1 1 1
i i i
sesgo n n
( (
= + +


Estimacin Jackknife del sesgo
38
Ejemplo 1: determinacin de HIV1
Reference Method (log Titer)
N
e
w

M
e
t
h
o
d

(
lo
g

T
it
e
r
)
3 4 5 6
3
4
5
6
Methods Comparison Study
39
Diagrama de Bland-Altman
Average of Reference and New (log Titer)
D
if
f
e
r
e
n
c
e

=

N
e
w

-

R
e
f
e
r
e
n
c
e

(
lo
g

T
it
e
r
)
3 4 5 6
-
0
.
5
0
.
0
0
.
5
1
.
0
Bland-Altman Plot: Full Data Set
40
Identificacin de datos extremos
Fitted Difference
S
tu
d
e
n
tiz
e
d
R
e
s
id
u
a
l
0.0 0.01 0.02 0.03 0.04
-3
-2
-1
0
1
2
3
Residual Plot for Diff vs. Avg
34860
34794
Samples
L
e
v
e
ra
g
e
0 10 20 30 40 50
0
.0
2
0
.0
4
0
.0
6
0
.0
8
0
.1
0
34944
34851
Leverage
41
Eliminacin de datos extremos
Average of Reference and New (log Titer)
D
if
f
e
r
e
n
c
e

=

N
e
w

-

R
e
f
e
r
e
n
c
e

(
lo
g

T
it
e
r
)
3 4 5 6
-
0
.
6
-
0
.
4
-
0
.
2
0
.
0
0
.
2
0
.
4
Bland-Altman Plot
pendiente = 0.033 (valor p = 0.5)
diferencia media = 0.02
(IC 95%: -0.06, 0.10)
42
Anlisis de la regresin
Reference Method (log Titer)
N
e
w

M
e
t
h
o
d

(
lo
g

T
it
e
r
)
3 4 5 6
3
4
5
6
Regression Analysis
OLS: Y=0.084+0.986X
Passing-Bablok: Y=-0.137+1.044X
Deming-Jackknife: Y=-0.127+1.033X
8
43
Estimacin del sesgo
Reference Method (log Titer)
D
if
f
e
r
e
n
c
e

=

N
e
w

-

R
e
f
e
r
e
n
c
e


(
lo
g

T
it
e
r
)
3 4 5 6
-
0
.
6
-
0
.
4
-
0
.
2
0
.
0
0
.
2
0
.
4
Estimated Bias (90% CI) by Deming-Jackknife Regression
44
Ejemplo 2: EDTA plasma y suero
EDTA (log Titer)
S
e
r
u
m

(
lo
g

T
it
e
r
)
2 3 4 5 6 7 8
2
3
4
5
6
7
8
Matrix Equivalency Study
45
Diagrama de Bland-Altman
Average of EDTA and Serum (log Titer)
D
if
f
e
r
e
n
c
e

=

S
e
r
u
m

-

E
D
T
A

(
lo
g

T
it
e
r
)
3 4 5 6 7
-
1
.
0
-
0
.
5
0
.
0
0
.
5
Bland-Altman Plot
pendiente = 0,.03 (valor p = 0,6)
diferencia media = - 0,06 (IC 95%: - 0,16, 0,04)
46
Heteroscedasticidad
Mean EDTA (log Titer)
S
D
E
D
T
A
(lo
g
T
ite
r)
3 4 5 6 7
0
.0
2
0
.0
4
0
.0
6
0
.0
8
0
.1
0
0
.1
2
0
.1
4
EDTA
Mean Serum (log Titer)
S
D
S
e
ru
m
(lo
g
T
ite
r)
3 4 5 6 7
0
.0
2
0
.0
4
0
.0
6
0
.0
8
0
.1
0
0
.1
2
0
.1
4
Serum
47
1
Average of EDTA and Serum (log Titer)
V
a
r
(
E
D
T
A
E
r
r
o
r
s
)
/V
a
r
(
S
e
r
u
m
E
r
r
o
r
s
)
3 4 5 6 7
0
2
4
6
8Median Lambda = 0.945
Lambda Estimation
0, 071
0, 072
EDTA
suero
s
s
=
=
48
Estimacin del sesgo
EDTA (log Titer)
D
if
f
e
r
e
n
c
e

=

S
e
r
u
m

-

E
D
T
A

(
lo
g

T
it
e
r
)
3 4 5 6 7
-
1
.
0
-
0
.
5
0
.
0
0
.
5
Estimated Bias (90% CI) by Deming-Jackknife Regression
9
49
Referencias
Bland M., Altman D. (1986). Statistical methods for assessing
agreement between two methods of clinical measurement.
Lancet 347: 307-310.
Hawkins D. (2002). Diagnostics for conformity of paired
quantitative measurements. Stat in Med 21: 1913-1935.
Lin L.K. (1989). A concordance correlation coefficient to
evaluate reproducibility. Biometrics 45: 255-268.
Linnet K. (1990). Estimation of the linear relationship
between the measurements of two methods with proportional
bias. Stat in Med 9: 1463-1473.
Linnet K. (1993). Evaluation of regression procedures for
methods comparison studies. Clin Chem 39: 424-432.
Linnet K. (1998). Performance of Deming regression analysis
in case of misspecified analytical error ratio in method
comparisons studies. Clin Chem 44: 1024-1031.
Linnet K. (1999). Necessary sample size for method
comparison studies based on regression analysis. Clin Chem
45: 882-894.
50
Referencias
Passing H., Bablok W. (1983). A new biometrical procedure
for testing the equality of measurements from two different
analytical methods. J Clin Chem Clin Biochem 21: 709-720.
Passing H., Bablok W. (1984). Comparison of several
regression procedures for method comparison studies and
determination of sample sizes. J Clin Chem Clin Biochem 22:
431-445.
St. Laurent R.T. (1998). Evaluating Agreement with a Gold
Standard in Method Comparison Studies. Biometrics 54: 537-
545.