INDICE KAPPA

Medida de concordancia para variable cualitativa

QU ES UN INDICE DE CONCORDANCIA?

Trata de medir el grado de acuerdo entre varios mtodos o evaluadores

que clasifican al paciente (o el resultado de una observacin) segn una
serie de posibilidades (categoras) mutuamente excluyentes.

Indica el grado de acuerdo que existe por encima del esperado por azar.

un objetivo de los estudios de fiabilidad debe consistir en estimar el

grado de dicha variabilidad.

ESTUDIO DE FIABILIDAD

Dos aspectos distintos forman parte del estudio de fiabilidad:

el sesgo entre observadores: dicho con

menos rigor, la tendencia de un observador a
dar consistentemente valores mayores que otro
la concordancia entre observadores: es
decir, hasta qu punto los observadores
coinciden en su medicin

ESTUDIO DE FIABILIDAD

La manera concreta de medir la concordancia de los datos depende

estrechamente de la naturaleza de los datos:

si stos son de tipo continuo se utilizan estimadores del coeficiente de

correlacin intraclase,

Si se trata de datos de tipo categrico el estadstico ms empleado es el

ndice kappa

QU ES EL INDICE KAPPA?

El coeficiente kappa fue propuesto originalmente por Cohen (1960) para

el caso de dos evaluadores o dos mtodos, por lo que a menudo se le
conoce como kappa de Cohen, y fue generalizado para el caso de ms
de dos evaluadores por Fleiss, por lo que a veces tambin se habla del
ndice kappa de Fleiss.

Observador A
Negativ
Obs. B Positivo
Total
o
Positivo
a
b
r
Negativ
c
d
s
o
Total
t
u
N

INDICE KAPPA

siendoPola proporcin de acuerdos observados yPela

proporcin de acuerdos esperados en la hiptesis de
independencia entre los observadores, es decir de acuerdos
por azar. A partir de la tabla

Para calcularPehay recordar que dos sucesos A1, A2son independientes si p(A1
A2)=p(A1)p(A2).
En este caso, si llamamos A1al suceso "el observador A clasifica un individuo como
positivo" y A2al suceso "el observador B clasifica un individuo como positivo" el suceso
A1 A2ser "ambos observadores clasifican un individuo como positivo"; como el
observador A ha clasificadotindividuos como positivos y el B ha clasificador, la mejor
estimacin de p(A1) est/Ny la de p(A2) esr/N, por lo tanto la mejor estimacin de la
probabilidad de que ambos clasifiquen como positivo a un individuo, en la hiptesis de
que ambos son independientes es su producto, es decirrt/N 2; por la misma razn, la
probabilidad de que ambos clasifiquen como negativo a un individuo por azar essu/N 2,
en consecuencia

TABLA DE INTERPRETACIN

kappa

grado de acuerdo

< 0,00

sin acuerdo

>0,00 - 0,20

Insignificante

0,21 - 0,40

Discreto

>0,41 - 0,60

moderado

0,61 - 0,80

sustancial

0,81 - 1,00

casi perfecto

EJEMPLO
Dos radilogos independientes informan como neumona
s/no 100 radiografas. Los resultados son

Radilogo A
Rad. B
Pulm.
No
Total

Pulmona No pulmona
4 (a)
10 (c)
14 (t)

6 (b)
80 (d)
86 (u)

Total
10 (r)
90 (s)
100 (N)

EJEMPLO

es decir, ambos radilogos coinciden en un 84% de las radiografas. Ahora bien, el

acuerdo esperado por azar es

por lo tanto

es decir, el grado de acuerdo una vez corregido el debido al azar es mucho ms

modesto que lo que indicaba el 84% de acuerdo "crudo". Segn la interpretacin
anterior, el acuerdo observado est compuesto por un 24,5% del acuerdo mximo y un
75,5% del esperado por azar.

Ejemplos

Se tiene un grupo de 50 personas que presentan una solicitud de

subvencin. Cada propuesta de subvencin es analizada por dos
evaluadores que anotan un "S" o un "No", segn acepten o rechacen,
respectivamente, la solicitud. El resultado del anlisis de cada solicitud
genera la tabla siguiente, en la que A y B denotan a cada uno de los dos
evaluadores:

Solucin

Ejemplo
Supongamos por un momento que soy el gerente del hospital y quiero contratar un
patlogo porque el nico que tengo est desbordado de trabajo.
Reno a mi patlogo y al candidato y les doy 795 biopsias para que me digan si
hay clulas malignas. Como podis ver en la primera tabla, mi patlogo encuentra
clulas malignas en 99 de las biopsias, mientras que el segundo las ve en 135 (no os
asustis, esto es solo un ejemplo, en la vida real no hay tanta diferencia, verdad?).
Nos preguntamos qu grado de acuerdo o, mejor dicho, concordancia hay entre los
dos.

En general CMO SE PRESENTAN

LOS DATOS?

Desde un punto de vista tpicamente estadstico es ms adecuado

liberarnos de la muestra concreta (los n tems que son clasificados por
los dos observadores) y pensar en trminos de la poblacin de la que se
supone que ha sido extrada dicha muestra. La consecuencia prctica de
este cambio de marco es que debemos modificar el esquema de la tabla
1 para sustituir los valores xij de cada celda por las probabilidades
conjuntas, que denotaremos por ij (tabla 3).