Вы находитесь на странице: 1из 51

PSICOMETRA

Tema 5.2
Evaluacin del instrumento de medida:
FIABILIDAD II
TEMA 5.2 : FIABILIDAD II

Salvador Chacn Moscoso


Susana Sanduvete Chaves
Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboracin en la elaboracin de este
material
TEMA 5
LA FIABILIDAD DE LAS PUNTUACIONES (II)
1. La fiabilidad como consistencia interna
2. Mtodos basados en la divisin del test en dos mitades
2.1. La ecuacin de Spearman-Brown
2.2. La frmula de Rulon
2.3. La frmula de Guttman-Flanagan
3. Mtodos basados en la covariacin entre los tems
3.1. Coeficiente alfa de Cronbach
3.1.1. Estimador insesgado de alfa
3.1.2. El coeficiente alfa como lmite inferior del coeficiente de fiabilidad
3.1.3. Inferencias sobre alfa
3.2. Casos particulares del coeficiente alfa
4. Coeficientes basados en el anlisis factorial de los tems: Theta () y
Omega ()
5. El coeficiente beta () de Raju
TEMA 5.2 : FIABILIDAD II

6. Estimacin de la puntuacin verdadera de los sujetos en el atributo de


inters
6.1. Estimacin basada en la desigualdad de Chebychev
6.2. Estimacin basada en la distribucin normal de los errores
6.3. Estimacin basada en el modelo de regresin lineal
7. Valoracin de la Teora Clsica de los Tests
8. Introduccin a la fiabilidad en los tests referidos al criterio.
9. Otras aproximaciones al estudio de la fiabilidad. La fiabilidad en la
metodologa observacional
10. A modo de sntesis
5.13. Bibliografa bsica 2
LA FIABILIDAD COMO CONSISTENCIA INTERNA

FIABILIDAD COMO CONSISTENCIA INTERNA:


En el tema 5.1, vimos que el coeficiente de fiabilidad se obtena
a partir de la correlacin entre formas paralelas de un test, o
mediante la correlacin entre dos aplicaciones del mismo test
(test-retest)

En la mayora de las ocasiones, slo es posible llevar a cabo una


nica aplicacin del test (evita problemas asociados con la
repeticin del test y con la dificultad de construir formas
TEMA 5.2 : FIABILIDAD II

paralelas).

Mtodos que requieren una sola aplicacin del test:


1. Divisin del test en dos mitades.
2. Covariacin entre todos los tems del test.
3
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Divisin del test en dos mitades
Divisin del test en dos mitades: no siempre es fcil, ya que
se requiere que las mitades sean iguales en cuanto a
dificultad y contenido.

Distintos procedimientos:
1. Asignar todos los elementos pares a la forma 1 y los impares a la
forma 2. Sin embargo, en muchos test los tems fciles suelen
aparecer al principio.
2. Ordenar los tems por su dificultad: a continuacin asignar los
TEMA 5.2 : FIABILIDAD II

pares a la forma 1 y los impares a la forma 2.


3. Asignacin aleatoria a cada una de las mitades.
4. Asignar tems a las mitades de forma que estn emparejadas en
contenido.

Tantos coeficientes de fiabilidad como divisiones


4
del test en dos mitades se puedan hacer
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Divisin
del test en dos mitades. Spearman-Brown

Ecuacin de Spearman-Brown para elementos paralelos: es el


mtodo ms antiguo y fue propuesto casi al mismo tiempo
por Spearman y Brown.
1. Se aplica el test a una muestra de sujetos.
2. Se divide el test en dos mitades (paralelas).
3. Se calcula la correlacin. Dicho valor equivale al rxx para cada
una de las mitades habra que aplicar la frmula de
correccin para el caso de un test con longitud doble.
TEMA 5.2 : FIABILIDAD II

2rXX '
R XX'
1 rXX '
RXX ' coeficiente de fiabilidad cuando se ha duplicado su longitud.
rXX' coeficiente de fiabilidad de cada una de las mitades.
5
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Divisin
del test en dos mitades. Spearman-Brown

En la siguiente tabla, se muestran las puntuaciones de una muestra


de participantes en los tems pares e impares de un test.

Participantes par X 1 imparX 2


1 8 4
2 7 7
3 8 6
4 5 4
TEMA 5.2 : FIABILIDAD II

5 8 7
6 6 6
Total 42 34

Calcular la fiabilidad utilizando la frmula de Spearman-Brown.


6
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Divisin
del test en dos mitades. Spearman-Brown

En la siguiente tabla, se muestran las puntuaciones de una muestra


de participantes en los tems pares e impares de un test
1. Calcular el
Participantes par X 1 impar X 2 X 12 X 22 X1 X 2
coeficiente de
1 8 4 64 16 32 correlacin entre
2 7 7 49 49 49 ambas mitades.
Obtenemos que vale
3 8 6 64 36 48 0,35
4 5 4 25 16 20
5 8 7 64 49 56
2. Aplicamos la
TEMA 5.2 : FIABILIDAD II

6 6 6 36 36 36 frmula de correccin
Total 42 34 302 202 241 de Spearman-Brown.
Obtenemos un valor
de 0,52
rX1X2 0,35
2rXX 2 * 0,35
R XX 0,52
1 rXX 1 0,35 7
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Divisin
del test en dos mitades. Rulon

Ecuacin de Rulon (1939): se utiliza cuando las dos mitades no


son estrictamente paralelas, pero se entiende que son tau-
equivalentes (igualdad de varianzas verdaderas); o
congenricas (V transformaciones lineales)

S d2
rX1X2 1 2
Sx
d diferencia entre las puntuaciones pares e impares.
S d2 varianza de las diferencia s entre las puntuaciones
TEMA 5.2 : FIABILIDAD II

pares e impares.
S x2 varianza de las puntuaciones empricas de los sujetos.
La equivalencia entre Spearman-Brown y Rulon depende
del grado de paralelismo de las formas, de forma que
cuanto ms parecidas sean, ms se aproximan los
8
valores.
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Divisin
del test en dos mitades. Rulon

En la siguiente tabla, se muestra las puntuaciones de una


muestra de participantes en los tems pares e impares de un
test

Participantes X Par Impar


A 4 3 1
B 1 1 0
C 6 3 3
D 2 1 1
TEMA 5.2 : FIABILIDAD II

E 3 1 2
F 5 2 3

Calcular la fiabilidad utilizando la frmula de Rulon.


9
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Divisin
del test en dos mitades. Rulon

En la siguiente tabla, se muestra las puntuaciones de una


muestra de participantes en los tems pares e impares de un
test
1. Calcularamos la
Participantes X Par Impar (P-I)=d varianza de las
A 4 3 1 2 diferencias. En este
caso es 1.14.
B 1 1 0 1 2. A continuacin,
podramos aplicar
C 6 3 3 0
directamente la frmula
D 2 1 1 0 de Rulon. Y de esta
TEMA 5.2 : FIABILIDAD II

E 3 1 2 -1 forma obtendramos
que el coef. De
F 5 2 3 -1 fiabilidad vale .61

2 2 ... (12 )
X d 0.17; S 2
d (0.17) 2 1.14
6
S d2 1.14
rXX 1 2 1 0.61
Sx 2.91 10
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Divisin
del test en dos mitades. Guttman-Flanagan

Guttman (1937) y Flanagan (1945): Llegaron de manera


independiente a una frmula equivalente a la de Rulon, pero
de ms fcil aplicacin.

S p2 S i2
rX1X2 2 1
S 2
x
S p2 y Si2 varianzas de las puntuaciones de los tems pares
TEMA 5.2 : FIABILIDAD II

e impares respectivamente.
S x2 varianza de las puntuaciones empricas de los sujetos.

Con los datos del ejercicio anterior, calcular el coeficiente de


fiabilidad utilizando Guttman-Flanagan. 11
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Divisin del test en dos mitades. Guttman-Flanagan

S p2 S i2
rX 1 X 2 2 1
S 2 Observamos que
x llegamos al mismo
S p2 0.81 resultado, sin
necesidad de
TEMA 5.2 : FIABILIDAD II

S i2 1.22 calcular las


S x2 2.91 puntuaciones
referidas a las
0.81 1.22 diferencias.
rX 1 X 2 2 1 0.61
2.91

12
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.

Mtodos basados en la covariacin de los tems:


uno de los principales problemas con la divisin del
test en dos mitades, es que existen numerosas
formas de obtener dos mitades, obteniendo tantas
estimaciones del coeficiente de fiabilidad como
diferentes dos mitades puedan hacerse. Una forma
de resolver este problema es estudiar la covariacin
de los tems.
TEMA 5.2 : FIABILIDAD II

Mtodos:
- Coeficiente alpha de Cronbach, y sus casos
particulares: KR20 y KR21 de Kuder-Richardson
13
(1937).
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.
Coeficiente alpha de Cronbach.
- Coeficiente alpha de Cronbach: expresa la fiabilidad del test
en funcin del nmero de tems y de la proporcin de la
varianza total del test debida a la covariacin de los tems
cuanto ms covaren los tems, mayor ser la fiabilidad del
test.

n

n
j
S 2

j 1
1
n 1 S x2
TEMA 5.2 : FIABILIDAD II



n nmero de elementos del test.
n

S
j 1
2
j sumatorio de la varianza de los elementos del test.

S x2 varianza de las puntuaciones del test. 14


LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.
Coeficiente alpha de Cronbach.

Se ha aplicado un test de percepcin visual a 6 sujetos.


Calcular el valor del coeficiente de fiabilidad del test.

Sujeto 1 2 3 4 5
A 3 4 3 3 4
B 2 3 2 4 4
C 4 2 2 3 3
TEMA 5.2 : FIABILIDAD II

D 2 1 1 2 1
E 1 1 1 2 1
F 0 0 1 1 1

15
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.
Coeficiente alpha de Cronbach.
Se ha aplicado un test de percepcin visual a 6 sujetos.
Calcular el valor del coeficiente de fiabilidad del test.
Sujeto 1 2 3 4 5 X
1. Calcular la varianza de cada
A 3 4 3 3 4 17 tems (puntuaciones de cada
B 2 3 2 4 4 15 columna)
2. Tambin habr que calcular la
C 4 2 2 3 3 14
varianza de las puntuaciones en
D 2 1 1 2 1 7 el test total (ltima columna)
E 1 1 1 2 1 6
3. Por ltimo, habr que obtener
TEMA 5.2 : FIABILIDAD II

F 0 0 1 1 1 3 el alpha de Cronbach. Que en


2 este caso vale .94
3 2
2 2
4 2
2 2
12
0
S12 (2) 2 1.67; S22 1.82;...; S52 1.9
6
17 2 152 14 2 7 2 6 2 32
Sx
2
(10.33) 2 27.29
6
5 1.67 1.82 ... 1.89
1 0.94 16
5 1 27.29
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Mtodos
basados en la covariacin de los tems.
Coeficiente alpha de Cronbach. Estimador insesgado
El estimador insesgado: alpha no es ms que un estimador o
aproximacin al valor real del coeficiente de fiabilidad. Sin
embargo, existe una aproximacin ms exacta de dicho
valor que se expresa mediante la siguiente frmula:

( N 3) 2

N 1
estimador insesgado
TEMA 5.2 : FIABILIDAD II

valor de alpha de Cronbach


N nmero de sujetos de la muestra

, cuando N

En la prctica, a partir de 100 sujetos las diferencias son


insignificantes. 17
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.
Coeficiente alpha de Cronbach. Inferencias
Alpha proporciona una estimacin del coeficiente de fiabilidad de
un test a partir de la muestra en que se ha aplicado, pero a
veces interesa plantearse si:

1. Puede tomar alpha un valor concreto en la


poblacin a partir del valor muestral obtenido?
2. Existen una diferencia significativa entre el valor de
alpha de dos muestras independientes?
TEMA 5.2 : FIABILIDAD II

3. Es significativa la diferencia entre dos valores de


alpha para una misma muestra?

- DESARROLLO DE LA TEORA MUESTRAL DEL


COEFICIENTE ALPHA (Feldt, 1965; Kristof,1963)
18
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.
Coeficiente alpha de Cronbach. Inferencias

- Puede tomar alpha un determinado valor en la


poblacin a partir del valor muestral obtenido?
Kristof (1963) y Feldt (1965), proponen el siguiente
estadstico basado en la distribucin F

1
F
1
F se distribuye con ( N 1) y (n - 1)(N - 1) grados de libertad
TEMA 5.2 : FIABILIDAD II

alpha propuesto por la hiptesis para la poblacin.


valor de alpha obtenido en la muestra
N nmero de sujetos de la muestra
n nmero de tems
19
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.
Coeficiente alpha de Cronbach. Inferencias
Existen una diferencia significativa entre el valor de alpha de
dos muestras independientes?
Feldt (1969), propone el estadstico de contraste W basado en
la distribucin F con (N1-1; y N2 1; grados de libertad) que
permite probar la H0: 1= 2

1 1
W
TEMA 5.2 : FIABILIDAD II

1 2
W se distribuye con ( N1 1) y (N 2 - 1) grados de libertad
1 y 2 alpha obtenido en cada muestra.
N 1 yN 2 nmero de sujetos de cada muestra

20
LA FIABILIDAD COMO CONSISTENCIA INTERNA.
Mtodos basados en la covariacin de los tems.
Coeficiente alpha de Cronbach. Inferencias
Existen una diferencia significativa entre el valor de alpha de
dos muestras dependientes?
Feldt (1969), propone el estadstico de contraste t basado en
la distribucin t con (N-2) g.l

(1 2 ) ( N 2)
t
4(1 )(1 )(1 r )
1 2
2
x1 x 2
TEMA 5.2 : FIABILIDAD II

t se distribuye seg t de student con ( N 2) grados de libertad


1 y 2 alpha obtenido en cada muestra.
rx21x 2 correlaci n al cuadrado entre las
puntuaciones en ambos test

21
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Mtodos
basados en la covariacin de los tems.
Coeficiente alpha de Cronbach. Casos particulares
Casos particulares de Alpha frmulas de Kuder-Richardson
(1937): hacen referencia a la estimacin de la fiabilidad de un
test en el caso de que los tems sean dicotmicos la
varianza viene determinada por:
S h2 ph qh
Donde ph es la proporcin de aciertos; mientras que qh es la de
errores. En tal caso alpha se puede definir mediante KR20 ,o
KR21 (cuando los tems presentan igual dificultad; es decir, la
TEMA 5.2 : FIABILIDAD II

misma proporcin de aciertos)


2

KR20
n
1
pq
X
X
n 1 S x
2 n n
KR21 1
Donde; n 1 S x2

n= es el nmero de tems
p= es la proporcin de aciertos

q= es la proporcin de errores
S2x= es la varianza total de test. 22
LA FIABILIDAD COMO CONSISTENCIA INTERNA. Mtodos
basados en la covariacin de los tems.
Coeficiente alpha de Cronbach. Casos particulares
Supongamos un test compuesto por 6 tems, y al que responden 6
sujetos

sujet
os
A B C D E F
KR20
n
1
pq

n 1 S x
2
1 1 1 1 1 1 1
2 1 1 1 0 1 1 6 .22 0.25 ... .22
1 .82
3 1 0 1 0 1 1 5 4.45
4 0 1 0 1 0 1
2. Y a continuacin
TEMA 5.2 : FIABILIDAD II

5 0 0 0 0 0 0 aplicar KR20. Se observa


6 1 0 0 0 0 0 que el valor obtenido es
p 4/6 3/6 ... .. .. 4/6 de .82
. .
q 2/6 3/6 2/6

VAR 1. Primero habra


.22 .25 . que
calcular la varianza
22 de los
23
tems, que al ser dicotmicos
es p*q.
COEFICIENTES BASADOS EN EL ANLISIS FACTORIAL
DE LOS TEMS

Los coeficientes Theta () de Carmines y Omega ()


constituyen dos indicadores de la consistencia interna de los
tems de un test, basados en el Anlisis Factorial de los
tems.


n 1
1 1
n h 2j
n 1 1 n 2 r jh
n nmero de tems del test n nmero de tems del test
TEMA 5.2 : FIABILIDAD II

1 varianza explicada por


h 2j comunalidad estimada del tem j
el 1er factor antes de la rotacin r jh representa la correlacin entre los
tems j y h

En general, para los mismos datos se verifica que 24


EL COEFICIENTE BETA () DE RAJU

El coeficiente Beta () de Raju (1977). Cuando un test se


divide en varios subtests con distinto nmero de items,
infraestima el coeficiente de fiabilidad, si se calcula a partir
de la puntuacin total de cada subtest.
Por el contrario, supera este problema y proporciona una
estimacin de la fiabilidad de un test compuesto por distintos
subtest (batera de test), a partir de las puntuaciones
totales en ellos.
TEMA 5.2 : FIABILIDAD II

k K=nmero de subtests.
S S
2
x
2
j
2

j 1
Sx=varianza del test total.
2
k
n
2
Sj=varianza de cada subtest.
S 1 j
2
x
j 1 n nj=nmero de tems de cada subtest.
n= nmero total de items del test. 25
EL COEFICIENTE BETA () DE RAJU. Ejemplo

Se ha aplicado un test compuesto por 4 subtest a una


muestra de 200 empleados de correos. Los subtests
estn compuestos por A=18; B=30; C=45 y D=55
tems. La varianza total del test es 50 y la de los
subtest es SA 5; SB 7; SC 9; y SD 11 . Calcular alfa y
2 2 2 2

Beta
1. A partir de las
4 5 7 9 11 puntuaciones totales
1 0.48 calculamos alpha, y
4 1 50
encontramos que vale
TEMA 5.2 : FIABILIDAD II

50 (5 7 9 11)
0.50 .48.
501 (0.015 0.041 0.092 0.138)

2. Sin embargo,
Slo, en el caso de que los distintos
cuando aplicamos
subtests, contengan el mismo
de Raju encontramos
nmero de tems, alpha y beta
que dicho valor es .50
sern iguales.
26
27

Procedimientos para
estimar la puntuacin
verdadera de los
TEMA 5.2 : FIABILIDAD II

sujetos

27
ESTIMACIN DE LA PUNTUACIN
VERDADERA

ESTIMACIN DE LA PUNTUACIN VERDADERA


Tras obtener un valor del coeficiente de fiabilidad, la
siguiente pregunta relevante que nos podemos hacer
es:
Cmo hacer estimaciones acerca del valor de la
puntuacin verdadera de un sujeto?:
TEMA 5.2 : FIABILIDAD II

1. Desigualdad de Chebychev.
2. Estimacin basada en la distribucin normal de los
errores.
3. Estimacin basada en el modelo de regresin.
28
ESTIMACIN DE LA PUNTUACIN VERDADERA.
Estimacin mediante la desigualdad de Chebychev

Desigualdad de Chebychev: no asume ningn tipo de distribucin ni de


las puntuaciones empricas ni de los errores de medida y permiti, por
primera vez, hacer estimaciones. Establece que la probabilidad de que una
variable aleatoria est distanciada de su media en menos de K veces su
desviacin tpica es mayor o igual que 1-1/K^2. Es decir se expresa
mediante:


K P X X KS X 1
1 2
K
TEMA 5.2 : FIABILIDAD II

donde :
1
1 2 nivel de confianza utilizado.
K
Sx desviacin tpica de la variable aleatoria.

29
ESTIMACIN DE LA PUNTUACIN VERDADERA.
Estimacin mediante la desigualdad de Chebychev

Desigualdad de Chebychev

Traducido en trminos psicomtricos, basndonos en las derivaciones del


modelo lineal de Spearman:

K P X V KS e 1
1
K2
1. Tendramos que
TEMA 5.2 : FIABILIDAD II

sustituir la media, 2. La desviacin


por la puntuacin tpica, por el
verdadera, ya que: error tpico de
medida ya que:
1. E ( X ) E (V ) E ( E ) X V X V E

30
ESTIMACIN DE LA PUNTUACIN VERDADERA.
Estimacin mediante la desigualdad de Chebychev

Se ha administrado un test cuyo rxx =0.73 a 200 sujetos (Media=52;


y sd=7). Con los datos obtenido, estimar la puntuacin
verdadera de un sujeto que obtuvo una puntuacin de 65 (NC
95%).
1. Primero tendramos que
S e S x 1 rxx 7 1 0.73 3.64 calcular el error tpico de
medida. Vale 3.64

1 2. Despejamos y
1 2 0.95; K 4.5
TEMA 5.2 : FIABILIDAD II

calculamos el valor de K.
k En este caso es 4.5
P| X V | KS X 0.95; 3. Sustituimos todos los
valores en la desigualdad.
P| 65 V | 4.5 * 3.64 0.95 Y comprobamos que con
P 16.38 | V 65 | 16.38 0.95 una Prob. del 95% la
P 48.62 V 81.38 0.95 puntuacin verdadera de
un sujeto que ha obtenido
una X=65, se encuentra 31
entre 48.62 y 81.38
ESTIMACIN DE LA PUNTUACIN VERDADERA.
Estimacin basada en la distribucin normal de los
errores
Estimacin basada en la distribucin normal de los
errores:
Asume la distribucin normal de E y de las X empricas
condicionadas a un determinado valor de V.
Fases:
1. Se fija un nivel de confianza y se determina el valor de Z
correspondiente.
2. Se calcula el error tpico de medida.
TEMA 5.2 : FIABILIDAD II

3. Se calcula el error de medida mximo (Emax):


Emax=Zc Se
4. Se calcula el intervalo confidencial de la puntuacin
verdadera:
IC=XEmax
32
ESTIMACIN DE LA PUNTUACIN VERDADERA.
Estimacin basada en la distribucin normal de
los errores
Con los datos del ejemplo anterior calcular el intervalo segn la
distribucin normal de los errores.
X 65; X 52; S x 7; rxx 0.73; NC 0.95
1. Primero tendramos que fijar
el NC, y determinar la Z
1. NC 95% Zc 1.96 asociada. En este caso para un
2. Se 3.64 NC del 95%, la Z, asociada es
de
2. A1.96
continuacin Se . 3.64
3.E max Zc * Se 1.96 * 3.64 7.13
3. El Emax; que es resultado del
TEMA 5.2 : FIABILIDAD II

72.13 producto de los anteriores. 7.13


4. IC X E max 65 7.13
57.87
4. Finalmente el IC de V. Que
para X=65, estar entre 57.87 y
48.62 V 81.38 72.13.
Este intervalo es menos amplio
57.87 V 72.13 que el anterior, debido a que
estamos asumiendo cierta
distribucin de probabilidad en 33
los datos, cosa que no ocurra
ESTIMACIN DE LA PUNTUACIN VERDADERA.
Estimacin basada en el modelo de regresin

Estimacin basada en el modelo de regresin:

Dado que X siempre est afectada por errores de medida (E)


podramos hacer estimaciones puntuales de V, y a posteriori
establecer intervalos de confianza en torno a ella. Es decir, utilizar
V en lugar de X para construir el Intervalo de Confianza.
En este caso, la prediccin de una variable Y, a partir de otra X,
viene expresada mediante la siguiente ecuacin:
TEMA 5.2 : FIABILIDAD II

Sy
Y ` rxy (X X ) Y
Sx

Donde:
rxy es la correlacin entre ambas variables.
Sy, Sx son las respectivas desviaciones tpicas 34
ESTIMACIN DE LA PUNTUACIN VERDADERA.
Estimacin basada en el modelo de regresin

Estimacin basada en el modelo de regresin:


Si lo traducimos en trminos psicomtricos:

Sv
V ` rxv (X X ) V 3. Y la Media de
Sx Y, por la de V.

2. La Sy, por la
1. La Y, sera Sv
sustituida por
V
TEMA 5.2 : FIABILIDAD II

Y dado que la razn entre las Sv y la Sx, es el ndice de fiabilidad;


y que la media de X y V son iguales, la ecuacin se simplifica:
Sv
rxv ; y que X V
Sx
Sv Sv
V ` ( X X ) X rxx ' ( X X ) X
Sx Sx
35
ESTIMACIN DE LA PUNTUACIN VERDADERA.

Con los datos del ejemplo anterior calcular el intervalo segn el


mtodo de regresin.
X 65; X 52; S x 7; rxx 0.73; NC 0.95

V ` rxx ( X X ) X 1. Primero, hacemos


una estimacin de la V
0.73(65 52) 52 61.49 , de un sujeto que ha
obtenido una X=65.
TEMA 5.2 : FIABILIDAD II

Obtenemos 61.49

Probablemente dicho valor no coincida con el valor real del sujeto.


A dicha diferencia se denomina error de estimacin, y a la
desviacin tpica de todas ellas, error tpico de estimacin
conveniencia de usar intervalos.
36
ESTIMACIN DE LA PUNTUACIN VERDADERA.

1. NC 95% Zc 1.96 1. Primero tendramos que fijar el


NC, y determinar la Z asociada. En
este caso para un NC del 95%, la Z,
2. S vx S x 1 rxx rxx asociada es de 1.96

7 1 0.73 0.73 3.09 2. A continuacin calcular el error


tpico de estimacin . 3.09 (ms
pequeo que Se)
3.Emax Zc * Svx 1.96 * 3.09 6.06 3. El Emax; que es resultado del
producto de los anteriores. 6.06
TEMA 5.2 : FIABILIDAD II

67.55 4. Finalmente el IC de V. Que para


4. IC V Emax 61.49 6.06
55.43 V`=61.49, estar entre 55.43 y
67.55.
48.62 V 81.38
Si comparamos este intervalo con
57.87 V 72.12 los anteriores, es el menos amplio
de todos a la larga los errores de
55.43 V 67.55 pronstico sern los mnimos. 37
VALORACIN DE LA TEORA CLSICA DE LOS TEST

VALORACIN DE LA TCT
Ventajas:
Parsimonia y enjundia psicolgica. Aplica a una amplia
diversidad de situaciones a las que ha sabido dar
soluciones prcticas (Muiz, 2001).
Limitaciones:
1. Los supuestos no se pueden comprobar empricamente
TEMA 5.2 : FIABILIDAD II

2. Concepto de error de medida: a) homogneo a lo largo


del continuo de aptitud; b) errores independientes; c)
concepto global que engloba todas las fuentes de
variabilidad.
3. Medidas estrictamente paralelas.
4. Carcter variante y dependiente de sus ndices.
5. Estimacin de la fiabilidad mltiples procedimientos
38
VALORACIN DE LA TEORA CLSICA DE LOS TEST

Encontramos una ventaja inherente a sus propias limitaciones ya que


dichas limitaciones han promovido el desarrollo de otras
importantes teoras, que han intentado superar:
- Problemas relacionados con el error de medida, o
-Dependencia de los instrumentos de medida sobre los propios
objetos de medida y viceversa.

No debemos olvidar que la TCT supone la primera formulacin


TEMA 5.2 : FIABILIDAD II

matemtica de una teora sobre las puntuaciones de los tests, y


por tanto su posicin en la mayora de los programas docentes y
manuales que se publican est ms que justificado

39
INTRODUCCIN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO

FIABILIDAD EN LOS TRC


TRN: ordenar a los sujetos respecto a su grupo segn su
nivel en el rasgo medido un sujeto que ocupa el P90 est
por encima del 90% de sujetos de su grupo en el rasgo
medido por el test.

En los aos 60, en evaluacin educativa, surge la


necesidad de construir tests que evalen directamente el
conocimiento de los estudiantes sobre los objetivos
TEMA 5.2 : FIABILIDAD II

programados. A partir de lo que surgen los TRC qu tipo


de problemas es capaz de resolver?qu tipo de resolucin
requieren?cul es el lmite de la capacidad del sujeto?:

Un test referido al criterio se utiliza para evaluar el


status absoluto del sujeto con respecto a algn
dominio de conductas bien definido (Popham, 1978) 40
INTRODUCCIN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
TRN vs TRC (Martnez-Arias, pg 657): 5 diferencias
-1.Finalidad de la evaluacin: TRC (rendimiento);
TRN(diferencias individuales)
-2.Construccin: TRN(teoras existentes);
TRC(especificacin del dominio).
-3.Seleccin de los tems: TRN(maximizar diferencias
individuales); TRC(de acuerdo con los objetivos)
TEMA 5.2 : FIABILIDAD II

-4.Significado de las puntuaciones; TRN(indicador de la


puntuacin verdadera); TRC(estimador del rendimiento
del sujeto en el dominio).
-5.Interpretacin de las puntuaciones: TRN(se compara
con su grupo normativo); TRC(tiene significado en
41
trminos absolutos).
INTRODUCCIN A LA FIABILIDAD EN LOS TRC

FIABILIDAD EN LOS TRC

Impulso de algunos aspectos como:


1. Definir con mayor claridad los objetivos de inters
2. Muestrear exhaustivamente los objetivos a evaluar.
3. Nuevas formas de evaluar la fiabilidad y validez
TEMA 5.2 : FIABILIDAD II

4. Establecer los puntos de corte ms apropiados.


5. Detectar los puntos fuertes y dbiles de los
sujetos.

42
INTRODUCCIN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO. Fiabilidad

Fiabilidad: determinar el grado de error presente en las


mediciones.

Objetivo en los TRC: clasificar a las personas entre las


que dominan el criterio y las que no.

Fiabilidad consistencia o precisin en las


TEMA 5.2 : FIABILIDAD II

clasificaciones realizadas por el test

Dos aplicaciones del Una sola aplicacin del


test test

43
INTRODUCCIN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO. Fiabilidad. Formas
paralelas
Dos aplicaciones: en este caso podemos aplicar el mismo test
a una muestra; o dos formas paralelas.

Fiabilidad perfecta clasificacin idntica en ambas


aplicaciones.

Procedimientos para su evaluacin:


1. Coeficiente p0 de Hambleton y 2. Coeficiente Kappa:
Novick:
Fc Fc Fa
p0 K
TEMA 5.2 : FIABILIDAD II

N N Fa

Donde; Donde;
Fc= nmero de personas en la Fc= nmero de personas en la
que ambos tests coinciden en que ambos tests coinciden en
la clasificacin. la clasificacin.
N= nmero total de personas. Fa=coincidencia por azar
N= nmero total de personas.

44
INTRODUCCIN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO. Fiabilidad. Formas paralelas
Se ha aplicado dos tests paralelos de Psicometra a 20 sujetos. Las
clasificaciones realizadas se muestran en la siguiente tabla.
Calcular la fiabilidad de la clasificacin.

1. Aplicando p0 vemos
Test B que los tests coinciden
Test A Apto No- Total en clasificar a 2 aptos
apto (N) y 14 no-aptos la
Apto 2 3 5 fiabilidad es 0.80
2. Aplicando K vemos la
No-apto 1 14 15
TEMA 5.2 : FIABILIDAD II

fiabilidad se reduce
Total 3 17 20 considerablemente al
(N) Fc 2 14 considerar las
1. p 0 0.80
N 20 clasificaciones realizadas
3 5 17 15 por azar.
(2 14)
Fc Fa 20 20 16 13.5
2.K 0.38
N Fa 20 13.5 20 13.5

45
OTRAS APROXIMACIONES AL ESTUDIO DE LA
FIABILIDAD. LA FIABLIDAD EN LA METODOLOGA
OBSERVACIONAL
OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD
Fiabilidad: Grado de precisin de la medida, o del instrumento
de medida utilizado
En Metodologa observacional, por ejemplo, el instrumento de
medida ms comn es un Sistema de categoras que
anlogamente a un test pretende recoger la variabilidad del
comportamiento del sujeto en el dominio comportamental que se
est estudiando.
TEMA 5.2 : FIABILIDAD II

Procedimientos ms habituales en su clculo se basan en los


mismos principios utilizados bajo la lgica de los TRC medir la
consistencia en las clasificaciones, en este caso de distintos
observadores: ndice de Acuerdo (aproximacin exploratoria);
Coeficiente Kappa.
46
OTRAS APROXIMACIONES AL ESTUDIO DE LA
FIABILIDAD. LA FIABLIDAD EN LA METODOLOGA
OBSERVACIONAL

SOLO PRETENDEMOS INDICAR QUE LA


FIABILIDAD NO ES EXCLUSIVA DE LA TEORA
DE TESTS, SINO, QUE EL PROBLEMA DE LA
PRECISIN ES COMN A CUALQUIER
APROXIMACIN CIENTFICA QUE IMPLIQUE
TEMA 5.2 : FIABILIDAD II

MEDICIN. LO EXCLUSIVO ES QUE CADA


APROXIMACIN ADAPTA EL MTODO A SUS
PECULIARIDADES DE ESTUDIO

47
A MODO DE SNTESIS

-El error de medida presente en todo proceso de medicin. Fiabilidad;


modelo lineal de Spearman (supuestos y derivaciones); factores que
afectan a la fiabilidad; formas paralelas y test-retest.

Apoximaciones al estudio de la fiabilidad

1. Fiabilidad como consistencia interna


- Dos mitades (Spearman-Brown; Rulon; Guttman-Flanagan)

- Covariacin tems (, KR20 KR21; , ; de Raju)


TEMA 5.2 : FIABILIDAD II

2. Estimacin de la puntuacin verdadera:

- Desigualdad de Chebychev.

- Distribucin normal de los errores.

- Mtodo de regresin

48
A MODO DE SNTESIS

Apoximaciones al estudio de la fiabilidad:

3. Fiabilidad en los TRC.

- P0 de Hambleton y Novick

- Kappa de Cohen.
TEMA 5.2 : FIABILIDAD II

4. Otras aproximaciones al estudio de la fiabilidad.

5. Reflexin general sobre el concepto de fiabilidad.


49
50 BIBLIOGRAFA COMENTADA

1. Barbero, I., Garca, E. Vila, E., y Holgado, F.P. (2010).


Psicometra: Problemas resueltos. Madrid: Sanz y Torres.
Se trata de un libro de ejercicios y problemas en el que se incluye
el desarrollo de la solucin. El alumno podr completar desde un
punto de vista aplicado los conceptos y contenidos vistos en la
parte terica; as como adquirir las destrezas necesarias para la
resolucin de problemas.
2. Barbero, I. (Coord) , Vila, E. y Holgado, F.P. (2010).
Psicometra. Madrid: Sanz y Torres.
En el captulo 4 se introduce el modelo lineal clsico y el
TEMA 5.2 : FIABILIDAD II

concepto de tests paralelos, as como la interpretacin del


coeficiente de fiabilidad y distintos mtodos para su estimacin. Y
el captulo 5 se centra en la fiabilidad de los TRC.
3. Gmez-Benito, J. (1996). Aportaciones de los modelos de
estructuras de covarianza al anlisis psicomtrico. En J. Muz
(Coord.), Psicometra. Madrid: Universitas.
El captulo 10, define conceptos fundamentales como coeficiente de50
fiabilidad y tests paralelos desde modelos de ecuaciones estructurales.
4. Martnez Arias, R. (1995). Psicometra: Teora de los Tests
Psicolgicos y Educativos.
El Captulo 3 presenta de una forma clara los conceptos bsicos del
modelo clsico. Los tres primeros apartados del Captulo 4 tambin se
pueden consultar para la preparacin de este tema. Presenta numerosos
ejercicios que permiten aplicar los conocimientos tericos adquiridos.
5. Meli, J.L. (2000). Teora de la Fiabilidad y la Validez. Valencia:
Cristbal Serrano.
En los Captulos 3 y 4 expone el modelo lineal clsico de los errores de
medida, el concepto de coeficiente e ndice de fiabilidad y la definicin de
tests paralelos. El Captulo 6 destaca algunas de las crticas. En el
TEMA 5.2 : FIABILIDAD II

Captulo 6 se trata la consistencia interna y los factores que afectan a la


estimacin de la fiabilidad.
7. Muz, J. (1996). Fiabilidad. En J. Muz (Coord.), Psicometra. Madrid:
Universitas.
En el Captulo 1 se resumen los conceptos fundamentales del modelo
lineal clsico y la definicin de paralelismo.
6. Nunnally, J.C. y Bernstein, I.J. (1995). Teora Psicomtrica. Mxico:
McGraw Hill. 51