Вы находитесь на странице: 1из 42

17/01/2014

PSICOMETRA
Tema 4.
Evaluacin del instrumento de
medida:
ANLISIS DE TEMS
TEMA 4: ANLISIS DE TEMS

Salvador Chacn Moscoso


Susana Sanduvete Chaves

Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboracin en la elaboracin de este material

NDICE

1. Introduccin.
2. Parmetros del tem.
2.1. Dificultad del tem.
2.2. Discriminacin del tem.
2.3. ndice de fiabilidad del tem.
2.4. ndice de validez del tem.
2.5. Comparacin de las respuestas a los tems.
3. Anlisis de los distractores.
TEMA 4: ANLISIS DE TEMS

3.1. Misma probabilidad de los distractores.


3.2. Poder discriminativo de los distractores.
4. Anlisis del funcionamiento diferencial del tem.
4.1. Conceptos de sesgo, impacto y funcionamiento
diferencial del tem.
4.2. Procedimientos: 2 de los aciertos y Mantel-Haenszel.
5. Bibliografa comentada. 2

1
17/01/2014

1. INTRODUCCIN

La calidad psicomtrica puede evaluarse mediante el anlisis de:


1. La alternativa correcta.
2. Las incorrectas.

Con el anlisis de la alternativa correcta, se obtienen indicadores como:


1. Dificultad: puede estimarse a priori desde consideraciones tericas. Su
anlisis emprico permite detectar tems con una facilidad o dificultad
TEMA 4: ANLISIS DE TEMS

extrema  revisar o eliminar.


2. Discriminacin: es capaz de diferenciar a los participantes de distinto
nivel en la variable medida?
3. Fiabilidad y validez: reflejan la contribucin del tem a la fiabilidad y
validez referida al test en su conjunto.
3

1. INTRODUCCIN

La calidad psicomtrica puede evaluarse mediante el


anlisis de:
1. La alternativa correcta.
2. Las incorrectas.
TEMA 4: ANLISIS DE TEMS

Anlisis de las incorrectas o anlisis de distractores:


informa sobre la utilidad de cada alternativa
incorrecta del tem y su contribucin a la calidad
del mismo. Su funcin es atraer las respuestas de
los participantes menos competentes en la variable
4
medida.

2
17/01/2014

2. Parmetros de los tems


TEMA 4: ANLISIS DE TEMS

2.1. PARAMETROS DE LOS TEMS.


Dificultad del tem
Dificultad del tem: El ndice ms sencillo de obtener viene dado por la
proporcin de participantes que responden correctamente al tem.

A
p=
N
Donde:
A = nmero de participantes que respondieron correctamente al tem
TEMA 4: ANLISIS DE TEMS

N = nmero de participantes que respondieron al tem

p oscila entre 0 y 1.
Donde:
0  ningn participante ha acertado el tem (extremadamente difcil).
1  todos los participantes han acertado el tem (extremadamente fcil).6

3
17/01/2014

2.1. PARAMETROS DE LOS TEMS.


Dificultad del tem
Un tem dicotmico de rendimiento en lengua se aplica a 10 estudiantes. Las
respuestas al tem se muestran en la siguiente tabla:

Alumno 1 2 3 4 5 6 7 8 9 10

Respuesta 1 1 0 1 1 0 0 1 1 0

Se aplica a otra muestra de participantes muy competentes en lengua:


TEMA 4: ANLISIS DE TEMS

Alumno 1 2 3 4 5 6 7 8 9 10

Respuesta 1 1 0 1 1 1 1 1 1 1

2.1. PARAMETROS DE LOS TEMS.


Dificultad del tem
Un tem dicotmico de rendimiento en lengua se aplica a 10 alumnos. Las respuestas al tem
se muestran en la siguiente tabla
p sera la proporcin de
Alumno 1 2 3 4 5 6 7 8 9 10 participantes que han
acertado (6/10)
Resp. 1 1 0 1 1 0 0 1 1 0 dificultad media
A 1+1+ 0 +1+1+ 0 + 0 +1+1+ 0 6
p= = = = 0,6
N 10 10
Se aplica a otra muestra de participantes muy competentes en lengua:
En participantes ms
competentes p,
TEMA 4: ANLISIS DE TEMS

Alumno 1 2 3 4 5 6 7 8 9 10
lgicamente es mayor
Resp. 1 1 0 1 1 1 1 1 1 1 (9/10) dificultad baja

A 1+1+ 0 +1+1+1+1+1+1+1 9
p= = = = 0,9
N 10 10
Es decir, la dificultad del tem va a depender de la muestra de
participantes en la que se calcule ya que, si la muestra es competente, el
tem va a resultar fcil y viceversa 8

4
17/01/2014

2.1. PARAMETROS DE LOS TEMS. Dificultad del tem.


Correccin de la dificultad en tems de eleccin mltiple
Correccin de la dificultad: En tems de eleccin mltiple los
participantes con nula o poca competencia suelen responder al azar  el
nmero de aciertos observados ser mayor que el esperado segn el nivel
de competencia de los participantes. La dificultad se corrige segn:
Los supuestos para poder
E E
A aplicarla son:
A k 1 k 1
p c = p p azar = =
N N N 1.Existe un subgrupo de
participantes, relativamente
Donde: numeroso, que responden
pc = dificultad del tem corregida correctamente al tem por pura
p = dificultad del tem sin corregir
TEMA 4: ANLISIS DE TEMS

adivinacin.
pazar = proporcin de respuestas correctas
al azar 2.Para este grupo de
E = nmero de errores participantes, todas las
k = nmero de alternativas de respuesta alternativas tienen la misma
probabilidad de ser elegidas.
Si no se sospecha sobre la existencia de participantes que
responden al azar, conviene aplicar p 9

2.1. PARAMETROS DE LOS TEMS. Dificultad del tem.


Correccin de la dificultad en tems de eleccin mltiple

En la tabla siguiente se muestran las distribuciones de frecuencias de


las respuestas de 500 alumnos a cuatro tems de eleccin mltiple con
4 alternativas de respuesta (* representa la opcin correcta).

Alternativas
tem A B C D
1 5 200 105 190*
2 64 250* 80 106
TEMA 4: ANLISIS DE TEMS

3 5 492* 0 3
4 50 65 350* 35

- Calcular la dificultad de cada tem (p y pc).


- Ordenarlos de menor a mayor en funcin de p.
10

5
17/01/2014

2.1. PARAMETROS DE LOS TEMS. Dificultad del tem.


Correccin de la dificultad en tems de eleccin mltiple
tem 1 :
A 190
p= = = 0,38 tem Aciertos Errores p pc
N 500
E 310 3 492 8 0,98 0,97
A 190
pc = p pazar = k 1 = 4 1 = 0,17 4 350 150 0,70 0,60
N 500
2 250 250 0,50 0,33
1 190 310 0,38 0,17

La ordenacin de los tems de menor a mayor dificultad sera 3, 4, 2, y 1.


TEMA 4: ANLISIS DE TEMS

La diferencia entre p y p corregida es mayor en los tems


ms difciles, ya que se supone que ha habido mayor
adivinacin al azar que en los fciles.
11

2.2. PARAMETROS DE LOS TEMS. Discriminacin del tem

Discriminacin del tem: la capacidad del tem para


distinguir a los participantes de baja, media y alta puntuacin
en la variable medida. El criterio, o la variable medida puede
ser interno o externo:
-Criterio interno: si tem y test miden el mismo concepto, es
esperable que los participantes que hayan obtenido una
puntuacin alta en el test, respondan correctamente al tem, y
viceversa.
-Criterio externo: el ndice de discriminacin es una medida
TEMA 4: ANLISIS DE TEMS

del grado de validez del tem referida a ese criterio, y su valor


ser proporcional al ndice de validez del test.

Procedimientos estadsticos:
-ndice de discriminacin D.
-Coeficientes de discriminacin. 12

6
17/01/2014

2.2. PARAMETROS DE LOS TEMS. Discriminacin del tem


Discriminacin: proporcin de aciertos en funcin del nivel de aptitud
de los participantes

1. Alta discriminacin: A medida que


2. Discriminacin moderada: A el nivel de habilidad de los
Proporcin de aciertos

Proporcin de aciertos
pesar de que permite separar entre participantes se incrementa la
participantes con distinto nivel, hay probabilidad de acertar es mayor. El
participantes con baja aptitud que grupo de alta aptitud lo acierta en
tienden a acertar el tem, y de entre mucha mayor proporcin que los de
los participantes con alta aptitud baja aptitud.
existen otros tantos que tienden a
Baja aptitud Alta aptitud Baja aptitud Alta aptitud

fallarlo.
TEMA 4: ANLISIS DE TEMS

3. Discriminacin nula: La
4. Discriminacin inversa: los proporcin de aciertos no es funcin
participantes con menos competencia del nivel de aptitud de los
Proporcin de aciertos
Proporcin de aciertos

tienden a acertarlo en mayor grado participantes


que los ms hbiles

Baja aptitud Alta aptitud Baja aptitud


13
Alta aptitud

2.2. PARAMETROS DE LOS TEMS. ndice de discriminacin D

El ndice de Discriminacin D: se basa en la comparacin del


rendimiento de los grupos extremos (bajo y alto) en las puntuaciones en
el test. Se compara el nmero de participantes que ha acertado el tem en
el grupo alto con respecto al grupo de baja aptitud.
Aalto Abajo
D=
Donde: Ng

Aalto A bajo = nmero de participantes que han respondido correctamente en los grupos
alto y bajo respectivamente.
Ng = nmero de participantes correspondientes al 27% de la muestra.
TEMA 4: ANLISIS DE TEMS

Interpretacin:
-Valores altos: los participantes del grupo alto obtienen ms respuestas correctas
que los del grupo bajo (discrimina adecuadamente)
-Valores prximos a cero: ambos grupos se encuentran prximos entre s  no
discrimina entre participantes de ambos grupos.
- Valores negativos: los participantes del grupo bajo obtienen ms respuestas
correctas que los del grupo alto  favorece la disminucin de la precisin del
14
instrumento de medida.

7
17/01/2014

2.2. PARAMETROS DE LOS TEMS. ndice de discriminacin D

ndice de Interpretacin
discriminacin
D 0,40 El tem presenta un gran poder
discriminativo
0,30 D 0,39 Discriminacin aceptable
0,20 D 0,29 Discrimina poco y necesita una
revisin
0,10 D 0,19 tems no adecuados, que deber ser
TEMA 4: ANLISIS DE TEMS

modificados o eliminados del test


D 0,0 tems que deben eliminarse
directamente

15

2.1., 2.2. PARAMETROS DE LOS TEMS. Ejemplo

Se presentan las respuestas de los participantes de una muestra a un tem de cuatro


alternativas. De los 63 participantes se seleccionaron: 27% superior (17) y el 27%
inferior.
Alternativas
1. Calcular la dificultad y el ndice de
Grupo A B C* D discriminacin D del tem.
Superior 1 0 13 3
Medio 3 4 10 12
Inferior 2 5 5 5
TEMA 4: ANLISIS DE TEMS

16

8
17/01/2014

2.1., 2.2. PARAMETROS DE LOS TEMS. Ejemplo

Se presentan las respuestas de los participantes de una muestra a un tem de cuatro


alternativas. De los 63 participantes se seleccionaron: 27% superior (17) y el 27%
inferior.
Alternativas
1. Calcular la dificultad y el ndice de
Grupo A B C* D discriminacin D del tem.
Superior 1 0 13 3
Medio 3 4 10 12
Inferior 2 5 5 5
1. El ndice de dificultad es 0,26, lo
TEMA 4: ANLISIS DE TEMS

E 35 que indica que es relativamente


A 28 difcil.
pc = k 1 = 4 1 = 0,26
N 63 2. El ndice D, es de 0,47, lo que
demuestra que diferencia
A Abajo 13 5
D = alto = = 0,47 adecuadamente entre participantes
Ng 17 de distinto nivel en el rasgo
medido
17

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial-puntual

El grado de discriminacin tambin puede medirse mediante el coeficiente


de correlacin. Tiene la ventaja, respecto al ndice D, que tiene en cuenta a
la totalidad de la muestra.
1. Correlacin Biserial-puntual: el tem es una variable dicotmica y la
puntuacin en el test es continua
(X c X ) p
rbp =
Donde:
Sx q
X c = media de las puntuaciones obtenidas en el test por los participantes que han
TEMA 4: ANLISIS DE TEMS

respondido correctamente al tem.


X = media de las puntuaciones en el test calculada con todos los participantes de
la muestra
Sx = desviacin tpica de las puntuaciones en el test con todos los participantes
P= dificultad del tem
18
q= 1-p

9
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial-puntual
Interpretacin:
- Los valores oscilan entre -1 y +1. Es poco probable que sea menor
que -0.10, o superior a 0.75.
- Se ha de corregir la asociacin espuria que aparece al calcular la
puntuacin del test incluyendo la del tem se correlaciona el tem
consigo mismo y por tanto se infla artificialmente el valor.

Tambin se puede aplicar la siguiente frmula de correccin:


TEMA 4: ANLISIS DE TEMS

rbp S x Si
rbp (c ) =
S + S x2 2rbp Si S x
i
2

A medida que el nmero de tems aumenta rbp se aproxima


a rbp(c)
19

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial-puntual

Ejemplo. La siguiente tabla muestra las respuestas de 5


personas a 4 tems. Calcular la correlacin biserial-puntual
del tem 2.

tems
Participantes 1 2 3 4
TEMA 4: ANLISIS DE TEMS

A 0 1 0 1
B 1 1 0 1
C 1 1 1 1
D 0 0 0 1
E 1 1 1 0
20

10
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial-puntual

tems Total
Participantes 1 2 3 4 X (X-i) (X-i)2
A 0 1 0 1 2 1 1
B 1 1 0 1 3 2 4
TEMA 4: ANLISIS DE TEMS

C 1 1 1 1 4 3 9
D 0 0 0 1 1 1 1
E 1 1 1 0 3 2 4
9 19

21

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial-puntual

Los participantes que respondieron correctamente el tem


fueron A, B, C y E; su media es:
1+ 2 + 3 + 2
X1 = =2
4
La media total es:
9
XT = = 1,8
TEMA 4: ANLISIS DE TEMS

5
La desviacin tpica del test es:

SX =
X 2

X =
2 19
1,82 = 0,56 = 0,75
N 5
22

11
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial-puntual

4
p= = 0,8
5

1
q= = 0,2
5
TEMA 4: ANLISIS DE TEMS

X1 XT p 2 1,8 0,8
rbp = = = 0,54
SX q 0,75 0,2

23

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial

2. Correlacin Biserial: tem es una variable continua que ha


sido dicotomizada y la puntuacin en el test es continua
(X c X ) p
rb =
Sx y
Donde:
X c = media de las puntuaciones obtenidas en el test por los participantes que han
respondido correctamente al tem.
X = media de las puntuaciones en el test calculada con todos los participantes de la
TEMA 4: ANLISIS DE TEMS

muestra
Sx = desviacin tpica de las puntuaciones en el test con todos los participantes
p= dificultad del tem
y= valor de la ordenada que le corresponde a la puntuacin tpica en la curva normal que
deja por debajo un rea igual a p. (se mira en tablas)

24
Con los datos del ejemplo anterior, calcular la correlacin biserial del tem 3.

12
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial

tems Total
Participantes 1 2 3 4 X (X-i) (X-i)2
A 0 1 0 1 2 2 4
B 1 1 0 1 3 3 9
C 1 1 1 1 4 3 9
TEMA 4: ANLISIS DE TEMS

D 0 0 0 1 1 1 1
E 1 1 1 0 3 2 4
11 27

25

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial

Los participantes que respondieron correctamente el tem


fueron C and E; sus medias son:
3+ 2
X1 = = 2,5
2
La media total es:
11
XT = = 2,2
TEMA 4: ANLISIS DE TEMS

5
La desviacin tpica del test es:

SX =
X 2

X =
2 27
2,2 2 = 5,4 4,84 = 0,56 = 0,75
N 5
26

13
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Correlacin biserial

2
p= = 0,4
5

X 1 X T p 2,5 2,2 0,4


rb = = = 0,4 *1,03 = 0,41
SX y 0,75 0,3863
TEMA 4: ANLISIS DE TEMS

Debido a que el valor p = 0,4 no aparece en la primera columna de la


tabla, buscamos su complementario (0,6), que se asocia con una y =
0,3863.

27

2.2. PARAMETROS DE LOS TEMS. Coeficientes de


discriminacin. Correlacin biserial-puntual y biserial
La biserial y la biserial-puntual, se pueden relacionar mediante:

y
rbp = rb
pq

Ventajas e inconvenientes:
TEMA 4: ANLISIS DE TEMS

1. La biserial-puntual es fiel reflejo de la contribucin del tem, ya


que no supone ninguna habilidad continua subyacente.
2. La biserial se ve menos influida por la dificultad del tem, y
tiende a ser invariante de una aplicacin a otra.

28

14
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Coeficiente de correlacin
-Coeficiente phi (
): se necesita calcular la correlacin entre la ejecucin
en un tem dicotmico y un test en el que la muestra de participantes
se divide en funcin de un punto de corte entre aptos-no aptos;
clnicos-no clnicos, etc. utilizar tablas de contingencia:

tem
+ -
Test - a b a+b
+ c d c+d
a+c d+d
TEMA 4: ANLISIS DE TEMS

Donde:
a = nmero de participantes con NO XITO- en el test y que aciertan el tem
b = nmero de participantes con NO XITO- en el test y que no aciertan el tem
c = nmero de personas con XITO- en el test y que aciertan el tem.
d= nmero de personas con XITO- en el test y que no aciertan el tem.
29

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Coeficiente de correlacin

Coeficiente phi (): para el clculo se procede mediante la siguiente


frmula:

bc ad
=
( a + b)(a + c )(c + d )(b + d )

tem
+ -
TEMA 4: ANLISIS DE TEMS

Test - a b a+b
+ c d c+d
a+c d+d

30

15
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin.
Coeficiente de correlacin

Ejemplo. La tabla que se presenta a continuacin contiene el


resultado de 50 estudiantes en un examen y en un tem de
dicho examen. Calcular el coeficiente de correlacin .

tem 5 (X)
TEMA 4: ANLISIS DE TEMS

1 (acertado) 0 (fallido)
Test (Y) 0 (suspenso) 5 10
1 (aprobado) 30 5

31

2.2. PARAMETROS DE LOS TEMS.


Coeficientes de discriminacin. Coeficiente de correlacin

tem 5 (X)
1 (acertado) 0 (fallido)
Test (Y) 0 (suspenso) 5 (a) 10 (b) 15
1 (aprobado) 30 (c) 5 (d) 35
35 15
TEMA 4: ANLISIS DE TEMS

bc ad 30 *10 5 * 5 275
= = = = 0,52
( a + b)(a + c )(c + d )(b + d ) 15 * 35 * 35 *15 525
Existe una alta correlacin entre el tem y el test; es decir, los
participantes que acertaron el tem generalmente aprobaron el
examen, mientras que quienes lo fallaron suspendieron en su
mayora. 32

16
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Discriminacin de los tems en diseos pre-post test

Discriminacin de los tems en diseos pre-post test: A veces,


tambin es necesario determinar el grado de discriminacin de un
tem entre un grupo de participantes que ha pasado por un
proceso de instruccin. Disponemos de varios ndices como:

1. ndice de discriminacin D: diferencia entre la proporcin de


participantes que contestan un determinado tem correctamente
despus y antes de recibir dicho perodo de instruccin.
D=Ppost-Ppre
TEMA 4: ANLISIS DE TEMS

Donde:
Ppost = proporcin de participantes que contestan correctamente un tem
despus de recibir la instruccin.
Ppre= proporcin de participantes que contestan correctamente un tem antes
de recibir la instruccin.
33

2.2. PARAMETROS DE LOS TEMS.


Discriminacin de los tems en diseos pre-post test.

Ejemplo: 40 personas participaron en un curso de


formacin. En la prueba previa al curso, 10
personas respondieron correctamente al tem 3;
tras el curso, 35 personas respondieron
correctamente a este mismo tem. Calcular el
TEMA 4: ANLISIS DE TEMS

ndice de discriminacin D.

34

17
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Discriminacin de los tems en diseos pre-post test

D = Ppost Ppre = 0,875 0,25 = 0,625


35
Ppost = = 0,875
40
10
TEMA 4: ANLISIS DE TEMS

Ppre = = 0,25
40

35

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Discriminacin en las escalas de actitudes: existen


procedimientos basados en mtodos correlacionales; y
mtodos basados en la divisin de grupos extremos de
actitud.

1. Mtodos correlacionales: coeficiente de correlacin de


Pearson o ndice de homogeneidad (IH). Si las
correlaciones obtenidas son nulas o bajas estara indicando
que el elemento no mide la misma dimensin de actitud 
tems que habra que eliminar.
TEMA 4: ANLISIS DE TEMS

NJX J X
RjX =
[NJ (J) ][NX (X ) ]
2 2 2 2

36

18
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Es necesario corregir la puntuacin del test, eliminando la


puntuacin de los participantes en el test, o aplicar la frmula:

R jX S X S j
R j( X j) =
S X2 + S 2j 2 R jX S X S j
TEMA 4: ANLISIS DE TEMS

Eliminar tems cuyo ndice de homogeneidad sea inferior a 0,20

37

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Ejemplo. La tabla que se presenta a continuacin muestra las respuestas


de 5 participantes a 4 tems de actitud. Calcular la discriminacin del
tem 4 utilizando el coeficiente de correlacin de Pearson.

tems
Participantes X1 X2 X3 X4
A 2 4 4 3
TEMA 4: ANLISIS DE TEMS

B 3 4 3 5
C 5 2 4 3
D 3 5 2 4
E 4 5 2 5
38

19
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Ejemplo. La tabla que se presenta a continuacin muestra las respuestas


de 5 participantes a 4 tems de actitud. Calcular la discriminacin del
tem 4 utilizando el coeficiente de correlacin de Pearson.

tems XT X4XT X24 X2T


Participantes X1 X2 X3 X4
A 2 4 4 3 13 39 9 169
B 3 4 3 5 15 75 25 225
TEMA 4: ANLISIS DE TEMS

C 5 2 4 3 14 42 9 196
D 3 5 2 4 14 56 16 196
E 4 5 2 5 16 80 25 256
20 72 292 84 1042
39

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

La correlacin o IH entre el tem 4 y la puntuacin total del


test es:

N JX J X
R jx = =
[ N J ( J ) *][ N X ( X ) ]
2 2 2 2

5 * 292 20 * 72
= 0,88
TEMA 4: ANLISIS DE TEMS

[5 * 84 20 2 ][5 *1042 72 2 ]

Se trata de un resultado inflado, puesto que el tem 4 est


incluido en la puntuacin total. Por ello, habra de hacerse
la correccin: 40

20
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Medias y desviaciones tpicas para el tem 4 y para la puntuacin


total:

X4 =
X20 4
=4 = X 2
4 2 84 2
SX4 = X4 = 4 = 0,8 = 0,89
N 5 N 5

XT =
X T = 72 = 14,4 X 2
T 2 1042
S XT = XT = 14,4 2 = 1,04 = 1,02
N 5 N 5
TEMA 4: ANLISIS DE TEMS

R jX S X S j 0,88 *1,02 0,89


R j( X j) = = = 0,01
2 2
S + S 2 R jX S X S j
X j
1,04 + 0,80 2 * 0,88 *1,02 * 0,89

41

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

La gran diferencia encontrada en el resultado


tras aplicar la correccin se debe al bajo
nmero de tems del ejemplo.
A medida que aumenta el nmero de tems, esta
diferencia va disminuyendo porque la influencia
del tem en la puntuacin total va siendo menor.
TEMA 4: ANLISIS DE TEMS

A partir de ms de 25 tems, los resultados


encontrados son muy similares.

42

21
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes
Discriminacin en las escalas de actitudes:
2. Mtodo de divisin en grupos extremos: se eligen dos grupos extremos (25 27%,
generalmente) de actitud a partir de las puntuaciones en la escala total; y se
comparan los elementos. Si no son discriminativos, no encontraremos diferencias
significativas. Para ello usamos una diferencia de medias mediante T de Student.
X sj X ij
T=
(ns 1)S + (ni 1)S ij2
2
sj 1 1
ns + ni 2 n + n
-Donde: s i

X sj =es la media de las puntuaciones obtenidas en el elemento j por aquellos


participantes, que en la escala total, obtuvieron puntuaciones ms altas
TEMA 4: ANLISIS DE TEMS

X ij =es la media de las puntuaciones obtenidas en el elemento j por aquellos


participantes, en la escala total, obtuvieron puntuaciones ms bajas
S sj2 =es la varianza de las puntuaciones obtenidas en el elemento j por los
participantes del grupo superior
Sij2 =es la varianza de las puntuaciones obtenidas en el elemento j por los
participantes del grupo inferior
ns y ni= son respectivamente el nmero de participantes que componen el grupo 43
superior e inferior

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Ejemplo: utilizando los mismos datos del ejemplo anterior, calcular la T de


Student para el tem 2. La media del grupo superior es
significativamente mayor que la media del grupo inferior? ( = 0,05).

Para calcular la discriminacin del tem 2 utilizando la T de Student,


tenemos que hacer dos grupos con las puntuaciones extremas. Por
razones didcticas, en este ejemplo cada grupo est conformado por
slo dos personas.
TEMA 4: ANLISIS DE TEMS

Participantes X2
Grupo E (16) 5
superior
B (15) 4
Participantes X2
Grupo A (13) 4
inferior
C (14) 2 44

22
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Participantes X2 X 22
Grupo E (16) 5 25
superior
B (15) 4 16
9 41
Participantes X2 X 22
Grupo A (13) 4 16
inferior
C (14) 2 4
TEMA 4: ANLISIS DE TEMS

6 20

X sj =
X sj
=
9
= 4,5
ns 2

X ij =
X ij
=
6
=3 45
ni 2

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

S sj2 =
X 2
sj 2
X sj =
41
4,52 = 20,5 20,25 = 0,25
ns 2

S ij2 =
X 2
ij 2
X ij =
20 2
3 = 10 9 = 1
ni 2

X sj X ij 4,5 3
T= = = 1,9
(ns 1) S + (ni 1) S 1 1
2 2 (2 1)0,25 + (2 1)1 1 1
sj ij +
n + n
TEMA 4: ANLISIS DE TEMS

ns + ni 2 2+22 2 2
s i

Una cola: T(,ns+ni-2) = T(0,05, 2+2-2) = T(0,05, 2) = 2,92

1,9 < 2,92 Se acepta la hiptesis nula. La media del grupo


superior no es significativamente mayor que la media del grupo
46
inferior. El tem no discrimina adecuadamente.

23
17/01/2014

2.2. PARAMETROS DE LOS TEMS.


Poder discriminativo de los tems en las escalas de actitudes

Cuando se violan los supuestos de normalidad y/o igualdad de varianzas


entre las poblaciones de las que proceden las muestras, podemos
utilizar la U de Mann-Whitney
Procedimiento:
1. Se hace una ordenacin conjunta de todos los participantes, asignando
el orden 1 a la puntuacin ms baja.
2. Se suman por separado los rdenes de cada grupo y se halla la U para
cada uno de ellos mediante la frmula
3. Se consulta en las tablas el valor crtico de U (si es mayor indica que
TEMA 4: ANLISIS DE TEMS

hay diferencias significativas).

ns ( ns + 1) -Donde:
U s = ns ni + Rs
2 Rs =la suma de los rdenes del grupo superior
n ( n + 1)
U i = ns ni + i i Ri Ri =la suma de los rdenes del grupo inferior
2
47

2.3., 2.4. PARAMETROS DE LOS TEMS.


Fiabilidad y validez del tem
ndices de fiabilidad y validez de los tems: pueden interpretarse
directamente en relacin con las propiedades psicomtricas ms
relevantes del test (fiabilidad y validez). Son estadsticos que estn en
funcin de la correlacin del tem con el test o criterio,
respectivamente.

IF = S j r jX
Donde:
Sj= desviacin tpica del tem.
rjX=correlacin del tem con la puntuacin en el test.
TEMA 4: ANLISIS DE TEMS

IV = r jY
Donde:
rjY=correlacin del tem con la puntuacin en el criterio.
48

24
17/01/2014

2.3., 2.4. PARAMETROS DE LOS TEMS.


Fiabilidad y validez del tem

Ejemplo: Con la informacin que se presenta a


continuacin, calcular el IF y el IV del tem 4.

p Rbp test Rbp criterio


tem 4 0,47 0,5 0,4
TEMA 4: ANLISIS DE TEMS

49

2.3., 2.4. PARAMETROS DE LOS TEMS.


Fiabilidad y validez del tem

IF = S j rjX = 0,5 * 0,5 = 0,25


S 2j = pq = 0,47 * 0,53 = 0,25
q = 1 p = 1 0,47 = 0,53
S j = S 2j = 0,25 = 0,5
TEMA 4: ANLISIS DE TEMS

IV = rjY = 0,4

50

25
17/01/2014

2.3., 2.4. PARAMETROS DE LOS TEMS.


Fiabilidad y validez del tem
Relacin entre validez y fiabilidad: La validez del test se puede expresar
a travs de los coeficientes de fiabilidad y validez de los tems:

Importancia de la ecuacin porque expresa la validez del test a partir de:


n n 1. La discriminacin de los tems (rjx)
S r
j =1
j jy S IV
j =1
j j

rxy = = 2. La validez de los tems (rjy)


n n

S r
j =1
j jx IF
j =1
j 3. La dificultad de los tems (S2j=pq)
TEMA 4: ANLISIS DE TEMS

Paradoja: si queremos seleccionar tems para maximizar la fiabilidad del test


tendremos que elegir aquellos cuya discriminacin (rjx) sea alta. Pero ello,
implica reducir el coeficiente de validez del test porque sta aumenta a
medida que los ndices de validez de los tems son elevados y los de fiabilidad
bajos. Por tanto, incrementar la validez, o la fiabilidad del test a partir de la
seleccin de los tems, es una cuestin que ha de ser sometida al criterio del
investigador
51

2.5. PARAMETROS DE LOS TEMS.


Comparacin de las respuestas a los tems
Supongamos que se han aplicado dos tems a una muestra de 200 participantes, y
que los datos se distribuyen segn la siguiente tabla:

tem 1
tem 2 Acierto Error
Acierto 65 (a) 35 (b)
Error 35 (c) 65 (d)
Es equivalente el grado de dificultad de los tems? (NC = 95%). Podemos
utilizar la Chi-cuadrado propuesta por Harris y Pearlman (1977). La
hiptesis que planteamos es si la ejecucin en ambos tems es igual o
TEMA 4: ANLISIS DE TEMS

no. 2
( b c 1)
2 =
b+c
2 X2(, 1): Se acepta la hiptesis nula. El grado de dificultad de ambos
tems es equivalente.
2 > X2(, 1): Se rechaza la hiptesis nula. El grado de dificultad de ambos52
tems es diferente.

26
17/01/2014

2.5. PARAMETROS DE LOS TEMS.


Comparacin de las respuestas a los tems

2 ( b c 1) 2 ( 35 35 1) 2
= = = 0,014
b+c 70
(20,05;1) = 3,84

NC = 95% (0,014 0,84)


TEMA 4: ANLISIS DE TEMS

Dado que a un nivel de confianza del 95% el valor


obtenido es menor que el de las tablas, podemos
concluir que la dificultad de ambos tems es igual, o
que no presentan valores significativamente distintos
53

3. ANLISIS DE DISTRACTORES

ANLISIS DE DISTRACTORES:
Si tras anlisis de tems, aparecen elementos poco discriminativos o con
dificultad extrema, pero que deseamos mantener  Revisin de las
alternativas o distractores.
El objetivo de un distractor es atraer la atencin de los participantes con
nivel medio o bajo en el constructo y que no tienen suficiente nivel para
responder correctamente al tem. Se consideran buenos si:
1. Son elegidas por un mnimo de participantes (al menos el 10%).
2. Son aproximadamente igual de atractivas para los participantes (misma
probabilidad).
TEMA 4: ANLISIS DE TEMS

3. El rendimiento medio en el test de los participantes que han elegido


cada distractor sea inferior al de los participantes que han seleccionado
la correcta la media en el test de los participantes que eligen la correcta
es superior a la media de los participantes que seleccionan la incorrecta.
4. Que discriminen entre los participantes de bajo, medio, y alto nivel en el
rasgo medido, pero en sentido contrario a como lo hace la alternativa
correcta ndice de discriminacin alto y negativo (poder 54
discriminativo)

27
17/01/2014

3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores
Los distractores son igualmente probables si son
seleccionados por un nmero mnimo de
participantes y si son igual de atractivos para
quienes no saben la respuesta correcta.

2:
(FTi FOi )2
TEMA 4: ANLISIS DE TEMS

k
=
2

j =1 FTi

FTi = Frecuencias tericas (esperadas).


FOi = Frecuencias observadas. 55

3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores

Grados de libertad: K -1 (K = nmero de alternativas


incorrectas).

Ho: FTi = FOi (en los participantes que no saben la


respuesta correcta, la eleccin de cualquier distractor es
igual de atractiva).
TEMA 4: ANLISIS DE TEMS

Conclusin:
2 2 Se acepta la hiptesis nula. Los distractores son
O ( , k 1)
igualmente probables.
2
>
O
2
( , k 1)
Se rechaza la hiptesis nula. Los distractores no
son igualmente probables.
56

28
17/01/2014

3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores
Ejemplo. Determinar si las alternativas
incorrectas son igual de atractivas ( = 0,05).

A B* C
Nmero de respuestas 136 142 92
TEMA 4: ANLISIS DE TEMS

57

3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores

=2
k
(FTi FOi )2 =
(114 136) 2 + (114 92) 2
=
j =1 FTi 114
22 2 + 22 2 484 + 484 968
= = = = 8,49
114 114 114
TEMA 4: ANLISIS DE TEMS

136 + 92 228
FTi = = = 114
2 2
Para ser igualmente probables, cada distractor habra de
ser elegido por 114 participantes.
58

29
17/01/2014

3. ANLISIS DE DISTRACTORES.
3.1. Misma probabilidad de los distractores

(2 ,k 1) = (20, 05; 21) = (20, 05;1) = 3,84

8,49 > 3,84 Se rechaza la hiptesis nula. Las alternativas


incorrectas no son igualmente atractivas para los
participantes, aunque cumplieron el criterio de haber sido
seleccionadas por un mnimo del 10% de la muestra (N).
TEMA 4: ANLISIS DE TEMS

N = 136 + 142 + 92 = 370


370 *10
10% = = 37
100
136 > 37
92 > 37 59

3. ANLISIS DE DISTRACTORES.
3.2. Poder discriminativo de los distractores
Discriminacin alternativas incorrectas: A medida que
la aptitud aumenta, la alternativa incorrecta es
seleccionada por menos participantes
participantes que la seleccionan
TEMA 4: ANLISIS DE TEMS

Baja aptitud Alta aptitud

60

30
17/01/2014

3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores
Alternativas del tem
A* B C D E
1. Alternativa B: no
funciona como un
Nivel de Superior 65 11 64 32 28 distractor eficaz ya que
aptitud inferior 15 30 20 68 67 no es elegida por un
mnimo de personas
Estadsticos P 0,30 0,08 0,19 0,21 0,22 (0,08).
X 11,1 8,3 13,2 8,9 7,8
D 0,25 -0,09 0,22 -0,18 -0,19

2. Alternativa C: no
TEMA 4: ANLISIS DE TEMS

3. Alternativas D y E Funcionan funciona como un


adecuadamente ya que son respondidas distractor eficaz ya que la
por un mnimo de personas y sus media es superior (13,2) a
ndices de discriminacin son negativos los que han elegido la
(-,18; y -,19 ) atraen a los participantes correcta atrae a
menos competentes de la muestra. participantes competentes

61

3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores
Ejemplo. La tabla que se presenta a continuacin contiene las
respuestas de 5 participantes a 4 tems. Entre parntesis se
muestra la alternativa seleccionada por cada participante.
La respuesta correcta est marcada con un asterisco.
Calcular la discriminacin del distractor b en el tem 3.

tems
Participantes 1(a*) 2(b*) 3(a*) 4(c*)
TEMA 4: ANLISIS DE TEMS

A 0 (b) 1 0 (b) 1
B 1 1 0 (b) 1
C 1 1 1 1
D 0 (c) 0 (a) 0 (b) 1
E 1 1 1 0 (b)
62

31
17/01/2014

3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores

tems Total
Participantes 1(a*) 2(b*) 3(a*) 4(c*) X (X-i) (X-i)2
A 0 (b) 1 0 (b) 1 2 2 4
B 1 1 0 (b) 1 3 3 9
C 1 1 1 1 4 3 9
D 0 (c) 0 (a) 0 (b) 1 1 1 1
E 1 1 1 0 (b) 3 2 4
11 27
TEMA 4: ANLISIS DE TEMS

X1 XT p 2 2,2 0,4
rbp = = = 0,22
SX q 0,75 0,6
Al encontrarse un resultado negativo, el distractor puede considerarse
bueno (fue principalmente elegido por participantes con bajo nivel de
conocimiento). 63

3. ANLISIS DE DISTRACTORES
3.2. Poder discriminativo de los distractores
Clculos:
Media de las puntuaciones en el test de los participantes que
seleccionaron la alternativa b en el tem 3 (participantes A, B y D):

2 + 3 +1 6
X1 = = =2
3 3
Los dems clculos se realizan como es usual (nada cambia):
11
XT = = 2,2
TEMA 4: ANLISIS DE TEMS

5
27
SX = 2,2 2 = 5,4 4,84 = 0,56 = 0,75
5
2
p = = 0,4
5 64
q = 1 p = 1 0,4 = 0,6

32
17/01/2014

3. ANLISIS DE DISTRACTORES.
3.2. Poder discriminativo de los distractores. Utilidad de los mtodos grficos

REPRESENTACIN GRFICA:
CCI emprica del tem 18
120 1. Alternativa A (correcta): a medida que el nivel de aptitud
aumenta, es seleccionada por ms participantes 
100
discriminacin positiva
80
a*
60
2. Distractores B y C: la tendencia es la contraria. En niveles
40 de aptitud bajo, son igualmente seleccionadas, y a medida que
b el nivel de aptitud aumenta la seleccionan cada vez menos
%en(1;1) IT18R

20 c participantes discriminacin negativa


%en(2;2) IT18R

0 %en(3;3) IT18R
no-apto aprobado notable

nota criterial
CCI emprica del tem 22 3. Alternativa A (correcta): aproximadamente es igualmente
TEMA 4: ANLISIS DE TEMS

80

70
selecciona entre participantes poco competentes y muy
60
a* competentes  discriminacin baja o prxima a cero.
50

40
b
30
4. Distractor B: es igualmente seleccionada indistintamente
20
c del nivel de aptitud de los participantes (lnea plana) 
%en(1;1) IT22R

%en(2;2) IT22R
10

0
discriminacin prxima a cero.
%en(3;3) IT22R
no-apto aprobado notable
5. Distractor C: Prcticamente a lo largo de todo el continuo
nota criterial
de aptitud lo identifican como falso, y por tanto no lo
seleccionan ni los participantes menos competentes. 65

3. ANLISIS DE DISTRACTORES.
3.2. Poder discriminativo de los distractores. Utilidad de los mtodos grficos
Diagrama de caja y Diagrama de caja y
bigotes de un ANOVA bigotes de un ANOVA
de un BUEN tem de un MAL tem
15 15

12 12

9 9
X
X

6 6

3 3

0 0
1 2 3 4 1 2 3
TEMA 4: ANLISIS DE TEMS

La media de los -La opcin 4 no ha sido seleccionada.


participantes que han -La opcin 3 slo la elige un
seleccionado la opcin participante.
correcta (3) es ms alta en -La opcin 2 presenta una
el test que los que han variabilidad pequea
seleccionado las incorrecta -La opcin correcta (1) ha sido
y estas a su vez no difieren respondida indistintamente por
entre si. 66
participantes de baja y alta aptitud.

33
17/01/2014

4. Funcionamiento
diferencial de los tems
TEMA 4: ANLISIS DE TEMS

67

4.1. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Conceptos de sesgo, impacto y funcionamiento diferencial del tem.

FUNCIONAMIENTO DIFERENCIAL DEL TEM:


miden todos los tems de la misma manera a todos los grupos de
participantes a los que se han administrado?en caso contrario,
estaramos perjudicando sistemticamente a determinados
participantes en funcin de su pertenencia a determinados grupos.
Martnez-Arias (1995): Las diferencias entre grupos encontradas en los
resultados de tests de aptitudes y rendimiento reflejan diferencias reales entre
los grupos o estn causadas por fuentes sistemticas de variacin ajenas al
constructo que mide el test?
TEMA 4: ANLISIS DE TEMS

Fuentes sistemticas de variacin, son las que


originan el sesgo, y afecta directamente a la validez de
constructo,  la introduccin de componentes
irrelevantes para el constructo. 68

34
17/01/2014

4. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Conceptos de sesgo, impacto y funcionamiento diferencial del tem.

Ejemplo: Se ha aplicado un test de 35 elementos que intenta medir el


rendimiento en matemticas de los alumnos de 2 de la ESO factores
como los contenidos elegidos pueden hacer que las nias tengan ms
probabilidades de xito en responder correctamente a los tems. Factores
ajenos al rendimiento en matemticas estn propiciando que dentro del
mismo nivel en el rasgo medido nios y nias obtengan resultados
distintos?

El Sesgo analiza las posibles fuentes de variacin que puedan beneficiar


ms a un subgrupo de participantes que a otros. Un tem est sesgado, en
la medida en que para dos participantes o grupos con el mismo valor en la
TEMA 4: ANLISIS DE TEMS

variable medida, se generan mediciones distintas.


El estudio del sesgo se realiza a travs de distintas tcnicas englobadas
bajo el epgrafe de Funcionamiento Diferencial del tem (DIF): Se dice
que un tem presenta DIF si comparando grupos de participantes en
funcin de una caracterstica sociodemogrfica (generalmente), se observa
que participantes con el mismo nivel en la variable medida tienen
diferentes posibilidades de acertar el tem. 69

4.1. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Conceptos de sesgo, impacto y funcionamiento diferencial del tem.

Conviene diferenciar claramente entre impacto y Funcionamiento


diferencial:
Impacto: Se dice que un tem presenta impacto cuando existen diferencias
reales en la puntuacin media obtenida en ese tem por dos grupos de
participantes con distinto nivel en el rasgo o caracterstica que mide el
test.
Funcionamiento Diferencial: Un tem presenta DIF cuando existen
diferencias en la puntuacin media obtenida en ese tem por dos grupos
de participantes pero con el mismo nivel en el rasgo o caracterstica
TEMA 4: ANLISIS DE TEMS

evaluada por el test (por ejemplo anglosajones e hispanos que responden a


un test sobre matemticas realizado en ingls).

La presencia de impacto, implica diferencias reales entre los


participantes de ambos grupos, mientras que el DIF indica que
no son reales, sino que se deben al instrumento de medida
utilizado 70

35
17/01/2014

4.1. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Conceptos de sesgo, impacto y funcionamiento diferencial del tem.
Ejemplo: test para detectar el riesgo de suicidio entre pacientes clnicos est
sesgado en funcin de la edad.
1. Cuando el riesgo de
20 suicidio es 16, los
18 jvenes obtienen en el
test una puntuacin
p u n tu a c i o n e s e n e l te s t

16
14 menor que los
12 ancianos. 
ancianos
10 participantes jvenes
jvenes
8 que procuran atencin
6 psicolgica urgente no
4 la reciban.
TEMA 4: ANLISIS DE TEMS

2
0
0 2 4 6 8 10 12 14 16
riesgo de suicio

2. Cuando el riesgo es despreciable. El test ofrece


puntuaciones similares para ambos grupos 71

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF.

Evaluacin del DIF  cuidadoso anlisis por parte de varios


expertos del contenido del tem que pueda estar perjudicando
sistemticamente a un grupo respecto a otros. A esto se le
denomina DIF (sustantivo), que hay que completar con
procedimientos estadsticos o DIF estadstico:

Procedimientos estadsticos:

1. 2 de los aciertos: dividir las puntuaciones de los dos grupos


analizados en distintos niveles (5 y 10, normalmente). Si el
TEMA 4: ANLISIS DE TEMS

tem no est sesgado es de esperar que las proporciones de


aciertos sean iguales en los distintos niveles para los dos
grupos. Aplicar 2 propuesta por Scheuneman (1979)

72

36
17/01/2014

EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, 2 de los aciertos
1. Se aplica un test a 400 participantes, 200 hombres y 200 mujeres, cuyas
puntuaciones se dividieron en 5 categoras. Se desea estudiar el posible
sesgo de un tem que por incluir estmulos visuales ms familiares a los
hombres pudiera estar sesgando a las mujeres
Nmero de Aciertos Proporcin de aciertos
X participantes
Mujer Hombre Total Mujer Hombre Total
20-24 20 15 35 15 10 25 25/35=0,71
15-19 100 105 205 70 85 155 155/205=0,76
10-14 50 40 90 10 30 40 40/90=0,44
TEMA 4: ANLISIS DE TEMS

5-9 20 30 50 5 20 25 25/50=0,50
0-4 10 10 20 0 5 5 5/20=0,25
Total 200 200 400 100 150 250
2. Expresa la proporcin de
1. Expresa el continuo aciertos. Es decir, el n de
de aptitud dividido en aciertos entre el total de
5 categoras. participantes en cada 73
categora.

EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, 2 de los aciertos
Se necesita la frecuencia esperada en
hombres y mujeres. Para ello, se
multiplica la proporcin de aciertos de
cada nivel por la frecuencia de mujeres
y hombres respectivamente.

X Frecuencias esperadas (Ho)


Mujeres Hombres
20-24 20*0,71=14,20 15*0,71=10,65
15-19 100*0,76=76 105*0,76=79,8
TEMA 4: ANLISIS DE TEMS

10-14 50*0,44=22 40*0,44=17,6


5-9 20*0,50=10 30*0,50=15
0-4 10*0,25=2,50 10*0,25=2,50

De esta forma, obtenemos los valores tericos, es decir, aquellos


que debieron haberse obtenido en caso de que la proporcin de
aciertos fuese la misma para ambos grupos.
74

37
17/01/2014

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, 2 de los aciertos

Finalmente, una vez conocidas las frecuencias empricas y tericas


podemos calcular el valor de Chi-cuadrado emprico
X Frecuencias empricas y tericas
Mujeres Hombres Otenemos un valor de
Empricas Tericas Empricas Tericas 25,34 que comparado
20-24 15 14,20 10 10,65
con el terico para un
N.C del 99% y 4 g.l
15-19 70 76 85 79,80
encontramos que es
10-14 10 22 30 17,6
mayor  ha de
5-9 5 10 20 15
rechazarse la hiptesis
TEMA 4: ANLISIS DE TEMS

0-4 0 2,5 5 2,5 nula. Es decir, ITEM


(15 14,2) 2 (5 2,5) 2 SESGADO
2 = + ... + = 25,34
14,2 2,5
(20,99; 4 ) = 13,28

NC = 99% (25,34 13,28) rechazamos la hiptesis nula : tem sesgado 75

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, el procedimiento de Mantel-Haenszel.

Procedimientos estadsticos:

2. El procedimiento de Mantel-Haenszel: dado su sencillez y


buenos resultados es uno de los mtodos ms utilizados en la
actualidad. Puede considerarse una extensin de los mtodos
basados en la Chi-Cuadrado como el anterior.
1. Seleccionar la variable externa que se sospeche que pueda estar
generando DIF. Se diferencia entre grupo de referencia (GR) que
usualmente es el grupo favorecido; y grupo focal (GF),
usualmente el grupo desfavorecido.
TEMA 4: ANLISIS DE TEMS

2. Subdividir a los participantes de ambos grupos en funcin de la


puntuacin emprica obtenida en el test en subgrupos de
habilidad homognea.
3. Calcular el nmero de respuestas correctas e incorrectas por
cada grupo y nivel de habilidad (k), y se organiza mediante una
tabla de contingencia de 2*2 (tantas como niveles de habilidad,
76
k).

38
17/01/2014

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, el procedimiento de Mantel-Haenszel.
Correctas Incorrectas
1. A= n de participantes
GR AK BK N del G.R que aciertan el tem
R en el nivel k de habilidad.
GF CK DK NF
N1 N2 NK

4. Estimar la cantidad de funcionamiento diferencial mediante la siguiente


expresin: n
Ak Dk
Nk
= k n=1
TEMA 4: ANLISIS DE TEMS

MH
Bk Ck

k =1 N k

5. Interpretar los resultados: Los valores de alfa oscilan entre 0 e infinito.


Valores mayores que 1 indican que el tem favorece al grupo de
referencia. Valores menores que 1 al focal. Y valores prximos a cero
indica que no hay DIF.
77

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, el procedimiento de Mantel-Haenszel.
Se sospecha que en un tem de matemticas est sesgado en contra
de las nias. Para descartar esa posibilidad se llev a cabo un
anlisis del FDI. Se formaron 4 grupos de aptitud. Los resultados
se muestran en la siguiente tabla, donde se muestran las
respuestas correctas e incorrectas en cada grupo de aptitud tanto
en nios como en nias:

Nios Nias
X Correctas Incorrectas Correctas Incorrectas
TEMA 4: ANLISIS DE TEMS

0-10 1 8 2 8
11-20 13 58 10 50
21-30 30 51 19 84
31-40 69 15 47 35

78

39
17/01/2014

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, el procedimiento de Mantel-Haenszel.
A partir de la tabla se forman tantas tablas de contingencia de 2*2 como
grupo de aptitud:
Nios (G.R) Nias (G.F)
X Correctas Incorrectas Correctas Incorrectas
0-10 1 8 2 8
11-20 13 58 10 50
21-30 30 51 19 84
31-40 69 15 47 35
TEMA 4: ANLISIS DE TEMS

En el nivel de aptitud
(0-X-10) Correctas Incorrectas comprendido entre 0 y 10
hay 19 participantes. En
GR 1 8
el G.R 1 ha acertado el
GF 2 8 tem, mientras que del
19 G.F han sido 2.

79

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, el procedimiento de Mantel-Haenszel.

Construimos tantas tablas de contingencia como niveles de


aptitud; y aplicamos la frmula de Mantel-Haenzel:

Dado que est por encima de


1, podemos concluir que existe
funcionamiento diferencial
1* 8 69 * 35 que beneficia al grupo de
+ ... +
MH = 19 166 = 2,28 referencia. Es decir, el tem
2 *8 47 *15 favorece a los nios y
+ ... +
TEMA 4: ANLISIS DE TEMS

19 166 perjudica a las nias con el


mismo nivel en el rasgo
medido.

80

40
17/01/2014

4.2. EL FUNCIONAMIENTO DIFERENCIAL DEL TEM.


Deteccin del DIF, el procedimiento de Mantel-Haenszel.

Limitaciones:
1. No detecta DIF no uniforme, que a diferencia del
uniforme en el que el tem perjudica sistemticamente al
grupo focal en todos los niveles de aptitud, el no
uniforme para unas categoras perjudica a un grupo y
para otra perjudica al otro grupo.
2. A medida que se reduce el nmero de categoras,
TEMA 4: ANLISIS DE TEMS

aumenta la probabilidad de catalogar tems con DIF.

81

5. BIBLIOGRAFA COMENTADA
1. Barbero, I., Garca, E. Vila, E., y Holgado, F.P. (2010). Psicometra:
Problemas resueltos. Madrid: Sanz y Torres.
Se trata de un libro de ejercicios y problemas en el que se incluye el
desarrollo de la solucin. El alumno podr completar desde un punto de
vista aplicado los conceptos y contenidos vistos en la parte terica; as
como adquirir las destrezas necesarias para la resolucin de problemas.

2. Barbero, I. (Coord.) , Vila, E. y Holgado, F.P. (2010). Psicometra.


Madrid: Sanz y Torres.
En el captulo 8 se realiza una profusa introduccin al concepto de anlisis
de los tems y se presentan con muchos ejemplos cada los parmetros de
TEMA 4: ANLISIS DE TEMS

los tems ms relevantes. El captulo termina con una sencilla explicacin


del FDI.
3. Fidalgo, A.M. (1996). Funcionamiento diferencial de los tems. En J.
Muiz (Coord.), Psicometra. Madrid: Sntesis.
Este Captulo puede servir para preparar los contenidos relacionados con el
estudio del DIF, particularmente los apartados 9.4 y 9.5 en los que se
abordan sus causas y se presentan algunas tcnicas estadsticas para su82
deteccin.

41
17/01/2014

5. BIBLIOGRAFA COMENTADA

4. Garca Cueto, E. (1993). Introduccin a la Psicometra. Madrid:


Siglo XXI.
El Captulo 12 se presentan los ndices estadsticos ms
habituales. Un buen resumen de los principales contenidos con
algunos ejercicios de autoevaluacin al final del tema.

5. Martnez Arias, R. (1995). Psicometra: Teora de los Tests


Psicolgicos y Educativos. Madrid: Sntesis.
TEMA 4: ANLISIS DE TEMS

El Captulo 18 se puede utilizar como referencia para la


preparacin de los aspectos tericos y aplicados. Se presentan
los principales ndices estadsticos clsicos para la evaluacin
de la calidad de los tems, tanto en los TRN como en TRC.

83

42

Вам также может понравиться