Reproduccin

Precisin
Varianza

LA CONFIABILIDAD

1.

LA CONFIABILIDAD.

Definicin
Magnusson (2005) que los resultados de
un test puedan ser reproducibles bajo
ciertas condiciones.
Magnusson (2005): que los puntajes
obtenidos a travs de una prueba sean los
mismos si se vuelve a medir el mismo rasgo
en condiciones idnticas.
Anastasi y Urbina (1998): Consistencia de
las puntuaciones obtenidas por una persona
cuando se le administra la misma prueba o
un test equivalente.
Prieto y Delgado (2010): la consistencia o
estabilidad de las medidas cuando el
proceso de medicin se repite
Magnusson (2005): Exactitud de la
medida, independientemente de lo que uno
este midiendo lo que ha querido medir. La
exactitud con que un test estima los puntajes
verdaderos
Aragn (2011) menciona que es la
precisin con que un test mide un atributo,
es decir, la ausencia de errores de medicin.
2
2
La
SV
Se
r tt = 2
r tt =1 2
proporcin
de la

St

St

Inconfiabilidad
Magnusson (2005): Dispersin de los valores
obtenidos de repetidas mediciones de la misma
distancia, bajo condiciones similares.
Cuanto mayor es la diferencia entre medidas del
mismo rasgo en repetidas ocasiones, tanto menor
es la confiabilidad
Resultado de la sensibilidad del instrumento a
los factores que no afectan el tamao de las
medidas sistemticamente, pero cambian de una
situacin de medida a otra
El instrumento de medicin es sensible a las
fluctuaciones Intraindividuales y a las diferencias
interindividuales al medir el constructo en
diferentes ocasiones

La proporcin de la

St

Que es

Se

St

A mayor

S e , mayor ser la Inconfiabilidad.

TEMA 2. EL ERROR ESTNDAR DE MEDIDA (EEM) E INTERVALO DE CONFIANZA (IC).

Puntaje Obtenido

tica

Hay que asegurar la estabilidad de los datos

derivados de la aplicacin de la prueba.
Buscamos con esto que la medicin sea precisa,
en el sentido de que efectivamente mida la
ubicacin tericamente verdadera de los sujetos
en el constructo de inters.

Es esencial para que los datos proporcionados por

el instrumento puedan utilizarse e interpretarse
de forma adecuada con un grado conocido de
confianza (Magnusson, 2005).

Puntaje
Obtenido

TCT

X =V + e

Explicacin
= Posicin del sujeto en el
continuo
latente
que
representa al raso.
= Diferencia entre el
puntaje observado y el
puntaje
verdadero.
Se
considera
aleatorio
(al
azar).

Caracterstic
as
Constante

Cambiante
variable

Puntaje de error

Error (

Tipos de error
Sistemtic
Aleatorio
o
Afecta
la
validez
Afecta
la
e
confiabilida
d

Factores Individuales o
Ambientales
Cambian de una ocasin
de medida a otra y en cierto
grado
modifican
la
capacidad de ejecucin del
individuo.
Errores
producidos por factores que
dan como resultado que los
puntajes
individuales
difieran de un test paralelo
a otro, aunque los puntajes
verdaderos
sean
los
mismos.

= 0

Propiedades de los errores

= 0

La media () de los puntajes

de error es cero. Esto es cierto
para a) un nmero infinito de
individuos en el mismo test, sin
importar
sus
puntajes
verdaderos.
B)
para
los
puntajes de error de un
individuo en un nmero infinito
de test paralelos

La correlacin () entre
los puntajes error en
diferentes aplicaciones del
test es cero para un
nmero
infinito
de
individuos.
Esto
es
razonable si los puntajes
error son considerados
como errores al azar.

= 0
La correlacin () entre los
puntajes verdaderos y los
puntajes error es cero. La
direccin de los errores es
independiente del tamao de
los puntajes verdaderos para
un
nmero
infinito
de
individuos.

EEM
in Explicac Formulan Definici

Intervalo de confianza (IC) y el Error estndar de medida (EEM)

Intervalos de Confianza (I.C.)
Intervalo de la escala nos permite
conocer donde se puede hallar el
puntaje verdadero del individuo con
algn grado conocido de confianza,

Xi=X + Z . Se

Error estndar de medida (EEM)

Es la desviacin estndar de los puntajes de error
de un individuo para un nmero infinito de test
paralelos. El error estndar de medida se computa
para calcular los intervalos dentro de los cuales se

Puntaje Z
Transformaciones que se pueden hacer a los valores
o puntuaciones de una distribucin normal, con el
propsito de analizar su distancia respecto a la
media, expresndolas en unidades de desviacin

Z=

S e =S x 1r tt

Xi X
Se

Xi=X
. Se
Xi= Z
Intervalos de confianza

S e = Error estndar de Medida (EEM)

Z = Puntaje Z

X = puntaje obtenido, supuesto

S x = Desviacin estndar

Xi= Intervalos de confianza

Caractersticas
1. La magnitud del EEM es una funcin de la magnitud del coeficiente de confiabilidad
2. El coeficiente de confiabilidad puede dar una impresin engaosa de confianza: La magnitud del coeficiente de confiabilidad es afectada por cambios
en la homogeneidad de la muestra, la magnitud del EEM no depende de esto.

TEMA 3. FUENTES DE ERROR ALEATORIO

Fuentes de
error
Sujeto
Evaluado

Se

Explicacin
Factores intrnsecos del sujeto

Fuentes
Fatiga, motivacin, estado de salud, estado
fsico

Disminuir el error
Control, estandarizacin de la
situacin de la aplicacin

r tt

Aleatorio

Interaccin
con el
evaluador

Condiciones
de la
aplicacin
Calificacin

S 2e(apl)

Adivinacin

S e(g )

Sistemtico

Memoria

S e()

S 2e(mem)

Velocidad

S 2e

Si la formulacin de los tems, las

respuestas posibles, los requisitos
de las respuestas, etc. son
ambiguos, hay la posibilidad de que
los individuos no interpreten los
tems de la misma manera de una
ocasin a otra
El efecto que tiene la inevitable
interaccin
entre
los
examinadores y los examinados
sobre
la
ejecucin
y
el
comportamiento de los individuos
examinados (depende de ambas
partes).
Lugar donde se lleva a cabo el
examen

Puede causar reacciones distintas en los

sujetos= mala traduccin, reacciones
ambiguas.

Control, estandarizacin, calidad del

instrumento,
instrucciones
explicitas, aplicaciones, prueba
pilotos.

Interaccin que hay entre las personas que

aplican y los resultados de las pruebas.
Percepcin social.

Rapport, respetar la consigna

Grado de las perturbaciones exteriores,

condiciones ambientales.

control, estandarizacin

Si definimos la objetividad como el

acuerdo entre diferentes jueces, la
carencia de objetividad en la
calificacin producir una varianza
de error
Ocurre en los llamados de eleccin
mltiple, las respuestas se presentan
en forma de opciones, una de las
cuales es correcta. Si un individuo
examinado es incapaz de resolver un
tem, puede adivinar
Ocurre cuando el sujeto por recordar
lo que respondi en la pregunta
anterior, vuelve a responder igual la
respuesta anterior. Introduce el error
Cuando la velocidad de ejecucin del
sujeto afecta el resultado. Cuando la
prueba mide velocidad de ejecucin.
(Ej. Prueba de poder-pruebas de

Se puntu la prueba y no sea sistemtico

Reglas
claras
y
explicitas,
estandarizacin, preparacin de los
evaluadores

Responder al azar

Factor de correccin. Al aplicar el

factor de correccin, los sujetos
deben estar conscientes de esto.
Permite disminuir el error al azar.

Los individuos necesitan recordar la

respuesta dada en la primera ocasin y
repetirla en la segunda, para que nosotros
obtengamos completo acuerdo entre los
Aquellos test sensibles a la velocidad, son
falsamente estables, en ocasiones
incrementa falsamente la confiabilidad.

Pruebas paralelas (controla la

memoria como fuente de varianza),
cambiar orden de los tems, mayor
intervalo entre aplicaciones
Variar orden de los tems, prueba
paralela, mayor intervalo de
aplicacin, debe ser fcil.
= =

Disminuye

S 2e

e Disminuy
ma sobresti

Caracterstica
s del
Instrumento

2
V

S 2flu

Cuando se cree que dos medidas

son paralelas y no lo son. No hay
equivalencia. El efecto a tratar es
Cambios autnticos en el puntaje
verdadero. Cuando hay un cambio
real en el puntaje verdadero

Cuando construimos test para medidas

paralelas, normalmente tratamos de hacer
que los test sean tan semejantes entre s
Subestima la confiabilidad y la calidad del
instrumento para medir con exactitud los
puntajes verdaderos. Esto se define como

Pruebas paralelas: Pruebas que

miden lo mismo (igual en contenido
y dificultad). Hay equivalencia.
Conocimientos del comportamiento
de la variable, pruebas diferentes
diseadas para grupo de edad.

TEMA 4. MTODOS PARA ESTIMAR LA CONFIABILIDAD

MEDICIN DE LA CONFIABILIDAD
El coeficiente de correlacin () para el acuerdo entre medidas repetidas bajo condiciones similares, constituye el valor numrico de la
confiabilidad de los datos que pueden obtenerse en un instrumento dado (Magnusson, 2005).
Coeficiente de Confiabilidad
CARACTERSTICA
DESCRIPCIN
S
Coeficiente
rtt= 0 a 1
Rango
0-1
Signo
Positivo
Coeficiente
Determinacin
Interpretacin
Grados. No es una cuestin
de todo o nada.
Si el instrumento es insensible a los factores debido al
azar, los puntajes del individuo en medidas sucesivas
sern idnticos y sus posiciones en las distribuciones
que podemos construir en cada ocasin de medida
sern las mismas, por lo que la correlacin entre las
distribuciones ser 1.0 (completamente confiable).
RANGOS
MAGNITUD
0,81 A 1
Muy alta
0,61 A 0,80
Alta
0,41 A 0,60
Moderada
0,21 A 0,40
Baja
0,01 A 0,20
Muy baja

Test paralelos
Instrumentos
de
medidas
equivalentes. Los test paralelos
deben construirse de tal manera que
una aplicacin de dos test de la
misma correlacin entre las dos
distribuciones de puntaje, que la de
dos aplicaciones de uno de los test.
Se basa en la suposicin de que se
puede quitar todas las huellas de la
primera aplicacin en la segunda
ocasin.
Los tems que correspondan entre s
en los test paralelos debern ser
similares
en
CONTENIDO,
INSTRUCCIONES,
TIPO
DE
RESPUESTA y DIFICULTAD, que las
medidas con ambos den los mismos
resultados que el medir dos veces
con uno de ellos

Test paralelos al azar

Test
compuesto
de
tems
seleccionados al azar de la misma
poblacin de tem- Correlacin entre
un test dado y un test paralelo.

ima. subest
ima. subest

Rasgo
ismo Paralel

Falta de
paralelismo
entre pruebas
Variaciones de
largo alcance
o

Mtodo

Explicacin

Test retest

Aplicar el mismo
instrumento
por
segunda ocasin.

Pruebas
paralelas

Se construyen 2
test tratando de
satisfacer lo mejor
posible
las
condiciones
de
estricto
paralelismo. El rtt
es
llamado
coeficiente
de
equivalencia.

r tt =
coeficiente
de
confiabilidad
Correlacin entre
los resultados de
la misma persona
en 2 aplicaciones
de la prueba.
Correlacin
bivariada.

Correlacin entre
las puntuaciones
de las 2 formas.
Correlacin
bivariada.

Mide

Aplicacin

Estabilidad temporal del

Puntaje
verdadero.
Predice
el
comportamiento futuro.

Depende de
la variable
que
se
pretende
medir y de
los sujetos
examinados
(Etapas
evolutivas).

Estabilidad temporal y
consistencia
de
las
respuestas
a
las
diferentes muestras de
tems.
Paralelismo/Equivalencia
.

corto
o
largo.
Si
hay tiempo
entre
las
aplicacione
s
puede
disminuir
por cambios
en el PV.
Contenido:
= contenido,
= dificultad

S 2e

Fluctuaciones
aleatorias (largo
alcance)
=
reducirse
espuriamente.
Memoria (Corto
alcance)
=
incrementarse
espuriamente.

Varianza
verdadera
Efectos de
aplicacin
Adivinacin

Falta
de
acuerdo entre los
calificadores
o
evaluadores.
Aplicacin
Adivinacin
Calificacin

Ventajas

Calculo
de
confiabilidad
test

Desventajas

la
del

restringido a
cambios al azar
de corto alcance

Practica
produce grados
de mejora
Efectos de la
memoria:
intervalos cortos,
mayor recuerdo,
resultados
no
independientes,
elevada y
falsa.

Facilita
la
aplicacin de la
misma prueba al
mismo Sujeto.

No
afecta
memoria.
Recomendada en
test de velocidad

Efecto
del
primer test sobre
el segundo el
uso de formas
alternas reduce,
pero no elimina
el efecto de la
prctica.

Difcil
construccin de
un
test
equivalente

grado en el que
la naturaleza de

Divisin por
mitades

KuderRichardson

Alpha
de
Cronbach.

Mediante diversos
procedimientos es
posible
obtener
una medida de rtt
a partir de una
nica
aplicacin
de la prueba ya
que al dividirla en
mitades
equivalentes. Se
obtienen
2
puntuaciones de
cada persona.
Un
test
se
encuentra
conformado
por
tantos
test
paralelos
como
tems tenga. Cada
tem es tratado
como
un
test
paralelo.
la magnitud en
que los tems de
un
test
estn
correlacionados
calculando
el
promedio de las
correlaciones
entre los reactivos
que forman un
instrumento

Se
obtienen
mitades paralelas
de una misma
prueba
y
se
calcula
la
correlacin entre
ellas

la
prueba
cambia con la
repeticin.
Este mtodo
tiene
el
inconveniente de
no ser til ante
pruebas
de
velocidad.

No
da
informacin de la
estabilidad
temporal.

Paralelismo

equivalencia entre las

pruebas. coeficiente de
precisin

1 Sola
Contenido:
= contenido,
= dificultad

Aplicacin
Adivinacin
Calificacin

Eficiente
en
cuanto a costo y
tiempo

La
correlacin
entre 1 tem y su
tem paralelo da
la rtt de 1 solo
tem

Consistencia Interna

1 sola
Contenido
tem:
= contenido,
= dificultad

Muestreo de
contenido
heterogeneidad

Da la mejor rtt
expresada como
test paralelos al
azar
Requiere de 1
sola aplicacin

No
da
informacin de la
estabilidad
temporal.

la intercorrelacin
entre los distintos
componentes de
un instrumento.
Rango:
Los
valores de este
coeficiente varan
entre 0 a 1,
siendo
los
valores
ms

Unidimensionalidad del
test. consistencia interna
Homogeneidad de los
tems o consistencia
interna del test.
Promedio de rxy de
todos los tems
Es ms estable que el
K-R
La heterogeneidad es
mala
o
buena

1 sola
Contenido
tem:
= contenido,
= dificultad

Adivinacin
Aplicacin
Velocidad
Cantidad de
tem
El muestreo de
contenido

La
heterogeneidad
de la conducta
muestreada.

Es indicador de la
unidimensionalida
d del test, pero se
requiere verificar la
estructura factorial
de la prueba.
Practicidad 1
sola aplicacin.

No
da
informacin de la
estabilidad
temporal.

r tt =

2.rtt
1+rtt

Confiabilida
d
entre
calificadores
o jueces

Magnusson
(2005) reporta que
ste ndice se
refiere al grado en
que los diferentes
tems
de
un
instrumento
covaran
estadsticamente
e indica cmo se
relacionan
entre
s.
Asimismo,
Cervantes (2005)
comenta
que
permite observar
la intercorrelacin
entre los distintos
componentes de
un instrumento, es
decir,
la
estimacin de la
equivalencia
de
los reactivos entre
s.
Grado de acuerdo
o consistencia que
existe entre dos o
ms evaluadores.

cercanos a 1
indicadores de un
alto grado de
consistencia
interna
(Magnusson,
2011). El clculo
de
este
coeficiente
proporciona
informacin
sobre
qu
reactivo
se
comporta de

dependiendo
del
constructo.
Heterogneo CIPersonalidad
Homogneo CalculoParcial

coeficiente
de
correlacin entre
las puntuaciones
asignadas
por
cada experto.
Kappa
Theta

Proporciona informacin
del error como resultado
de la calificacin de la
prueba.

<
homogeneidad <
consistencia
entre reactivo

1 Sola
Aplicacin
Adivinacin
Subjetividad

Calificacin
objetiva del test.

Informacin Adicional:
Alpha de Cronbach

Confiabilidad entre calificadores o

No
da
informacin de la
estabilidad
temporal.

Oviedo y Campo (2005) Interpretacin

Valor mnimo aceptable = 0,70. Menor = baja consistencia.
Valor mximo aceptable = 0,90. Mayor =Sobreestimacin.
Aceptable = 0,80-0,90

Oviedo y Campo (2005) expresan que representa una

propiedad inherente del patrn de respuesta de alguna
poblacin estudiada, no es un rasgo de una escala en s misma
por lo que puede variar en funcin al grupo al que se le aplique
el instrumento
Interpretacin
0.81-1 Muy alta
0.61 0.8 alta aceptable
0.41-0.60 moderada inadmisible
0.21 a 0.40 baja
0.01 a 0.20 muy baja 80% de la varianza del test es
varianza de error

Depende del uso. MERCADO

MEDICINA
CLNICO
INVESTIGACIN

jueces
De acuerdo a Viera y Garrett (2005), a
travs del estadstico Kappa, se puede
medir la confiabilidad entre observadores
en
situaciones
donde
dos
jueces
independientes estn evaluando el mismo
instrumento. En la tabla 1 se puede
apreciar la interpretacin estandarizada de
este ndice estadstico. Los autores
reportan que se puede utilizar un Kappa
por encima de 0,57

Kappa
<0
0,01-0,2
0,21-0,4
0,4-0,6
0,610,80
0,810,99
1

Interpretacin-Grado
acuerdo
Pobre Acuerdo
Escaso acuerdo
Acuerdo justo
Acuerdo Moderado
Acuerdo considerable
Acuerdo casi perfecto
Acuerdo Perfecto

0,70 (No mal coeficiente)

0,70 (Terrible) debe ser superior a 0,80
0,70 (terrible). Al tomar decisiones clnicas
debe ser superior a 0,90.
Entre 0,70 y 0,80

de

TEMA 5. LONGITUD DEL TEST Y HOMOGENEIDAD DE LA MUESTRA

Relacin
confiabilidad- longitud

Qu pasa con

La confiabilidad de los
puntajes de un test es
una funcin del nmero
de tems que componen
el test.

la confiabilidad se
incrementar al
aumentar el
nmero de test
paralelos
incluidos en el
test total

Errores

Terico

Esto sucede ya que los errores estn

compuestos por diferentes signos y
magnitudes, cuanto mayor es el nmero
de test paralelos incluidos en el test total,
tanto mayor ser el nmero de errores
que se cancelarn entre s. Esto permitir
que gradualmente nos acerquemos al
puntaje verdadero de un individuo.

Por lo tanto, si se aade

un nmero infinito de
test paralelos, nos
acercamos al puntaje
verdadero de cada
individuo y al valor 1.0
para la confiabilidad de
los puntajes del test
total.

la r tt ?

VARIANZA
VERDADERA
Primero veremos que le
sucede a la varianza de
los puntajes observados
cuando el test se dobla
en longitud, aadiendo
un nmero igual de
nuevos tems. S se
supone que estos tems
son paralelos a los del
test
original,
las
varianzas de las dos
mitades del test son
iguales

VARIANZA
VERDADERA
Los
puntajes
verdaderos en los test
paralelos se supone que
son iguales para cada
individuo. La varianza
verdadera, despus que
se ha doblado el
nmero de tems se
representa
de
la
siguiente manera.

VARIANZA DE ERROR
Cuando se duplica el
nmero de tem tambin
se duplica la varianza
de la distribucin de
puntajes de error

HOMOGENEIDAD DE LA MUESTRA DE PUNTAJES VERDADEROS

HETEROGENEIDAD
El tamao del coeficiente de Solo el tamao
DE LA MUESTRA DE
confiabilidad depende de la
del coeficiente
PUNTAJES
heterogeneidad de la
de confiabilidad
VERDADEROS
muestra de puntajes
es afectado por
> Heterogeneidad > rtt
verdaderos.
diferencias en la
A mayor homogeneidad en homogeneidad
< Heterogeneidad < rtt
la muestra de Individuos
de la muestra.
La 2=
HOMOGENEIDAD DE
2=
LOS REACTIVOS
2=sin
> Homogeneidad > rtt
(independiente de la
< Homogeneidad < rtt
homogeneidad de la
muestra)

FORMULARIO