Академический Документы
Профессиональный Документы
Культура Документы
obtener la evidencia necesaria para hacer distintos tipos de inferencias, vimos de qu manera se poda
llevar a cabo un estudio de validacin relativa al criterio, cuando se cuenta con un nico predictor y un
solo indicador del criterio. Esta situacin es bastante rara cuando se pretende hacer una seleccin en el
contexto aplicado; en estas situaciones, lo normal es contar con ms de una variable predictora. En
este tema, estudiaremos la forma de llevar a cabo un estudio de validacin cuando se utilizan varios
predictores, as como la forma de analizar la validez de las decisiones tomadas a partir de las
puntuaciones obtenidas por los sujetos en el test o batera de tests. Para finalizar, se expondrn algunos
de los factores que afectan al coeficiente de validez y la forma de llevar a cabo un estudio de
generalizacin de la validez.
Es muy importante que el alumno, finalizado el tema, tenga muy claros y sepa interpretar los
siguientes conceptos:
Correlacin mltiple
Correlacin parcial y semiparcial
Error tpico de estimacin mltiple
Coeficientes de determinacin, alienacin y valor predictivo mltiples
Cmo construir y aplicar las ecuaciones de regresin mltiples en los distintos tipos de escalas
(directa, diferencial y tpica)
Cmo seleccionar los predictores ms adecuados de entre un conjunto de ellos
Cmo analizar la validez y utilidad de las decisiones tomadas a partir de las puntuaciones de los tests
Qu factores influyen en el coeficiente de validez y por qu.
Si se quiere cubrir un puesto de trabajo en una empresa, un anlisis serio de las necesidades y
caractersticas del puesto de trabajo, nos dar una idea de cules son las aptitudes, conocimientos o
variables de personalidad ms adecuadas para desarrollar correctamente el trabajo exigido, y cules
impedirn el desarrollo correcto del mismo. Ahora bien, para llevar a cabo el anlisis del puesto y
conocer realmente cules son las variables que van a incidir en que se desarrolle con xito el trabajo,
se puede llevar a cabo un estudio de validacin que implicar proceder de la siguiente forma:
Una vez seleccionadas, a priori, una serie de aptitudes, conocimientos o caractersticas de
personalidad, por ejemplo, que son aparentemente importantes para el puesto de trabajo (variables
predictoras), se seleccionan los instrumentos adecuados que van a permitir obtener 1 medida de cada
una de ellas.
Esta medida obtenida de cada una de las variables predictoras, se compara con la medida del criterio
de xito en el puesto de trabajo, obtenida a partir de 1 o varios indicadores.
Es posible, que las correlaciones entre las medidas obtenidas de las variables predictoras y la del
criterio sean altas, que algunas no correlacionen con la medida del criterio y que, adems, las medidas
de las variables predictoras correlacionen entre s
1 2 =
2 1 =
1 2 1 2
2
2
1
1
1
2
2 1 1 2
2
2
1
1
1
2
(1 2 ) =
(2 1 ) =
1 2 1 2
1 21 2
2 1 1 2
1 21 2
Viene dado por la correlacin mltiple entre las puntuaciones obtenidas por la muestra de
sujetos en la variable criterio y las obtenidas en el conjunto de variables predictoras. La correlacin
mltiple, va a permitir analizar el grado de asociacin entre la variable dependiente (el criterio) y el
conjunto de variables predictoras, en nuestro caso, X 1 y X 2
La correlacin mltiple, viene expresada por la siguiente frmula.
2
2
+
21 2 1 2
2
1 2 = 1
1 21 2
Por tanto, la correlacin mltiple entre la variable criterio y el conjunto de las dos variables
predictoras, es igual a la raz cuadrada de la suma de los cuadrados de las correlaciones simples entre
el criterio y cada una de las variables predictoras, menos el duplo del producto de las
intercorrelaciones entre las tres variables, dividido por uno menos la correlacin al cuadrado entre las
dos variables predictoras.
Otra forma de expresar la correlacin mltiple, es en funcin de los coeficientes de
regresin mltiple en puntuaciones tpicas (cuya frmula veremos luego) y de las correlaciones de
cada variable predictora con el criterio, mediante la siguiente expresin:
1 2 = 1 1 + 2 2
Dnde:
Y = puntuaciones de los sujetos de la muestra en el criterio
X1 y X2 = puntuaciones obtenidas por los sujetos de la muestra, en las 2 variables
predictoras
= coeficientes de regresin mltiples en puntuaciones tpicas
Aunque la estructura de este modelo, es igual que la del modelo de regresin simple, las
ecuaciones de regresin ya no son ecuaciones de una recta, sino de un plano o hiperplano, segn que
las variables predictoras, sean dos o ms. Nosotros vamos a poner un ejemplo muy sencillo para el
caso en que slo se utilicen 2 variables predictora (tendremos un plano), ya que lo que interesa es
aprender la lgica del procedimiento. Supongamos, por lo tanto, que contamos con las puntuaciones
obtenidas por una muestra de sujetos en dos variables predictoras (X 1 y X 2 ) y en el criterio Y.
La ecuacin del modelo de regresin mltiple sera:
= + 1 1 + 2 2
= 1 1 + 2 2
1 2 1 2
1
21 2
2 1 1 2
1 21 2
Dnde:
=Correlaciones entre la variable criterio (V.D) y cada una de las variables predictoras (V.I)
=Correlacin entre las 2 variables predictoras
=0
Al igual que suceda en el modelo de regresin lineal simple, la ordenada en el origen es igual a 0, por
lo tanto, se trata de un plano de regresin, que pasa por el origen de coordenadas.
= 1 1 + 2 2
= 1
= 2
=0
= + 1 1 + 2 2
= 1
1 2
2
Los coeficientes b de regresin, son iguales en puntuaciones directas y diferenciales, esto es, se
calculan de igual modo. Resulta importante, remarcar 2 cosas:
El coeficiente de validez mltiple indica la eficacia de las variables predictoras para estimar el
criterio. Cuanto ms alto sea el coeficiente de validez, ms exacta ser la estimacin del criterio y, en
el lmite, cuando el coeficiente de validez fuese la unidad, el valor estimado, coincidira con la
puntuacin que realmente obtuvieran los sujetos en el criterio. Sin embargo, a pesar de haber utilizado
ms de una variable predictora, el coeficiente de validez no ser perfecto (igual a 1 en valor absoluto),
y la estimacin vendr afectada por el denominado error de estimacin, que equivale a la diferencia
entre la puntuacin que ha obtenido un sujeto en el criterio (Y) y la que se le pronostica mediante la
ecuacin de regresin (Y). Con cada uno de los sujetos se comete un determinado error de
estimacin.
La varianza de todos los errores de estimacin cometidos con los sujetos de la muestra
seleccionada, se denomina Varianza residual, Varianza Error o Error Cuadrtico Medio, y su
frmula es:
1 2
( )2
=
Dnde
=
= .
Esta Varianza Error, representa la variabilidad media de las puntuaciones de los sujetos en el criterio,
respecto a la puntuacin que se les pronostica mediante la recta de regresin. A la Desviacin Tpica
de estos errores se le denomina Error Tpico de Estimacin Mltiple, y su frmula es:
( )2
1 2 =
Al igual que ocurra cuando slo se utilizaba un predictor, ms que estimaciones puntuales es
conveniente hacerlas por intervalos debido a los errores de estimacin que se cometen al hacer los
pronsticos. Para ello, asumiendo que la distribucin de dichos errores de estimacin, se ajusta a
una distribucin normal, cuya desviacin tpica viene dada por el error tpico de estimacin
mltiple, se establece 1 intervalo de confianza (confidencial) en torno a la puntuacin pronosticada
(Y). Los pasos a seguir son:
Determinar un nivel de confianza y buscar su puntuacin tpica asociada
Calcular el error tpico de estimacin mltiple
Calcular el error mximo
Aplicar la ecuacin de regresin correspondiente y obtener la puntuacin pronosticada
Establecer el intervalo de confianza
La varianza total de las puntuaciones obtenidas por los sujetos en el criterio (varianza de la
variable dependiente), se puede expresar como la suma de la varianza de las puntuaciones
pronosticadas a partir de las variables predictoras y la varianza de los residuos, o varianza error.
Dicho de otro modo: La variacin total de los valores de Y, es igual a la variacin explicada por el
influjo conjunto de X 1 y X 2 (conjunto de variables predictoras) ms la variacin debida al azar o
residual
2
2
2 =
+
1 2
Si la ecuacin vista antes, la dividimos por la varianza de las puntuaciones del criterio, tenemos.
1=
1 2
Ahora bien, la proporcin de varianza del criterio, que se puede explicar a partir de la variacin
debida del influjo conjunto de las 2 variables predictoras (varianza de las puntuaciones pronosticadas),
es igual al Coeficiente de validez al cuadrado, por lo que, la expresin anterior se puede poner
tambin como:
1=
1 2
1 2
Y, a partir de esta ltima expresin, podemos deducir otra forma de expresin de la Varianza
Error y del Error Tpico de estimacin mltiple:
2
2
= 2 1
1 2
1 2
2
1 2 = 1
1 2
2
. =
1 2
. = =
1 2
2
= 1
1 2
Aunque la frmula (expresin final de la misma), es equivalente a la del Error Tpico de Estimacin
en puntuaciones tpicas, de cara a la interpretacin de este coeficiente, conviene saber que, en
realidad, indica la proporcin que representa el error tpico de estimacin mltiple, respecto a la
desviacin tpica de las puntuaciones en el criterio
Vamos a ver a travs de un ejercicio, todo lo visto hasta ahora. Se quiere averiguar si la
fluidez verbal y la extraversin son 2 variables que favorecen el nmero de ventas en un laboratorio
farmacutico. Para ello, se ha seleccionado una muestra de 6 vendedores a los que se le han pasado
2 pruebas, una de fluidez verbal (X 1 ) y otra de extraversin (X 2 ); as mismo, este grupo ha sido
evaluado en un criterio de pericia como vendedor, utilizando como indicador el n de ventas 8en
millones de pesetas) que realiza cada uno de ellos en un mes. Los resultados son:
Y
4
8
6
6
5
7
36
X1
2
6
5
7
4
8
32
X2
4
5
6
6
7
8
36
YX 1
8
48
30
42
20
56
204
YX 2
16
40
36
36
35
56
219
X1X2
8
30
30
42
28
64
202
Y
16
64
36
36
25
49
226
X1
4
36
25
49
16
64
194
X2
16
25
36
36
49
64
226
A partir de estos datos, se calculan en primer lugar las intercorrelaciones entre las variables
1 =
2 =
1 1
2
1 ( 1
2 1
2
2 ( 2
1 2 =
)2 [ 2
)2 [ 2
( )2 ]
( )2 ]
1 2 1 2
[ 12
( 1 )2 ][ 22
=
=
( 2 )2 ]
6 204 36 32
6 202 32 36
= 0,79
= 0,30
= 0,65
Una vez obtenidas las intercorrelaciones existentes entre las variables, calculamos el Coeficiente
de correlacin mltiple o coeficiente de validez mltiple:
2 + 2 2 21 2 1 2
0,792 + 0,302 2 0,79 0,30 0,65
=
= 0.84
1 2 = 1
1 0,652
1 21 2
Ahora calculamos las correlaciones parciales y las correlaciones semiparciales:
1 2 =
1 2 1 2
22 1
21 2
(1 0,302 )1 0,65
= ,
2 1 =
10
2 1 1 2
21 1
21 2
(1 0,79 )1 0,65
= ,
Como vemos, la correlacin obtenida es negativa, a diferencia del valor encontrado antes de
eliminar la influencia de la fluidez verbal. Esto indica que la fluidez verbal, estaba influyendo
positivamente en la correlacin (la estaba haciendo mayor)
(1 2 ) =
1 2 1 2
1 21 2
= 0,78
Esta sera la correlacin existente entre la variable criterio y la fluidez verbal, una vez eliminado el
efecto que sobre la fluidez verbal ejerce la extraversin.
(2 1 ) =
2 1 1 2
1
21 2
= 28
Esta sera la correlacin existente entre la variable criterio y la extraversin, una vez eliminado el
efecto que sobre la extraversin ejerce la fluidez verbal.
Recordemos, que la correlacin existente entre las 2 variables predictoras era bastante alta (0,65). En
la medida de lo posible, hay que evitar que la correlacin entre las dos variables predictoras sea alta,
de esta manera, se podr explicar un mayor porcentaje de la varianza del criterio (ms adelante
explicaremos el motivo)
En puntuaciones tpicas:
=
=
= 1 1 + 2 2
= 1,02 1 0,36 2
11
=0
En puntuaciones diferenciales
= 1 1 + 2 2
= 1
1
=0
= 2
36 2
226
= 1,30;
=
=
1
2
1 2
1
32 2
194
=
= 1,98
=
6
6
1 =
2 2
2
36 2
226
= 1,30
=
6
6
= 1,02
1,30
= 0,66
1,98
2 = 0,36
2 =
1,30
= 0,36
1,30
36
=6
6
32
= 5,33
6
36
=6
6
= 0,661 0,362
Varianza error o varianza residual: hemos visto que hay dos formas de calcularla,
bien a partir de las diferencias cuadrticas medias entre las puntuaciones obtenidas
en el criterio:
( )2
2
O aplicando la frmula siguiente:
1 2 =
2
2
= 2 1
1 2
1 2
Dado que se trata de un ejemplo, vamos a hacerlo de las dos formas, para comprobar que el
resultado es el mismo. Por eso, en primer lugar es necesario pronosticar las puntuaciones
12
mediante la ecuacin de regresin que obtuvimos, sustituyendo en la misma, los valores que han
obtenido los sujetos en las dos variables predictoras, para cada uno de los sujetos:
= 4,66 + 0,661 0,632
Y
4
8
6
6
5
7
36
21 2 =
( )2
X1
2
6
5
7
4
8
32
3,028
X2
4
5
6
6
7
8
36
Y
4,52
6,8
5,78
7,1
4,76
7,04
36
(Y-Y)
-0,52
1,2
0,22
-1,1
0,24
-0,04
0,00
(Y-Y)
0,2704
1,44
0,0484
1,21
0,0576
0,0016
3,028
= ,
2
2
= 2 1
Aplicando:
= 1,69(1 0,70) = ,
1 2
1 2
Fijmonos cmo la suma de las puntuaciones pronosticadas, es igual que la suma de las puntuaciones
empricas obtenidas, y cmo la suma de los errores de estimacin o de pronstico es cero.
2
= 1,301 0,70 = 0,714
1 2 = 1
1 2
En la frmula del error tpico en puntuaciones tpicas, la desviacin tpica del criterio, es la unidad,
por lo tanto, el valor de este error ser diferente:
= 1 0,70 = 0,548
Intervalos confidenciales:
Una vez construidas las ecuaciones de regresin y, conocido el error tpico de estimacin, se
pueden utilizar para pronosticar la puntuacin que obtendrn en el criterio de pericia de ventas un
grupo de sujetos, pertenecientes a la misma poblacin de la que se extrajo la muestra que sirvi
para su construccin, a partir de las puntuaciones que obtengan en las variables predictoras.
Con los datos que hemos ido obteniendo, vamos a calcular la puntuacin que se le pronosticara
en el criterio a una persona que hubiese obtenido en la prueba de fluidez verbal 9 puntos, y en la de
extraversin 6. Para establecer los intervalos confidenciales, utilizaremos un nivel de confianza del
99%. Los pasos a seguir son:
13
9 5,33
66
= 1,02
0,36
= 1,89
1,98
1,30
Como sabemos, esta sera una estimacin puntual, pero queremos hacer una estimacin por
intervalos, para lo cual, a la puntuacin pronosticada, le sumamos y le restamos el error mximo
Establecer el intervalo de confianza.
Las puntuaciones pronosticadas en el apartado anterior son, la estimacin puntual, de las que
obtendra en el criterio, el sujeto que en los tests obtuvo una puntuacin de 9 y 6,
respectivamente. Ahora hacemos la estimacin por intervalos:
En puntuaciones directas:
. = 8,42 1,842 6,578 10,262
En puntuaciones diferenciales:
Estos intervalos, marcan los lmites entre los que se encontrar la puntuacin en el criterio del
sujeto seleccionado, con una probabilidad de acierto del 99%, o lo que es lo mismo, con una
14
probabilidad igual o menor de 0,01 de equivocarnos. Por ltimo, vamos a interpretar los
resultados obtenidos, a travs de los diferentes coeficientes
Coeficiente de determinacin mltiple: el coeficiente de determinacin, vena
expresado por la correlacin mltiple al cuadrado:
2
= 0,70
. =
1 2
Este resultado se puede multiplicar por 100 y expresarse como porcentajes. El resultado
obtenido indica que, a partir de las puntuaciones obtenidas por los sujetos en las 2 variables
utilizadas como predictores, se puede explicar el 70% de la variacin de las puntuaciones de
esos sujetos en el criterio; o lo que es lo mismo, que entre el criterio y el conjunto de las
variables predictoras, hay un 70% de varianza comn, quedando un 30% de la varianza de las
puntuaciones en el criterio, sin explicar por los tests; es decir, un 30% de varianza error
(S2 YX1X2 )
2
0,51
1 2
=
= 0,30
2
1,69
1 2
2
= 1
= 1 0.70 = 0,548
1 2
Esto quiere decir que an existe un 54,8% de inseguridad en los pronsticos. Elevado al
cuadrado y multiplicado por 100, representa el porcentaje de varianza del criterio, que no se
puede explicar a partir del conjunto de variables predictoras, en nuestro caso, un 30%
. = =
, %
Al hacer el anlisis del puesto de trabajo, es posible que se disponga de diferentes predictores
para pronosticar un criterio; no obstante, antes de utilizarlos todos, conviene estar seguro de que, en
realidad, contribuyen de manera significativa a la prediccin del criterio, explicando una parte de la
varianza que no es explicada por ninguno de los dems. Para poder hacer esta seleccin, hay varios
mtodos estadsticos; vamos a ver 2 ellos explicando de manera esquemtica la forma de proceder
cuando se utiliza uno u otro.
Y
X1
X2
X3
X1
0,80
1
X2
0,75
0,60
1
X3
0,86
0,70
0,65
1
(1 3 ) =
(2 3 ) =
1 3 1 3
1 21 3
2 3 2 3
1 22 3
=
=
= 0,28
= 0,25
Dado que la correlacin semiparcial ms alta es (1 3 ) = 28, ser la variable X 1 , la que entre a
formar parte de la ecuacin de regresin en segundo lugar. Sin embargo, hay que ver si el aumento que
experimenta la correlacin mltiple al cuadrado, al introducir esta segunda variable, es significativo:
2
2
2
=
+ (
= 0,862 + 0,282 = ,
3 1
3
3 1 )
Para ver si este aumento es significativo: tenemos que utilizar el siguiente estadstico de contraste:
16
2
2
300 2 1 0,82 0,74
1
=
= 132
=
2
21
1 0,82
1
Dnde:
= ;
= ;
= ;
=
=
El estadstico de contraste, tiene una distribucin F de Snedecor, con (K-j) y (N-K-1) g.l En nuestro
ejemplo, si se acude a las tablas de F, y se busca, a un determinado nivel de confianza (por ejemplo,
del 95%), el valor de F correspondiente a 1 y 297 g.l, se observa que el valor encontrado, es
significativo, ya que el valor obtenido en la tabla es ms pequeo. Por tanto, la variable X 1 , debera
ser introducida en la ecuacin de regresin.
Ya slo nos queda probar si se debe introducir la variable X 2 , para lo cual, hemos de
calcular las correlaciones semiparciales siguientes: (en esta ecuacin, para el orden
de los subndices se pone en primer lugar, la ltima variable incluida en la ecuacin
de regresin)
2 (1 3 ) =
2 1 1 3 2 3
1 21 3
= 0,203;
Esta sera la correlacin existente entre X 2 y X 1 (ultima variable que se incluy) una vez
eliminada la influencia de X 3 sobre dicha variable. Para obtener esta frmula, es necesario tener en
cuenta el concepto de correlacin semiparcial y las frmulas anteriormente vistas.
Ahora, calculamos la correlacin existente entre Y y X 2 una vez eliminada la influencia que sobre
dicha variable, tienen X 3 y X 1 : Aqu el orden de los subndices, es el mismo en que se fueron
incluyendo las variables)
(2 1 3 ) =
(2 3 ) (1 3 ) 2 (1 3 )
1 22 (1 3)
= 0,197
Ahora, hay que ver si el aumento que experimenta la correlacin mltiple al cuadrado, al introducir
esta variable, es significativo. Hemos visto que el orden de introduccin de las variables en la ecuacin
de regresin ha sido: X3, X1 y X2, siempre es necesario tener en cuenta el orden de dicha
introduccin. De este modo:
2
2
2
2
=
+ (
+ (
= 0,82 + 1972 = ,
3 1 2
3
3 1 )
2 1 3)
17
= 84,57
=
=
2
21
1 0,86
Acudiendo a las tablas de F con 1 y 296 g.l, se comprueba que, al mismo nivel de confianza, el
aumento es significativo, puesto que el valor de F encontrado, es mayor que el de las tablas, por lo que
se debe incluir esta ltima variable en la ecuacin de regresin.
Es un mtodo inverso al anterior, y menos utilizado. Los pasos a seguir son los siguientes:
Y
X1
X2
X3
Y
1
X1
0,80
1
X2
0,75
0,60
1
X3
0,86
0,70
0,65
1
2
2
2
+ (
+ (
= ,
=
3
2 3 1 )
1 2 )
Ahora, vamos eliminando una a una las variables predictoras, calculando, en cada caso, la
reduccin en el coeficiente de correlacin mltiple:
Si eliminamos la variable X 2 (la ltima que se aadi), la correlacin mltiple
quedara:
=
3 1
2
2
+
23 1 3 1
3
1
1 23 1
18
3 2
2
2
+
23 2 3 2
3
2
1 23 2
1 2
2
2
+
21 2 1 2
1
2
1 21 2
Dnde:
2
2
1
= ;
= ;
= ;
=
=
0,04
300 3 1 0,86 0,82
= 296
= 84,57
=
1 0,86
1 0,86
32
0,06
300 3 1 0,86 0,80
= 296
= 126,86
=
1 0,86
1 0,86
32
300 3 1 0,86 0,75
0,11
=
= 296
= 232,57
32
1 0,86
1 0,86
Con estos datos, se acude a las tablas de F y se busca el valor crtico para 1 y 296 g.l y un
nivel de confianza del 95%. Los resultados muestran que la eliminacin de cualquier
predictor, producira una reduccin significativa en el valor de la correlacin mltiple; no
obstante, es la variable X 3 la que producira una reduccin ms alta, puesto que es la que tiene
una correlacin ms alta con el criterio.
19
En este apartado, se incluyen una serie de procedimientos que va a permitir analizar la validez
de las decisiones tomadas a partir de las puntuaciones obtenidas por los sujetos en un test (o varios)
en relacin a 1 criterio dicotmico. Pero, a diferencia de lo que ocurrira si las variables predictoras
fueran variables cuantitativas y el criterio dicotmico, donde el procedimiento estadstico ms
adecuado para analizar la validez de las inferencias, sera la regresin logstica, la situacin que se
plantea es, que las puntuaciones obtenidas en el test, se dicotomizan a partir de un punto de corte
(PC), de manera que permitan asignar a los sujetos en dos categoras, por ejemplo: aptos no
aptos, admitidos rechazados, enfermos-no enfermos, etc.
En este tipo de situaciones, no tendr demasiado sentido estudiar la capacidad predictiva del
test, utilizando coeficientes de correlacin como los vistos anteriormente, sino mediante unos ndices
que reflejan la consistencia o acuerdo entre las decisiones basadas en el test y la medida del criterio.
Estos procedimientos son los que se usan generalmente en los Tests Referidos al Criterio (TRC), tal
y como se ha expuesto en el tema 5 y en muchas situaciones aplicadas.
Para una mejor comprensin de la lgica del proceso, vamos a utilizar un ejemplo.
: supongamos que se quiere llevar a cabo la seleccin de los alumnos que van a hacer el
Doctorado en el Departamento de Metodologa de las C.C de la UNED el prximo curso y no sabemos
si la prueba de admisin con la que contamos, puede servir a nuestros propsitos. Para ello, vamos a
llevar a cabo un estudio de validacin, por lo que aplicamos la prueba a todos los que han presentado
la solicitud para este ao y, dado que se exigen unos conocimientos mnimos para poder acceder a los
cursos y que se desea seleccionar a los mejores, se fija un punto de corte (X C ), de manera que todos
aquellos sujetos que obtengan puntuaciones por encima del punto de corte, sern considerados Aptos
(A) para hacer el doctorado, y los que no lo alcancen, sern considerados no aptos (R). Como vemos,
en este caso, la prueba utilizada como predictor es una variable dicotomizada (puntuaciones por
encima o por debajo del punto de corte) para tomar decisiones acerca de la adecuacin o no de los
aspirantes a realizar el doctorado. Se admite a todos los aspirantes en los cursos de Doctorado (tanto
a los aptos como los no aptos, segn el X C en el test) y, al finalizar el ao, se les evala de manera
que, la calificacin asignada, permita diferenciar entre aquellos alumnos que han tenido un buen
rendimiento en los cursos de Doctorado (A), y los que no han tenido un buen rendimiento (R).
Diremos que la prueba utilizada ser vlida para hacer la seleccin de los alumnos de
Doctorado, y por tanto, se podr utilizar en la seleccin del curso siguiente, cuando las decisiones
tomadas a partir de las puntuaciones en el test, se vean confirmadas con las decisiones tomadas en
base a los criterios de rendimiento marcados por el Departamento. Supongamos que los resultados del
proceso de validacin, son lo que aparecen en la siguiente tabla:
TEST
CRITERIO
A
N AA (18)
N RA (3)
N AC =21
A
R
20
R
N AR (2)
N RR (27)
N RC =29
N TA = 20
N TR =30
N=50
N AA + N RR = Aciertos nmero de alumnos que han sido calificados del mismo modo en la prueba
de seleccin (test) y en el criterio. Los primeros, N AA , han sido considerados aptos, tanto en la prueba
de admisin como en el criterio; los segundos, N RR han sido rechazados en ambas calificaciones.
N RA = Falsos negativos n de sujetos que superaron el criterio de
rendimiento y, sin embargo, en la prueba de admisin, no superaron el punto de corte. Estos sujetos
son los que en un proceso de seleccin habran sido rechazados y, sin embargo, deberan haber sido
admitidos
N AR = Falsos positivos n de sujetos que en la prueba de admisin superan el
punto de corte, pero luego, no superan el criterio de rendimiento. En un proceso de seleccin, no
deberan haber sido seleccionados y, sin embargo, al superar el punto de corte en el predictor, seran
admitidos.
N AC = n sujetos considerados aptos en el criterio
N RC = n sujetos considerados no aptos en el criterio
N TA = n sujetos considerados aptos en el test
N TR = Sujetos considerados no aptos en el test
a.1) Coeficiente Kappa: A partir de los datos, es preciso obtener algn indicador de la validez de la
prueba de admisin para pronosticar el criterio, uno de los ms utilizados es el coeficiente Kappa de
Cohen, que permite evaluar la consistencia o acuerdo entre las decisiones adoptadas a partir de las
puntuaciones obtenidas por los sujetos en el predictor (test: en nuestro ejemplo, la prueba de admisin)
y en el criterio (en nuestro ejemplo, el rendimiento en el doctorado).
La frmula del coeficiente, viene dada por:
Fc = n de casos, en los que hay coincidencia entre las puntuaciones del predictor y las del criterio
Fa = n de casos en los que cabe esperar que las calificaciones del predictor y las del criterio,
coincidan por azar
N = n de sujetos de la muestra
CRITERIO
Apto
No Apto
a= Falsos negativos
b= Verdaderos positivos
c=Verdaderos negativos
d=Falsos positivos
21
TEST
No Apto
a
c
Apto
b
d
Para calcular las Frecuencias esperadas por azar (F a ) se multiplican las frecuencias marginales
correspondientes, y se dividen por el nmero total de sujetos.
Siguiendo con los datos de nuestro ejemplo:
TEST
CRITERIO
A
N AA (18)
N RA (3)
N AC =21
A
R
R
N AR (2)
N RR (27)
N RC =29
N TA = 20
N TR =30
N=50
F C = NAA+NRR= 18+27=45. Este es el n de casos, en los que hay coincidencia entre las
puntuaciones del predictor y las del criterio. Veamos el n de casos que, de esos 45, cabe esperar que
coincidan por azar F a en ambas casillas. Para ello, se procede de la siguiente manera:
21 20
= 8,4
50
29 30
( ) =
= 17,4
50
( ) =
45 25,8
=
= 0,79
50 25,8
Puesto que el valor mximo del coeficiente Kappa es 1, la validez de la prueba de admisin para
pronosticar el criterio de rendimiento, es alta. Ante estos resultados, se podra utilizar en cursos
posteriores para hacer la seleccin de los alumnos que quieren hacer el doctorado en el departamento.
= 8,4 + 17,4 = 25,8
Del anlisis de la tabla, podemos obtener an ms informacin para valorar los resultados de la
decisin adoptada:
18+27
50
= 0,90
22
18
21
= 0,86
a.4) Especificidad: proporcin de sujetos que fueron correctamente rechazados mediante la prueba de
admisin, respecto al total de los aspirantes que no alcanzaron un rendimiento satisfactorio en los
cursos de doctorado.
=
27
27+2
27
29
= 0,93
a.5) Razn de eficacia: proporcin de sujetos seleccionados mediante el test, que rindieron
satisfactoriamente en el criterio
. =
23
18
18+2
= 0,90
Adems de estos ndices de validez, en un proceso de seleccin, se pueden obtener otros ndices que
ofrecen informacin acerca del resultado del proceso:
b.1) Razn de idoneidad: cuando se lleva a cabo una seleccin, es la proporcin de aspirantes
que rindieron satisfactoriamente en el criterio.
. =
18+3
= 0,42
b.2) Razn de seleccin: en un proceso de seleccin es la proporcin de aspirantes que han sido
seleccionados mediante el test, esto es, que han rendido bien en el test.
. =
d=Falsos positivos (N AR )
b= Verdaderos positivos (en nuestro ejemplo N AA )
En nuestro ejemplo: . =
20
50
= 0,40
Si, como hemos comentado en el punto anterior, para seleccionar a los sujetos mediante la
prueba de admisin (variable predictora), y clasificarlos en las dos categoras de: AdmitidosRechazados, era necesario dicotomizar las puntuaciones obtenidas, estableciendo un punto de corte,
es fcil darse cuenta de la importancia que tiene el valor correspondiente a ese punto de corte, sobre
la validez de la prueba.
As mismo, tambin es importante el punto de corte del criterio, ya que es el que nos va a
permitir definir las dos categoras de rendimiento: Satisfactorio-No Satisfactorio. Todo lo dicho hasta
el momento, puede quedar ms claro, si nos fijamos en la siguiente figura, que muestra los resultados
de las decisiones:
24
Dado que la validez de las decisiones que se tomen, va a depender del valor
que tome el punto de corte, habr que buscar el valor que maximice la
capacidad predictiva de la variable predictora. En este sentido, el punto de
corte, debera, en principio, situarse en aqul valor con el que se cometa un
menor n de errores (Falsos positivos o Falsos negativos)
25
Pero por otro lado, hay que analizar las consecuencias de las decisiones
tomadas, ya que no siempre tiene la misma importancia, cometer un tipo de
error u otro (falsos negativos o falsos positivos); ello va a depender del tipo de
decisin a tomar, por eso ste es otro factor a tener en cuenta a la hora de situar
el punto de corte.
Si hablsemos en trminos de la Teora de la Decisin Estadstica, diramos que el punto de
corte habra que situarlo teniendo en cuenta la matriz de pagos, es decir, la matriz que refleje las
prdidas y ganancias derivadas de las decisiones adoptadas. Nosotros, nos vamos a limitar a
sealar dos criterios que se suelen utilizar cuando se han de tomar decisiones en ambiente de
incertidumbre, es decir, sin saber cul va a ser el resultado exacto de la decisin; nos referimos al
Criterio Maximin y al Criterio Minimax
Prueba
5
7
6
8
6
7
6
9
4
6
Criterio
NA
NA
A
A
NA
A
A
A
NA
NA
Si se considerara que para poder ser admitido en los cursos de doctorado, los aspirantes deberan
haber obtenido una calificacin de 7 puntos o ms en la prueba de admisin. Cul sera la validez de
la prueba para predecir el rendimiento en los cursos de doctorado?
26
Se elabora una tabla de contingencia 2x2, en la que se reflejen las decisiones conjuntas
tomadas a partir de la prueba de admisin y del rendimiento en el criterio:
Apto
No Apto
Criterio
Prueba de admisin
Aceptado7
Rechazado<7
3 aciertos
2 falsos negativo
1 falso positivo
4 aciertos
4
6
5
5
N
Hay tres aspirantes (D,F y H) que han superado el punto de corte en la prueba de
admisin y, adems, han tenido un buen rendimiento en el doctorado (aciertos)
Hay 4 aspirantes (A, E, I y J), que han sido tambin correctamente clasificados, ya que
no superaron la prueba de admisin y, a su vez, tuvieron un mal rendimiento en el
doctorado (aciertos)
Hay una persona (B) que alcanz en la prueba de admisin la puntuacin necesaria
para ser admitido y, sin embargo, luego tuvo un mal rendimiento en el doctorado (falso
positivo)
Hay 2 personas (G y C) que no habiendo alcanzado la puntuacin necesaria en la
prueba de admisin, s que rindieron bien en el doctorado (falsos negativos)
Con estos datos, podemos obtener los ndices de validez y seleccin que se han explicado
anteriormente:
Coeficiente Kappa:
75
54
=2
10
10
Sensibilidad:
3
=
=
= 0.60
+ 2+3
=
Especificidad:
4
=
=
= 0,80
+ 4+1
Razn de eficacia
3
. =
=
= 0,75
+ 3+1
27
() =
65
= 3 = 2 + 3 = 5
10
Razn de idoneidad
+ 2+5
. =
=
= 0,70
10
Razn de seleccin:
. =
+ 3+1
=
= 0,40
10
Teniendo en cuenta que el valor mximo que se puede obtener en cada uno de los ndices es la unidad,
los valores obtenidos, son bastante aceptables.
28
queden ordenados en funcin de la puntuacin global obtenida. Una vez ordenados los sujetos,
dependiendo de cmo se haya planteado el proceso de seleccin, se puede elegir a un determinado
nmero de los mejores o bien establecer un punto de corte, de manera que sean seleccionados aquellos
cuya puntuacin global supere el punto establecido.
E) Modelo disyuntivo-compensatorio: se realiza una primera seleccin aplicando el modelo
disyuntivo y a los sujetos seleccionados se les aplica el modelo compensatorio.
Entre los ndices que hemos expuesto anteriormente, uno de ellos es la Razn de Eficacia, que
representa la proporcin de personas seleccionadas que tienen xito en el criterio.
Otra forma de estimar la eficacia de la seleccin, es utilizando el modelo de regresin, siempre
que se verifiquen los supuestos que implica, ya que permite estimar la probabilidad de que los
seleccionados, tengan xito en el criterio.
Se pueden presentar varias situaciones, pero nosotros vamos a estudiar slo 2:
Que para considerar que se ha tenido xito en el criterio, es necesario obtener en el mismo, una
puntuacin igual o mayor que 8 puntos.
Con estos datos y, suponiendo que no existe un n limitado de plazas: Qu probabilidad de xito
tendrn los sujetos que el test hayan obtenido una puntuacin igual a 6?
Se estima la puntuacin pronosticada en el criterio, de los sujetos que en el test obtuvieron una
puntuacin de 6 puntos
= 0,5 + 2(6) = 12,5
Se asume que: las distribuciones de los errores de estimacin condicionados a una determinada
puntuacin en el test, se ajustan a la distribucin normal de probabilidad, con una media que vendr
dada por la puntuacin pronosticada en el criterio y una desviacin tpica que vendr dada por el error
tpico de estimacin. Por tanto, es necesario calcular el error tpico de estimacin:
2
= 1
= 5 1 (0,80)2 = 3
es la que va a marcar
la separacin entre la posibilidad de xito y la de fracaso, y por lo tanto, la que nos va a permitir
analizar la eficacia de la seleccin. Su clculo se hace as:
29
= ,
Se acude a las tablas de la curva normal y se busca, el rea de la curva que queda por encima de
una puntuacin tpica de , , obteniendo una probabilidad de 0,9332 (a una Z= -1,5 le corresponde
una probabilidad igual a 0,0668, por tanto el rea de la curva que queda por encima ser 1-0,9332.
Esta probabilidad indica que, un sujeto que obtuviese en el test 6 puntos y haya sido seleccionado al
pronosticrsele en el criterio una puntuacin de 12,5, que est por encima del punto crtico, tiene una
probabilidad de 0,9332 de tener xito. La probabilidad de fracaso sera el rea de la curva que queda
por debajo de una Z= -1,5, o lo que es lo mismo: 1-0,9332= 0,0668 (en la figura la zona negra)
: siguiendo con los datos del ejemplo anterior, vamos a hacer un planteamiento
diferente. Supongamos que hay 100 aspirantes al puesto de trabajo y que slo hay 10 plazas a cubrir.
En este caso, se supone que se debern seleccionar los 10 aspirantes que hayan obtenido mejores
puntuaciones en el test. Cul sera la probabilidad de xito (en el criterio) de esas personas?
Hemos de averiguar cul es la puntuacin mnima que han obtenido las 10 personas
seleccionadas por el test. Como sabemos que esas 10 personas, representan el 10% de todos los
aspirantes (100), debemos buscar la puntuacin que deja por debajo de s al 90% de la muestra de
aspirantes.
Si asumimos que las puntuaciones en el test (X) se distribuyen segn la curva normal de
probabilidad, la puntuacin tpica que deja por debajo de s al 90% de los casos es Z X = 1,28
aproximadamente.
si la media del test fuera de 7 puntos y la desviacin tpica de 2 puntos, la puntuacin mnima de
las 10 personas seleccionadas sera:
7
1,28 =
= 7 + 1,28(2) = 9,56
2
Una vez obtenida esta puntuacin, procedemos de la misma manera que en el ejemplo anterior; se
aplica la ecuacin de regresin y se calcula la puntuacin que se le pronosticara a estos sujetos en el
criterio
= 0,5 + 2(9,56) = 19,62
30
Si miramos la tabla de la curva normal, la probabilidad de que los sujetos tengan xito ser
(probabilidad por encima de esta puntuacin):
1 0,0002 = 0,9999 = 99,99%. Como puede verse, la probabilidad de que todos los seleccionados
tengan xito es prcticamente el 100%
La probabilidad de que no tengan xito (probabilidad por debajo de esa puntuacin): 0,0002
Existen varios factores que influyen en el valor del coeficiente de validez, pero vamos a sealar
3, que a nuestro juicio, resultan decisivos:
Hemos definido el Coeficiente de Validez, como la correlacin existente entre las puntuaciones
obtenidas por los sujetos en el predictor o predictores y las obtenidas en el criterio. Dicha correlacin
y, por tanto, el coeficiente de validez, tiende a aumentar a medida que la variabilidad de la muestra
es mayor y tiende a disminuir, a medida que la muestra es ms homognea.
Por lo tanto, el conocimiento de la variabilidad de la muestra es fundamental a la hora de
poder interpretar el coeficiente de validez, ya que, para un mismo predictor y una misma medida del
criterio, el coeficiente de validez puede variar de una muestra a otra.
Con el fin de entender de qu manera influye la variabilidad de la muestra en el coeficiente de
validez, vamos a exponer un ejemplo con el caso ms sencillo, esto es, aqul en el que slo hay 2
variables implicadas: una variable predictora (X) y la variable criterio (Y)
: Supongamos que una universidad privada utiliza, adems de otras tcnicas, una batera de
tests para hacer la seleccin de sus alumnos. Si se quiere conocer la validez de esa batera, para
pronosticar el rendimiento de los alumnos en sus estudios (criterio), ser preciso buscar algn
indicador que permita obtener una medida de dicho rendimiento; un indicador puede ser las notas
obtenidas al finalizar el primer ao de licenciatura. Para averiguar la validez predictora de la batera
utilizada, se calcular la correlacin entre las puntuaciones obtenidas por los sujetos en la batera y en
la medida del criterio.
El valor obtenido, ser el coeficiente de validez de la batera, pero dicho coeficiente, se ha
obtenido en una muestra previamente seleccionada, ya que las calificaciones en el criterio slo se
conocen en la muestra de admitidos esta muestra ser mucho ms homognea que la formada por
todos los aspirantes y, por tanto, el valor de la correlacin obtenida, ser ms bajo.
Dado que, lo que realmente interesa, es conocer la capacidad predictiva de la batera antes de
hacer la seleccin, es decir, el grupo de aspirantes (no tendra sentido seleccionar a un grupo de sujetos
y que luego se pusiese de manifiesto que la batera no sirve para predecir el criterio elegido), hay 2
formas de proceder:
=
=
2
2
1
= 1
2 + 2 2 2
2
Si se quiere estimar cul sera la variabilidad de la muestra de aspirantes en el criterio, esto es, la
desviacin tpica de las puntuaciones obtenidas el criterio por la muestra de aspirantes, bastara con
despejar de las anteriores S Y :
2 + 2
= 1
2
2
Vamos a suponer que el n de aspirantes era 300 y que obtuvieron una desviacin tpica en la
batera de 12 puntos (S X ). De todos ellos, se seleccionaron a 40, cuya desviacin tpica en la batera
32
fue de 6 puntos. Al cabo del ao, los admitidos fueron clasificados en el criterio, siendo la correlacin
de las puntuaciones obtenidas en la batera y el criterio 0,30. Cul sera el coeficiente de validez
estimado si se hubiese calculado en la muestra total de aspirantes?
=
12 0,30
= 0,53
Se puede observar que el cambio en el coeficiente de validez es bastante grande y, sin embargo, la
desviacin tpica slo ha pasado de 6 a 12 puntos. Si hubiese habido ms diferencia entre las 2
desviaciones tpicas, el cambio en el coeficiente de validez habra sido an mayor.
En este caso, la estimacin del coeficiente de validez se har calculando la correlacin existente entre
las puntuaciones verdaderas del test y del criterio. La frmula viene expresada por:
=
Dnde:
= Coeficiente de validez terico que se obtendra si las puntuaciones del test y del criterio
estuvieran libres de errores de medida. En este caso, la correlacin se calculara entre las
puntuaciones verdaderas del test y del criterio.
= Coeficiente de validez emprico
33
( )
=
=
=
=
Por tanto, aplicando un test de razonamiento abstracto a una muestra de sujetos, se obtuvo un
coeficiente de fiabilidad igual a 0,64. La fiabilidad del criterio result ser de 0,60 y el coeficiente de
validez 0,56, el coeficiente de validez estimado en el caso de que tanto las puntuaciones del test como
las del criterio estuviesen libres de errores sera:
0,56
=
=
= 0,91;
0,640,60
, .
Partiendo de la frmula anterior, supongamos que ahora slo es el test el que tiene una
fiabilidad perfecta. En este caso, la estimacin del coeficiente de validez se hara calculando la
correlacin entre las puntuaciones verdaderas del test y las empricas del criterio
34
( ) ()
=
=
=
=
=
0,56
=
=
= 0,70
0,64
Como podemos observar, el coeficiente de validez aumenta con respecto al valor inicial, pero este
aumento, aunque es grande es ms moderado que en el caso anterior, ya que slo se han eliminado los
errores de medida de una de las variables (el test) pero no del criterio, cuyas puntuaciones continan
afectadas por los errores.
Es el mismo procedimiento que en el caso anterior, pero ahora es el criterio el que est libre de
errores de medida. En este caso, la estimacin del coeficiente de validez se hara, calculando la
correlacin entre las puntuaciones empricas del test y las verdaderas del criterio.
( ) ()
=
=
=
=
=
0,56
=
=
= 0,73
0,60
Como podemos observar, el coeficiente de validez aumentara considerablemente a pesar de que el test
est afectado an por errores de medida.
, ya que en la prctica, jams se
va a lograr eliminar por completo los errores de medida del test, del criterio o de ambos. No obstante,
sin llegar a eliminarlos del todo, s que es posible tratar de reducirlos de alguna manera y conocer
cul sera el cambio experimentado por el coeficiente de validez en cada caso. Veremos a continuacin
cmo hacerlo.
La frmula general:
35
Dnde:
= .
=
=
=
= ,
= , .
Para derivar esta frmula, se parte del razonamiento de que, aunque se lograse mejorar la fiabilidad del
test y del criterio, eliminando en parte los errores de medida, la correlacin entre las puntuaciones
verdaderas del test y del criterio, se mantendran constantes, ya que dichas puntuaciones estn
libres de errores. Una vez hecho esto, ambas frmulas se igualan y se opera.
=
Continuando con el ejemplo anterior, cul sera el coeficiente de validez si se lograse un coeficiente
de fiabilidad en el test de 0,75 y en el criterio de 0,64?
0,56
=
=
= 0,63
0,64 0,60
0,75 0,64
Como puede observarse, ha habido un aumento del coeficiente de validez, pasando de 0,56 a 0,63.
Este aumento no es tan grande como cuando se consigue eliminar por completo los errores de medida
en el test y en el criterio, pero es bastante considerable.
36
Si se mejorase la fiabilidad del test, pero se mantuviese constante la del criterio, la frmula sera:
=
Como vemos, en esta ecuacin, del denominador desaparece el segundo trmino de la ecuacin
anterior, pues al permanecer constante el coeficiente de fiabilidad del criterio, numerador y
denominador son iguales.
Siguiendo con el ejemplo anterior: cul sera el coeficiente de validez si el coeficiente de fiabilidad
del test se pudiese aumentar hasta 0,75 y se mantuviese constante el del criterio?
0,56
=
=
= 0,61
0,64
0,75
Si se mejorase la fiabilidad del criterio y se mantuviese constante la fiabilidad del test, aplicando el
mismo razonamiento que antes, la frmula sera
=
Siguiendo con el ejemplo: cul sera el coeficiente de validez si el coeficiente de fiabilidad del test se
mantiene constante y mediante algn procedimiento pudisemos aumentar hasta 0,64 el coeficiente de
fiabilidad del criterio?
0,56
=
=
= 0,58
0,60
0,64
Como vemos, el coeficiente de validez del test aumenta de 0,56 a 0,58; aumento bastante pequeo.
El valor mximo que puede alcanzar el coeficiente de validez, se obtiene a partir de la siguiente
frmula
=
1
37
Como vemos, esta es la frmula que permite estimar el Coeficiente de Validez, cuando se han
eliminado por completo los errores de medida del test del criterio (puntuaciones verdaderas). Como
toda correlacin, es igual o menor que la unidad.
Suponiendo que fuera igual a la unidad, que sera el valor mximo, se deduce que:
Teniendo en cuenta que la raz cuadrada del coeficiente de fiabilidad del test, es el
ndice de fiabilidad, la frmula anterior se puede expresar como:
Por tanto, el valor mximo que puede alcanzar el coeficiente de validez emprico, es el del ndice
de fiabilidad.
En nuestro ejemplo, el coeficiente de fiabilidad del test era 0,60 por tanto, el valor mximo que podra
alcanzar el coeficiente de validez emprico sera 0,80
Cuando se estudi el tema relativo a la fiabilidad de las puntuaciones, se explic que una de las
formas de aumentar el coeficiente de fiabilidad, era aumentando la longitud del test, a base de aadir
elementos paralelos a los que ya tena. Esta mejora del coeficiente de fiabilidad, repercute
directamente, en una mejora del coeficiente de validez tal y como ya hemos comentado y visto en
apartados anteriores.
La relacin entre el coeficiente de validez con la fiabilidad y la longitud del test, viene
expresada por la siguiente expresin:
=
1 + ( 1)
Dnde:
Para la deduccin de esta frmula, basta con aplicar la ecuacin general de Sperman-Brown que
relaciona la fiabilidad y longitud:
1 + ( 1)
1 + ( 1)
= =
1 + ( 1)
Hay ocasiones, que lo que se quiere averiguar es el nmero de veces que hay que aumentar o
disminuir la longitud del test, para conseguir un determinado valor del coeficiente de validez. Para
ello, basta con despejar el valor de n en la frmula:
2
(1 )
2 2
Hay que tener en cuenta que n NO es el nmero de tems o elementos del test que hay que
aumentar o eliminar para obtener un determinado coeficiente de fiabilidad o validez; n es el
nmero de veces que hay que aumentar o disminuir la longitud del test y equivale por tanto, al
cociente entre el nmero de elementos finales y el nmero de elementos iniciales del test:
2
(1 )
2
(1 0,64)0,70
= 3,80
0,602 0,702 0,64
Este valor encontrado indica que hay que aumentar la longitud del test en 3,8 veces, es decir, hay que
hacerlo 3,8 veces ms largo. Para saber cuntos tems representa ese nmero, debemos aplicar la
siguiente frmula:
39
= = 3,8 25 = 95
Para que el test alcance un coeficiente de validez de 0,70, deber contar con 95 elementos; si
inicialmente contaba con 25, habr que aadirle: 95-25 = 70 tems
Hay veces que el aumento en el coeficiente de validez, no compensa el esfuerzo de aadir tantos
elementos paralelos a un test. Por otra parte, cuando un test se hace excesivamente largo, se pueden
introducir una serie de factores, como el cansancio y la falta de motivacin de los sujetos, que pueden
aumentar los errores de medida.
40