Modelos de Validación y Confiabilidad en Pruebas de Admisión

MODELOS DE VALIDACIÓN Y
CONFIABILIDAD DE PRUEBAS Y
EXÁMENES DE ADMISIÓN
Lic. Mario Posso Rojas

marposroj@hotmail.com
PRUEBAS DE ADMISIÓN
¿Ingresare?
OBJETIVO
DAR A CONOCER LOS MODELOS DE
VALIDACIÓN Y CONFIABILIDAD DE
PRUEBAS Y EXÁMENES DE ADMISIÓN
DETERMINAR LOS MODELOS DE
VALIDACIÓN Y CONFIABILIDAD MÁS
USADOS EN LOS EXAMENES DE
ADMISION Y PRUEBAS DE
SELECCIÓN
IMPORTANCIA DE LA SELECTIVIDAD
Institute of Higher Education, Shanghai Jiao Tong University,

PRUEBAS DE SELECCIÓN
MEDICION
EDUCATIVA
Se puede medir las facultades
mentales y predecir
o INDIRECTA:
Comportamientos C.I, R.E o A o M
- Indicadores: Prom, Capac.

Medir: Asignar Numerales
- Escalas: N, O, R, I
a objetos o eventos de
- Validez
acuerdo a reglas
- Confiabilidad
Ensayo Libre
Elaborar Ensayo Guiado
Respuestas Directa
Respuesta breve
Incompleta
Escritas
Alternativa simple
Alternativa triple
Elegir
Directa
Respuestas Alternativa múltiple
Pruebas Combinada
Apareamiento
Estructuración autónoma Tomar

Decisión
Orales Estructuración cerrada
Discusión o Debate
VALIDEZ DE LAS PRUEBAS
Capacidad de un instrumento para obtener y
proporcionar información directa y efectiva.
VALIDACIÓN DE CONTENIDO:
Trata de garantizar que el test constituye
una muestra adecuada y representativa del
contenido que éste pretende evaluar.
- Definir tipos de contenidos y capacidad.
- Muestra representativa de contenidos

Validez del Contenido para la Elaboración de Reactivos de Evaluación
Universidad: X Prueba : General
Área o Asig Objetivo Temas:

TODAS MEDIR CONOC RM y V, Mt, CN, Hum y L
Hipótesis (Ho): “Los conocimientos de los estudiantes que terminan

el año en Pre X, se pueden medir, indiciariamente,
mediante pruebas de selección múltiple confiables y válidas, en constructo,
teniendo en cuenta los contenidos básicos de los Silabus
Capacidad General,
Capacidades Específicas:
SILABUS Matriz de Consistencia
Universo: Local X, Y, Z
Identifica Compara Argumenta Aplica Analiza Sintetiza Juzga

Matriz de Consistencia
Contenidos
Capacidades
RM RV Mat C.Na Huma Legua Total
Identifica 4 4 4 4 4 4 24
Compara 3 3 3 4 3 4 20
Argumenta 3 4 3 4 4 4 22
Aplica 5 5 5 4 3 3 25
Analiza 3 4 3 3 5 5 23
Sintetiza 3 5 3 5 5 3 24
Juzga 2 2 2 2 2 2 12
Nº de ítems 23 27 23 26 26 25 150
Elaborado por: marposroj@hotmail.com Tiempo de Prueba: 3 horas

OPERATIVIZACIÓN DE LA EVALUACIÓN
DE CAPACIDADES
Capacidad específica
INDICADORES REACTIVOS
CAPACIDAD
GENERAL Capacidad específica
Grandes Procesos que Evidencia Tareas que se

propósitos involucra la observable del ejecuta para
capacidad aprendizaje evidenciar el
aprendizaje
MED – DCN, 2007
Matriz de Consistencia
Contenidos 2º Estrc. 4º Und 6º Este- 9º Quím
Capacidades
Total
Atómo Qum Masa quiometria Orgán
Identifica 2 (T y A) 2 (T y A) 2 (T y A) 2 (T y A) 8
Compara 2 (T y A) 2 (T y A) 2 (T y A) 1T 7
Argumenta 2 (T y A) 1T 2 (T y A) 2 (T y A) 7
Aplica 2 (T y A) 2 (T y A) 1A 2 (T y A) 7
Analiza 2 (T y A) 2 (T y A) 2 (T y A) 2 (T y A) 8
Sintetiza 2 (T y A) 2 (T y A) 1T 2 (T y A) 7
Juzga 1A 2 (T y A) 2 (T y A) 1A 6
Nº de ítems 13 13 12 12 50
Elaborado por: marposroj@hotmail.com Tiempo de Prueba: 1 hora

EJEMPLO EN SECUNDARIA
I) La relación correcta entre capacidad, pregunta y respuesta es: IDENTIFICAR
1) Identificar – El ángulo de inclinación axial de la tierra es
a) 2º b) 23,4º c) 24º d) 97,9º e) N.A
2) Análisis – El número de ángulo de inclinación axial varia por

a) La forma de traslación de una estrella
b) La Traslación de ese planeta
c) La Forma de que ese planeta se formo
d) N.A e) T.A
3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es:

a) Estrella Roja b) Estrella azul c) Enana blanca
d) Pulsar e) Quasar
4) Síntesis – Lo que causa que el Sol es se convierta en rojo es:

a) Los años de la estrella b) La cantidad de Helio
c) La cantidad de hidrógeno d) N.A e) Cantidad de Iones
5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene:

a) 20,5 b) 45,9 c) 24.5 d) 30,6 e) 44,5
VALIDACIÓN CONSTRUCTO:
Trata de garantizar la existencia de un constructo
psicológico que subyaga y dé sentido y significado a
las puntuaciones del test. Modo de evaluar:
Análisis Factorial y Matriz multimétodo-multirrasgo
VALIDACIÓN PREDICTIVA
Pronostica CAPACIDAD. Se correlaciona resultados
obtenidos mediante Series Temporales con uno o
más de un grupo. Aplicar varias pruebas que midan
lo mismo a Un aula o Varias aulas, y ver Relación.
VALIDACIÓN FUNCIONAL:
O Validación por Referencia a un Criterio.
Finalidad: Contar con un mecanismo de
comprobación conductual para emitir juicios y
tomar decisiones.
VALIDACIÓN CONCURRENTE:
Se mide en forma sucesiva el desempeño del
estudiante en relación con una prueba o tarea
específica. Análisis Estadístico Correlacional:
a) Correlación Por Rangos (rho)
b) Correlación Por Puntuaciones Netas (r)
Puntuación en: Lugar o Rango Diferencia d
Prueba (X) Criterio (Y) Prueba (RX) Criterio (RY) Lugares (D) D*D
Correlación Por Rangos (rho)
10 6 19 19 0 0
20 20 2 1,5 0,5 0,25
6*∑ D 2 15 15 12 11 1 1
rho = 1 − R 14 10 15,5 18 -2,5 6,25

N ( N 2 − 1) 19 20 4,5 1,5 3 9
20 18 2 5,5 -3,5 12,25
18 19 6,5 3,5 3 9
17 17 8 7,5 0,5 0,25
15 16 12 9 3 9
6*128
rho=1− 13 13 17,5 16 1,5 2,25
20(202 −1) 15
18
13
17
12
6,5
16
7,5
-4
-1
16
1
15 13 12 16 -4 16
20 19 2 3,5 -1,5 2,25
19 18 4,5 3,5 1 1
14 15 15,5 11 4,5 20,25
768
rho = 1 − = 0,90
13 14 17,5 13,5 4 16
16 15 9 11 -2 4
7980 15 14 12 13,5 -1,5 2,25
9 4 20 20 0 0
Suma (D) 128
Spearman
Puntuación en: Puntuación al Cuadrado Prueba por
∑ XY
− X *Y Alumnos Prueba (X) Criterio (Y) Prueba (X2) Criterio (Y2) Criterio (X*Y)
r = N
Correlación Por Puntuaciones Netas
Abel 10 6 100 36 60
Sx *S y
Aldo 20 20 400 400 400
Ary 15 15 225 225 225
Blas 14 10 196 100 140
∑X ∑X 
2 2
s= −   Popper 19 20 361 400 380
N 
 N 
Elba 20 18 400 324 360
Morgan 18 19 324 361 342
Mario 17 17 289 289 289
Flor 15 16 225 256 240

2
4730 296 Hugo 13 13 169 169 169
sy = −  =4,2 DeVries 15 13 225 169 195
20  20 Lino 18 17 324 289 306
Lila 15 13 225 169 195
Irma 20 19 400 361 380
2
5151 315 Juan 19 18 361 324 342
sx = −  =3,1 Nino 14 15 196 225 210
20  20 Nora 13 14 169 196 182

Olga 16 15 256 225 240
Réne 15 14 225 196 210
4901
−15,75*14,8
Rosa 9 4 81 16 36
Sumas 315 296 5151 4730 4901
r = 20 = 0,92 Promedio 15,75 14,8

3,1*4,2 Pearson Desviac 3,16 4,29
VALIDEZ PREDICTIVA
La UNI compara los desempeños finales de los alumnos
de 1º año en un curso Algebra (A) con los obtenidos en
su Examen de Admisión (EA). Muestra: 10 estudiantes;
A: Puntajes de 1 a 100 para EA: de 200 a 800.
Resultados Excel:
Alum
EA A B C D E F G H I J
(X) 650 710 682 700 691 705 666 690 709 715
A (Y) 75 87 85 83 80 92 78 81 90 90
Coeficiente de: a) Spearman: 0,83 b) Pearson: 0,87

Interpretación: El EA es un buen procedimiento para
vaticinar el futuro desempeño de los alumnos de A.
ANÁLISIS DE ÍTEMS
Grado de Eficiencia
De los ítems
GRADO DE INDICE DE
DIFICULTAD DISCRIMINACIÓN
I.D = Nc I.Ds = A – B
Nt N
* Intervalos:
0,00 – 0,50 Muy Fácil
DEBE SER > 0,25
0,51 – 0,60 Fácil Relación entre ID y IDs
0,61 – 0,70 Moderado Las ID > de 0,8
0,71 – 0,80 Difícil
0,81 – 100 Muy difícil
Carece de IDs
Índice Dificultad (I.D)
I B (N) I.D
1 4 24 0,16667
2 5 24 0,20833
3 9 24 0,37500
4 22 24 0,91667
5 12 24 0,5000
6 7 24 =7/24
…
98 18 24 =18/24
99 15 24 =15/24
100 16 24 =16/24
Aula A u
Índice de Discriminación (I.Ds)
I A B N I.Ds
1 6 1 10 0,5
2 7 1 10 0,6
3 10
4 10
5 10
6 10
7 10
8 10
9 10
I.Ds = A – B = 6 - 1 = 5 = 0,5
N 10 10 10 10
Aula A u
PRUEBAS CONFIABLES
PSICO-
METRIA Denota estabilidad y
Constancia de los puntos
Variación no significativa
MÉTODO DE PRUEBA
TABLA DE EBEL
REITERADA
∑
6 * D
Rho = 1 – 6*EDR R
2
rho = 1 −
N (N 2
− 1)
Aplicar el mismo instrumento

2 veces a un mismo grupo.
Comparar mediante rho.
Dificultad: Cambio conductual
PRUEBAS CONFIABLES
MÉTODO POR COEFICIENTES DE

BIPARTICIÓN CONFIABILIDAD
2 rm
1 º rt =
1 + rm Kuder – Richardson Alpha de Crobach
  s12 + s22  KR20 KR21

2º r = 21 −  2 
  st 
 k  s − pq
2
 k   m(k-m)   k   ∑ si 
2
r =  r =  *1− 2 
r =  1 − 2 
 k −1  s
2
k −
  
1 k * s   k − 1   st 
1º Varianzas similar
2º Diferente Varianza
Debe ser > 0,60 SPSS > 0,80
Guttman
EJEMPLOS DE APLICACIÓN
Rendimiento de 10 alumnos es similar o no, frente a cada uno de los 5
ítems impares y 5 ítems pares en una prueba de Geometría o Filosofía
Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTAL

Alberto 1 1 1 0 1 0 1 1 0 0 4 2 6
Betty 0 1 1 1 1 1 0 0 1 0 3 3 6
Carmen 1 0 1 0 1 1 1 1 0 1 4 3 7
Dionisio 1 1 1 1 1 0 1 1 1 1 5 4 9
Estelita 1 1 1 0 0 0 0 1 1 0 3 2 5
Federico 1 1 0 1 0 0 1 0 0 0 2 2 4
Grover 0 0 0 0 0 0 1 0 1 1 2 1 3
Hurtado 1 1 1 1 1 1 1 1 1 1 5 5 10
Isabel 0 1 0 1 0 1 1 0 1 0 2 3 5
Juana 1 1 1 1 1 0 1 0 1 0 5 2 7
PAR: I2+I4+I6+I8+I10 Media u
IMP: I1+I3+I5+I7+I9 Varianza s
= 0,76
KURDER – RICHARDSON (KR21)
Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 TOTAL
Alberto 1 1 1 0 1 0 1 1 0 0 6
Betty 0 1 1 1 1 1 0 0 1 0 6
Carmen 1 0 1 0 1 1 1 1 0 1 7
Dionisio 1 1 1 1 1 0 1 1 1 1 9
Estelita 1 1 1 0 0 0 0 1 1 0 5
Federico 1 1 0 1 0 0 1 0 0 0 4
Grover 0 0 0 0 0 0 1 0 1 1 3
Hurtado 1 1 1 1 1 1 1 1 1 1 10
Isabel 0 1 0 1 0 1 1 0 1 0 5
Juana 1 1 1 1 1 0 1 0 1 0 7
Suma 7 8 7 6 6 4 8 5 7 4 62
p 0,7 0,8 0,7 0,6 0,6 0,4 0,8 0,5 0,7 0,4 0,62
q 0,3 0,2 0,3 0,4 0,4 0,6 0,2 0,5 0,3 0,6
p*q 0,21 0,16 0,21 0,24 0,24 0,24 0,16 0,25 0,21 0,24 2,16
Prom: 06,2
= 0,59
Var: 4,62
KR20 = 0,54
ALFA CRONBACH
Alumnos 1 2 3 4 5 6 Total
Alberto 3 3 2 0 2 2 12
Bartola 2 0 0 0 1 1 4
Cristian 5 2 1 1 3 2 14
Dayana 4 1 2 1 4 0 12
Elmer 1 2 1 0 1 1 6
Federico 3 3 2 0 4 2 14
Desviació
n 1,29 1,06 0,74 0,47 1,25 0,74 S2 = 15,21
Varianza 1,66 1,12 0,55 0,22 1,56 0,55 Σ = 5,66
Calificación
no = 0,75
dicotomica
PRUEBAS CONFIABLES
EDUMÉ-
TRICA
Orientado para Clasificar,
en Categorías Los Logros de
Aprendizaje. En forma estable.
CATEGORÍAS DE PUNTUACIÓN DE
APRENDIZAJE CORTE

 
 1 −
∑ s i2  2 
 * s t + ( X − L Mi ) 
 2

 2  
k  s t   
ra =  
k −1  s t2 + ( X − L Mi )
2

 
 Cronbach - Livingston 
p−X p
rp .bis = *
st q
443,52
rc = = 0,71
627,77
r (Pearson) = 0,70 Pi = 70 y PE = 42
Cov (X, Y) = 0,70*21,03*23,36 = 343,88 Ojo: Leer datos del taller
Preg 1º 2º 3º 4º Puntuación LMi
Max Puntos 2 2 4 8 Total 10 pts
Abel 2 0 2 4 8 NLD
Aldo 2 0 2 8 12 LD
Ary 2 1,5 4 6 13,5 LD
Blas 2 1,5 2 2 7,5 NLD
Popper 2 0 3 2 7 NLD
Elba 2 0 0 0 2 NLD
Morgan 2 0 3 4 9 NLD
Mario 2 0 3 4 9 LD
Flor 2 0 0 6 8 NLD
Hugo 2 1,5 4 2 9,5 NLD
Desviación 0 0,81 1,34 2,27 u = 8,75 P = 12,16
Varianza 0 0,65 1,79 5,15 s = 3,00 p = 0,30
Suma s = 7,59 q = 0,70
p− X p 12,16−8,75  0,30
rp .bis = * rp.bis = * = 0,73
st q  3   0,70
Formas para determinar
Niveles de Logro Minimo (Lmi)
Antes de aplicar un Instrumento:
Porcentaje Mínimo:
1. Del total de ítems para una evaluación.
2. De Objetivos por lograr.
3. Uniforme del total de ítems para cada objetivo
4. Diferenciado del total de Ítems para cada objetivo
5. Puntuación según competencia.
6. Grado de complejidad por ítems.
7. Relación entre relevancia de objetivo y comple-
jidad de los Ítems. marposroj@hotmail.com
MODELOS MÁS USADOS
Los tipos de pruebas más comunes en el

Perú, son analizados generalmente, en
tesis, mediante el Índice de dificultad y de
discriminación, son estandarizados con
Alfa Cronbach, Kurder Richarson 20 y 21,
y validación más usada es la de
Constructo, de Contenido, y la
Concurrente y a veces la Predictiva .
BIBLIOGRAFÍA
1) Baco, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de
Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2.
http://redie.uabc.mx/vol2no1/contenido-backhoff.html
2) Bazán Guzmán, J. (2000). Evaluación psicométrica de las preguntas y pruebas CRECER 96. Ministerio de
Educación, Perú.
3) Chávez López, L. M. (2001). Análisis de reactivos: una aproximación. Biblioteca Universitaria,
Julio/Diciembre, vol. 4, número 002, México.
4) Crocker, L. y Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.
5) Ebel, R.L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall.
6) Glass, G. y Stanley, J. (1986). Métodos estadísticos aplicados a las ciencias sociales. México: Prentice-Hall
Hispanoamericana.
7) Henrysson, S. (1971). Gathering, Analysing, and Using Data on Test Items. En R.L. Thorndike (Ed.),
Educational Measurement. Washington, DC: American Council on Education.
8) Piscoya Hermoza, L. (2005). Cuánto saben nuestros maestros. Una entrada a los diez problemas cardinales
de la educación peruana. Fondo Editorial de la Universidad Nacional Mayor de San Marcos. Perú
9) Popper, Karl R. (1971). La Lógica de la Investigación Científica. Ed. Tecnos. Madrid. Segunda reimpresión.
10) Santibáñez Riquelme, J. D. (2001). Manual para la evaluación del aprendizaje estudiantil. Conceptos,
procedimiento, análisis e interpretación para el proceso evaluativo. Ed. Trillas. México.
MUCHAS
GRACIAS
http://investigando.org/educandos/
marposroj@hotmail.com http://marposroj1976.blogspot.com/

Modelos de Validación y Confiabilidad en Pruebas de Admisión

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Modelos de Validación y Confiabilidad en Pruebas de Admisión

Загружено:

Авторское право:

Доступные форматы

MODELOS DE VALIDACIÓN Y

Lic. Mario Posso Rojas

Institute of Higher Education, Shanghai Jiao Tong University,

- Indicadores: Prom, Capac.

Estructuración autónoma Tomar

- Muestra representativa de contenidos

Universidad: X Prueba : General

Área o Asig Objetivo Temas:

Hipótesis (Ho): “Los conocimientos de los estudiantes que terminan

Identifica Compara Argumenta Aplica Analiza Sintetiza Juzga

Elaborado por: marposroj@hotmail.com Tiempo de Prueba: 3 horas

Grandes Procesos que Evidencia Tareas que se

Elaborado por: marposroj@hotmail.com Tiempo de Prueba: 1 hora

2) Análisis – El número de ángulo de inclinación axial varia por

3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es:

4) Síntesis – Lo que causa que el Sol es se convierta en rojo es:

5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene:

rho = 1 − R 14 10 15,5 18 -2,5 6,25

s= −   Popper 19 20 361 400 380

Flor 15 16 225 256 240

sx = −  =3,1 Nino 14 15 196 225 210

20  20 Nora 13 14 169 196 182

r = 20 = 0,92 Promedio 15,75 14,8

Coeficiente de: a) Spearman: 0,83 b) Pearson: 0,87

Aplicar el mismo instrumento

MÉTODO POR COEFICIENTES DE

  s12 + s22  KR20 KR21

Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTAL

Varianza 1,66 1,12 0,55 0,22 1,56 0,55 Σ = 5,66

Los tipos de pruebas más comunes en el

Вам также может понравиться