ESTUDIOS

Estudios sobre calidad de

la educacin en Colombia
Working paper

Medicin de Preparacin Universitaria

con SABER PRO: Un examen de la
validez predictiva

Presidente de la Repblica
Juan Manuel Santos Caldern
Ministra de Educacin Nacional
Gina Mara Parody dEcheona
Viceministra de Educacin Superior
Natalia Ariza Ramrez

Directora General
Ximena Dueas Herrera
Secretaria General
Maria Sofa Arango Arango
Director de Evaluacin
Julin Patricio Mario von Hildebrand
Director de Produccin y Operaciones
Edgar Rojas Gordillo
Subdirectora de Anlisis y Divulgacin
Silvana Godoy Mateus
Jefe Oficina Asesora de Comunicaciones y Mercadeo
Sandra Milena Garca Villamizar
Jefe Oficina Asesora de Gestin de Proyectos de Investigacin
Adriana Molina Mantilla
Elaboracin del documento*:
Jorge Andrs Morales
Edwin Cuellar
*Basado en el trabajo elaborado por Matthew Gaertner
y Katie McClarty. Pearson Research and Innovation Network.
Diagramacin:
Melisa Castellanos
Bogot, D.C., diciembre de 2014
ICFES. 2014. Todos los derechos de autor reservados .
Todo el contenido es propiedad exclusiva y reservada del ICFES y es el resultado de investigaciones y obras protegidas por la legislacin nacional e
internacional. No se autoriza su reproduccin, utilizacin ni explotacin a ningn tercero. Solo se autoriza su uso para fines exclusivamente acadmicos.
Esta informacin no podr ser alterada, modificada o enmendada.

 Resumen
La prueba SABER 11 tiene dentro de sus propsitos el proveer informacin a las instituciones de
educacin superior, que les permita seleccionar a los candidatos idneos para sus programas
de formacin basndose en el estado de las competencias de stos, al finalizar grado once.
Respondiendo a la necesidad de evaluar constantemente sus procesos de evaluacin, y en
el marco de su programa de investigacin el ICFES ha decidido emprender una lnea de
investigacin que d cuenta de la validez predictiva de sus evaluaciones.
Para ello y con la colaboracin de algunas instituciones de educacin superior de diversas
regiones de Colombia, en el primer semestre de 2012, se llev a cabo una aplicacin especial
de SABER PRO que pretenda lograr una aproximacin a lo que sera el examen SABER 11
rediseado (combinando competencias genricas de SABER PRO y algunas reas del ncleo
comn de SABER 111). Esta aplicacin constituye uno de los primeros pasos del ICFES en su
propsito de redisear la prueba SABER 11 con el fin de lograr una alineacin con el examen
de salida de la educacin superior SABER PRO. Este documento describe la metodologa
empleada en el estudio, presenta un anlisis de los resultados obtenidos y ofrece unas
conclusiones iniciales.

Introduccin
SABER 11 es una evaluacin estandarizada que se centra en la evaluacin de competencias
entendidas como un SABER hacer en contexto o, en otras palabras, movilizar conocimientos
y habilidades hacia la actuacin en una situacin concreta. De acuerdo con el Decreto 869
de marzo de 2010, el examen de Estado de la educacin media - SABER 11- tiene como fin
comprobar el grado de desarrollo de las competencias de los estudiantes que estn por terminar
undcimo grado. Con base en la informacin generada, el examen cumple diversos propsitos
para diferentes actores del sistema educativo: a los estudiantes, les proporciona elementos
para su autoevaluacin y el desarrollo de su proyecto de vida; a las instituciones de educacin
superior, les da informacin para seleccionar candidatos idneos para sus programas de
formacin y hacer seguimiento de su evolucin acadmica; a los establecimientos educativos,
le sirve de referencia para sus procesos de autoevaluacin y orientacin de sus prcticas
pedaggicas; y a las autoridades educativas, para construir indicadores de calidad que apoyen
las decisiones de poltica pblica.
Desde 2009, el ICFES ha trabajado en una transformacin del examen SABER 11 que garantice
una mejor alineacin con los exmenes de educacin bsica SABER 3,5 y 9 y el examen
SABER PRO, para poder consolidar un sistema nacional de evaluacin estandarizada. Con
ello se busca darle coherencia al sistema, apoyando la articulacin general de la educacin, y
potencializar el uso de las mediciones de las evaluaciones, al permitir evaluar el desarrollo en
cada nivel de formacin.
Un aspecto fundamental para lograr la consolidacin del sistema es tener unos ejes de evaluacin
a lo largo de toda la formacin. De acuerdo con los lineamientos y estndares establecidos por el
Ministerio de Educacin Nacional y con los desarrollos y capacidades logsticas actuales, estos
ejes deben incluir la competencia de lectura, el razonamiento cuantitativo, las competencias
ciudadanas y el ingls. De la misma manera, se deben integrar las pruebas de Biologa, Fsica
y Qumica en una sola de Ciencias Naturales que incluya adems los elementos de Ciencia,
Tecnologa y Sociedad promulgados en los estndares.
Como parte de la investigacin de soporte para la transformacin del examen SABER
11 y gracias al apoyo de varias universidades de distintas regiones del pas, se realizaron
aplicaciones especiales de las pruebas de competencias genricas de SABER PRO (lectura
crtica, razonamiento cuantitativo y competencias ciudadanas) a los estudiantes que recin
haban ingresado a la educacin superior y por lo tanto presentaron SABER 11 . El objetivo
del levantamiento de esta informacin fue evaluar la capacidad de las pruebas del examen
SABER 11 y el examen SABER 11 rediseado para predecir los resultados acadmicos de los
estudiantes que ingresan a la educacin superior, durante los cuatro (4) primeros semestres de

sus programas acadmicos. Desde el primer semestre de 2012 se hicieron 3 aplicaciones de

las pruebas genricas de SABER PRO a estudiantes recin ingresados a la educacin superior
con el fin de obtener puntajes aproximados del examen SABER 11 rediseado. A continuacin
se describen las pruebas de competencias genricas aplicadas.
Tabla 1. Pruebas de competencias genricas aplicadas

Lectura crtica
Leer analtica y reflexivamente.
Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y
juicios de valor.
Identificar y recuperar informacin presente en uno o varios textos, construir su sentido
global, establecer relaciones entre enunciados y evaluar su intencionalidad.
Componentes:
Ubicar informacin
Establecer relaciones
Construir representacin global
Analizar y evaluar crticamente
Razonamiento Cuantitativo
Comprensin de conceptos bsicos de las matemticas para analizar, modelar y resolver
problemas, aplicando mtodos y procedimientos cuantitativos y esquemticos.
Interpretacin de datos, la formulacin de problemas y la ejecucin, evaluacin y validacin
de procedimientos y estrategias.
Componentes:
Interpretacin
Formulacin
Evaluacin
Competencias Ciudadanas
Conocer y comprender la Constitucin Poltica de Colombia:
Comprender qu es la Constitucin
Conocer los derechos y deberes que la Constitucin consagra
Conocer la organizacin del Estado
Valoracin de argumentos: analizar y evaluar la pertinencia y solidez de un enunciado.
Multi-perspectivismo: reconocer, contrastar y valorar distintas perspectivas.
Pensamiento sistmico: comprender que los fenmenos sociales y sus soluciones son
multidimensionales y reconocer interacciones entre estas dimensiones.

En este documento se presenta el anlisis de los datos obtenidos en la primera aplicacin,

realizada al inicio del primer semestre de 2012, donde se cont con la participacin de la
Pontificia Universidad Javeriana de Bogot, la Universidad de Bogot Jorge Tadeo Lozano, la
Universidad Francisco de Paula Santander, la Universidad de Los Andes, la Universidad de San
Buenaventura de Cali y la Universidad Tecnolgica de Bolvar. Cabe anotar que este estudio es
el inicio de una lnea de investigacin que tiene como objetivo evaluar la capacidad predictiva de
las pruebas para explicar el rendimiento de los estudiantes al ingresar a la educacin superior.
Los resultados mostrados en el documento son tomados del trabajo de Matthew Gaertner y
Katie McClarty para el IV Seminario Internacional de Investigacin sobre Calidad de la Educacin

Objetivo y metodologa
Objetivo
Analizar la relacin existente entre los puntajes de las pruebas de SABER 11, SABER PRO
y las calificaciones de los estudiantes al ingresar a alguna de las seis universidades que
participaron del estudio.

Metodologa
Para este estudio se propuso comparar la validez predictiva de dos pruebas: por un lado,
el examen SABER 11, utilizando la suma de los puntajes obtenidos en las pruebas de
matemticas, lenguaje, ciencias sociales, biologa, qumica y fsica; por otro lado, se utiliz
una aproximacin al examen rediseado a travs de una combinacin de resultados en
el examen SABER PRO y SABER 11 El siguiente grfico explica cmo se obtuvieron los
puntajes aproximados del examen rediseado:

Grfica 1. Combinacin de puntajes SABER PRO y SABER 11 para SABER 11 rediseado

SABER 11
Matemticas

Ciencias Sociales

SABER 11 Rediseado

Razonamiento
Cuantitativo

Matemticas

Lectura crtica

Lectura crtica

Competencias
Ciudadanas

Competencias
ciudadanas

Ciencias Naturales

Biologa
Qumica

SABER PRO

Fsica

En el caso de los puntajes del examen rediseado de matemticas y competencias ciudadanas,

se realiz un promedio entre los dos componentes sealados en el grfico anterior, es decir,
el puntaje aproximado del examen SABER 11 rediseado corresponde a un promedio del
puntaje de la prueba de matemticas obtenido en SABER 11 y el puntaje obtenido en la
prueba de razonamiento cuantitativo de SABER PRO aplicada al iniciar la educacin superior.
Todos los puntajes fueron estandarizados para poder realizar este tipo de clculos. Como
puntaje aproximado para la prueba de ciencias naturales en el examen rediseado se tom
el promedio de las pruebas de biologa, qumica y fsica de SABER 11.
De acuerdo con el anlisis de varianza preliminar, realizado con los datos del primer semestre
de 2012, un 12% de la varianza en las calificaciones universitarias se debe a que en la muestra
se encuentran diferentes universidades. Por lo tanto, los mtodos de anlisis multinivel, que
proporcionan herramientas adecuadas para estimar las asociaciones de las covariables a nivel
de estudiante y las calificaciones de los estudiantes al inicio de su educacin universitaria,
son los ms apropiados (Singer & Willett, 2003). Para este estudio las variables a nivel de
estudiantes corresponden al puntaje obtenido en las pruebas de competencias genricas y
de SABER 11 tal como se seal en el grfico anterior; igualmente se incluye una medida
del nivel socio-econmico, INSE1. El modelo empleado obedece a una expresin de la forma:

Yij= 0j + 1j SABERij+ 2j INSEij + ij

0j= 0+0j

1j= 1 2j= 2
La variable respuesta Yij representa al promedio general en el primer semestre del estudiante
i en la universidad. SABERij. e INSEij corresponden a las puntuaciones de SABER 11
y el INSE a nivel de estudiante. 0, 1 y 2 son efectos fijos, mientras que 0j es un efecto
variable, representando la desviacin de la universidad j al promedio general. En todas las
estimaciones se emplean los dos resultados de inters (SABER 11 y aproximacin al SABER
11 rediseado) de forma independiente, es decir, se ajustan los modelos separadamente
con los puntajes de cada uno de ellos. La variable INSE es incluida en todos los modelos.
Para este estudio slo se comparan las pruebas que evalan competencias similares.
Especficamente, las competencias de SABER 11: matemticas, lenguaje y ciencias sociales
se comparan con razonamiento cuantitativo, lectura crtica y competencias ciudadanas
respectivamente. Por otra parte, debido a que muchas de estas competencias son
El ndice de Nivel Socio-econmico, INSE, es una medida construida con base en una metodologa de componentes principales a partir de la informacin recolectada en el formulario de inscripcin. Especficamente, se emplea la ocupacin y educacin de los padres, los ingresos del hogar y su estrato econmico proyectados sobre el primer eje factorial, el cual explica
el 60% de la inercia total
1

desarrolladas con mayor intensidad dependiendo del rea de estudios de los programas, se
ajustan los modelos por separado con respecto a los grupos de referencia2.
Con base en los resultados de los ajustes de los modelos y dado que el inters es evaluar
el poder predictivo de las pruebas, el estudio se enfoca en realizar las comparaciones en
trminos del porcentaje de varianza explicada por los modelos. Con tal fin se emplea una
estadstica de ajuste denominado, pseudoR2.

Datos
El estudio utiliza los puntajes de la aplicacin de SABER 11 las pruebas genricas de SABER
PRO aplicadas a estudiantes que acababan de entrar a la educacin superior, el promedio
general ponderado de las primeras notas en la universidad y la informacin socioeconmica
de 1.833 estudiantes de la Pontificia Universidad Javeriana de Bogot, la Universidad Jorge
Tadeo Lozano, la Universidad Francisco de Paula Santander, la Universidad de Los Andes,
la Universidad de San Buenaventura de Cali y la Universidad Tecnolgica de Bolvar. En la
tabla 2 se puede observar el nmero de estudiantes que participaron de cada universidad y
su distribucin en los grupos de referencia.
No se consideraron estudiantes que presentaran el SABER 11 antes de 2010, con el fin de
evitar la inclusin de resultados que pudieran distorsionar los anlisis. El nmero final de
estudiantes pasa a ser 1.369. La distribucin de estudiantes para cada institucin no vara de
manera importante.

Un grupo de referencia es la agrupacin de programas con caractersticas similares para los que se definen una oferta de
combinaciones de mdulos de competencias especficas y entre los que se compararn los resultados de la evaluacin. Los
grupos de referencia son definidos por el ICFES segn la clasificacin de programas del Sistema Nacional de Informacin
de la Educacin Superior (SNIES) del Ministerio de Educacin Nacional y la Clasificacin Internacional Normalizada de la
Educacin (CINE) de la Unesco.
2

Tabla 2. Nmero de estudiantes en cada una de las

universidades participantes por grupo de referencia
Tadeo
Lozano

Javeriana

Administracin y Afines

32

159

Tcnicos en Administracin y
turismo

36

Arquitectura y urbanismo

31

Tcnicos en
comunicacin

14

Artes-diseo-

Los Andes S.Buenaventura Distrital

37

20

60

40

Ciencias Naturales y Exactas

21

26

46

33

73

60

55

27

Economa

13

19

70

64

274

20

56

22

137

23

115

103

63

539
36

69

71

Salud

16
214

289

572

117
147

36

Medicina

10

458

93

Tcnicos en Ingeniera, Industria

y Minas

Total

15

46

Derecho
Ingeniera

Total

14

Bellas Artes y Diseo

Ciencias Sociales

215

Tecnolgica
de Bolvar

248

404

16
106

1.833

Resultados
Para obtener una medida general de cada una de las pruebas de SABER 11, se calcul un
puntaje total que corresponde a la suma de los puntajes de cada una. En la primera fila de la
tabla 3 se muestra que esa medida general, calculada a partir de los puntajes de las pruebas
de SABER 11, explica el 27% del rendimiento acadmico en la universidad, mientras que
ese porcentaje se estima en un 30% para la suma de los puntajes aproximados del examen
SABER 11 rediseado. De manera similar, razonamiento cuantitativo parece ser una medida
que se aproxima un poco ms al desempeo en educacin superior que la que se obtiene
con la prueba de matemticas, ya que para la prueba rediseada el R2 ajustado es de 24% y
en matemticas de SABER 11 es de 21%. Sin embargo, la diferencia mayor se presenta al
contrastar la prueba de ciencias sociales con la de competencias ciudadanas sugiriendo que
la prueba genrica predice mejor en 4 puntos porcentuales ms que la prueba realizada a los
estudiantes en SABER 11.
Tabla 2: Porcentaje de varianza del promedio en la universidad explicado por el modelo
cuando se incluyen los totales de las pruebas aproximadas del SABER 11 rediseado
y de SABER 11 como variables explicativas (R2 ajustado).

Puntaje total
Razonamiento cuantitativo
Lectura crtica
Competencias ciudadanas
Ciencias Naturales

SABER 11
rediseado
0,30
0,24
0,21
0,27
0,23

SABER 11
0,27
0,21
0,19
0,23
0,17
0,22
0,21

SAT*

ACT**
0,18*

0,23
0,22

Matemticas
Lenguaje
Ciencias sociales
Biologa
Qumica
Fsica

* College admision Exam, Estados Unidos

** College Readiness Assessment, Estados Unidos

Los puntajes aproximados de las prueba de SABER 11 rediseado explica ligeramente mejor
las calificaciones obtenidas en stas seis universidades e incluso es tan buena como la de las
prueba SAT en Estados Unidos y mucho mejor que la prueba ACT: el puntaje general de la
prueba ACT explica un 18% las calificaciones de los estudiantes, mientras que en el estudio
realizado por el ICFES, el total de las pruebas rediseadas explica el 30%, una importante
diferencia en trminos del R2 ajustado.

11

Sin embargo, no en todos los grupos de referencia se presenta un aumento de la predictibilidad.

Medicina, salud y economa reflejan una notable reduccin en este factor. La diferencia ms
importante se presenta en medicina, donde el puntaje total de SABER 11 disminuye en
un 60% su predictibilidad comparado con los puntajes aproximados del examen SABER
11 rediseado. No obstante, en medicina, estas dos pruebas no reflejan gran relevancia
para explicar el desempeo en la universidad, como en el resto de grupos de referencia.
Esto se puede evidenciar en que el puntaje total de SABER 11 explica tan solo el 12%
del promedio en la universidad, mientras que en los dems grupos, este porcentaje supera
20%. Es tambin importante observar que sta diferencia es considerablemente mayor en
medicina, debido a que en las dems reas de la salud, el porcentaje de varianza explicado
por las aproximaciones de las pruebas rediseadas, comparado con SABER 11, se reduce
en tan solo 12%.
La capacidad predictiva de las dos pruebas es considerable en los grupos de referencia
de tcnicos en artes-diseo-comunicacin y en administracin y turismo: el porcentaje de
varianza que explica el modelo en el grupo de artes supera el 80% y en administracin el
52%. No obstante, cabe anotar que un ndice de nivel socio-econmico es incluido en todos
los modelos y que esta predictibilidad no es exclusiva del desempeo en cualquiera de los
dos grupos de referencia.
Tabla 3: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye el
puntaje total de las aproximaciones a las pruebas del SABER 11 rediseado o de SABER 11 como variable
explicativa (R2 ajustado por grupo de Referencia).

12

SABER 11 rediseado

SABER 11

Diferencia/SABER 11

Ciencias naturales y exactas

Tcnicos en administracin
y turismo
Arquitectura y urbanismo
Bellas artes y diseo
Derecho
Tcnicos en artes - diseo comunicacin

0,42
0,66

0,31
0,52

0,36
0,27

0,20
0,42
0,40
0,88

0,16
0,37
0,36
0,80

0,23
0,15
0,13
0,11

Ciencias sociales
Ingeniera
Administracin y afines
Economa
Salud
Medicina

0,54
0,37
0,44
0,50
0,60
0,12

0,50
0,39
0,47
0,56
0,68
0,29

0,07
-0,04
-0,06
-0,09
-0,12
-0,60

Los anlisis anteriores, fueron realizados a partir de la suma de todos los puntajes de las
pruebas aproximadas del SABER 11 rediseado y de SABER 11 como una medida general
para evaluar la predictibilidad de cada una de ellas. Es importante aclarar que los currculos
de los programas no se relacionan de la misma forma con las pruebas individuales. Por
ejemplo, la prueba de matemticas podra estar ms asociada con los temas abordados
en la universidad en ingeniera que en medicina. Una forma de tener en cuenta este efecto
es incluyendo dentro de las variables independientes a la prueba de matemticas como la
medida de SABER 11 y razonamiento cuantitativo como la medida de SABER 11 rediseado.
La inclusin de estas dos variables en el modelo sealan una capacidad de prediccin
uniforme de estos dos componentes (ver tabla 4). En los grupos de referencia diferentes a
arquitectura y urbanismo y medicina, razonamiento cuantitativo explica entre el 30% y 55%
del puntaje promedio general en la universidad, y en administracin y turismo esta relacin
alcanza el 64%. La prueba de matemticas guarda niveles inferiores de predictibilidad en 2 de
los 12 grupos de referencia de la muestra comparado a los obtenidos a partir de la prueba de
razonamiento cuantitativo; para 5 de los 12 grupos la prueba de matemticas predice menos
del 30% el desempeo en la universidad mientras que con la prueba rediseada tan slo 2
grupos estn por debajo de este nivel.
Adicionalmente, este anlisis sugiere que los constructos evaluados en la prueba de
razonamiento cuantitativo se encuentran ms asociados con el promedio en la universidad
en la mitad de los grupos de referencia; en la otra mitad la predictibilidad de estas dos
pruebas es prcticamente la misma.
Ntese tambin que el porcentaje de predictibilidad en los grupos de referencia de tcnicos en
administracin y turismo, tcnicos en artes-diseo-comunicacin, e ingeniera, permanecen
prcticamente invariantes cuando se incluye el puntaje conjunto de la prueba o el puntaje
de razonamiento cuantitativo; y que en el grupo de referencia de salud, la prueba genrica
predice dos veces mejor el rendimiento del estudiantes que la prueba de matemticas,
pasando de explicar un 26% con matemticas a un 55% con razonamiento cuantitativo.

13

Tabla 4: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye
Razonamiento Cuantitativo o Matemticas como variable explicativa (R2 ajustado por grupo de Referencia)
Razonamiento cuantitativo
Salud
0,55
Tcnicas en Administracin y
0,64
turismo
Medicina
0,24
Economa
0,33
Administracin y afines
0,41
Ciencias naturales y exactas
0,39
Derecho
0,30
Ingeniera
0,35
Bellas artes y diseo
0,37
Arquitectura y urbanismo
0,18
Ciencias sociales
Tcnicas en Artes - diseo comunicacin

0,38
0,88

Matemticas
0,26
0,37

Diferencia/Matemticas
1,07
0,73

0,15
0,24
0,32
0,33
0,28
0,33
0,35
0,18

0,62
0,37
0,26
0,20
0,07
0,06
0,05
0,03

0,39
0,93

-0,02
-0,05

Igual que con razonamiento cuantitativo y matemticas, tambin es llevado a cabo un anlisis
con lectura crtica y lenguaje. Se incluyen los puntajes de estas dos pruebas separadamente
como puntajes de PRO y SABER 11, al igual que en los anlisis anteriores, se incluye el
INSE y se calculan los seudoR2 ajustado como medida de predictibilidad (ver tabla 5).
Los resultados sealan que la prueba genrica supera en predictibilidad a la de lenguaje en
nicamente 3 de los 12 grupos de referencia y se presenta una ligera diferencia en Bellas artes
y diseo y Arquitectura y urbanismo. En Ingeniera, Ciencias naturales y exactas, Economa
y Administracin y afines se presenta una desventaja considerable con respecto a la prueba
anterior, no obstante, ntese que esta diferencia relativa es inflada especialmente por la baja
magnitud de la predictibilidad en cualquiera de esas dos componentes.

14

Tabla 5: Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye
lectura crtica o lenguaje como variable explicativa (R2 ajustado por grupo de Referencia).

Tcnicas en Administracin y
turismo
Ciencias sociales
Tcnicos Artes - diseo comunicacin
Derecho
Bellas artes y diseo
Arquitectura y urbanismo
Ingeniera
Ciencias naturales y exactas
Economa
Tcnicos Administracin y afines
Salud
Medicina

Lectura crtica
0,77

Lenguaje
0,38

Diferencia/Lenguaje
1,04

0,34
0,58

0,19
0,38

0,77
0,51

0,37
0,40
0,16
0,27
0,21
0,24
0,18

0,33
0,38
0,17
0,30
0,28
0,33
0,25

0,13
0,05
-0,08
-0,10
-0,25
-0,28
-0,29

0,04
0,00

0,11
0,03

-0,65
-0,93

Este mismo anlisis se realiz con las pruebas de ciencias sociales y competencias
ciudadanas, reflejando que en 6 de los 12 grupos existe una ventaja al aplicar la segunda
(ver tabla 6).
En el grupo de referencia de ciencias sociales, la prueba de competencias ciudadanas cuenta
con una mayor capacidad de prediccin con respecto a la prueba de ciencias sociales en
SABER 11, superando en dos veces la proporcin obtenida por esta ltima. Sin embargo el
grupo donde el puntaje de competencias ciudadanas tiene un efecto mayor es el de ciencias
naturales y exactas, dado que esta prueba junto con el nivel socio-econmico predice el 50%
de los resultados en la universidad mientras que la prueba de SABER 11 predice el 31%.

15

Tabla 6 Porcentaje de varianza del promedio en la universidad explicado por el modelo cuando se incluye
Competencias ciudadanas o Ciencias Sociales como variable explicativa
(seudo R2 ajustado por grupo de Referencia).
Competencias Ciudadanas
0,30
0,50
0,35

Ciencias Sociales
0,15
0,31
0,25

Diferencia/Sociales
1,04
0,63
0,36

Administracin y afines
Derecho
Tcnicos Artes - diseo
comunicacin

0,33
0,32
0,16

0,26
0,26
0,13

0,25
0,20
0,19

Ingeniera
Economa
Arquitectura y urbanismo
Tcnicos en Administracin y
turismo
Salud
Medicina

0,31
0,45
0,18
0,31

0,31
0,46
0,19
0,47

-0,01
-0,02
-0,06
-0,33

0,31
0,00

0,76
0,07

-0,59
-0,95

Ciencias sociales
Ciencias naturales y exactas
Bellas artes y diseo

16

Conclusiones

En general, las pruebas aproximadas del examen SABER 11 rediseado permiten
una mejor prediccin del desempeo acadmico universitario con respecto a las pruebas de
SABER 11 Esto significa que la estructura del examen incluyendo competencias genricas
tiene un mayor poder predictivo del desempeo de los estudiantes durante los primeros
semestres de la universidad. Las tres pruebas del examen rediseado predicen mejor que las
correspondientes de SABER 11

La estructura de examen incluyendo competencias genricas no solo predice mejor
el desempeo acadmico de los universitarios de la muestra, sino que adems, supera los
niveles de predictibilidad de las pruebas SAT y ACT en los componentes evaluados por cada
una de ellas.

En los grupos de referencia de administracin y turismo, derecho y bellas artes y diseo
el examen rediseado presenta una ventaja en el porcentaje de prediccin de los resultados
en la universidad, salvo en la prueba de razonamiento cuantitativo. Las dems pruebas del
examen rediseado explican un porcentaje ms alto de la varianza de los resultados en los
grupos de referencia de ciencias sociales y tcnicos en artes-diseo-comunicacin que las
obtenidas con las actuales pruebas de SABER 11

En el grupo de referencia de Ciencias naturales y exactas la aproximacin de las
pruebas del SABER 11 rediseado tienen una alta capacidad de predecir el desempeo
acadmico, a pesar de que con la prueba de lectura crtica, no se obtienen los mismos
niveles de predictibilidad de los alcanzados con la prueba de lenguaje.

La prueba de razonamiento cuantitativo es una de las pruebas que explica mejor el
desempeo de los estudiantes universitarios con respecto a su prueba anloga en SABER
11 En todos los grupos de referencia esta prueba aproximada a la rediseada refleja mejores
resultados que la de matemticas en trminos de su predictibilidad, excepto por artes-diseocomunicacin y ciencias sociales que presentan cambios no significativos en el porcentaje
de prediccin al incluir razonamiento cuantitativo o matemticas en el modelo.

Aunque a partir de los resultados del anlisis por grupo de referencia se puede
concluir que con lectura crtica no se obtiene un mayor porcentaje de prediccin en un gran
nmero de grupos, los niveles de prediccin en los que se refleja una mejora, superan a los
calculados con la prueba de competencias ciudadanas.

17


En los grupos de referencia de salud, medicina, economa, ingeniera, administracin
y turismo, las pruebas aproximadas de competencias ciudadanas y lectura crtica del SABER
11 rediseado no superan el nivel de prediccin de los resultados a los obtenidos con las
pruebas de ciencias sociales y lenguaje de SABER 11, respectivamente.

18

Calle 17 No. 3-40 Telfono:(57-1)338 7338 Fax:(57-1)283 6778 Bogot - Colombia

www.icfes.gov.co

19