Las evaluaciones externas en

Colombia
Evolucin y balance
Margarita Pea Borrero
Directora General ICFES
Bogot, octubre 23 de 2008

Contenido
1. Algo de historia, para entender mejor el
presente
2. Las evaluaciones nacionales (ICFES y
SABER)
3. Evaluaciones internacionales
4. Balance de la experiencia: logros,
tensiones y tareas pendientes

1. Algo de historia...
1968 creacin del ICFES:
Servicio Nacional de Pruebas (SNP):
Exmenes nacionales para admisin, para
garantizar igualdades en las oportunidades de
acceso a la educacin post-secundaria con
base en el mrito examen de Estado para el
ingreso a la educacin superior
Establecimiento de capacidad en el campo de
la medicin

Caractersticas de los primeros exmenes

(dcada de los 70):
Combinacin entre pruebas de aptitudes
(verbal, matemtica, razonamiento abstracto
y relaciones espaciales) y de conocimientos
(lenguaje, matemticas, ciencias naturales,
sociales e idiomas) considerados como
bsicos para ingresar a la educacin
superior

1980: Cambio en el propsito del propsito del

examen
Obligatoriedad de informar al Ministerio de Educacin los
nombres de los colegios en las que la mayora de
estudiantes obtuviera menos del puntaje mnimo
ponderado en los exmenes de Estado
Resultados del examen como indicadorde calidad
Mejoramiento a partir de la evaluacin
Informes agregados por institucin educativa (ordenamiento,
ms tarde clasificaciones)
Recoleccin de informacin socioeconmica abri paso a
investigaciones sobre movilidad social, peso del nvel
socioeconmico sobre el rendimiento

Dcada de los 90
Descentralizacin y autonoma curricular y
evaluaciones como mecanismo para dar
mensaje unificado y establecer qu tanto se
cumplen objetivos educativos
Inters pblico en resultados de la educacin
(rendicin de cuentas responsabilizacin)
Incorporacin al examen de elementos de la la
evaluacin de calidad de la educacin bsica
provenientes de SABER

Dcada de los 90
Primera evaluacin de calidad educativa:
SABER
Evaluacin de reas crticas para el aprendizaje
(lenguaje, matemtica)
Evaluacin con referencia a criterio niveles
Enfasis en divulgacin de resultados con propsitos de
mejoramiento
Estudio de factores asociados (escolares y
extraescolares)
Seguimiento a la evolucin de resultados (periodicidad,
permanencia de caractersticas de diseo)

Desde 2000...
Nuevo ICFES
SABER censal
Participacin creciente en evaluaciones
comparativas internacionales
Demanda de informacin sobre calidad de la
educacin, como insumo para poltica y planes,
entre otros
Nuevos desafos para el ICFES como evaluador
externo

2. Evaluaciones nacionales:
El ICFES
Propsitos (explcitos)

Criterio para el ingreso a la educacin superior (se

mantiene obligatoriedad)
Informacin para los estudiantes acerca de sus
competencias en las diferentes reas: orientacin
sobre su opcin profesional
Criterio para la autoevaluacin de las escuelas en
funcin de sus currculos y la diversidad cultural
Criterio para otorgar beneficios educativos (becas,
premios)
Base para estudios de carcter cultural, social y
educativo, y retroalimentar el quehacer de la evaluacin

Enfoque
Evaluacin por competencias saber hacer
en contextos disciplinares
Cambio de evaluar qu se sabe hacia cmo
se usa ese saber
Las competencias evaluadas abarcan:
Interpretacin: de un texto, un grfico, un mapa
Solucin de problemas
Valoracin de conceptos y teoras para sustentar
una decisin

Reportes e informes

Individuales

Agregados

Puntaje por prueba (0-100)

Puntaje por componente y competencia de prueba (0-10)
Niveles por componente (A,M,B), y competencia (I-II-III) de prueba
Nivel de competencia en ingls (MCE)
Puesto

Puntaje promedio de prueba, para colegio,

municipio, dept., pas (0-100), genero y sector
Clasificacin de colegios (7 categoras)
- Alto impacto, mayor controversia

Evolucin de resultados histricos (colegios

y entidades territoriales)

NUEVO* Informe resultados/nivel

socioeconmico

Usos ms frecuentes en la actualidad

Criterio de admisin en educacin superior
Otorgamiento de beneficios
(reconocimientos, becas crditos)
Prediccin de riesgo de desercin en
educacin superior
Autoevaluacin mejoramiento*
Monitoreo de calidad de la educacin*
Clasificaciones, ordenamientos*

2. Evaluaciones nacionales:
SABER

Objetivo
Evaluar las competencias bsicas de los alumnos de
educacin bsica y los factores asociados a su
desempeo, para:
Producir indicadores de calidad educativa
Identificar factores escolares que afectan los resultados
Informar a las instituciones educativas, a los gobiernos
nacional y territoriales y a otros actores, sobre
debilidades y fortalezas, como insumo para la toma de
decisiones
Informar al pblico sobre el estado de la educacin
Monitorear resultados en el tiempo

Qu ha evaluado SABER
Aplicacin

Carcter

Areas

Grados

Factores
Asociados

1992-1993

Muestral

Matemtica y Lenguaje

3, 5, 7 y 9

Si

1997-1998

Muestral

Matemtica y Lenguaje

3, 5, 7 y 9

Si

2002-2003

Censal y muestral quasicontrolada

(Antioquia, Nario y
Bogot)

Matemtica, Lenguaje, Ciencias

Naturales y Competencias
Ciudadanas

5y9

No

2005-2006

Censal 90% y 10%

Muestral Controlada

Matemtica, Lenguaje, Ciencias

Naturales, Ciencias Sociales
y Competencias
Ciudadanas

5y9

No

Reportes e informes

Institucionales

Municipios y
departamentos
Nacionales

Puntajes promedio por rea y grado

Niveles de logro por rea y grado

Puntajes promedio por competencias

Puntajes promedio por componentes de

las reas

Puntajes promedio por rea y grado

Niveles de logro por rea y grado

Puntajes promedio por rea y grado

Niveles de logro por rea y grado

Usos
Insumo para autoevaluacin y diseo de planes de
mejoramiento institucional
Focalizacin de escuelas con bajo logro para fines
de asesora y acompaamiento especfico
Focalizacin de entidades territoriales con bajo
logro para fines de asesora y acompaamiento
Base para el diseo de programas de formacin
de docentes
Monitoreo de la calidad de la educacin

3. Evaluaciones
internacionales
Permiten la comparacin (referenciacin) de resultados
de la educacin colombiana con la de otros pases y dan
informacin valiosa para mejorar
Conocimiento compartido (comn) sobre educacin Importancia en debate educativo mundial
Metodologa rigurosa para permitir comparaciones entre pases
y en perodos de tiempo (muestras, instrumentos, tcnicas de
procesamiento y anlisis de informacin)
Estudios innovadores en cuanto a enfoques, campos y tcnicas
de evaluacin

Colombia en las evaluaciones internacionales

PRUEBA

No. Pases
participantes

AO

AREA

GRADOS

TIMSS

1995

Matemticas y Ciencias

7y8

LLECE

1997

Matemticas y Lectura

3y4

13

CIVED

1999

Civica

8 (14 Aos)

32

PIRLS

2001

Lectura

35

2006

Matemticas Lectura
Ciencias

15 aos

PISA

39 (7)
41 (8)

57

SERCE

2006

Matemticas Lectura
Ciencias

3y6

16 (1)

ICCS

2008

Cvica

8y9

37

PISA

2009

Matemticas Lectura
Ciencias

15 aos

69

Percentil 95

PISA - Posicin de Colombia frente al resto de pases:

Intervalo de
Promedio
confianza
al 95%
Ciencias
Promedio OCDE = 500

Percentil 5

Colombia
388 (3,4)

Estadsticamente Iguales

Ciencias - Puntaje promedio

(Amrica Latina)

Percentil 95
Intervalo de
confianza al 95%

Promedio
Percentil 5

750
700
650
600
550
500
450

438

428

410

391

390

388

(4,3)

(2,7)

(2,7)

(6,1)

(2,8)

(3,4)

400
350
300
250
200

Colombia

Brasil

Argentina

Mxico

Uruguay

Chile

150

PISA -Niveles de desempeo:

Lectura

Lectura

4
y
3
2

1
y
0

Demuestran comprensin completa de un texto e

interpretacin del significado de un lenguaje
matizado. Son capaces de evaluar textos de
manera crtica, de formular hiptesis sobre stos y
de hacer uso de conocimientos especializados,
entre otros.
Integran distintas partes de un texto para identificar
una idea principal, para comprender una relacin o
para interpretar el significado de una palabra o
frase. Manejan informacin contradictoria y realizan
conexiones o comparaciones, para explicar y
evaluar un texto.
Realizan tareas bsicas de lectura como identificar
la idea principal, interpretar el significado de una
parte limitada del texto y realizar deducciones
simples. Tambin explican las caractersticas del
texto haciendo uso de sus experiencias y actitudes
personales.
Reconocen la intencin del autor sobre un tema
familiar, localizan fragmentos independientes de
informacin y realizan conexiones simples con su
conocimiento habitual.

6
0
.0
5
0
.0
4
0
.0
3
0
.0-2
.0-1
.5
0-1
.0n
-e
0
.5
d
ic
E
S
C0.0.51.0

P
u
n
ta
je
p
ro
m
e
d
io
c
e
n
c
ia
s

PISA - Rendimiento y nivel

socioeconmico

SERCE - Puntaje Promedio (Matemticas 6o)

Nos permite compararnos, de manera general,

con todos los pases de la regin

SERCE - Niveles de Desempeo (Mat6)

13%

48%

33%

5,5%

Sexto
Nivel I (309,64)
Reconocen hechos, conceptos, relaciones y propiedades
en los distintos dominios, con excepcin del variacional.
Resuelven problemas simples de estructura aditiva en el
dominio numrico.
Nivel II (413,58)
Reconocen hechos, conceptos, propiedades y relaciones
en los distintos dominios conceptuales.
Resuelven problemas que requieren estrategias simples,
con informacin relevante explcita y que involucran una
o dos de las cuatro operaciones bsicas.
Nivel III (514,31)
Resuelven problemas que involucran el uso de
conceptos, relaciones y propiedades de mayor nivel
cognitivo. Pueden interpretar informacin de distintas
representaciones.
Nivel IV (624,60)
Resuelven problemas complejos, con informacin no
explcita y que requieren el uso de relaciones y
conexiones entre diferentes conceptos.

Nos permite explorar los resultadas desde las competencias

adquiridas por la poblacin escolar.

4. Balance
Avances
Credibilidad y legitimidad
Avances en medicin y evaluacin de
calidad
Contribucin a la cultura de la evaluacin
Aporte al debate pblico (inters en educacin)
Toma de decisiones
Seguimiento a resultados
Uso (aunque parcial) como mecanismo de rendicin de
cuentas

La controversia:
Emisin de juicios basados nicamente en resultados de
pruebas
Reduccin de la educacin a lo que se puede evaluar con
este tipo de pruebas
Tensin entre necesidad de medir con una misma regla y
Dificultad para comparar grupos con condiciones
socioculturales distintas
Relatividad de los resultados, frente a condiciones
especficas de estudiantes e instituciones educativas
Sistema de indicadores vrs. simplificacin en puntajes o rankings

qu quiere decir evaluar calidad?

Los desafos
Cumplimiento de los propsitos de las evaluaciones
Diseo tcnico de los instrumentos (estructura, nmero de preguntas,
modelos de calificacin, comparativos histricos, entre otros)
Informes comprensibles y oportunos para los grupos interesados
Difusin de resultados con estrategias diferenciadas

Transparencia sobre el alcance: generar conciencia sobre las

posibilidades y limitaciones de las evaluaciones, para evitar
usos indebidos de los resultados
Avanzar en la construccin de un sistema de indicadores ms
rico, incorporando informacin socioeconmica y cultural, y
condiciones de las instituciones educativas

SABER 2009: Consolidacin de la evaluacin

nacional

Estabilizar la evaluacin (ciclos trienales hasta 2021): reas

evaluadas y estructura

Mejoramiento del diseo

Combina muestra controlada, para mejorar resultados

agregados, y censo para entregar resultados por IE

Estudio de los factores asociados para avanzar en evaluacin

de calidad e informar decisiones de poltica

Informes diferenciados, centrados en el uso de los resultados

Investigacin

ICFES

Levantamiento de informacin socioeconmica

para producir nuevos informes e indicadores

Identificacin de necesidades y demandas de los

usuarios

Mejoramiento tcnico del diseo de las pruebas

Investigacin y estudios para mejorar el examen
(anlisis de restricciones, cumplimiento de
propsitos, usos no adecuados, entre otros)

Competencias:
eje articulador del sistema
ECAES

SABER 9

Examen de
Estado 11

SY
A
C
I
CF

E
SP
E
ES
AL LES
R
A
O
AB SION
L
IAS OFE
C
N
PR
TE
E
ALES
R
E
MP
N
E
O
G
C
RALES

SABER 5
Descriptores
de
competencias

LABO
S
A
I
C
N
S
TE
IUDADANA
C
COMPE
S
IA
C
N
E
ET

COMP

COMPETENCIAS BSICAS
PRIMERA
INFANCIA

BSICA

SECUNDARIA

MEDIA

TECNICA
PROFESIONAL

TECNOLGICA

PROFESIONAL
UNIVERSITARIA

SUPERIOR

FORMACIN DURANTE TODA LA VIDA

POSGRADOS

Muchas gracias
www.icfes.gov.co
www.icfesinteractivo.gov.co